首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

广告行业中那些趣事系列14:实战线上推理服务最简单的打开方式BERT-as-service

摘要:本篇从理论到实战重点分析了bert-as-service开源项目。首先讲了下学习bert-as-service的起因,因为实际业务中需要使用bert做线上化文本推理服务,所以经过调研选择bert-as-service开源项目;然后从理论的角度详解了bert-as-service,很纯粹的输入一条文本数据,返回对应的embedding表示。模型层面对比max pooling和average pooling分析了如何获得一个有效的embedding向量;工程方面重点从解耦bert和下游网络、提供快速的预测服务、降低线上服务内存占用以及高可用的服务方式分析如何提供高效的线上服务;最后实战了bert-as-service,从搭建服务到获取文本语句的embedding,再到最后获取微调模型的预测结果。希望对想要使用bert提供线上推理服务的小伙伴有帮助。

02
领券