首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Google BERT 中文应用之春节对对联

在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

02

Google BERT 中文应用之春节对对联

在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

02

2022百度智算峰会邀请函:带你解锁智能计算与产业共生的最短路径 | Q推荐

伴随着 5G、物联网、工业互联网等新型基础设施的蓬勃发展,产业智能化升级也来到了新的十字路口。如何利用数智化技术抢占产业转型升级的关键期,成为了数字经济时代新的命题。 在 9 月 6 日的 2022 智能经济高峰论坛上,百度集团执行副总裁、百度智能云事业群总裁沈抖给出的答案是:“云计算必须与实体经济深度融合,真正深入到实体产业,去解决产业遇到的实际问题”。除此之外,沈抖还在会上重磅发布了新一代云战略——“云智一体 3.0”。在“云智一体”差异化优势下,百度智能云不断深入城市、交通、工业、双碳、水务等多个重点

01

2020年Techo开发者大会视频通信云专场论坛强势来袭!还有万众期待的动手实验室等你来参与!

腾讯Techo开发者大会是由腾讯云发起的面向全球开发者和技术爱好者的年度盛会。今年的大会将于12月19-20日在北京举行! 本次大会视频通信云分论坛也非常值得大家期待! 视频通信云分论坛的出品人—— 腾讯云副总裁李郁韬先生说: 此次专场论坛还有不少大咖亮相讲解答疑,干货满满,来一次值了!特别是《云上视界,对话未来》的圆桌环节,我们将邀请业界知名技术领域及专家,针对音视频通信技术驱动产品创新议题进行深入探讨。 除了视频通信云论坛 还有万众期待的动手实验室等你来打卡! 活动名额有

01

世界互联网大会首个官方小程序平台正式上线,腾讯云提供技术支持

11月23日,世界互联网大会·互联网发展论坛在乌镇正式开幕,基于腾讯云会展“易会”产品方案,推出“世界互联网大会”小程序,这也是世界互联网大会举办以来首个官方小程序平台。 点击进入“世界互联网大会”官方小程序 世界互联网大会是世界性的互联网盛会,旨在搭建中国与世界互联互通的国际平台和国际互联网共享共治的中国平台,至今已成功举办六届。今年特别的地方在于,取消举办第七届世界互联网大会,改为以世界互联网大会组委会名义举办“世界互联网大会·互联网发展论坛”,同时首次以“线下+线上”形式开展各项活动,在乌镇设置

05
领券