首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

谷歌为1000+「长尾」语言创建机器翻译系统,Google翻译支持部分小众语言

同时,深度学习(DL)和 E2E 模型出现、从 web 挖掘得到大型并行单语言数据集、回译和自训练等数据增强方法以及大规模多语言建模等带来了能够支持超过 100 种语言高质量机器翻译系统。...除了语言数量受限之外,当前机器翻译系统所支持语言分布也极大地向欧洲语言倾斜。 我们可以看到,尽管人口众多,但非洲、南亚和东南亚所说语言以及美洲土著语言相关服务却较少。...比如,谷歌翻译支持弗里西亚语、马耳他语、冰岛语和柯西嘉语,以它们为母语的人口均少于 100 万。...1000 种语言实用机器翻译系统成果。...章节目录如下: 为长尾语言构建机器翻译模型 对于从 web 挖掘语言数据,下一个挑战是从数量有限语言训练数据中创建高质量通用机器翻译模型。

57610

Meta 开源早期 AI 翻译工具支持 200 种语言

编译 | 禾木木 出品 | AI科技大本营(ID:rgznai100) Meta 创建了一个能够翻译 200 种不同语言的人工智能模型,包括许多目前商业工具不支持语言。...模型翻译绝对不会完美无缺 机器翻译专家表示,Meta 雄心勃勃研究是深入透彻,但也指出该模型某些翻译质量可能是远低于源语言,会支持一些其他语言。...Meta 也非常有兴趣开发在模型中包含“低资源语言”,例如公开翻译句子对少于100万语言,其中包括商业机器翻译工具通常不支持语言。 “怎样才能生产出适合所有人翻译技术呢?”...但与此同时,如果使用低资源语言的人消费更多由支持专业版生成语言的话,这可能会削弱他们创建此类材料动力。 平衡这些问题也是具有挑战性,甚至在最近这个项目中遇到问题也说明了原因。...“我认为这非常非常重要,因为并不是一家公司就能全面解决机器翻译问题,这是每个人问题,因此我们对支持这些类型社区工作非常感兴趣。”

57310
您找到你想要的搜索结果了吗?
是的
没有找到

机器翻译做到头了?Meta开源NLLB翻译模型,支持200种语言互译

---- 文 | Alex(凹非寺) 源 | 量子位 排版 | 夕小瑶卖萌屋 这个翻译模型,不仅支持200+语言之间任意两两互译,还是开源。...要知道,此前众多语言模型,要么不支持这么多种语言,要么不能直接完成小众语言之间两两翻译。...而这项成果正式开源消息,也受到广受好评。 除了AI业内关心他们如何支持语料稀缺冷门语言,以及如何在BLEU基准测试上提高7个点以外。...有网友给这位开发者支招儿,告诉他Meta开放了有支持翻译儿童书籍,可以去看看翻译效果。 还有人补充道,许多小众语言有许多不同自然变体,更偏于口语化,而没有特定书面化标准,可以用多种文字书写。...所以,如何对小众语言进行标准化是个棘手问题。 怎么支持语料少语言 这个掌握了200多种语言AI模型是怎么训练

6.6K10

google翻译新增手写支持

Google近日更新了其翻译服务,为中南亚字体提供了手写识别支持。 其实百度此前也在其搜索首页增加过手写输入,可能由于使用频率较低,目前已经默认关闭。需要开启的话可以到右上角搜索设置中打开。...相比于搜索中手写输入而言,翻译服务中手写也许更加实用。当你身处他国,却看不懂当地路牌,那么要在手机或者平板上输入这些文字就更不可能了。...这时你可以通过手写方式,依样在Google翻译中描画下来,得到最终翻译结果。 有朋友可能会说,已经有不少应用支持通过摄像头取词翻译。...但其实大部分都只能提供英文或者中文摄像头取词,对于东南亚语系支持并不完整。 当然,这一功能在源语言是英文时并不可用,因为英文直接用键盘输入就可以了。...Google翻译手写输入支持目前对45种语言开放。 Google翻译曾经在2012年初1月对安卓平台进行过最初手写输入测试,目前安卓平台Google翻译应用已经同步支持此功能。

37220

谷歌新突破:自然语言翻译加入AutoML,Contact Center AI和TPU 3.0发布

亮点主要包括:AutoML增添了自然语言处理(AutoML Natural Language)和翻译AutoML Translate);Contact Center AI和TPU 3.0。...为此,AutoML迎来了自然语言处理(使用AutoML Natural Language)和翻译(使用AutoML Translate)。...Hearst已经使用AutoML Natural Language帮助组织国内和国际杂志内容,日本出版商Nikkei Group正在利用AutoML Translate发布不同语言文章。...谷歌正在将其作为会话代理工具包进行营销。 联络中心AI在部署时会对来电进行记录,并使用复杂自然语言处理来建议常见问题解决方案。...更新API,TPU 3.0发布 谷歌正在更新现有的API,包括Cloud Vision API,它将很快识别手写,支持PDF和TIFF文件,并识别对象在图像中位置。

66010

极客智坊翻译服务升级:支持PDF翻译+批量网页翻译

Google 文档翻译问题 最近两周给极客智坊新增了 PDF 文档翻译和批量网页翻译能力,PDF 文档翻译要先支持顺序提取所有文字、链接、图片、表格,这一块还是挺复杂,因为 PDF 本身是一个侧重表现层显示而非结构标准化文档格式...至于翻译质量,在非常有深度行业内容翻译时候,Google 翻译也并不准确,比如下面这个: 把代码都翻译了,这对于 IT 技术类 PDF 文档来说,就非常不友好了。...极客智坊 PDF 文档翻译翻译 PDF 文档,请进入极客翻译页面,点击顶部文档翻译Tab按钮,选择翻译AI模型和目标语言,然后点击上传按钮上传待翻译PDF文件即可,我们以前面 Google 翻译那篇...,所以这次功能升级提供了一个支持排队后台任务系统统一处理极客智坊异步耗时任务。...如果任务执行失败,支持重试: 执行成功,则可以通过下载按钮下载翻译结果(也是PDF格式): 极客智坊会将两列布局变成一列垂直平铺展开,通过和前面 Google 对比可以看到,极客智坊文档翻译完整保留了图片整体性没有破坏

28040

Typecho配置多国语支持,检查客户端语言自动切换翻译

Typecho 原生自带了翻译功能,但不支持随客户端语言自动切换。 我们可以通过获取客户端语言,替换原生翻译功能所调用翻译文件,来实现自动切换翻译。...注意:需要先开启 Typecho 原生多国语翻译功能。 设置多语言: Typecho 官方支持语言切换(自动翻译),并提供了翻译语言包。...但是官方提供翻译文件都是 .po 文件,Typecho 并不支持 .po 文件,可以将 .po 文件编译成 .mo 文件,参考这篇文章:gettext msgfmt安装及po/mo文件编译转换 我把转换好文件也上传到我项目仓库了...在控制台 -> 设置 -> 基本 设置页面就可以看到语言选项了。 配置自动切换语言: 打开 Typecho 根目录下 /var/Typecho/I18n.php 文件(注意是文件不是文件夹)。...可以根据自己需要,进行相应修改。 未经允许不得转载:w3h5 » Typecho配置多国语支持,检查客户端语言自动切换翻译

2K10

500亿参数,支持103种语言:谷歌推出「全球文字翻译」模型

由于缺乏平行数据,小语种翻译一直是一大难题。来自谷歌研究者提出了一种能够翻译 103 种语言大规模多语言神经机器翻译模型,在数据丰富和匮乏语种翻译中都实现了显著性能提升。...多语言 NMT 是一种有效解决方法,它有一种归纳偏见,即「来自一种语言学习信号应该有助于提高其他语言翻译质量」。 多语言机器翻译使用一种语言模型处理多种语言。...大规模多语言机器翻译 尽管跨语言对数据倾斜是 NMT 任务中一大挑战,但这种倾斜也为研究迁移创造了一种理想情景,在一种语言上训练得到信息可以应用到其他语言翻译中。...所有语言数据分布(取对数)和在每个特定语言对上训练得到双语基线相对翻译质量(BLEU 分数)。...多语言机器翻译系统可以拯救这些语言吗?谷歌认为,M4 是通向另外 1000 种语言翻译基石。从这类多语言模型开始,即使没有平行语料,我们也可以轻松地将机器翻译扩展到新语言、领域和下游任务中去。

55240

500亿参数,支持103种语言:谷歌推出「全球文字翻译」模型

由于缺乏平行数据,小语种翻译一直是一大难题。来自谷歌研究者提出了一种能够翻译 103 种语言大规模多语言神经机器翻译模型,在数据丰富和匮乏语种翻译中都实现了显著性能提升。...多语言 NMT 是一种有效解决方法,它有一种归纳偏见,即「来自一种语言学习信号应该有助于提高其他语言翻译质量」。 多语言机器翻译使用一种语言模型处理多种语言。...大规模多语言机器翻译 尽管跨语言对数据倾斜是 NMT 任务中一大挑战,但这种倾斜也为研究迁移创造了一种理想情景,在一种语言上训练得到信息可以应用到其他语言翻译中。...所有语言数据分布(取对数)和在每个特定语言对上训练得到双语基线相对翻译质量(BLEU 分数)。...多语言机器翻译系统可以拯救这些语言吗?谷歌认为,M4 是通向另外 1000 种语言翻译基石。从这类多语言模型开始,即使没有平行语料,我们也可以轻松地将机器翻译扩展到新语言、领域和下游任务中去。

37610

AutoML】当前有哪些可用AutoML平台?

1 Google Cloud AutoML 作为AutoML提出和尝鲜者,Google Cloud AutoML是当前最早也是最成熟AutoML系统,覆盖了图像分类,文本分类以及机器翻译三大领域,另外也上线了测试版视频相关服务...2 EasyDL EasyDL是百度AutoML平台,作为国内AI技术积累最雄厚企业,AutoML领域百度自然也是当仁不让,目前包含经典版,专业版和零售版,支持迁移学习和模型结构搜索。 ?...支持任务类型包括图像分类、物体检测、图像分割、文本分类、视频分类、声音分类,PaddlePaddle虽然惨淡,EasyDL还有希望。...4 Azure Machine Learning Azure Machine Learning是MicrosoftAutoML平台,支持模型结构搜索和超参数搜索。 ?...Azure Machine Learning支持众多深度学习框架,配合微软众多开发工具,使用非常方便。 ?

2K31

支持两个语言版本,我基于谷歌翻译API写了一款自动翻译 webpack 插件

无需写多套语言文件,正常开发使用中文进行编写即可 需要一个翻译API,且翻译要准确,经测试简繁体转换谷歌翻译是最准确。 2....但是注意,基于 translateer 启动API服务, 存在几个可以优化点: 先看下为什么需要优化, 首先我们得要知道谷歌翻译网页端最大支持多少字符,测试得知如下最大支持一页最大支持 5000字符,..., 那么每次翻译文本最大支持长度就为16000个字符。.../ 9 约等于 1777个汉字 阶段总结: 由于谷歌翻译网页版一些限制,直接使用get请求,一次最大支持翻译1777个汉字, 而在输入框内模拟输入汉字无字符长度限制,一页最大支持5000 字符,超出部分可进行翻页...image.png 7总结 注意:会将页面上包括js中中文全部替换,但是接口返回文字是无法转换,由后端返回对应繁体 至此一个完整业务需求就已经优化七七八八了,翻译插件理论上支持任意语言互转,但是由于翻译语义不同

3.3K10

【李飞飞李佳新里程碑】AutoML自然语言翻译大升级,TPU 3.0进入谷歌云!

组合也迎来了她们在谷歌云又一座里程碑:度过艰辛时刻,AI客服中心终于落地,AutoML也如约推出自然语言翻译服务,TPU 3.0进入谷歌云!...至此,AutoML可以为各行业缺少AI经验企业和开发者提供自动生成图像功能、语言分类功能和翻译功能。...李飞飞还宣布推出AutoML NLP,利用谷歌先进NLP技术,理解你所在专业领域语言。 还有一个新服务AutoML Translation,现在能翻译27个语言对。...通过AutoML翻译服务,用户可以上传翻译语言对来对自己自定义翻译模型进行训练。 在大会开始前,李飞飞就已经在谷歌官网发布了署名文章,她和李佳也几乎在第一时间发表微信朋友圈,介绍她们“佳飞?”...当用户需求超过虚拟agent能力时,会将电话转接给人类代表。这种情况下,AI转变为支持功能,由此Contact Center AI为人类客服代表提供相关信息。

55640

谷歌将AutoML应用于Transformer架构,翻译结果飙升,已开源!

新智元报道 来源:googleblog 编辑:张佳 【新智元导读】为了探索AutoML在序列域中应用是否能够取得成功,谷歌研究团队在进行基于进化神经架构搜索(NAS)之后,使用了翻译作为一般序列任务代理...Evolved Transformer不仅实现了最先进翻译结果,与原始Transformer相比,它还展示了语言建模改进性能。...重要是,Transformer高性能已经证明,当应用于序列任务(例如语言建模和翻译)时,前馈神经网络可以与递归神经网络一样有效。...Evolved Transformer不仅实现了最先进翻译结果,而且与原始Transformer相比,它还展示了语言建模改进性能。...首先,我们研究了使用不同语言翻译,发现ET表现提升,其边缘与英语-德语相似; 再次,由于其有效使用参数,对于中型模型观察到了最大提升。

39220

谷歌将AutoML应用于Transformer架构,翻译结果飙升,已开源!

Evolved Transformer不仅实现了最先进翻译结果,与原始Transformer相比,它还展示了语言建模改进性能。 ?...[ 导读 ]为了探索AutoML在序列域中应用是否能够取得成功,谷歌研究团队在进行基于进化神经架构搜索(NAS)之后,使用了翻译作为一般序列任务代理,并找到了Evolved Transformer...Evolved Transformer不仅实现了最先进翻译结果,与原始Transformer相比,它还展示了语言建模改进性能。...重要是,Transformer高性能已经证明,当应用于序列任务(例如语言建模和翻译)时,前馈神经网络可以与递归神经网络一样有效。...Evolved Transformer不仅实现了最先进翻译结果,而且与原始Transformer相比,它还展示了语言建模改进性能。

51410

谷歌将AutoML应用于Transformer架构,翻译结果飙升,已开源!

---- 新智元报道 来源:googleblog 编辑:张佳 为了探索AutoML在序列域中应用是否能够取得成功,谷歌研究团队在进行基于进化神经架构搜索(NAS)之后,使用了翻译作为一般序列任务代理...Evolved Transformer不仅实现了最先进翻译结果,与原始Transformer相比,它还展示了语言建模改进性能。...重要是,Transformer高性能已经证明,当应用于序列任务(例如语言建模和翻译)时,前馈神经网络可以与递归神经网络一样有效。...Evolved Transformer不仅实现了最先进翻译结果,而且与原始Transformer相比,它还展示了语言建模改进性能。...首先,我们研究了使用不同语言翻译,发现ET表现提升,其边缘与英语-德语相似; 再次,由于其有效使用参数,对于中型模型观察到了最大提升。

72630

编程语言 IDE 支持

或许是出自于对编写编程语言兴趣,又或许是对于创建 IDE/编辑器兴趣,对于『IDE/编辑器是如何提供编程语言支持』,我充满了兴趣。...但是呢,yaml 和 json 是一个编程语言无关东西。所以,VS Code 和 Atom 可以基于 Textmate 语法规则,快速建立对于主流语言词法分析,从而建立了语法高亮支持。...我们也可以说 BNF 是一种编程语言无关东西。但是,实际上在我们操作时候,就会加入一些编程语言特定要素。...这里我找到了一个不错中文翻译:语法高亮 总的来说,语法规则就是: syn vim关键字 匹配规则,如: syn region rustCommentLine start="//" end="$" contains...语言高级支持 在我们实现了开发工具词法分析接口之后,我们就能按不同 IDE/编辑器所定义接口,进行定制了。这是一个繁杂,而又充满挑战工作。对于不同工具来说,它们接口相关也甚多。

2.3K31

Oracle 20c 新特性:XGBoost 机器学习算法和 AutoML 支持

Oracle 20c数据库中引入一个新机器学习算法叫做XGBoost。XGBoost是一个开源软件库,它在大多数常用数据科学、机器学习和软件开发语言中提供了一个梯度提升框架。...OML4SQL XGBoost (Oracle Machine Learning for SQL XGBoost) 是一个可扩展梯度树提升系统,支持分类和回归。它提供了开源梯度提升框架。...通过XGBoost,OML4SQL支持多种不同分类和回归规范、排名模型和生存模型。在分类机器学习函数下支持二进制和多类模型,而在回归机器学习函数下支持回归、排名、计数和存活模型。...; 语言支持包括 C++、Python、R、Java、Scala 和 Julia 在内几乎所有主流编程语言; 云集成:支持 AWS、Azure 和 Yarn 集群,也可以很好地配合 Flink、 Spark...通过以下几个示意图,我们可以大致了解一下以上提到各种 ML 算法。 决策树,以非常快速、可解释模型,来进行判断选择,支持决策 ? 多决策树,用于组合预测,增加准确性 ?

58330

翻译】Golang语言-是面向对象语言吗?

你可能不熟悉simula语言,但你肯定熟悉Java, C++, C# & Smalltalk中一种,这些语言深受simula影响,当然这些语言又同时影响着现今几乎所有的高级语言如:Objective...go中对象 go语言中没有对象(object)这个关键词。对象(object)仅仅是一个单词,重要是它所表示含义。...单继承语言包括PHP、C#、Java、Ruby等,多继承语言包括Perl、Python、C++等 多态 多态是is-a关系,继承是实现复用。...You should avoid implementation inheritance whenever possible. go语言多态和组合 go语言严格遵守composition over inheritance...然而go语言可以通过访问跟匿名类型同名属性来访问嵌入匿名对象。实际上当使用匿名域时候,go会创建一个跟匿名类型同名对象。

1.7K80
领券