选自GitHub
机器之心编译
参与:黄小天、Smith
谷歌前不久在 arXiv 上发表论文《Attention Is All You Need》,提出一种完全基于 attention 的翻译架构 Transformer,实现了机器翻译的新突破;近日,Github 上的一个项目给出了 Transformer 模型的 TensorFlow 实现,在官方代码公布之前共享了自己的代码。机器之心对该文进行了编译,项目地址见文中。
项目链接:https://github.com/Kyubyong/transformer
需求
项目来由
我试图在论文《Attention Is All You Need》中实现我的想法。该论文的作者声称其模型,即 Transformer,在机器翻译方面的表现优于当前任何的模型;它仅使用 attention,而没有 CNN 和 RNN,这酷极了。论文最后,作者承诺将很快公开代码,但是目前为止并没有。我的这一项目有两个目标,一是我想要全面了解这篇论文,如果不写代码就很难理解论文;二是在官方代码公布之前,与感兴趣的人共享我写的代码。
与原论文的不同
内容,而是要实现论文的核心思想,并作出简单快速的验证。由于这个原因,我的部分代码与原论文有所不同。这些不同之处有:
文件描述
训练
训练损失和精度
训练损失
训练精度
评估
结果
我的 BLEU 得分为 17.14。(我用小数据集、有限的词汇进行训练)一些评估结果如下所示。详见文件夹 results
source: Sie war eine jährige Frau namens Alex expected: She was a yearold woman named Alex got: She was a woman named yearold name source: Und als ich das hörte war ich erleichtert expected: Now when I heard this I was so relieved got: And when I heard that I was an source: Meine Kommilitonin bekam nämlich einen Brandstifter als ersten Patienten expected: My classmate got an arsonist for her first client got: Because my first came from an in patients source: Das kriege ich hin dachte ich mir expected: This I thought I could handle got: I'll go ahead and I thought source: Aber ich habe es nicht hingekriegt expected: But I didn't handle it got: But I didn't it source: Ich hielt dagegen expected: I pushed back got: I thought about it source: Das ist es was Psychologen einen AhaMoment nennen expected: That's what psychologists call an Aha moment got: That's what a like a source: Meldet euch wenn ihr in euren ern seid expected: Raise your hand if you're in your s got: Get yourself in your s source: Ich möchte ein paar von euch sehen expected: I really want to see some twentysomethings here got: I want to see some of you source: Oh yeah Ihr seid alle unglaublich expected: Oh yay Y'all's awesome got: Oh yeah you all are incredibly source: Dies ist nicht meine Meinung Das sind Fakten expected: This is not my opinion These are the facts got: This is not my opinion These are facts
本文为机器之心编译,转载请联系本公众号获得授权。