1、为什么要有嵌入?
2、什么是嵌入?
3、如何得到嵌入向量?
4、 如何可视化展示嵌入向量?
5、嵌入向量的实际应用有哪些?
一个单词集合,这些属于离散的非数值型对象,数值计算的基本要求是数值型,所以需要将他们映射为实数向量。
嵌入是将离散对象数值化的过程。
嵌入向量,google 开源的 word2vec 模型做了这件事,现在 TensorFlow 中调用 API 几行代码便可以实现:
word_embeddings = tf.get_variable(“word_embeddings”, [vocabulary_size, embedding_size]) embedded_word_ids = tf.nn.embedding_lookup(word_embeddings, word_ids)
embedded_word_ids 的形状 [vocabulary_size, embedding_size]
可视化展示主要需要对高维向量降维。
嵌入可以通过很多网络类型进行训练,并具有各种损失函数和数据集。例如,对于大型句子语料库,可以使用递归神经网络根据上一个字词预测下一个字词,还可以训练两个网络来进行多语言翻译。
本文分享自 程序员郭震zhenguo 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!