专栏首页小鹏的专栏[TextMatch框架] train model

[TextMatch框架] train model

TextMatch

TextMatch is a semantic matching model library for QA & text search … It’s easy to train models and to export representation vectors.

TextMatch/train_model模块包含 :

(1)train_bow.py : bow模型训练

样例:

import sys
from textmatch.models.text_embedding.bow_sklearn import Bow
from textmatch.config.constant import Constant as const



if __name__ == '__main__':
    # 训练集
    words_list = ["我去玉龙雪山并且喜欢玉龙雪山玉龙雪山","我在玉龙雪山并且喜欢玉龙雪山","我在九寨沟"]
    # doc
    words_list1 = ["我去玉龙雪山并且喜欢玉龙雪山玉龙雪山","我在玉龙雪山并且喜欢玉龙雪山","我在九寨沟", "哈哈哈哈"]

    # 训练
    bow = Bow(dic_path=const.BOW_DIC_PATH, bow_index_path=const.BOW_INDEX_PARH, )
    bow.fit(words_list)

    # query
    bow = Bow(dic_path=const.BOW_DIC_PATH, bow_index_path=const.BOW_INDEX_PARH, )
    bow.init(words_list1, update=False)
    testword = "我在九寨沟,很喜欢"
    #for word in jieba.cut(testword):
    #    print ('>>>>', word)
    pre = bow.predict(testword)
    print ('pre>>>>>', pre) 

    pre = bow._predict(testword)[0]
    print ('pre>>>>>', pre) 

(2)train_tfidf.py: tfidf模型训练

(3)train_ngram_tfidf.py:ngram_tfidf模型训练

(4)train_w2v.py:word2vector模型训练

(5)train_bert.py:bert模型训练

(6)train_albert.py:albert模型训练

(7)train_dssm.py:dssm模型训练

(8)train_dnn.py:dnn模型训练

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [TextMatch框架] server

    TextMatch is a semantic matching model library for QA & text search … It’s easy ...

    MachineLP
  • [TextMatch框架] 简介

    TextMatch is a semantic matching model library for QA & text search … It’s easy ...

    MachineLP
  • 【chainer速成】chainer图像分类从模型自定义到测试

    chainer是一个基于python的深度学习框架,能够轻松直观地编写复杂的神经网络架构。

    用户1508658
  • 从原始图片数据开始构建卷积神经网络(Pytorch)

    入门机器学习的时候,我们往往使用的是框架自带的数据集来进行学习的,这样其实跳过了机器学习最重要的步骤,数据预处理,本文通过从原始数据(图片格式)到卷积神经网络的...

    机器视觉CV
  • 【深度学习】Keras vs PyTorch vs Caffe:CNN实现对比

    在当今世界,人工智能已被大多数商业运作所应用,而且由于先进的深度学习框架,它非常容易部署。这些深度学习框架提供了高级编程接口,帮助我们设计深度学习模型。使用深度...

    黄博的机器学习圈子
  • 【前沿】何恺明大神ICCV2017最佳论文Mask R-CNN的Keras/TensorFlow/Pytorch 代码实现

    【新智元导读】何恺明大神的论文Mask R-CNN 获得ICCV最佳论文 ,而关于这篇论文的TensorFlow\Pytorch\Keras实现相继开源出来,让...

    新智元
  • 【前沿】 何恺明大神ICCV2017最佳论文Mask R-CNN的Keras/TensorFlow/Pytorch 代码实现

    导读 何恺明大神的论文Mask R-CNN 获得ICCV最佳论文 ,而关于这篇论文的TensorFlow\Pytorch\Keras实现相继开源出来,让我们来看...

    WZEARW
  • PyTorch Lightning工具学习

    【GiantPandaCV导语】Pytorch Lightning是在Pytorch基础上进行封装的库(可以理解为keras之于tensorflow),为了让用...

    BBuf
  • Google TensorFlow深度学习笔记

    Google Deep Learning Notes Google 深度学习笔记 由于谷歌机器学习教程更新太慢,所以一边学习Deep Learning教程...

    梦里茶
  • 使用Ray并行化你的强化学习算法(三)

    我们先看算法的核心部分:model,包含了TensorFlow建图,计算loss,训练和测试。

    用户1908973

扫码关注云+社区

领取腾讯云代金券