基于深度学习算法的NLP集成工具

• NLP 套装模块
  • 分词 Word Segmentation/Tokenization
  • 词性标注 Part-of-speech (POS)
  • 命名实体识别 Named-entity-recognition(NER)
  • 依存句法分析 Dependency Parsing (Parse)
  • 自动生成式文摘 Textsum (Seq2Seq-Attention)
  • 关键句子抽取 Textrank
  • 文本分类 Textcnn (WIP)
  • 可调用 Web Restful API
  • 计划中: 句法分析 Parsing
• 算法实现
  • 分词: 线性链条件随机场 Linear Chain CRF, 基于CRF++包来实现
  • 词性标注: 单向LSTM/ 双向BI-LSTM, 基于Tensorflow实现
  • 命名实体识别: 单向LSTM/ 双向BI-LSTM/ LSTM-CRF 结合网络, 基于Tensorflow实现
  • 依存句法分析: 基于arc-standard system的神经网络的parser
• 预训练模型
  • 中文: 基于人民日报语料和微博混合语料: 分词, 词性标注, 实体识别
• Pip 安装

    pip install deepnlp

分词模块

词性标注

命名实体识别

依存句法分析

---