百度飞桨：ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]

汀丶人工智能

发布于 2022-12-21 16:30:24

2.7K00

代码可运行

文章被收录于专栏：NLP/KGNLP/KG

运行总次数：0

代码可运行

相关文章：

基础知识介绍：

【一】ERNIE：飞桨开源开发套件，入门学习，看看行业顶尖持续学习语义理解框架，如何取得世界多个实战的SOTA效果？_汀、的博客-CSDN博客_ernie模型

百度飞桨：ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]_汀、的博客-CSDN博客_paddlenlp 安装

项目实战：

PaddleHub--飞桨预训练模型应用工具{风格迁移模型、词法分析情感分析、Fine-tune API微调}【一】_汀、的博客-CSDN博客

PaddleHub--{超参优化AutoDL Finetuner}【二】_汀、的博客-CSDN博客

PaddleHub实战篇{词法分析模型LAC、情感分类ERNIE Tiny}训练、部署【三】_汀、的博客-CSDN博客

PaddleHub实战篇{ERNIE实现文新闻本分类、ERNIE3.0 实现序列标注}【四】_汀、的博客-CSDN博客

https://github.com/PaddlePaddle/PaddleNLP

1.安装paddle

参考官网：开始使用_飞桨-源于产业实践的开源深度学习平台

首先在anaconda下创建虚拟环境：

conda create -n test  python=3.8 #test为创建的虚拟环境名称

在安装paddle

python -m pip install paddlepaddle==2.3.0 -i https://mirror.baidu.com/pypi/simple

验证安装

安装完成后您可以使用 python 进入python解释器，输入import paddle ，再输入 paddle.utils.run_check() 如果出现PaddlePaddle is installed successfully!，说明您已成功安装。

环境主要安装Python和Paddle对应版本要求的环境，中间建议使用pip安装方式进行安装。
Python3版本要求：python3.7及以上版本，参考Welcome to Python.org
PaddlePaddle版本要求：paddlepaddle2.0+版本，参考MacOS下的PIP安装-使用文档-PaddlePaddle深度学习平台
Paddle环境的安装，需要确认Python和pip是64bit，并且处理器架构是x86_64（或称作x64、Intel 64、AMD64）架构，目前PaddlePaddle不支持arm64架构（mac M1除外，paddle 已支持Mac M1 芯片）。下面的第一行输出的是”64bit”，第二行输出的是”x86_64”、”x64”或”AMD64”即可：

python -c "import platform;print(platform.architecture()[0]);print(platform.machine())"

2.通用信息抽取 UIE

paddlenlp安装

环境依赖

python >= 3.6
paddlepaddle >= 2.2

pip install --upgrade paddlenlp

show paddlenlp

2.1 PaddleNLP一键预测功能：Taskflow API

环境依赖

python >= 3.6
paddlepaddle >= 2.2.0
paddlenlp >= 2.2.5

任务名称	调用方式	一键预测	单条输入	多条输入	文档级输入	定制化训练	其它特性
中文分词	Taskflow("word_segmentation")	✅	✅	✅	✅	✅	多种分词模式，满足快速切分和实体粒度精准切分
词性标注	Taskflow("pos_tagging")	✅	✅	✅	✅	✅	基于百度前沿词法分析工具LAC
命名实体识别	Taskflow("ner")	✅	✅	✅	✅	✅	覆盖最全中文实体标签
依存句法分析	Taskflow("dependency_parsing")	✅	✅	✅		✅	基于最大规模中文依存句法树库研发的DDParser
信息抽取	Taskflow("information_extraction")	✅	✅	✅	✅	✅	适配多场景的开放域通用信息抽取工具
『解语』-知识标注	Taskflow("knowledge_mining")	✅	✅	✅	✅	✅	覆盖所有中文词汇的知识标注工具
文本纠错	Taskflow("text_correction")	✅	✅	✅	✅	✅	融合拼音特征的端到端文本纠错模型ERNIE-CSC
文本相似度	Taskflow("text_similarity")	✅	✅	✅			基于百度知道2200万对相似句组训练
情感倾向分析	Taskflow("sentiment_analysis")	✅	✅	✅		✅	基于情感知识增强预训练模型SKEP达到业界SOTA
生成式问答	Taskflow("question_answering")	✅	✅	✅			使用最大中文开源CPM模型完成问答
智能写诗	Taskflow("poetry_generation")	✅	✅	✅			使用最大中文开源CPM模型完成写诗
开放域对话	Taskflow("dialogue")	✅	✅	✅			十亿级语料训练最强中文闲聊模型PLATO-Mini，支持多轮对话

PaddleNLP提供一键预测功能，无需训练，直接输入数据即可开放域抽取结果：【信息提取】

from pprint import pprint

from paddlenlp import Taskflow

schema = ['时间', '选手', '赛事名称'] # Define the schema for entity extraction

ie = Taskflow('information_extraction', schema=schema) #花费时间会安装文件

pprint(ie("2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌！"))

[{'时间': [{'end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'}],
  '赛事名称': [{'end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],
  '选手': [{'end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌'}]}]

当然定义实体提取的模式有一定灵活性：

ie = Taskflow('information_extraction', schema=schema)

[{'分数': [{'end': 39,
          'probability': 0.9873907344274926,
          'start': 32,
          'text': '188.25分'}],
  '时间': [{'end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'}],
  '赛事名称': [{'end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],
  '选手': [{'end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌'}]}]

这里如果增加“”“奖牌、名次”等实体则无法实现

schema = ['时间', '选手', '赛事名称',"城市","分数"] # Define the schema for entity extraction

[{'分数': [{'end': 39,
          'probability': 0.9873907344274926,
          'start': 32,
          'text': '188.25分'}],
  '城市': [{'end': 8,
          'probability': 0.8775704061407907,
          'start': 6,
          'text': '北京'}],
  '时间': [{'end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'}],
  '赛事名称': [{'end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],
  '选手': [{'end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌'}]}]

2.2 小样本调参----轻定制功能

如果对一键预测效果不满意，也可以使用少量数据进行模型精调，进一步提升特定场景的效果，详见UIE小样本定制训练。

PaddleNLP/model_zoo/uie at develop · PaddlePaddle/PaddleNLP · GitHubEasy-to-use and powerful NLP library with Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including Neural Search, Question Answering, Information Extraction and Sentiment Analysis end-to-end system. - PaddleNLP/model_zoo/uie at develop · PaddlePaddle/PaddleNLP

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie我们推荐使用数据标注平台doccano 进行数据标注

对于简单的抽取目标可以直接使用paddlenlp.Taskflow实现零样本（zero-shot）抽取，对于细分场景我们推荐使用轻定制功能（标注少量数据进行模型微调）以进一步提升效果。下面通过报销工单信息抽取的例子展示如何通过5条训练数据进行UIE模型微调。

代码结构： ├── utils.py # 数据处理工具 ├── model.py # 模型组网脚本 ├── doccano.py # 数据标注脚本 ├── doccano.md # 数据标注文档 ├── finetune.py # 模型微调脚本 ├── evaluate.py # 模型评估脚本 └── README.md

标注安装和标注指南：

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/uie/doccano.md

最终效果展示：

Few-Shot实验

我们在互联网、医疗、金融三大垂类自建测试集上进行了实验：

	金融		医疗		互联网
	0-shot	5-shot	0-shot	5-shot	0-shot	5-shot
uie-tiny	41.11	64.53	65.40	75.72	78.32	79.68
uie-base	46.43	70.92	71.83	85.72	78.33	81.86

0-shot表示无训练数据直接通过paddlenlp.Taskflow进行预测，5-shot表示基于5条标注数据进行模型微调。实验表明UIE在垂类场景可以通过少量数据（few-shot）进一步提升效果。

3.PaddleNLP Transformer预训练模型

PaddleNLP Transformer预训练模型 — PaddleNLP 文档

PaddleNLP的Transformer预训练模型包含从 huggingface.co 直接转换的模型权重和百度自研模型权重，方便社区用户直接迁移使用。目前共包含了40多个主流预训练模型，500多个模型权重。

Transformer预训练模型适用任务汇总

Model	Sequence Classification	Token Classification	Question Answering	Text Generation	Multiple Choice
ALBERT	✅	✅	✅	❌	✅
BART	✅	✅	✅	✅	❌
BERT	✅	✅	✅	❌	✅
BigBird	✅	✅	✅	❌	✅
Blenderbot	❌	❌	❌	✅	❌
Blenderbot-Small	❌	❌	❌	✅	❌
ChineseBert	✅	✅	✅	❌	❌
ConvBert	✅	✅	✅	❌	✅
CTRL	✅	❌	❌	❌	❌
DistilBert	✅	✅	✅	❌	❌
ELECTRA	✅	✅	✅	❌	✅
ERNIE	✅	✅	✅	❌	✅
ERNIE-CTM	❌	✅	❌	❌	❌
ERNIE-DOC	✅	✅	✅	❌	❌
ERNIE-GEN	❌	❌	❌	✅	❌
ERNIE-GRAM	✅	✅	✅	❌	❌
ERNIE-M	✅	✅	✅	❌	❌
FNet	✅	✅	✅	❌	✅
Funnel	✅	✅	✅	❌	❌
GPT	✅	✅	❌	✅	❌
LayoutLM	✅	✅	❌	❌	❌
LayoutLMV2	❌	✅	❌	❌	❌
LayoutXLM	❌	✅	❌	❌	❌
Luke	❌	✅	✅	❌	❌
MBart	✅	❌	✅	❌	✅
MegatronBert	✅	✅	✅	❌	✅
MobileBert	✅	❌	✅	❌	❌
MPNet	✅	✅	✅	❌	✅
NeZha	✅	✅	✅	❌	✅
PPMiniLM	✅	❌	❌	❌	❌
ProphetNet	❌	❌	❌	✅	❌
Reformer	✅	❌	✅	❌	❌
RemBert	✅	✅	✅	❌	✅
RoBERTa	✅	✅	✅	❌	✅
RoFormer	✅	✅	✅	❌	❌
SKEP	✅	✅	❌	❌	❌
SqueezeBert	✅	✅	✅	❌	❌
T5	❌	❌	❌	✅	❌
TinyBert	✅	❌	❌	❌	❌
UnifiedTransformer	❌	❌	❌	✅	❌
XLNet	✅	✅	✅	❌	✅