13_命名实体识别：提取文本关键信息

输入文本示例：
"中国科学院自动化研究所在北京海淀区于2025年4月15日发布了最新的人工智能模型。"

NER识别结果：
- 组织：中国科学院自动化研究所
- 地点：北京海淀区
- 日期：2025年4月15日
- 事件：发布人工智能模型

NER技术应用链路：
原始文本 → 实体识别 → 信息结构化 → 知识抽取 → 智能应用

# 基于规则的简单NER实现示例
import re

def rule_based_ner(text):
    # 使用正则表达式识别邮箱地址
    email_pattern = r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
    emails = re.findall(email_pattern, text)
    
    # 使用正则表达式识别URL
    url_pattern = r'https?://[\w\-\.]+(?:\.[\w\-\.]+)+[\w\-\._~:/?#[\]@!\$&\'\(\)\*\+,;=.]+'
    urls = re.findall(url_pattern, text)
    
    # 使用词典识别国家名称
    country_list = ['中国', '美国', '英国', '法国', '德国', '日本']
    countries = [country for country in country_list if country in text]
    
    return {
        'EMAIL': emails,
        'URL': urls,
        'COUNTRY': countries
    }

# 测试示例
text = "请通过info@example.com或访问https://www.example.org联系我们，了解更多关于中国和美国市场的信息。"
print(rule_based_ner(text))

BiLSTM-CRF架构工作流程：
1. 将输入文本转换为词嵌入向量
2. 通过双向LSTM层提取上下文特征表示
3. 将特征表示输入CRF层，考虑标签之间的转移概率
4. 解码得到最优标签序列

# 检查Python版本
python --version

# 创建并激活虚拟环境
python -m venv ner_env
ner_env\Scripts\activate  # Windows系统
# source ner_env/bin/activate  # Linux/Mac系统

# 安装基础库
pip install spacy pandas matplotlib seaborn scikit-learn

# 安装transformers库
pip install transformers

# 下载并安装spaCy语言模型
python -m spacy download en_core_web_sm  # 英文模型
python -m spacy download zh_core_web_sm  # 中文模型

# 验证spaCy安装与模型加载
import spacy

def verify_environment():
    try:
        # 测试英文模型
        nlp_en = spacy.load("en_core_web_sm")
        print("✅ 英文模型加载成功")
        
        # 测试中文模型
        nlp_zh = spacy.load("zh_core_web_sm")
        print("✅ 中文模型加载成功")
        
        # 简单测试
        test_text = "苹果公司在上海设立了新的研发中心。"
        doc = nlp_zh(test_text)
        print("\n测试实体识别:")
        for ent in doc.ents:
            print(f"- 实体: {ent.text}, 类型: {ent.label_}")
            
        return True
    except Exception as e:
        print(f"❌ 环境验证失败: {e}")
        return False

# 运行验证
verify_environment()

import spacy
from spacy import displacy

# 加载英文和中文模型
nlp_en = spacy.load("en_core_web_sm")
nlp_zh = spacy.load("zh_core_web_sm")

# 英文文本示例
english_text = "Microsoft plans to open a new AI research center in London next year."
# 处理文本
doc_en = nlp_en(english_text)

# 提取并打印实体
print("英文文本实体识别结果:")
for ent in doc_en.ents:
    print(f"实体: {ent.text}, 类型: {ent.label_}, 位置: {ent.start_char}-{ent.end_char}")

# 中文文本示例
chinese_text = "腾讯公司将于2025年在北京举办全球数字生态大会。"
# 处理文本
doc_zh = nlp_zh(chinese_text)

# 提取并打印实体
print("\n中文文本实体识别结果:")
for ent in doc_zh.ents:
    print(f"实体: {ent.text}, 类型: {ent.label_}, 位置: {ent.start_char}-{ent.end_char}")

# 在Jupyter Notebook中可视化实体
# displacy.render(doc_zh, style="ent", jupyter=True)

import spacy
from spacy.tokens import DocBin

# 准备训练数据（以医疗领域为例）
training_data = [
    ("患者服用了阿司匹林和布洛芬来缓解头痛。", {
        "entities": [(3, 7, "MEDICATION"), (8, 12, "MEDICATION"), (16, 19, "SYMPTOM")]
    }),
    ("高血压患者应该避免食用高盐食物。", {
        "entities": [(0, 3, "DISEASE"), (9, 11, "DIET")]
    }),
    ("医生建议每天服用维生素C来增强免疫力。", {
        "entities": [(5, 10, "MEDICATION"), (15, 19, "BENEFIT")]
    })
]

# 创建空白中文模型
nlp = spacy.blank("zh")

# 添加命名实体识别器
ner = nlp.add_pipe("ner")

# 添加自定义实体标签
ner.add_label("MEDICATION")
ner.add_label("SYMPTOM")
ner.add_label("DISEASE")
ner.add_label("DIET")
ner.add_label("BENEFIT")

# 准备训练数据
for text, annotations in training_data:
    doc = nlp.make_doc(text)
    ents = []
    for start, end, label in annotations["entities"]:
        span = doc.char_span(start, end, label=label)
        if span is not None:
            ents.append(span)
    doc.ents = ents
    # 在实际应用中，这里应该将文档添加到训练集中
    # db.add(doc)

print("自定义实体类型已添加，训练数据已准备完成")
print("下一步：使用spaCy的训练API进行模型训练")

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

# 加载英文NER模型
english_model = "dslim/bert-base-NER"
english_tokenizer = AutoTokenizer.from_pretrained(english_model)
english_model_instance = AutoModelForTokenClassification.from_pretrained(english_model)

# 创建英文NER pipeline
english_ner = pipeline("ner", model=english_model_instance, 
                      tokenizer=english_tokenizer, aggregation_strategy="simple")

# 测试英文文本
english_text = "Mark Zuckerberg founded Facebook in Menlo Park, California in 2004."
english_results = english_ner(english_text)

print("英文BERT-NER结果:")
for entity in english_results:
    print(f"实体: {entity['word']}, 类型: {entity['entity_group']}, 置信度: {entity['score']:.4f}")

# 加载中文NER模型
chinese_model = "ckiplab/bert-base-chinese-ner"
chinese_tokenizer = AutoTokenizer.from_pretrained(chinese_model)
chinese_model_instance = AutoModelForTokenClassification.from_pretrained(chinese_model)

# 创建中文NER pipeline
chinese_ner = pipeline("ner", model=chinese_model_instance, 
                      tokenizer=chinese_tokenizer, aggregation_strategy="simple")

# 测试中文文本
chinese_text = "张艺谋导演的电影《满江红》于2023年春节期间上映，取得了超过45亿票房。"
chinese_results = chinese_ner(chinese_text)

print("\n中文BERT-NER结果:")
for entity in chinese_results:
    print(f"实体: {entity['word']}, 类型: {entity['entity']}, 置信度: {entity['score']:.4f}")

# 准备示例新闻数据
def get_sample_news():
    return [
        {
            "title": "小米发布全新折叠屏手机，搭载自研芯片",
            "content": "小米集团今日在北京召开新品发布会，正式发布了备受期待的MIX Fold 5折叠屏手机。该手机搭载了小米最新的澎湃OS系统和自研的骁龙8 Gen 4处理器，配备了徕卡专业影像系统。小米CEO雷军表示，这款产品代表了公司在折叠屏领域的最新技术成果，将为用户带来全新的使用体验。据了解，该手机将于2025年7月正式上市销售。"
        },
        {
            "title": "国内首个量子计算云平台正式上线",
            "content": "由中国科学院和阿里云联合开发的国内首个量子计算云平台今日正式上线。该平台接入了100量子比特的超导量子计算机，普通开发者可以通过互联网访问量子计算资源。项目负责人表示，这标志着中国在量子计算领域迈出了重要一步，将加速量子算法研究和应用落地。据预测，到2030年，量子计算将在药物研发、金融建模等领域创造巨大价值。"
        },
        {
            "title": "新能源汽车市场竞争加剧，多家车企下调售价",
            "content": "随着新能源汽车市场竞争日益激烈，特斯拉、比亚迪、蔚来等多家车企近期纷纷宣布下调产品售价。特斯拉Model 3在中国市场的起售价已降至22万元以下，而比亚迪的部分车型降价幅度达到了10%。业内分析师认为，价格战反映了新能源汽车市场从增量竞争转向存量竞争的趋势，预计2025年中国新能源汽车销量将突破1500万辆。"
        }
    ]

import spacy

# 加载中文模型
nlp = spacy.load("zh_core_web_sm")

def process_news_article(article):
    """处理单篇新闻文章"""
    # 合并标题和内容
    full_text = article["title"] + " " + article["content"]
    
    # 使用spaCy处理文本
    doc = nlp(full_text)
    
    # 提取实体信息
    entities = []
    for ent in doc.ents:
        entities.append({
            "text": ent.text,
            "label": ent.label_,
            "start_char": ent.start_char,
            "end_char": ent.end_char
        })
    
    return {
        "title": article["title"],
        "entities": entities,
        "entity_count": len(entities)
    }

def batch_process_articles(articles):
    """批量处理多篇文章"""
    results = []
    for i, article in enumerate(articles, 1):
        result = process_news_article(article)
        results.append(result)
        print(f"已处理文章 {i}/{len(articles)}: {result['title']}")
        print(f"  识别实体数量: {result['entity_count']}")
    return results

# 测试处理管道
def test_pipeline():
    # 获取样本数据
    news_articles = get_sample_news()
    
    # 处理文章
    processed_results = batch_process_articles(news_articles)
    
    return processed_results

# 运行测试
news_results = test_pipeline()

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

def analyze_and_visualize_entities(news_results):
    # 收集所有实体
    all_entities = []
    for article in news_results:
        for entity in article['entities']:
            all_entities.append({
                "article_title": article['title'],
                "text": entity['text'],
                "label": entity['label']
            })
    
    # 创建DataFrame进行分析
    entity_df = pd.DataFrame(all_entities)
    
    # 分析实体类型分布
    label_distribution = entity_df['label'].value_counts()
    print("\n实体类型分布:")
    print(label_distribution)
    
    # 可视化实体类型分布
    plt.figure(figsize=(12, 6))
    sns.countplot(x='label', data=entity_df, order=label_distribution.index)
    plt.title('新闻文本实体类型分布')
    plt.xticks(rotation=45)
    plt.tight_layout()
    plt.savefig('entity_type_distribution.png')
    print("实体类型分布图已保存为 entity_type_distribution.png")
    
    # 分析高频实体
    top_entities = entity_df['text'].value_counts().head(10)
    print("\n出现频率最高的实体:")
    print(top_entities)
    
    # 可视化高频实体
    plt.figure(figsize=(12, 6))
    sns.barplot(x=top_entities.values, y=top_entities.index)
    plt.title('新闻文本中出现频率最高的实体')
    plt.tight_layout()
    plt.savefig('top_entities.png')
    print("高频实体图已保存为 top_entities.png")
    
    return entity_df

# 分析结果
entity_analysis = analyze_and_visualize_entities(news_results)

# 嵌套实体识别示例
import re

def recognize_nested_entities(text):
    # 初始化结果列表
    nested_entities = []
    
    # 定义嵌套实体模式（实际应用中可能来自训练或规则库）
    nested_patterns = [
        (r'清华大学计算机科学与技术系', 'ORG'),
        (r'清华大学', 'ORG'),
        (r'计算机科学与技术系', 'ORG'),
        (r'北京大学人工智能研究院', 'ORG'),
        (r'北京大学', 'ORG'),
        (r'人工智能研究院', 'ORG')
    ]
    
    # 应用模式匹配
    for pattern, label in nested_patterns:
        for match in re.finditer(pattern, text):
            nested_entities.append({
                "text": match.group(),
                "label": label,
                "start": match.start(),
                "end": match.end()
            })
    
    return nested_entities

# 测试文本
test_text = "清华大学计算机科学与技术系和北京大学人工智能研究院在自然语言处理领域展开了深度合作。"

# 识别嵌套实体
results = recognize_nested_entities(test_text)

print("嵌套实体识别结果:")
for entity in results:
    print(f"实体: {entity['text']}, 类型: {entity['label']}, 位置: {entity['start']}-{entity['end']}")

# 金融领域NER示例
import spacy
import re

def financial_ner(text):
    # 加载基础模型
    nlp = spacy.load("zh_core_web_sm")
    doc = nlp(text)
    
    # 提取通用实体
    entities = [(ent.text, ent.label_) for ent in doc.ents]
    
    # 添加金融领域特定规则
    
    # 1. 识别股票代码
    stock_code_pattern = r'[A-Z]{1,2}\d{6}'
    stock_codes = re.findall(stock_code_pattern, text)
    for code in stock_codes:
        entities.append((code, "STOCK_CODE"))
    
    # 2. 识别金融指标
    financial_indicators = ["GDP", "CPI", "PPI", "PMI", "ROE", "PE", "PB", "利率", "汇率"]
    for indicator in financial_indicators:
        if indicator in text:
            # 查找所有出现位置
            for match in re.finditer(re.escape(indicator), text):
                entities.append((indicator, "FINANCIAL_INDICATOR"))
    
    # 3. 识别货币和金额组合
    currency_pattern = r'\d+(\.\d+)?\s*[万亿元亿万千百]?[元美元欧元]'
    currencies = re.findall(currency_pattern, text)
    for currency in currencies:
        entities.append((currency[0], "FINANCIAL_VALUE"))
    
    return entities

# 测试金融文本
financial_text = "中国2025年第一季度GDP增长率为5.2%，上证指数(SH000001)上涨2.3%，平均PE比率为12.5倍，人民币兑美元汇率稳定在7.1左右。"

# 识别金融实体
financial_entities = financial_ner(financial_text)

print("金融领域NER结果:")
for entity, label in financial_entities:
    print(f"实体: {entity}, 类型: {label}")

from transformers import pipeline

def multilingual_ner_demo():
    # 加载多语言NER模型
    multilingual_ner = pipeline("ner", 
                               model="xlm-roberta-large-finetuned-conll03-english",
                               aggregation_strategy="simple")
    
    # 准备多语言测试文本
    test_texts = [
        {"lang": "英文", "text": "Elon Musk is the CEO of Tesla, Inc. based in Palo Alto."},
        {"lang": "中文", "text": "华为技术有限公司总部位于中国深圳，由任正非创立。"},
        {"lang": "法文", "text": "Paris est la capitale de la France et le siège de l'Union européenne."},
        {"lang": "西班牙文", "text": "Barcelona es una ciudad española situada en la costa mediterránea."}
    ]
    
    # 处理多语言文本
    for item in test_texts:
        print(f"\n{item['lang']}文本NER结果:")
        results = multilingual_ner(item['text'])
        if results:
            for entity in results:
                print(f"实体: {entity['word']}, 类型: {entity['entity_group']}, 置信度: {entity['score']:.4f}")
        else:
            print("未识别到实体")

# 运行多语言演示
multilingual_ner_demo()

# NER模型评估函数
def evaluate_ner_performance(true_entities, predicted_entities):
    """计算NER模型的精确率、召回率和F1分数"""
    # 转换为集合便于计算
    true_set = set((e['start'], e['end'], e['label']) for e in true_entities)
    predicted_set = set((e['start'], e['end'], e['label']) for e in predicted_entities)
    
    # 计算真正例(TP)、假正例(FP)和假负例(FN)
    tp = len(true_set.intersection(predicted_set))
    fp = len(predicted_set - true_set)
    fn = len(true_set - predicted_set)
    
    # 计算评估指标
    precision = tp / (tp + fp) if (tp + fp) > 0 else 0.0
    recall = tp / (tp + fn) if (tp + fn) > 0 else 0.0
    f1_score = 2 * precision * recall / (precision + recall) if (precision + recall) > 0 else 0.0
    
    return {
        "precision": precision,
        "recall": recall,
        "f1_score": f1_score,
        "tp": tp,
        "fp": fp,
        "fn": fn
    }

# 测试评估函数
def test_evaluation():
    # 示例真实实体
    true_entities = [
        {"start": 0, "end": 4, "label": "ORG", "text": "阿里巴巴"},
        {"start": 8, "end": 12, "label": "DATE", "text": "2025年"},
        {"start": 13, "end": 15, "label": "LOC", "text": "杭州"}
    ]
    
    # 示例预测实体
    predicted_entities = [
        {"start": 0, "end": 4, "label": "ORG", "text": "阿里巴巴"},
        {"start": 8, "end": 12, "label": "DATE", "text": "2025年"},
        {"start": 17, "end": 21, "label": "EVENT", "text": "科技峰会"}  # 错误预测
    ]
    
    # 计算评估指标
    metrics = evaluate_ner_performance(true_entities, predicted_entities)
    
    print("NER模型评估结果:")
    print(f"精确率: {metrics['precision']:.4f}")
    print(f"召回率: {metrics['recall']:.4f}")
    print(f"F1分数: {metrics['f1_score']:.4f}")
    print(f"真正例(TP): {metrics['tp']}, 假正例(FP): {metrics['fp']}, 假负例(FN): {metrics['fn']}")

# 运行评估测试
test_evaluation()

输入层 → 预处理层 → 实体识别层 → 后处理层 → 分析可视化层 → 输出层