用HarvestText自动识别实体及人物别名，用于实体链接分析

pip install --upgrade harvesttext

from harvesttext import HarvestText

ht = HarvestText()

with open("all_comments.txt", encoding="utf-8") as f:
    for i, line in enumerate(f):
        if i >= 10:
            break
        print(f"{i}: {line}")

0: 特神牛逼

1: 请教下，叶尔凡去了哪里？也不见替补哇

2: 下场上！

3: 11号请在东看台26区找我不见不散！//<a href="https://home.zhibo8.cc/user.html?platform=mobile&uid=3348048">@江苏苏宁俱乐部</a>：下场上！

4: 这场看了20分钟就走了。还好是免费的！[笑哭]

5: 心疼我的筱婷

6: 卡佩罗牛逼，敢上三个U23球员！为你****?

7: 恭喜特谢拉加入“我奶奶都能进”系列[滑稽][捂脸]

8: 视频裁判这么好用居然还有人喷，减少很多争议。耗时间只是刚开始不够专业需要时间来优化。

9: 就算耗时间得到公正判罚也值得了。

sample = '11号请在东看台26区找我不见不散！//<a href="https://home.zhibo8.cc/user.html?platform=mobile&uid=3348048">@江苏苏宁俱乐部</a>：下场上！'
print(ht.clean_text(sample))

11号请在东看台26区找我不见不散！ 下场上！

help(ht.clean_text)

Help on method clean_text in module harvesttext.harvesttext:

clean_text(text, remove_url=True, email=True, weibo_at=True, stop_terms=('转发微博',), emoji=True, weibo_topic=False, deduplicate_space=True, norm_url=False, norm_html=False, to_url=False, remove_puncts=False, remove_tags=True) method of harvesttext.harvesttext.HarvestText instance
    进行各种文本清洗操作，微博中的特殊格式，网址，email，html代码，等等
    
    :param text: 输入文本
    :param remove_url: （默认使用）是否去除网址
    :param email: （默认使用）是否去除email
    :param weibo_at: （默认使用）是否去除微博的\@相关文本
    :param stop_terms: 去除文本中的一些特定词语，默认参数为("转发微博",)
    :param emoji: （默认使用）去除\[\]包围的文本，一般是表情符号
    :param weibo_topic: （默认不使用）去除##包围的文本，一般是微博话题
    :param deduplicate_space: （默认使用）合并文本中间的多个空格为一个
    :param norm_url: （默认不使用）还原URL中的特殊字符为普通格式，如(%20转为空格)
    :param norm_html: （默认不使用）还原HTML中的特殊字符为普通格式，如(\ 转为空格)
    :param to_url: （默认不使用）将普通格式的字符转为还原URL中的特殊字符，用于请求，如(空格转为%20)
    :param remove_puncts: （默认不使用）移除所有标点符号
    :param remove_tags: （默认使用）移除所有html块
    :return: 清洗后的文本

processed_texts = []
with open("all_comments.txt", encoding="utf-8") as f:
    for line in f:
        line = ht.clean_text(line, remove_tags=True)
        if len(line) > 0:
            processed_texts.append(line)
print("\n".join(processed_texts[:10]))

特神牛逼
请教下，叶尔凡去了哪里？也不见替补哇
下场上！
11号请在东看台26区找我不见不散！ 下场上！
这场看了20分钟就走了。还好是免费的！
心疼我的筱婷
卡佩罗牛逼，敢上三个U23球员！为你****?
恭喜特谢拉加入“我奶奶都能进”系列
视频裁判这么好用居然还有人喷，减少很多争议。耗时间只是刚开始不够专业需要时间来优化。
就算耗时间得到公正判罚也值得了。

- 可能是拼写错误（“武磊”经常被写成“吴磊”）
- 是全名缩写等造成的长度变化（“广州恒大淘宝队”, “恒大淘宝队”, “恒大队”, “恒大”）
- 昵称（“特谢拉”, “特神”）
- 其他等等

%%time
em_dict, et_dict = ht.entity_discover("\n".join(processed_texts), method="NFL", threshold=0.97)
all_mentions = set(x for enty, ments in em_dict.items() for x in ments)
print(f"Num entities: {len(em_dict)}, Num mentions: {len(all_mentions)}")

Doing NER
100%|██████████| 178290/178290 [01:27<00:00, 2043.79it/s]
Pattern matching
Training fasttext
Louvain clustering
Pattern matching
Num entities: 2284, Num mentions: 3795
Wall time: 2min 34s

# 拼音的模式匹配得到
print(em_dict["武磊_人名"])

{'武磊', '吴磊'}

# 模式以及语义匹配得到
print(em_dict["恒大队_机构名"])

{'恒大队', '恒大!', '恒大', '恒大集团', '恒大淘宝队', '恒大女排'}

# 是错误的匹配，但是很有趣地体现出了语义/字面值的近似
print(em_dict["郑州_地名"])
print(em_dict["巴西国家队_机构名"])

{'郑州', '杭州', '苏州', '常州'}
{'巴西国家队', '阿根廷国家队', '韩国国家队', '西班牙国家队', '用国家队', '中国国家队', '罗国家队', '巴西国家', '国家队'}

ht.save_entity_info('./entity_info_v1.txt', em_dict, et_dict)

print("\n".join(open("./entity_info_v1.txt", encoding="utf-8").readlines(100)))

放低_其他专名||其他专名 放低||其他专名

捧杀_其他专名||其他专名 捧杀||其他专名 专杀||其他专名

更容易_其他专名||其他专名 更早||其他专名 更爽||其他专名 更容易||其他专名

双冠王_其他专名||其他专名 双冠王||其他专名

entity||类别 mention||类别 mention||类别

entity||类别 mention||类别

print(open("./entity_info_v2.txt", encoding="utf-8").read())

武磊_人名||人名 武磊||人名 吴磊||人名
郜林_人名||人名 郜林||人名
上港队_机构名||机构名 上港队||机构名 上港||机构名
恒大队_机构名||机构名 恒大||机构名 恒大队||机构名 恒大淘宝队||机构名

# 读取加载入模型
ht.load_entities("./entity_info_v2.txt")
print(ht.entity_mention_dict)
print(ht.entity_type_dict)

defaultdict(<class 'set'>, {'武磊_人名': {'武磊', '吴磊'}, '郜林_人名': {'郜林'}, '上港队_机构名': {'上港队', '上港'}, '恒大队_机构名': {'恒大淘宝队', '恒大队', '恒大'}})
{'武磊_人名': '人名', '郜林_人名': '人名', '上港队_机构名': '机构名', '恒大队_机构名': '机构名'}

inv_index = ht.build_index(processed_texts)
print(ht.get_entity_counts(processed_texts, inv_index))

{'武磊_人名': 3565, '郜林_人名': 1492, '上港队_机构名': 6517, '恒大队_机构名': 13022}

# 使用默认的内置资源建立情感词典，最负面为-1，最正面为+1
senti_dict = ht.build_sent_dict(processed_texts, scale="+-1")
# 假设实体出现的句子的情感都是体现了对其的情感，所有句子的情感的平均值代表了总体好评度
for entity in ht.entity_type_dict:
    entity_appeared_docs = ht.search_entity(entity, processed_texts, inv_index)
    docs_senti = [ht.analyse_sent(doc) for doc in entity_appeared_docs]
    avg_senti = sum(docs_senti) / len(docs_senti)
    print(f"{entity}的好评度为：{avg_senti}")

武磊_人名的好评度为：0.3005335343653094
郜林_人名的好评度为：0.2780580786707832
上港队_机构名的好评度为：0.27413765970801507
恒大队_机构名的好评度为：0.26715797690707327