基于知识图谱的文本自动注释(python+html)

央视网消息：北京时间6月30日晚22点，2018年俄罗斯世界杯1/8决赛迎来一场强强对话，欧洲豪门法国队迎战南美劲旅阿根廷。上半场比赛姆巴佩制造点球，格列兹曼主罚命中，而且任意球还击中横梁，迪马利亚世界波扳平比分，半场战罢，法国暂时1-1平阿根廷。下半场梅尔卡多打进1球，帕瓦尔破门，姆巴佩梅开二度，阿圭罗补时破门，法国队最终4-3击败阿根廷，成为第一支打进8强的球队，未来将对阵乌拉圭和葡萄牙的胜者。

# coding=utf-8
import urllib.request
import codecs
from time import sleep
import json
import os

entitylinking_api = u"http://shuyantech.com/api/entitylinking/cutsegment?q="
avpair_api = "http://shuyantech.com/api/cndbpedia/avpair?q="

zh2url = lambda x: str(x.encode("utf-8"))[2:-1].replace(u"\\x",u"%").replace(" ", "%20")

text0 = "世界杯"
print(text0.encode("utf-8"),zh2url(text0))

b'\xe4\xb8\x96\xe7\x95\x8c\xe6\x9d\xaf' %e4%b8%96%e7%95%8c%e6%9d%af

def getPage(url):
    try:
        page = urllib.request.urlopen(url)
        html0 = page.read()
        sleep(2)
        return html0
    except:
        print("error at %s" % url)
        return ""

url0 = avpair_api+zh2url("任意球")
html0 = getPage(url0)
print(url0)

http://shuyantech.com/api/cndbpedia/avpair?q=%e4%bb%bb%e6%84%8f%e7%90%83

data = json.loads(html0)
print("status:{}".format(data["status"]))
for (attribute, value) in data["ret"]:
    print("{}:{}".format(attribute, value))

status:ok
用途:犯规后重新开始比赛
分类:直接任意球
分类:间接任意球
任意球大师:C罗
任意球大师:贝克汉姆
任意球大师:卡洛斯
任意球大师:梅西
CATEGORY_ZH:足球
CATEGORY_ZH:体育
DESC:任意球是一种在足球（或手球）比赛中发生犯规后重新开始比赛的方法。任意球分两种：直接任意球（踢球队员可将球直接射入犯规队球门得分）及间接任意球（踢球队员不得直接射门得分，球在进入球门前必须被其他队员踢或触及）。国际足联最新规则为，判罚任意球后会使用一种泡沫喷剂划定球的摆放位置，以及人墙的站位，发任意球时需要用手触球，然后再裁判哨响后踢球。
CATEGORY_ZH:体育项目
中文名:任意球
外文名:free kick
运动:足球
运动:手球
规定:在罚球区内

url0 = entitylinking_api+zh2url("北京时间6月30日晚22点，2018年俄罗斯世界杯1/8决赛迎来一场强强对话，欧洲豪门法国队迎战南美劲旅阿根廷。")
html0 = getPage(url0)
print(url0)

http://shuyantech.com/api/entitylinking/cutsegment?q=%e5%8c%97%e4%ba%ac%e6%97%b6%e9%97%b46%e6%9c%8830%e6%97%a5%e6%99%9a22%e7%82%b9%ef%bc%8c2018%e5%b9%b4%e4%bf%84%e7%bd%97%e6%96%af%e4%b8%96%e7%95%8c%e6%9d%af1/8%e5%86%b3%e8%b5%9b%e8%bf%8e%e6%9d%a5%e4%b8%80%e5%9c%ba%e5%bc%ba%e5%bc%ba%e5%af%b9%e8%af%9d%ef%bc%8c%e6%ac%a7%e6%b4%b2%e8%b1%aa%e9%97%a8%e6%b3%95%e5%9b%bd%e9%98%9f%e8%bf%8e%e6%88%98%e5%8d%97%e7%be%8e%e5%8a%b2%e6%97%85%e9%98%bf%e6%a0%b9%e5%bb%b7%e3%80%82

data = json.loads(html0)

print("分词结果：" + " ".join(data["cuts"]))
print("识别实体：")
for pos, entity in data["entities"]:
    print(pos,entity)

分词结果：北京时间 6月30日 晚 22点 ， 2018年俄罗斯世界杯 1 / 8 决赛 迎来 一场 强强 对话 ， 欧洲 豪门 法国队 迎战 南美 劲旅 阿根廷 。
识别实体：
[0, 4] 北京时间（中国国家标准时间）
[14, 25] 2018年俄罗斯世界杯
[39, 41] 欧洲（地球七大洲之一）
[43, 46] 法国国家男子足球队
[52, 55] 阿根廷（阿根廷共和国）

origin_text = "而且任意球还击中横梁"
l,r,origin_entity0 = 2,5,"任意球"                                                       # 来自实体链接
href0 = "https://baike.baidu.com/item/" + zh2url(origin_entity0)
annotation = "任意球是一种在足球（或手球）比赛中发生犯规后重新开始比赛的方法。"           # 一般使用实体的"DESC"属性
annotated = r'<a href="%s" title="%s">%s</a>' % (href0,annotation,origin_entity0)
annotated_text = origin_text[:l] + annotated + origin_text[r:]                            # 插入原文链接
print(annotated_text)

而且<a href="https://baike.baidu.com/item/%e4%bb%bb%e6%84%8f%e7%90%83" title="任意球是一种在足球（或手球）比赛中发生犯规后重新开始比赛的方法。">任意球</a>还击中横梁