首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

NER | 商品标题属性识别探索与实践

---- ©作者 | 康洪雨 单位 | 有赞科技 研究方向 | NLP/推荐算法 来自 | PaperWeekly 最近一段时间在做商品理解的工作,主要内容是从商品标题里识别出商品的一些属性标签,包括不限于品牌...主要内容: 怎么构建命名实体识别(NER)任务的标注数据 BertCRF 训练单标签识别过程及踩坑 BertCRF 训练超多标签识别过程及踩坑 CascadeBertCRF 训练超多标签识别过程及踩坑...单一标签很容易过拟合,会把不带品牌的标题里识别出一些品牌,识别出来的品牌也不对。...验证模型效果时,先定义怎么算正确:假设一个标题包含 3 个标签,预测时要把这 3 个标签都识别出来,并且标签值也要对的上,才算正确;怎么算错误:识别的标签个数少于真实的标签个数,识别的标签值和真实的对不上都算错误...对 bad case 进行分析,模型对于 1 个标题中含有多个标签时,识别效果不好,表现现象是识别不全,一般只识别出 1 个标签,统计验证数据里标签个数和样本个数的关系,这个指标算是标签个数维度的召回率

2K20

系列 | OpenVINO使用之行人属性识别

前面小编写过一系列的文章详细介绍过OpenVINO的各种应用,可以看这里回顾一下: OpenVINO开发系列文章汇总 这里分享一下如何通过OpenVINO提供的行人检测与行人属性识别模型实现一个实时的视频行人检测与属性识别的演示程序...-0002 输入格式:NCHW= [1x3x384x672] 输出格式:DetectionOut 类型 [1, 1, N, 7] 基于Caffe SSD MobileNet V1版本训练生成 行人属性识别模型...两个模型均可在intel OpenVINO的官方网站下载即可 代码实现与演示 程序基于OpenVINO的异步推断实现了视频实时的行人检测,在行人检测得到行人ROI的基础上,调用行人属性识别模型实现行人属性识别...mh, mw = pedestrian_attr_net.inputs[lm_input_blob].shape del pedestrian_attr_net 读取视频帧实现对每帧图像的行人检测与属性识别的代码如下...pedestrian_roi = pedestrian_roi.reshape((mn, mc, mh, mw)) # 行人属性识别

2.4K20
您找到你想要的搜索结果了吗?
是的
没有找到

NLP之NER:商品标题属性识别探索与实践

作者 | 康洪雨 单位 | 有赞科技 整理 | PaperWeekly 最近一段时间在做商品理解的工作,主要内容是从商品标题里识别出商品的一些属性标签,包括不限于品牌、颜色、领型、适用人群、尺码等等...主要内容: 怎么构建命名实体识别(NER)任务的标注数据 BertCRF 训练单标签识别过程及踩坑 BertCRF 训练超多标签识别过程及踩坑 CascadeBertCRF 训练超多标签识别过程及踩坑...单一标签很容易过拟合,会把不带品牌的标题里识别出一些品牌,识别出来的品牌也不对。...验证模型效果时,先定义怎么算正确:假设一个标题包含 3 个标签,预测时要把这 3 个标签都识别出来,并且标签值也要对的上,才算正确;怎么算错误:识别的标签个数少于真实的标签个数,识别的标签值和真实的对不上都算错误...对 bad case 进行分析,模型对于 1 个标题中含有多个标签时,识别效果不好,表现现象是识别不全,一般只识别出 1 个标签,统计验证数据里标签个数和样本个数的关系,这个指标算是标签个数维度的召回率

1.5K50

JDAI-Face | 新型人脸属性识别系统技术解析

现有的人脸属性识别方法主要是针对单一任务,如限制于年龄估计、性别识别等某一单项任务预测。对于多个属性识别算法,现有单任务的人脸属性算法很难扩展至多任务的属性识别。...因此,设计多任务的人脸属性算法,同时预测出人脸的多个属性,并开发出相应的多任务人脸属性识别实时系统,仍然是研究的难点。...京东AI研究院目前推出一种新型的人脸属性识别系统——JDAI-Face,在实时多任务人脸属性识别上取得重大进展。...>>>> 京东人脸属性识别系统主要流程 该系统首先检测图片中的人脸,对于检测到的每张人脸,识别各项人脸属性,包括性别、种族、年龄、笑脸、颜值等信息,主要流程包括人脸检测,关键点定位,人脸校正和属性识别四个部分...下图显示,对齐之后的人脸眼睛已在水平线上,可直接用于人脸属性识别。 ? 人脸属性识别。用户感兴趣的人脸属性包含很多,比如人脸的年龄、性别、表情、种族、胡子,及是否佩戴饰品等等类型。

2.4K30

swift 属性(存储属性、计算属性、懒加载属性、类型属性)

存储属性 存储属性:用于存储一个常量或变量 结构体实例赋值给常量,该实例属性不能被修改(因为结构体属于值类型,当值类型的实例被声明为常量的时候,它的所有属性也就成了常量) struct Teacher...name = "" var age = 0 } let stu = Student() stu.name = "good student" 懒加载属性 懒加载属性:是指当第一次被调用的时候才会计算其初始值的属性...在属性声明前使用 lazy 来表示延迟存储属性 注意:必须将延迟存储属性声明成变量,因为属性的初始值可能在实例构造完成之后才会得到。...在父类初始化方法调用之前,子类给属性赋值时,观察器不会被调用 类型属性 类型属性:是指属性属于某一个类的而不是属于某一个对象的。...可以认为所有的实例公用这个属性 类型属性必须有默认值 使用关键字 static 来定义类型属性 class Student: NSObject { static var studentNum:Int

17610

网络表情NLP(一)︱颜文字表情实体识别属性检测、新颜发现

相关代码可见我的github:py-yanwenzi 相关文章: 网络表情NLP(一)︱颜文字表情实体识别属性检测、新颜发现 网络表情NLP(二)︱特殊表情包+emoji识别 文章目录 1 混用的几个库...新颜文字发现 3.2 颜文字属性识别 1 混用的几个库 这里混用了几个笔者常用的文本处理的库, jieba_fast,相比jieba,jieba_fast 使用cpython重写了jieba分词库中计算...,是不带属性的({'↖(^ω^)↗':'_高兴_'}),所以要么就是人工打标然后给入,当然也可以直接list方式,此时属性就会都指定为_颜文字_ 3.2 颜文字属性识别 上面3.1提及到一个问题是新颜文字识别出来之后...,没有附带上属性,就像实体词没有定义词性一样。...所以,这边通过求相似的方式来找到最相似的表情,将最相似的表情属性,继承过来。这边求相似的方式是使用rouge这是文本摘要评价指标。

1.2K20

EMNLP 2020 | 开放域对话系统的属性一致性识别

已有的研究工作主要探索了如何将属性信息融合到对话回复中[1,2,3,4],但是很少有人研究如何理解、识别对话系统的回复与其预设属性之间的一致性关系。...该数据集包含了超过11万组的单轮对话及其键值对属性信息,并且对回复和属性信息之间的一致性关系进行了人工标注。 在此基础上,我们提出了一个键值对结构信息增强的BERT模型来识别回复的属性一致性。...更进一步,我们在两个下游任务上验证了属性一致性识别模型的效果。实验结果表明,属性一致性识别模型有助于提高开放域对话回复的一致性。...其中,一致和矛盾都是针对说话者自身的属性而言的;如果包含属性信息但是非说话人的属性,则会被标注为无关。KvPI数据集的构建使得有效训练对话一致性识别模型成为可能。...我们在KvPI数据集以及其中的各个子属性上进行了大量的实验,以充分验证模型的一致性识别能力。和已有的工作类似,我们使用准确率(accuracy)作为主要评价指标。

1.1K20
领券