开发 | Twitter客户支持数据集公布:来自大企业的超百万条推文与回复

AI科技评论消息,近日,Kaggle平台上公布了Twitter客户支持数据集,这个数据集包括来自大企业的超百万条推文与回复,大家可以利用这个数据集做很多有意思的工作。数据集的具体信息如下所示,AI科技评论编辑整理如下:

Twitter客户支持数据集(Customer Support)是一个庞大的推文与回复语料库,这个数据集比较现代化,有助于自然语言理解和会话模型的创新,也对客户支持实践与影响效果的相关研究有所帮助。

背景

自然语言处理(NLP)目前仍然需要密集的编码方式,NLP中的创新加速了对数据的理解,但是驱动这一创新的数据集与现在真正使用的语言不太匹配。

Twitter客户支持数据集里有Twitter上大量的用户和公司的客户支持中心之间的对话语料库,这个语料库的语言主要是英文,比起其他会话文本数据集有三个主要优势:

聚焦——这个数据集里的数据主要是用户联系客户支持中心来解决特定的问题的对话,他们讨论的问题类型相对来说较少,当与reddit语料库(reddit Corpus)等不受约束的对话数据集相比,这种情况更甚。

自然——这个数据集里的用户覆盖面要比Ubuntu对话语料库(Ubuntu Dialogue Corpus)更广。比起Cornell电影对话语料库(Cornell Movie Dialogs Corpus),这个数据集中有更多更自然和更常用的输入文本。

简洁——由于Twitter上对话的简洁性,客户支持中心会回复得更自然,关于问题和解决方案的描述都会会有过多废话,这也便于利用循环网络,可以使得信息的限制相对较低。

有意思的问题

这个数据集的大小和覆盖范围激发了许多有意思的问题:

我们能预测公司客户支持中心的回答吗?考虑到每个公司处理的问题都是在某个范围内,答案看起来是肯定的!

用户的请求会过时吗?最好的公司反应速度有多快,与最糟糕的公司相比呢?

在局部聚类(topical clustering)时,能学习到高质量的稠密嵌入(dense embedding)或相似性表现吗?

语气是如何影响客户支持中心与用户的对话的?说对不起有用吗?

内容

数据集是CSV格式,每一行为一条推文。对列的描述如下所示,每段对话至少包含一条用户请求和一条公司回复。可以用inbound字段来计算哪个用户ID是公司用户ID。

tweet_id

推文ID,匿名,每条推文只有一个此类ID,response_tweet_id和in_response_to_tweet_id中有引用到这个ID。

author_id

用户ID,匿名,每个用户只有一个此类ID,数据集中的@被与用户相关的用户ID替换掉了。

inbound

用户的请求推文是否被那些在推特上进行客户支持的公司“归档(inbound)”。该特征在训练会话模型时的数据重组阶段非常有用。

created_at

发推文的日期和时间

text

推文内容。电话号码和电子邮箱等敏感信息用__email__等类似句段来掩盖。

response_tweet_id

与请求推文相关的回复推文ID,用逗号隔开。

in_response_to_tweet_id

该条推文所回复的推文ID(如果存在)

数据集下载地址:https://www.kaggle.com/soaxelbrooke/customer-support-on-twitter

via:Kaggle

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-11-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

基于Spark的机器学习经验

作者简介 祝威廉目前在乐视云数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础框架,搜索研发四年,大数据平台架构、推荐三年多,个人时间现专注于集...

2085
来自专栏IT派

谷歌文本转语音系统更新 可选择学习模型

据外媒报道,近日,谷歌更新了其云端文本转语音(Cloud Text-to-Speech)API。

1140
来自专栏机器之心

业界 | 哪家GPU云提供商最合适?也许这份评测能给你答案

选自RARE Technologies 作者:Shiva Manne 机器之心编译 参与:Panda 做深度学习开发和实验既可以选择自己搭建硬件平台(参阅《深度...

3429
来自专栏大数据挖掘DT机器学习

如何利用机器学习分类模型,构建商业关键词推荐系统

以下内容均基于百度关键词推荐系统进行讨论 本文内容主要集中在使用机器学习方法判断两个短文本的相关性为基础构建商业关键词推荐系统。 为方便读者理解, 会先介绍该技...

2796
来自专栏木东居士的专栏

数据仓库中的模型设计

2532
来自专栏Albert陈凯

CPU与GPU区别大揭秘

有网友在网上提问:“为什么现在更多需要用的是 GPU 而不是 CPU,比如挖矿甚至破解密码? ”以下是比较准确靠谱的回答:   1、现在更多被需要的依然是CP...

4083
来自专栏韩伟的专栏

在游戏上使用面向目标行为规划系统

本文为本人的翻译文章,原文《Applying Goal-Oriented Planning for Games 》连接为: http://alumni.me...

3027
来自专栏量子位

DeepMind推出更难的机器阅读理解数据集,要让AI读懂整本书

夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 在机器阅读理解界的ImageNet——SQuAD挑战赛中,排在前几名的算法,都能拿到八十多分的成绩。...

3294
来自专栏WOLFRAM

Wolfram Mathematica 使用入门培训

1013
来自专栏大数据挖掘DT机器学习

数据库数据挖掘知识点总结(Microsoft 时序算法)

前言 本篇文章同样是继续微软系列挖掘算法总结,前几篇主要是基于状态离散值或连续值进行推测和预测,所用的算法主要是三种:Microsoft决策树分析算法、Micr...

35210

扫码关注云+社区