机器学习数据采集入门经验分享

摘要:PredictionIO总结了数据收集任务中的一些好的实践,能够降低你在机器学习数据收集时的数据清理工作以及数据浪费。这些经验包括:要收集所有数据,每个事件的时间戳,避免序列化和二进制,查询时间和使用队列服务等。

在新的一年里,很多人都在思考如何利用机器学习(ML)算法来提高产品或服务的质量。

PredictionIO公司与许多公司合作,部署他们的第一个ML系统和大数据基础设施。PredictionIO总结了数据收集任务中的一些好的实践,并愿意与你分享这些经验。

如果你正在考虑采用ML,以正确的格式收集正确的数据,将会降低你的数据清理工作以及数据浪费。

要收集所有数据

收集所有数据是非常重要的。除非你真正训练一个预测模型,否则你将很难知道哪个属性哪些信息具有预测价值,并提供最好的结果。 如果一条信息没有收集到,我们就没有办法获取它,并永远地失去它了。存储成本的低廉,也使得你可以收集一切与你的应用程序、产品或服务相关的数据。

这里有两个例子:

  • 在产品推荐中,收集用户标识符、物品(即产品)标识和行为数据包括评分是非常重要的。 其他相关属性,如类别、描述、价格等数据,对于推荐模型的提升也是有用的。隐含的行为,如意见,可能比显性评分更加有用。
  • 在预测泰坦尼克号乘客的生存上,我们凭直觉知道,乘客的年龄、性别等属性和结果是有关联的。 其他属性如船上儿童的数目、车费和客舱可能是也可能不是有用的信息。在你开始建立预测模型之前,你很难知道哪些方面将会对预测最有价值。

存储日志是一种常见的解决方案;他们以后可以提取、转换和加载来训练你的机器学习模型。

每个事件的时间戳

每个事件的时间戳都是很重要的,尤其是对于用户的动作或行为数据来说。时间戳能够阻止我们在构建机器学习模型时出现先窥偏差(Look-ahead Bias)。

PredictionIO提供支持最佳实践的Event Server或“基于事件的风格”收集数据。这意味着一切被视为有时间戳的事件而收集,不管他是一个用户(例如“Sarah Connor”),一件物品(例如“终结者”),或者一个用户对物品的操作(“Sarah Connor查看终结者“)。

举个例子,创建用户Sarah Connor:

{
  "event" : "new_user",
  "entityType" : "user"
  "entityId" : "de305d54-75b4-431b-adb2-eb6b9e546013",
  "properties" : {
    "name" : "Sarah Connor",
    "age" : 19,
    "email" : "sarah.connor@sky.net",
    "gender" : "Female"
   }
  "eventTime" : "1984-10-26T21:39:45.618-07:00"
}

注意,entityId我们使用了通用唯一标识符(UUID),而eventTime我们使用ISO 8601的格式。

保持属性一致性

使用一致的属性值。如果性别使用了“Female”,最好往后保持使用相同的符号,而不是以“F”或“female”或“girl”来替代。 当你删除了一项特征,你应该将之从训练集之中排除。你可以清理与该特征相关联的数据并重新导入。 当您添加一个新的特征,回填字段的默认值是重要的。

避免序列化和二进制

在Event Server 中,“属性”区域允许任何形式自由的JSON对象。为了方便,我们可以存储一个转义JSON字符串作为该区域之一。 然而,序列化可能会混淆数据,使之变成一个不可用的点。举例如下:

错误的代码:

{
  "event" : "new_user",
  "entityType" : "user"
  "entityId" : "de305d54-75b4-431b-adb2-eb6b9e546013",
  "properties" : {
    "name" : "Sarah Connor",
    "age" : 19,
    "email" : "sarah.connor@sky.net",
    "gender" : "Female",
    "car": "{\r\n \"make\": \"Honda\",\r\n \"model\": \"Fit\",\r\n \"trim\": \"Sport\",\r\n \"year\": 2015\r\n}"
  }
  "eventTime" : "1984-10-26T21:39:45.618-07:00"
}

正确的代码 :

{
  "event" : "new_user",
  "entityType" : "user"
  "entityId" : "de305d54-75b4-431b-adb2-eb6b9e546013",
  "properties" : {
    "name" : "Sarah Connor",
    "age" : 19,
    "email" : "sarah.connor@sky.net",
    "gender" : "Female",
    "car": {
      "make": "Honda",
      "model": "Fit",
      "trim": "Sport",
      "year": 2015
    }
  }
  "eventTime" : "1984-10-26T21:39:45.618-07:00"
}

可能的例外是当序列化大幅降低存储空间时。例如,你可能希望使用Protocol Buffer来存储数据,并把它们作为二进制字符串序列化。 这样做可以节省5倍的存储空间,但它会使你的数据不可解析。更糟糕的是,如果你失去了你的消息定义文件,数据将会永久丢失。 除非你的数据大小有谷歌或亚马逊那样的规模,不然这可能不值得。

查询时间

大型数据集的查询是耗时的工作。PredictionIO Event Server 通过(entityId,entityType)索引数据。 如果你想有效地查询,根据你的需要选择“entityId”和“entityType”。

使用队列服务

建议使用消息队列机制将事件数据传递到Event Store。如果Event Store暂时不可用,消息将驻留在队列中,直到它被处理。 数据不会丢失。

原文发布于微信公众号 - 人工智能头条(AI_Thinker)

原文发表时间:2015-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯技术工程官方号的专栏

腾讯容器云平台GaiaStack亮相kubeCon

KubeCon + CloudNativeCon 首次登陆中国上海。这意味着中国Kubernetes 爱好者们齐聚上海来参与这场全球范围内最大的 Kuberne...

13.1K30
来自专栏云成本管理

云成本管理方法论(二)——云使用管理

本篇文章将基于云成本管理模型对云使用管理中四个管理维度(管理对象、管理时点、判定规则和管理措施)进行更具体的分析。

50150
来自专栏大数据挖掘DT机器学习

机器学习数据采集入门经验分享

在新的一年里,很多人都在思考如何利用机器学习(ML)算法来提高产品或服务的质量。 PredictionIO公司与许多公司合作,部署他们的第一个ML系统和大数据基...

42680
来自专栏瓜大三哥

FPGA内部资源介绍

36520
来自专栏Crossin的编程教室

微信小游戏“跳一跳”,Python“外挂”已上线

微信又一次不声不响地搞了个大事情: “小游戏”上线了! ? 于是,在这辞旧迎新的时刻,毫无意外的又火了。 今天有多少人刷了,让我看到你们的双手! ? 喏,我已经...

337100
来自专栏美团技术团队

业务赋能利器之外卖特征档案

应用背景及现状 美团外卖业务自2013年9月启动至今已运营三年时间。截至2016年12月,美团点评整个外卖平台的日订单超过900万。从发展速度和体量上看,外卖业...

42670
来自专栏企鹅号快讯

PowerStager:一款拥有独特混淆技术的恶意工具正在崛起

“用指尖改变世界” ? Palo Alto Networks公司警告说,自2017年4月以来,一种恶意工具已经成为人们关注的焦点之一。这主要原因是由于它采用了相...

22770
来自专栏谈补锅

apns关于APP数字角标的理解

  前两天群里有兄弟在吐槽,做远程推送的时候:老板要求APP桌面图标的右上角显示红色未读数字(数字角标)要精准,有多少未读通知就显示数字几;但是后台的弟兄在发送...

23230
来自专栏挖数

这5款可视化利器,让数据在屏幕上跳舞

用好可视化工具,往往对枯燥的数据有点石成金的效果,今天挖数给大家推荐5款数据可视化的利器,一起让数据灵动起来! PowerBI 微软出品,与Excel无缝连接...

33470
来自专栏数据的力量

google的搜索技巧

17280

扫码关注云+社区

领取腾讯云代金券