专栏首页人工智能头条我猜,你还不知道数据标注公司在做什么吧?

我猜,你还不知道数据标注公司在做什么吧?

大多数AI实验室、初创型AI公司在发展初期如果雇佣大量的人力进行数据标注,就不得不面临下面两种处境: 首先对公司的管理方面就是巨大的挑战,在研发产品的同时还得把大量精力放在如何管理大量标注人员身上。 其次大量全职的标注人员的薪酬对于初创型公司和研究实验室也是一个不小的挑战.....

01

基础架构

数据标注行业,一个因为人工智能崛起而新兴的行业。

大多数AI实验室、初创型AI公司在发展初期如果雇佣大量的人力进行数据标注,就不得不面临下面两种处境:

首先对公司的管理方面就是巨大的挑战,在研发产品的同时还得把大量精力放在如何管理大量标注人员身上。

其次大量全职的标注人员的薪酬对于初创型公司和研究实验室也是一个不小的挑战。

为了更好的协调AI公司、AI实验室与群体标注人员的供需关系,本文中所指的标注公司就是在这样的大背景下,应需而生。

那么问题来了,如何运营一家标注公司呢?

本文先从最基础的标注公司架构开始介绍,不同阶段的标注公司的运营是有差别的。

最基础的标注公司应该具备以下4点:

· 标注员

这也是组成标注公司最重要的一点,有一批优秀的标注员一定可以让你的公司事半功倍。

那么怎么样的标注员才能算是优秀呢?这里有几个衡量标准:首先数据标注的终端是AI、是人工智能。

数据标注的最终数据是为计算机服务的,所以越精细的标注对计算机的训练越高效,这就要求我们的标注员一定要是一个细心认真的人。

越细心、越认真,标注数据的精细度就越有保证。

其次,因为需要标注的数据的场景是千变万化的,会有各种各样复杂的场景出现,这就要求我们的标注员要有较强的观察能力。

观察能力越强的人,标注出的物体轮廓也就离物品的真实轮廓越相近,越准确。

最后,因为数据标注在单一的场景中需要重复一个或者几个动作,除去判断,这种重复的劳动是相对比较枯燥的,这就要求我们的标注员需要有耐心能够坐得住。

越有耐心,能坐得住,标注数据的稳定性就越有保证。

· 审核员

审核员一般都是从优秀的标注员中挑选出来的。

因为数据标注是一个类似于熟能生巧的行业,一个标注员接触过的标注对象越多,场景越复杂,那么他也就越有可能更快、更准确的判断出复杂场景中的被标注元素,这些都是靠时间和经验堆积出来的。

自身是一个优秀的标注员,这种标注员在审核时会同样把自身对标注的要求传达给其他标注员,这对于提升标注数据的整体质量是有很好的帮助带动作用。

· 项目经理

项目经理主要就是对于项目组的各个成员(包括标注员和审核员)的管理,项目经理最好是能够有一定的AI基础。

有AI基础的项目经理,在和上游需求公司对接的时候能够供轻松的进入项目本身,能够更快更准确的了解上游公司标注的具体需求,减少沟通时间的同时,避免因为沟通规则上的误差导致下游标注员重复返工的情况。

· 运营总监

运营总监严格意义上也就是公司的创始人了,运营总监基本上就是奔波于各类 AI 企业,各种 AI 实验室,说简单一些就是寻找需求方。至于可能大家比较关心的怎么找,本文后续会有更多详细介绍。

人工智能或者说AI会成为未来的趋势,已经是大势所趋,不论国外还是国内的互联网科技巨头都在布局 AI 产业,从谷歌、亚马逊、Facebook 到阿里巴巴、腾讯、百度、京东都在积极的布局自己的 AI 体系。

与此同时,我们国家的决策层提出:人工智能是引领这一轮科技革命和产业变革的战略性技术,具有溢出带动性很强的“头雁”效应。

02

市场结构

由于上游客户的需求可能千变万化,同时客户的需求很大概率都是阶段性的,这就要求众包公司合作的大众志愿者首先自身得是稳定的。 但是由于大众志愿者就是利用闲散时间进行工作的这种特性,长期稳定的大众志愿者几乎不太可能,这就要求数据标注众包公司必须拥有庞大的大众志愿者团队,形成一个体系。 才能保证在发放任务的时候总是有充足的大众志愿者进行合作.....

随着 AI 浪潮的斩头露角,数据标注行业也犹如雨后春笋般蓬勃的发展起来。

本文就目前国内数据标注行业存在的几个阶段性结构特征进行展开,让更多想了解数据标注的 AI公司、AI 实验室、准备加入数据标注的朋友们,快速熟悉目前数据标注行业的现状和运营数据标注公司应该注意的若干问题。

数据标注市场目前有下面几种结构:

· 众包结构

顾名思义,就是把需要完成的任务分发给大众志愿者(也就是市场上说的兼职)。这其中就出现了众包公司。

众包公司联系到需求数据标注的客户,和客户建立合作关系后,将客户需求传达给合作的大众志愿者,从而形成一个“需求公司——数据标注众包公司——多个大众志愿者”这样一个众包结构 。

这种众包结构的优点就是可以组织起社会上的大众志愿者进行数据标注,而大众志愿者不用占用太多的公司资源,劳动力成本相对较低。

对于数据标注众包公司费用支出的核心——人工来说,无疑是可以极大的减少公司的运营成本,从而使公司自身在面对需求数据标注的客户时的报价更具有竞争力。

当然,众包结构的缺点和优点一样显而易见,甚至可以说它的缺点已经慢慢的大过了它的优点,为什么这么说呢?

需要拥有大量的志愿者基数,由于上游客户的需求可能千变万化,同时客户的需求很大概率都是阶段性的,这就要求众包公司合作的大众志愿者首先自身得是稳定的。

但是由于大众志愿者就是利用闲散时间进行工作的这种特性,长期稳定的大众志愿者几乎不太可能,这就要求数据标注众包公司必须拥有庞大的大众志愿者团队,形成一个体系。

才能保证在发放任务的时候总是有充足的大众志愿者进行合作。

沟通成本高昂,而当大众志愿者的数量能够满足任务要求时,我们又不得不面对另一个事实:

数据标注众包公司在与需求公司洽谈合作时只能有针对性的进行数据标注类型的选择。

如果在选择数据标注项目上普遍撒网,就会面对公司自身需要投入巨大的精力去培训那些不断更迭的大众志愿者。

而很多时候公司在大众志愿者合作方面节约下来的成本,其实已经全部转嫁到了公司培训、纠错诸如此类的沟通环节。

数据保密困难,目前国内的AI公司,AI实验室还没有形成井喷之势。但就现阶段而言依然有众多AI公司,AI实验室在进行着高度重叠的产品研发。

对于有标注需求的公司来说,如果被标注数据都是真金白银获取来的,那么倘若在众包环节众包公司处理不当,很有可能AI公司辛苦获取的数据就成了其他AI公司的嫁衣。

无法给予需求公司灵活的服务,因为大众志愿者拥有流动性的特点,一旦需求公司改变原有标注需求,数据标注众包公司是没有办法在较短的时间进行调整的。

同时,数据标注众包公司的客户群体也相对单一,由于大众志愿者的群体特点,数据标注众包公司只能把更多精力放在需要大批量数据标注,同时标注规则相对简单的需求公司。

但是AI的训练是一个阶段性的过程,基本上都是:小批量找特征训练——较小批量简单场景训练——较小批量复杂场景训练——大批量训练。

在数据标注众包公司砍掉处在第一阶段的AI公司和AI实验室的时候,其实也就是砍掉了相当一部分潜在客户。

· 工厂结构

有了众包结构里的兼职架构,下面就着重介绍一下全职架构,也就是工厂结构。

工厂结构相较于众包结构形式上要简单一些,省去了中间众包商这个环节,进而形成了一个“需求公司——数据工厂”这样的工厂结构。

相较于数据众包公司,数据工厂的优点就是标注人员稳定,能做到需求方和数据标注方即时沟通,沟通成本大大降低。

同时,由于数据是以一对一的形式进行传递的,也大大降低了数据被泄露的可能性。

虽然工厂结构可以有效的规避很多众包结构中存在的种种问题,但是依旧有很多问题他是没办法解决的,那我们就看看有哪些问题工厂结构解决不了呢?

选择标注公司的困难,在市场上可能有成百上千个工厂结构的数据标注公司,但是有数据标注需求的公司应该如何选择呢?

如果没有选择正确的标注公司,不仅得不到高质量的标注数据,更有可能因为数据大批量不合格而重复返工,进而耽误了原本项目的工期。

而在这个AI公司百家争鸣的时代,时间才是最重要的,谁的产品最先出世,也就最有机会获得资本的垂青。

但是有标注需求的公司如何在众生百态的标注市场中选择一个质量和效率双重过硬的公司其实是一件非常困难的事情。

工厂结构公司两极分化,因为各种各样的原因,工厂结构的公司两极化很明显:较大的可以达到上千人;而较小的,只有几个人。

因为两级分化的原因,市场现在就会出现一个很有意思的现象:

大的公司很少会去对接短期且数据量较少的项目,因为承接较少的数据量对于一个较大的工厂结构的标注公司来说很有可能都不够公司日常的管理运营成本;

反之,小的标注公司可以承接短期数据量较少的项目,但是在大批量数据杀到的时候,又会显得捉襟见肘,难以承接。

人工成本风险较高,首先因为是全职,不论有没有任务,都涉及一个员工薪酬的发放。

其次,需求方公司的需求有大概率是呈周期性的,就是有可能这周公司有项目做,下周可能就没有了。

这就会映射出一个工厂结构的数据标注公司非常尴尬的处境:合同期限内需要完成的大项目可能需要大量人员进行参与。

可是一旦合同结束了,公司却又没有找到后续能够进行人员分配的项目,这就会给数据标注公司的运营带来挑战。

· 众包+工厂结构

有了众包和工厂结构的总结,我们不难发现,他们各有各的优点,也各有各的缺点。这里提出的众包+工厂结构,其实就是将两者进行了优缺点的融合,扬长避短。

那么大家肯定会有疑问,怎么融合呢?如何才能将这两种结构很好的在实际操作中统一起来呢,欢迎大家持续关注微博,在后面的篇幅里,会有详细介绍。

本文分享自微信公众号 - 人工智能头条(AI_Thinker)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 我猜,你还不知道数据标注公司在做什么吧?(2)

    《我猜,你还不知道数据标注公司在做什么吧?》中我们提到的资源,也就是数据标注公司要面对的甲方:AI公司、AI企业、AI研究所。那么问题来了,人工智能公司、人工智...

    用户1737318
  • 一起来看看词性标注

    本文根据自己的学习过程以及查阅相关资料的理解,对自然语言基础技术之词性标注进行了相对全面的简绍,包括定义、目前的难点以及常见方法,还推荐了一大波 Python ...

    用户1737318
  • 写给大家看的机器学习书【Part2】训练数据长什么样?机器学到的模型是什么?

    用户1737318
  • 学界 | 通过Crowd Layer,利用众包标注数据集进行深度学习

    选自arXiv 机器之心编译 参与:刘晓坤、路雪 本文通过在深度神经网络中引入一种新型众包层(crowd layer),通过反向传播方式,直接利用噪声标签实现端...

    机器之心
  • 论文推荐 | 商汤 ECCV 2018 精选论文:基于模型共识的大规模无标注数据标签传播方法

    Zhan Xiaohang /Liu Ziwei /Yan Junjie /Lin Dahua /Loy Chen Change

    AI研习社
  • 视频 | NeurIPS 2019分享:华为诺亚方舟提出基于少量数据的神经网络模型压缩技术

    在上周四的第二期分享中,华为诺亚方舟实验室研究员许奕星为大家详细解读了大会接收的这篇 Spotlight 论文《Positive-Unlabeled Compr...

    机器之心
  • 初识计算机和编程简单运用

       能够执行的操作:+加  -减   *乘   //正除   **次方   %取模

    py3study
  • 开放的一天,吴恩达、谷歌、Facebook纷纷开源数据集

    在这篇文章中,我们将介绍这几天开源的三种数据集,它们与已有的通用数据集都不太一样,且更关注精细化的任务。例如在谷歌开源的 QA 数据集中,它里面都是真实的搜索问...

    机器之心
  • 2018-06-13 关于Java集合的小抄

    Albert陈凯
  • 我,女生,AI工程师

    2017年8月17日,主讲人曾经做过一个分享:《我,女生,程序员》,讲述了自己从非计算机专业转行成为程序员的经历。

    叶锦鲤

扫码关注云+社区

领取腾讯云代金券