ROBOTS第一案尘埃落定：尊重行业协议

“拖了”近一年的百度起诉360不正当竞争案终于尘埃落定，百度起诉360违反ROBOTS协议抓取和复制知道、百科等百度数据，索赔1亿元人民币的官司在去年10月开庭审理。因为ROBOTS协议复杂性导致此案一直悬而未决，今日一审判决结果为，360违反《反不正当竞争法》相关规定，赔偿百度70万元。法院同时驳回百度其他要求。这是中国首例ROBOTS协议纠纷诉讼，判决结果具有极强示范意义。这场官司历时一年才得以宣判，在于其存在两大症结：ROBOTS协议是否受到法律保护和UGC（用户创造内容）的数据所有权的争议。

法律尊重ROBOTS协议的行业规则

Robots协议是网站站长与搜索引擎之间共同讨论后形成，通过Robots.txt落地。网站站长用它决定对搜索引擎的开放程度，可指定哪些内容可以被搜索引擎抓取，哪些不可以；也可以指明对那个搜索引擎开放，或者对哪个不开放。

限制某个搜索引擎，Robots初衷是限制“BadRob”，即坏爬虫。所谓坏，是指存在安全或隐私问题，抑或太高频率爬取导致服务器压力。随着互联网竞争的加剧，ROBOTS俨然成为互联网竞争的工具。拥有数据的网站可以选择对竞争对手不开放数据，对合作伙伴则洞开大门。此前便曾发生淘宝限制百度ROBOTS、苏宁和京东限制淘宝一淘，以及最近的百度限制360搜索爬虫。在UC推出神马搜索之后，百度ROBOTS同样“例行性”地对其进行了屏蔽。

网站利用ROBOTS协议的出发点并不重要。尽管ROBOTS有违互联网开放和共享的精神，但一家商业公司利用行业公认的协议保护数据和利益，限制竞争对手，是正常不过的商业行为。问题在于，ROBOTS协议是行业规约，违反它只是契约问题，并没有明确的法律依据，执法部门在这一点上有着不少弹性。全球范围看，几例ROBOTS纠纷诉讼也有完全不同的判决结果。

在百度与360的官司中，法院并没有给予ROBOTS协议明确的法律地位，而是尊重了行业规则。法院认为，在本案中，原告（百度）网站在不知晓被告（360）提供搜索引擎服务的前提下没有将360加入ROBOTS白名单并无不当。在360推出搜索引擎双方争议升级时，在行政机关和行业协议积极接入调处，被告明确表示希望抓取原告内容的的前提下，百度并没有充分阐明如此设置ROBOTS的理由，又拒绝修改ROBOTS协议，因此其申请判令禁止被告抓取其内容的主张不应得到支持。

这意味着：1、如果ROBOTS没有充分理由而对搜索引擎进行限制，搜索引擎是可以绕开ROBOTS进行内容抓取的，这对搜索引擎来说，是好消息；2、ROBOTS协议本身是用来应对“BADROB”（坏爬虫），而不应该是恶性竞争。

UGC数据权利归属明确：平台拥有管理权

百度在04年做出一个重要决策，即构建自己的内容频道，先后推出了贴吧、知道和百科，这些频道产生的流量在整个中国互联网占据着相当可观的比例，是搜索引擎结果中不可或缺的内容。在Google、百度等搜索引擎结果中知道的问题、百科的词条出现的比例都非常之高。在搜索引擎纷纷进入知识图谱时代之后，自有内容更加重要，因为它们是图谱构建的核心数据。

搜狗、360纷纷推出自己的问答、百科这样的UGC内容频道。数据的积累需要时间，为了能够快速提升搜索体验和原始数据积累，360选择打“擦边球”违反ROBOTS协议对百度数据进行抓取和复制，这样做风险很小的原因是：网民创造的内容放在百度服务器上，擅自抓取的是网民的数据，而不是百度创造的。

本次官司意味着UGC内容的创建者是谁并不重要，搭建平台网站投入运营、技术和人力成本，拥有对数据的使用权和分发权。这是360被判赔70万的核心原因。法院认为，360在推出搜索引擎之初以及准备阶段，没有遵循行业内公认的、应当被遵循的商业道德，在初期没有遵循百度ROBOTS协议，行为明显不当，应当承担相应不利后果，民事赔偿经济损失费50万元，网站建设费20万元。

这意味着：1、互联网企业应该尊重行业内公认、应当被遵循的商业道德；2、UGC平台对其上的UGC内容拥有管理的权限，被抓取前有知情权，也可在理由充分时通过ROBOTS保护内容，拒绝被抓取。中国互联网在进入WEB2.0时代之后，利用众包力量产生内容已经成为主流。视频、文章、帖子、问答、百科、攻略……每个行业都有UGC巨头，它们的用户创造内容的权益保护有了前例可以遵循。

互联网行业尚在“规矩”时代

ROBOTS协议利用有违互联网的开放要义，将UGC数据据为己有，则违背了互联网的分享精神，互联网巨头则有裹挟用户和数据割据之嫌。360正是不服百度数据对所有搜索引擎都开放，却偏偏不对360爬虫开放的“制裁”，踩着灰色地带去破坏规矩——尚称不上法律。

在任何社会领域，如果既定规则并不合理，合适的处理方式有两种：要么循规蹈矩遵守它，要么推动规则改变。理论上来说没有完美的制度，从政治到商业到游戏均是如此。相关角色只有在遵循现有制度的情况之下，推动制度不断完善，才能确保整个系统正常运转。360破坏既有规矩，因此缴纳了70万元的学费。同时ROBOTS协议的初心是为了避免坏爬虫，而不是限制对手，百度无法将数据据为己有。

10多年来，互联网行业高速发展，配套制度建设很难跟上来。电商的税收和假货问题，视频的版权问题，网络内容的著作权，用户的隐私保护……都还处于亟待完善的阶段。互联网从业者只有遵守既定的行业规则，才可避免恶性竞争，避免拖慢互联网的发展进程。360和百度的官司结果，可以说是对百度和360都各打一大板，警示其他互联网企业应该遵守行业规则，良性竞争。

ROBOTS官司只是个案，它给互联网的数据归属和保护规则带来借鉴意义。随着互联网加速接管实体世界，配套制度正在、也必须尽快完善，因为规矩解决不了所有问题。