Python爬虫的法律边界(二)小爬怡情,大爬over!

数据抓取的门槛越来越低,会点程序,或使用网络工具都可以薅点数据,新入行了不少爬虫选手,但是对抓取使用数据的法律风险可能缺少认识。尤其是从去年的《网络安全法》实施开始,被新闻公开报道的相关法律诉讼已有好几起。

有人会争议互联网本质是鼓励分享,很多UGC的网站内容还是用户贡献的,网络公开数据应该都可以使用。

我也希望是这样,但现实不是这样。

所以抓取数据前你最好看下被抓对象的知识产权申明,如果你是公司职员也关心下公司让你抓取数据的用途,多少了解下潜在风险。

以下是几个典型的爬虫选手爱光顾的网站知识产权申明。

经常抓点评数据的小哥们看下,上述是点评网的知识产权申明:用户发布的商店点评,评论,图片知识产权属于大众点评,未经许可,任何使用都是非法。

上述是微博的申明,未经书面许可,任何抓取微博内容都是非法抓取。爬虫老哥们有哪一个没抓过微博的?

上述是穷游网的知识产品申明,用户发布的旅游攻略所有权是穷游网的。

上述是比较典型的几个UGC网站,做点评的,做社交的,做攻略的。创业公司数据冷启动时,有几个没有抓过他们家的数据?

这个潜在风险是存在的,就看你有没被对方顶上。

以下是几个法院判决案例:

大众点评诉讼百度地图非法使用点评数据,百度败诉,赔钱。

来自网易新闻

酷米客状告车来了非法抓取他家的公交信息,车来了败诉,车来了老板被三年刑期缓刑。

来自金融界百家号

新三板上市公司“数据堂”,公司业务是数据标注和数据交易,他家也是大量抓取数据。后涉嫌倒卖用户数据,公司高管被起诉。

从上面可以看出:

大公司斗法输了赔钱,小公司输了是人身自由。

还是那句,爬虫有风险,开爬要谨慎。

什么样的行为容易踩雷:

  • 双方业务是竞争关系,比如:上述酷米客和车来了都是提供公交信息查询。
  • 有商业利益关系。比如:上述点评网和百度地图。
  • 涉及用户隐私。
  • 你的爬虫扰乱了对方的业务,遭对方狠,比如前一篇所讲的刷搜索引擎排名。

法院的定罪依据条例有哪些:

  • 《刑法》第285条,非法获取计算机信息系统数据罪。 最高处七年有期徒刑。比如 上述车来了案例。
  • 《刑法》第286条,破坏计算机信息系统罪。 最高处五年以上。比如为了抓取数据,破解登陆密码,反编译APP。
  • 《网络安全法》,倒卖隐私数据链条上的一环。 你把抓取的数据倒卖给坏人,坏人拿数据做了坏事,你就是这其中一环。

以下是一些引起争议的话题,我以问答对的形式展开。

问:百度,谷歌是世界最大的爬虫工厂,他们为什么没遭殃呢?

答:这涉及商业利益,用户在搜索引擎点击链接后,流量会引回被抓取网站,某方面来说是一个双赢。对方没被必要去搞百度。

谷歌在欧洲其实遇到了一些问题,欧洲一些新闻媒体认为谷歌抓取他们的内容,谷歌应该向他们支付费用。

今日头条之前把抓取的新闻内容留在自己网站上,而不是跳转回对方网站,这其实是违法的,所以也遭遇了十几起的诉讼,这主要还是商业利益问题。现在内容创业你抓取的内容,最好只提供摘要,全文链接要跳回对方网站。

问:公司让我抓的,跟我没关系?

答:错!上图。

《刑法》第285条解释,对公司处罚金,直接主管和直接人员也game over。

所以公司的损失是钱,你和项目主管的损失可能是人身自由。

问:互联网是公开的,UGC内容为什么不能用?

答:上面说UGC网站的知识产权已经申明清楚了,而我们在注册这些网站账号时,你也就默认认可了这个协议,这是受法律认可的。

问:robots.txt能限制爬虫吗?

答:不能。那只是一个不成文的约定,一没有法律效应,二也没有强制作用。道德感强点的也许会遵守robots.txt规定。就算你在robots.txt里写明了不允许搜索引擎爬虫抓取,搜索公司照样若如无人之地来光顾你的网站。

而且,现在一些搜索公司的爬虫已经不会把user-agent都写成Spider字样了,有的user-agent都是正常浏览器的头信息,有兴趣的,可以看下你家网站web服务器的访问日志IP记录。

问:提供爬虫工具的有风险吗?

答:有!上图。

还是《刑法》第285条,提供工具的,一样有上述风险。比如网络上某某爬虫软件,可以直接帮助抓取很多网站数据,万一使用数据的人干出惊天大案,这有连带责任。

但上述都是商业公司的商业竞争行为,相互斗法,个人爬虫爱好者的风险较小。但随着数据安全,网络安全,用户隐私方面的法律越来越健全,很容易踩雷。

但你要遵守一个规则:小爬怡情,大爬over。

还是那句:不要直接商用抓取的数据,不要涉及用户隐私数据,

在老板让你抓数据前,先把这篇文章留给他看下。

注:所写文章的初衷是希望爬虫选手们了解抓取和运用数据的潜在风险。

注:若你涉及相关上述法律问题,请咨询专业的知识产权律师,上文不是专业建议。

如果你依然在编程的世界里迷茫,不知道自己的未来规划,可以加入我们的Python学习扣qun:784758214,看看前辈们是如何学习的!交流经验! 自己是一名高级python开发工程师,从基础的python脚本到web开发、爬虫、django、人工智能、数据挖掘等,零基础到项目实战的资料都有整理。 送给每一位python的小伙伴!分享一些学习的方法和需要注意的小细节,这里是python学习者聚集地

点击:python技术分享

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券