快播CEO认罪,成人网站对技术的要求有多高?

声明:本文从技术角度讨论成人网站,内容完全健康,其中所涉及的网站名称、网址均作了替换。原文标题“在整个互联网中,成人网站有多大?”文章由伯乐在线 - 黄利民 翻译自 extremetech。摘自程序员的那些事(微信号:iProgrammer)http://blog.jobbole.com/12479

快播涉传播淫秽物品案昨日在海淀法院开庭审理。快播公司、王欣、张克东、牛文举均表示认罪悔罪。吴铭表示快播公司犯罪成立。

庭前法院委托鉴定机关,对涉案的四台缓存服务器的硬盘数据是否受到改写污染问题进行了鉴定。鉴定结论是:未发现硬盘中的视频文件在2013年11月18日被行政机关扣押后,有从外部拷入和修改的痕迹。

再次开庭,王欣的态度和半年前截然不同。在2016年1月的庭审中,王欣则是否认快播传播淫秽视频,王欣称,涉案四台服务器是加速服务器。服务器留存的文件是缓存文件,快播无法轻易辨别。

在整场快播案庭审的剧目中,王欣那句“技术无罪”,博得了无数网友的同情和支持。大数据文摘今日也只从技术角度探讨,从数据规模、基础设施等方面说明,成人网站对技术的要求到底有多高。

◆ ◆

成人网站对技术的要求到底有多高

上网之人,多少都会接触过成人网站。这是一个举世公认的事实。

不过这是一个难以洞察的领域,因为相关数据少之又少。我们知道成人网站都是那些在互联网上有着超高流量的网站。根据 Google DoubleClick 的 Ad Planner 服务(通过cookie跟踪网民)显示,全球 Top 500 网站中,就有数十个成人网站。全球最大的色情网站 Xvideos 每月网页浏览量(Page Views,PV)高达 44 亿,是 CNN 或 ESPN 新闻网站的 3 倍,是 Reddit 的 2 倍。LiveJasmin 也不小。除了 Google 和 Facebook 等大站,其他网站在YouPorn、Tube8 和 PornHub 面前都是小巫见大巫。

虽然网页浏览量是一个很好的起始点,但它们仅告诉我们某些色情网站比某些非色情网站要受欢迎。40亿的PV,听起来很多,但当我们把那些X站用户实际在做的事考虑进来,成人网站的大小和规模就有点明朗了。

◆ ◆

规模

色情网站和非色情网站的主页区别是访客的平均停留时间。诸如 Engadget 等新闻网站的平均停留时间是 3 – 6 分钟,大约是是阅读 1 – 2 篇文章。然而色情网站的停留时间,大约是在 15 – 20 分钟。

大部分网站的内容主要是文本和图像,而成人大站则是视频。EXT首页完全加载大约是几兆数据,打开一篇文章,大约是500kb数据。访问色情网站,假设是打开一个 480×200 低分辨率的视频,每秒传输 100 kb 数据。15 分钟的话,那就大约是 90 MB 数据了。

XVDO 每月有 3.5 亿访问次数,乘以 90 MB,那就每月传输大约 29 PB 数据,也就是每秒传送数据约 50 GB。做个对比,你家网络连接可能每秒传送两兆(2 MB),XVDO是你家的 25,000 倍。

简而言之,色情网站是在处理天文数字级别的数据。在原始带宽(Raw Bandwidth)方面,能与之匹敌的网站,也就只有 YouTube 或 Hulu,而 YouPorn 却又是 Hulu 的 6 倍。

◆ ◆

基础设施

就支持视频所需的资源,数据存储器、CPU 周期、I/O 和带宽,远超过文本和图像所需要的资源。

当然了,虽然每个网站的情况又不一样了,但大部分成人站点都有 50 至 200 TB 的成人资料。对一个网站来说,这是个大数目(Google、Facebook、Blogger 和 Youtube 之流存储的数据比这还要多),好在现在 2 TB 的硬盘便宜。

CPU 周期和 I/O 会影响视频流和 PV 数量。首先,色情网站要提供动态、可搜索的海量视频数据库,然后点播视频时,从硬盘读取文件,再网络上传输。如果你有过在局域网传送大量大文件的经历,你就会知道网络系统的压力有多大了。

硬件设备情况,实际上我们几乎无法知晓,因为色情网站也没公布过。虽然如此,但我们讨论的大型色情网站会有四核服务器、千兆交换机、负载均衡器。在软件方面,大部分大型色情网站都会使用超高吞吐量的数据库(比如 Redis )来存储和提供视频,还有轻量级的 HTTP 服务器(比如 Nginx )。

最后说带宽。还是以 Xvideos 为例(基于 Ad Planner 的数据估测),大型色情网站必须有足够的连通性(connectivity)来支撑每秒 50 GB(400Gbps )。这还只是平均传输速率。在高峰期间,Xvideos 或许要 1,000Gbps (1Tbps) ,或更高 。在伦敦和纽约直接的连通性也才 15Tbps。

有很多方法来处理高流量:自己搞个数据中心,或者去大数据中心租赁几排架的服务器,或者使用诸如 Amazon AWS 和 Microsoft Azure 之类的云服务。

◆ ◆

真实案例

YPN是全球第二大的色情网站,足够提供研究数据。另外要说一下,DoubleClick 的 Ad Planner 中的估测数据比实际数据要低很多的。

YPN有“超过 100 TB 的干货”,每天网页浏览量超过 1 亿。总而言,这相当于每天传送 950 TB 数据(大部分都是视频流),每月大约传送 29 PB。Xvideos 肯定不止 28 PB 这个估测值了,它可能是每月 35 – 40 TB。

在高峰期,YPN每秒得响应 4000 个网页,相当于有每秒 100 GB 或(800 Gbps )的突发流量。这相当月每秒传送 10+ 张双层 DVD。

在软件方面,YPN的主数据库是 Redis,用 MySQL 作为管理工具,用于管理和向 Redis 簇中添加数据。后端是 Perl 和 MySQL,不过在 2011 年改成了 PHP + Redis。HTTP 服务器是 Nginx,同时用 HAProxy 和 Varnish 做负载均衡。Redis 服务器可以每秒处理 30 万请求,每小时记录下 8 – 15 GB数据,包括访客日志、行为数据等。据说 Redis 可以抗住 2 亿的日 PV。

(译注:2012年2月份,YPN的技术人员 Eric Pickup 在 Google 群组宣告他们网站改用 Redis DB 后。扛住了每天1亿PV浏览量,每秒30万请求,已经坚持 2 周。Eric 还将去加拿大一个技术大会分享经验。)

令人悲伤的是,YPN拒绝透露硬件设备信息。从 YPN的 CDN 的 IP 地址来看,它应该没有使用云服务,应该托管在某地的大型数据中心。

互联网每天大约处理 1/2 EB 数据,相当于每秒处理 50Tb, YPN的 800Gbps 这个数字,几乎就占了互联网中每秒流量的 2%。而全球有几十个和 YouPorn 规模相当的色情网站。互联网流量中色情内容占据了 30%,这个说法也就不是不现实的哦。

(译注:1 EB = 1024 PB = 1024 * 1024 TB = 1024 * 1024 * 1024 GB)

The internet really is for porn.

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2016-09-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

【运维故事】记一次系统重大升级的经历

16130
来自专栏区块链

当心银行卡被盗刷,这个信息里的链接不要点,可能有病毒…………

现在,手机短信诈骗、网络诈骗可以说是防不胜防、铺天盖地,稍不留神就会中招。 近日,市民孙先生因为打开了一条祝福短信的链接网址,结果自己手机自动群发短信,通讯录里...

22070
来自专栏知晓程序

本周最新 10 款小程序,快来选出你最爱的那个 | 晓榜 #21

如果感到无聊,不妨用「微博热门」小程序,看看最流行的微博,热门资讯、搞笑视频,总有一款是你爱的。

7010
来自专栏Jerry的SAP技术分享

SAP数据中心概述

Jerry的前一篇文章企业数字化转型与SAP云平台介绍了SAP云平台在企业数字化转型中的重要地位和作用。作为一个平台即服务(PaaS)解决方案, SAP云平台实...

25020
来自专栏python开发者

Android和Linux应用综合对比分析

原文地址:http://www.cnblogs.com/beer/p/3325242.html 免责声明:     当时写完这篇调查报告,给同事看了后,他觉得...

76560
来自专栏安智客

关于eID你需要了解的是?

公安部第三研究所在2017年国家网络安全宣传周上,展示了网络电子身份标识(eID),今天我们来聊一聊eID。 ? 什么是eID? 类似于FIDO联盟的干掉密码...

40060
来自专栏企鹅号快讯

开源软件十位贡献者,PHP之父只能排第十,第一名当之无愧!

1. 林纳斯·本纳第克特·托瓦兹 外文名:Linus Benedict Torvalds 别 名:Linux之父 ? 著名的电脑程序员、黑客。Linux内核的发...

22980
来自专栏FreeBuf

入侵监狱网站篡改记录帮朋友提前释放?结果自己也进去了

上周一名密西根人因入侵Washtenaw县监狱被捕,原因竟然是他想修改监狱记录,好让朋友提前释放。 这名男子名叫Konrads Voits,27岁,来自密西根...

25650
来自专栏FreeBuf

黑科技再现 | 黑客通过智能水壶窃取Wifi密码

The Pen Test Partners的研究员Ken Munro,在伦敦某场节目里他演示了如何连上目标的智能水壶,然后窃取你的Wifi密码。 轻松黑掉你的智...

25070
来自专栏安恒信息

黑客可以通过扬声器侵入电脑

借用人耳听不到的声波入侵电脑,然后通过系统的扬声器进行传输,听上去像是电影中的情节。但是,两名德国研究者表示,这种事并不只是传说。在一篇于11月份发表在《通讯期...

31150

扫码关注云+社区

领取腾讯云代金券