数据驱动下的数字视频广告创新

本文共5900字，建议阅读时间12分钟

本文整理自2015年1月9日硅谷领先的互联网视频广告技术服务提供商Free Wheel高级副总裁王迪先生，在清华大数据“技术•前沿”系列讲座上，为清华师生及清华大数据产业联合会的业界人士所做的题为《数据驱动下的数字视频广告创新》的精彩讲座。

内容摘要

1、美国及世界的电视和电视广告市场的发展趋势

2、数字视频广告的产品创新

3、数据驱动下的技术挑战：动态广告投放、广告预测和受众定向、跨屏货币统一

4、数据洞察

5、广告系统架构

本次讲座主要有以下几方面的内容：

数据或大数据在互联网视频广告或未来数字视频广告中，会有什么应用；而且它在美国电视和电视广告市场会有哪些发展趋势；FreeWheel作为行业最领先的系统功能平台，在过去的七年做了哪些工作。在这些工作中会有哪些产品和技术方面的挑战，通过三个例子讲数据的作用。

后面还会讲一下数据的洞察，就是说积累了数据之后发现了什么样的规律最后给大家看一下广告系统的架构。所以面向的主题更加偏向工程师和产品经理的方向。

今天，数字（网络）视频广告市场还只有传统电视广告的十分之一。而未来，电视业务将大部分升级至基于IP的互动业态。TV Everywhere(电视无处不在)，进入包括PC,移动，平板，OTT&互联网电视，IPTV在内的多屏双向动态广告时代。

而视频广告市场的增长，也将更多地来自互联网电视和OTT机顶盒电视。下一次更换的也将会是联网的电视机了。FreeWheel的创始人在2007年创办公司的时候，就认为网络视频在未来，会成为互联网的主流媒体形态。

电视业务的定义将不再局限于传输方式和屏幕，“电视内容即电视”。今天，有20%的内容观看已发生在传统的电视播放渠道之外，因而统一的跨屏和跨合作伙伴的电视业务运营是必需的！一些数据统计结果如上图所示（美国市场情况）

以下展示美国数字视频广告市场的一些产品模式创新的案例。

音乐视频网站VEVO在Youtube进行频道联营，其业务模式为VEVO拥有节目版权（比如Ladygaga最新视频），与Youtube建立合作，VEVO拥有优先广告售卖权，广告播出后给Youtube分成；如VEVO无广告，则用Youtube广告回填，此时Youtube反向分成给VEVO，所以这是个双向的交易。

例如当在YouTube上搜索LadyGaga时，出现的就是VEVO公司的专有视频，其中会有品牌销售的广告（如这个例子中的Adidas）。

那么谁来卖广告，广告收入在各家之间如何分配，当前如何投放广告对于受众来说是最友好的，需要有平台来做决策引擎，这背后的decisionengine(决策引擎）就是FreeWheel。

视频伴随广告将播放器内、外部的广告资源打通，包装成一个广告产品，统一销售。例如Fox官网的电视剧频道。好处是可以将视频（左侧）和展示广告（右侧的静态页面广告）资源进行绑定，提高附加值和销售溢价，使广告库存产生融合，产生1+1大于2的效果。

视频伴随广告的另一个例子，MTV官网：一个视频广告（左侧）和两个Flash的页面广告F（上侧和右侧）。

VEVO的视频广告：这是在OTT和互联网电视上的视频广告例子。

通过采取更加灵活的广告位行业赞助售卖的方式替代传统的CPD，这里给出一个例子：Ford按照传统CPD方式购买资源，假设需要花费$100，买断全部广告位，但Ford并没有足够的广告填充所有的广告位库存，因而造成库存的浪费。

注：全站赞助CPD(Cost Per Day)即买断整天的广告位，按天计价，而不管流量多少。

媒体商可以采取行业赞助方式售卖，而非CPD（整天买断）方式，而开放其他广告位资源给非竞品（非竞争对手产品），则即保证了品牌Ford的诉求，降低了其开销（本例仅需花费$75），又可以使流量产生更多的收益，例如本例中可以将库存以行业排他方式售卖给Pepsi和AT&T，获取更多的总和收益。

广告库存（广告位的设计）和用户体验之间的平衡设计是视频媒体运营的难点。广告位设置位置、时长不理想，用户体验不佳，跳转率增加影响总库存；而广告位过少或设置不合理，则浪费了潜在商业机会。

对于媒体运营、库存经理和销售人员构成严重挑战，通常需要做大量的数据支撑和A/B测试。能否根据视频内容质量、观看设备、用户行为动态地自动生成广告位？

如果不管视频时间长短，都前置一个60秒的广告，这样用户体验显然有可能很糟糕，很可能导致用户直接跳走，进而损失了后面的许多广告机会。

根据内容、时长、中断位置、用户行为与广告形态自动生成广告位，带来效率和客户体验的提升。

传统电视的全媒体运营案例:体育赛事内容提供商ESPN在FIFA世界杯期间，在其主站、Youtube专属频道、合作网站、移动应用对比赛进行直播，并进行跨平台统一广告经营。当然这是与FreeWheel合作实现的。

上述产品创新的背后会大量地用到数据，并带来相应的技术挑战。

动态广告投放要解决的问题：在策略预设的条件下根据多种定向约束条件，自动化决策广告的每一次投放竞争，支持按量售卖。

其本质是多约束条件下的最优化问题（NPC）。约束条件包括：客户的优先级；订单CPM报价、预算；投放的流量目标；库存稀缺性；订单执行的完成率；投放节奏等。

优化的目标包括：收入最大化；广告的投放完成率等；视频广告业务要求从用户发起观看，到内容中的全部广告决策返回，通常在300ms以内完成（包括网络延时），是典型的计算密集应用。

动态广告也一个是M选N的问题，即从M个广告里选出N个放到当前的广告位中，这个过程要考虑很多约束，就像一个漏斗一样把合适的广告筛选出来。

对于这个模型，FreeWheel做了很多研究和优化，从数学上来讲这类似于一个线性规划问题，有时是NPC（多约束条件下最优化）的完成问题，不可能在最短时间内求出最优解，所以要做很多近似的优化。

还有投放节奏，如平均投放（比如希望每天都有曝光）和尽快投放（比如春节前的一段时期），实际中大多数广告主选择的是介于平均投放和尽快投放之间的投放策略。

动态广告投放中的一个技术难点是对峰值的处理，本例给出了峰值流量与日常流量的对比。体育赛事直播提供商ESPN，今年夏天转播世界杯比赛，而前一个是NBA的季后赛。

可以看到由于体育赛事的直播周期性特征，NBA总决赛期间的在线峰值用户是平时的几十倍，而接踵而来的世界杯赛事又是NBA总决赛峰值的10倍。这是两周之内发生的峰值变化。

峰值的出现比较集中，每秒单机请求数过万，为了降低拥塞，需要预先做好规划和优化的工作，包括in-mem cache, NoSQL等缓存机制。

将峰值放大，可以看到一个秒级的分布，这些分析对于优化工作有很重要的意义。如果探针测不准的话，很可能就不知道一个峰值在某一秒确切的值是多少。

投放状况的实时分析（秒级延迟），采取典型的流式计算和概率计数的方法。内部使用的实时分析可视化工具：有投放量 观看数 点击数，还有这边的把流量按不同媒体来源的细分分布，这给实时运营的带来参考。

另一个大数据挑战是广告的预测。广告是一个期货交易，要在很早之前进行交易，广告库存的变化会导致广告的价格变化、如何做到广告的价值和售卖最大化。

预测所要解决的问题，如上所述。预测对于广告业务极端重要，因为品牌视频广告大量是期货性交易（考虑到优质库存的稀缺性），即购买行为发生在投放前三个月甚至更早，所以在购买时需要回答可买多少、以什么样的价格购买、是否存在竞争等问题，购买后还要保证库存的预留。

而由于每日实际流量、内容、订单的变动，一次性的历史预测往往存在较大误差，因此预测结果需要每日刷新，综合趋势判断。

预测的准确性对销售的影响非常大。由于现实情况的不断变动，所以要有一个预测的频率，如每日预测。

预测系统的展示，综合数据、报表和趋势图。

库存组合预测的每一行代表一个媒介资源，例如剧集或网站，表格中预测其未来三个月的库存总量，可售卖余量和已预售百分比。

广告预测趋势图展示每个特定campaign在整个生命周期的可用库存预测、实际投放结果、竞争广告列表、报价区间、供需对比等。

有些高亮提示预警有不健康的状况存在。

视频和其他媒体非常不同的一点，在于其流量的波动性，一个新内容（比如周播综艺节目）上线后，往往在最初的几天最火，一周后进入下降通道，直至成为长尾流量，如图所示。

因而基于内容定向的广告订单投放，其投放节奏会收到流量波动的影响，如果遵循传统的平均预算，则可能会浪费前期过剩流量，而后期导致投放不足；我们发明了“预测指导的投放优化”，通过数据分析，由预测引擎反馈给投放引擎，在尽量遵循平均的前提下，根据流量预测曲线自动调整投放节奏，尽量保证订单预算的投放完成。

预测除了指导销售，还可以优化投放本身。“预测指导的投放优化”算法，其线下积分的面积等于预算。

一个客户基于预测的订单投放完成率的优化结果，优化的目标是希望达成最多订单在投放期结束时完成全部的预算。

上一代广告系统投放的结果：每个黄色三角是一个实际订单的投放结果，超过100%为过量投放(流量浪费)，而低于100%则投放不足(需要打折或补量，是最差情况：据说在美国只完成90%的话要打6折)。可以看到只有65%的订单结束时投放完成。

使用FW系统之后的投放结果：绿色圆点，90%的订单可投放完成，过量投放的浪费大幅减少，仅此一项，年收入提高17%

对于那些最终投放不足的订单，预测系统多次预测（黑线）的平均值（黄线）与最终投放结果（蓝柱）基本吻合。

预测可以成为运维的有力工具，对订单及早预警，提醒广告主或媒体运营进行干预，减少最后时刻发现投放不足又无法及时补量的风险。这个预测系统的价值在于解决了一个交易的风险问题。

受众定向是当今互联网广告的主流技术，其主要功能是提供广告主针对人群属性（包含人口统计学分类和行为标签分类）的定向投放功能，而受限于大部分互联网受众的匿名性，要了解行为背后的受众成为一个难点，这里涉及到对第一方数据和第三方数据的整合。

第一方——即媒体或广告主积攒的受众数据，第三方——专门从事跨站用户行为数据的搜集、处理、标签化和交易的独立服务提供商或DMP。

第一方的特点是数据量小，但比较精准；而第三方的数据量较大，但质量不如第一方，且更新频繁。

目前尚没有覆盖全部受众的完美方案，因此需要结合多方数据进行受众管理。随着在网络上访问的痕迹越来越多，就会在用户身上打上越来越多的标签。

广告业务中受众数据的建立过程：

1.用户发起观看请求

2.广告服务器在决策广告的同时，向数据提供商（Data Provider）发起用户同步请求（cookie mapping）

3.数据提供商定期将新增用户及更新的用户标签信息发回广告系统，经同步服务器处理后，导入到UserDB(NoSQL)

4.广告服务器集群从中心化的UserDB中查询用户标签属性

可以看出在广告主的需求下，美国视频媒体公司对受众定向的需求在过去两年快速增加，也导致了用户数据库的快速增长。由于每次广告请求都需要实时查询受众数据，该中心服务必须高效可靠。

红色的标注说明了采用技术的演进xi

现在FreeWheel上，跑了大约全美国大约1/4的视频广告。

今天综合运用第一方和第三方数据，仅能平均识别在线受众的40%（大部分基于cookie机制）。40%的流量可被识别，但是识别的准不准，不知道，但这已经是目前最好的情况。

传统收视率提供商Nielsen推出的OCR(Online Campaign Rating)和comScore推出的vCE(valid Campaign Essential)试图建立在线视频观看Impression与电视收视率GRP(Gross Rating Point)之间的对应关系（结合社交媒体数据），打通电视广告购买的多屏测量货币(Measurement Currency)。

FW推出基于Rating的广告规划产品，通过batch processing结合预测算法提高在线广告的用户定向投放准确率，并可以GRP方式提供报表。

不同的屏计价的方法不同：传统的电视使用收视率来进行媒体投放和广告价格测算，而在互联网上大量使用的是“展示”和“点击”，这两者之间最大的区别在于：

电视收视率的体系是抽样调查，在今天多屏的情况下收到了极大的挑战。

网络的管理平台可以获得所有观看数据，即可以获得全样本数据，但是不知道另一端的“人”的情况。所以需要跨屏的测量体系。

跨平台的信息匹配关系，打通测量体系的意义：

1、能够把网络的收视率转成电视收视率的指标，那么网络广告的价格就可以和电视广告的价格对应起来，现在网络广告的价格比起电视广告还差得太远；

2、在网络上有精准的用户定位能力，用尽量少的曝光覆盖到尽量大的目标用户人群，使得广告流量的使用更加有效，提升媒体的变现能力。

互联网广告是一个典型的数据支撑的业务，FreeWheel的平台上运行了美国约1/4的视频广告流量，以下分享一些视频广告业务的数据洞察。

FreeWheel视频货币化季度报告，2011年底开始每季度发布。节目内容越好，时间越长，投放广告越多，货币化能力越强。

广告主结算的依据有可能要参考观看完成率。观看完成率是指用户把广告100%地看完，而不是看了一部分就跳走了。

各个品类节目中广告的趋势。

创意时长主要为15秒和30秒，而且30秒的广告越来越多。

OTT的量现在不是特别大，但是有一个特点是在OTT上看长视频的比例超过了一半，做长视频广告比较有潜力。比较新数据：FreeWheel的客户中,使用OTT和移动终端看视频的比例，已经超过20%。

广告管理服务的数据业务架构，从业务的角度来说是一个云计算。FreeWheel是一个跨平台的广告系统，所以基本上与所有主流的平台都会做对接，如Android、iOS甚至是X_Box游戏机。

后台数据处理系统的演化历史：

2009Infrastructure rewrite using cpp (wasJava)

2009Pivoting/Rollup for reducing data size

2009 Premium data option

2009 MRMA 1.0 based on MSTR

2009 Replicate multiple DBinstances

2010Group level reporting

2010Sharding by clients for more scalability

2011On-demand lookup based on memcached

2011MRMA 2.0 with new workflow

2012 Storage engineswitched to InfoBright: it saved our storage and the timecost of report query apparently,

2012 MSTR memory issue (upgraded tomstr921), customized work based on mstr API.

2013 Log matching based on leveldb

蓝线是FreeWheel系统当中服务的广告数量的增长曲线，绿线是数据库存储行数的度量。

左边的标注是蓝色线的量级，表示每天多少百万次的广告展示，右边标注是每一天增量的数据库行数。

目前每天数据库的增量已经达到了一亿条，而每条记录的保存时间为18个月，因此系统会面临很多数据存储和处理上的挑战。

其中，Infobright对稀疏矩阵有极大地压缩性，能压缩四五十倍。后台团队跑的速度要比业务增长的快！

FreeWheel是美国最为领先的第三方数字视频广告管理技术和服务提供商，创建于2007年，总部位于美国硅谷，由DoubleClick公司三位前高管创建，并获得包括迪斯尼，特纳广播公司和DirecTV的战略投资，在纽约、伦敦、北京设有分支，员工近300人。北京负责全部的产品研发，有150多人。

FreeWheel的使命是帮助媒体公司在数字时代最大化挖掘内容的商业价值，并提供端到端的企业级媒体运营SAAS解决方案。

FreeWheel的产品已服务于包括AOL，NBC，Fox，DirecTV，维亚康姆(Viacom)，特纳(Turner)，探索频道，英国天空广播公司(Sky)、Channel 4等知名客户，70% 美国有线电视媒体和运营商的数字视频广告业务使用FreeWheel的服务。

公司还是NBCU 2012年伦敦奥运会、2014索契冬奥会和ESPN 2010/2014年FIFA世界杯官网直播视频的广告技术合作伙伴，并被《商业周刊》在2009年评选为全球50佳最具吸引力新创企业。

2014年3月，FreeWheel宣布被康卡斯特(Comcast)媒体集团收购。

FreeWheel通过了业内最严格的权威第三方认证并领导建立视频广告的技术标准，以保证其广告管理、投放、追踪和测量的方法、数据指标符合行业规范并具有公信力。

这些认证包括：

美国互动广告局(Internet Advertising Bureau) : IAB

媒介视听率评级委员会(Media Rating Council): MRC

美国注册会计师协会(American Institute of Certified Public Accountants) : SAS70/SOC1

在美国视频广告领域，FreeWheel不但严格遵从，更积极推动行业标准和规范的制定。公司作为技术委员会成员，从2008年起一直协助IAB制定并推广互联网视频和移动视频广告系列标准VAST/VMAP/VPAID/MRAID ，目前已得到包括Youtube和Hulu在内几乎所有主流平台的应用和支持，在互动广告的技术和服务能力上处于行业引领地位。

谢谢大家！

本期编辑：卢苗苗