一年拦截垃圾达400亿条? | 网易云创沙龙解密如何利用互联网业务赋能解决企业数字化转型

4月21日下午,养码场与网易云联合举办的网易云创沙龙于网易大厦成功举行。

分享讲师分别为网易云资深解决方案架构师张亮、网易大数据的资深数据产品专家王文开、网易云安全技术总监高民、网易云企业服务部首席架构师李鲁。

本次沙龙通过网易云赋能企业数字化创新技术主题分享,旨在通过互联网业务赋能解决企业数字化转型。

现场回顾

事实上,本次活动一推出,很多人都给场主留言:

想去!

为什么正好人不在杭州啊!

好想去,但是周六要加班……

要去团建,时间冲突了,太可惜了!

当然还有去了现场,但是小本本上却没有记全内容的小伙伴……

于是,为了让大家不留遗憾,场主特地将讲师所分享的内容整理如下:

王文开:网易有数中的敏捷与智能

网易有数是什么?

企业级数据分析平台,让用户可以通过拖拽、搜索、自然语言等形式实现数据分析。

网易有数的敏捷

目前,互联网企业都会面临的一个问题就是数据分析效率问题。

在传统行业业务部门中,业务人员往往需要将书籍报表需求提交给IT部门,由IT人员写代码或使用传统BI工具进行数据建模,制作报表,经过1、2天乃至一两周的周期再得到反馈。

由于分析流程长、涉及人员多、决策周期长,很可能使得这个数据分析结果“过时”。

现在的数据分析模式其实已经从IT主导的报表模式转变为了业务主导的自我服务分析模式

而通过网易有数就可以让用户完成自分析。

可视化数据分析模型

可视化数据分析的流程可以归纳为:

数据--得出初步的可视化结果--通过结果感知到新想法--迅速在产品中进行验证--进行进一步的探索分析--最后形成一个新的可视化的结果

通过网易有数可以让不懂技术的运营人员、分析人员、在平台内完成可视化--新想法--探索分析--获得解答这个闭环。

让用户可以连贯地去分析数据,而不是被一些不必要的因素(受限于数据可视化分析)打断。

网易有数的跨视图 粒度计算表达式

{FIXED[维度1],[维度2]…:[聚合表达式]}

{INCLUDE[维度1],[维度2]…:[聚合表达式]}

{EXCLUDE[维度1],[维度2]…:[聚合表达式]}

跨视图粒度计算表达式其实就是对SQL的高度抽象,即用户通过一种接近自然语义,简洁直观的表达方式完成一个复杂的SQL过程,它能够轻松帮助数据分析师完成客户贡献度分析,购买频次分析,留存率分析,AARRR模型分析等。

网易有数的智能

关于BI的发展

2000-2010年:传统BI

2010-2016年:自助BI

2016-2020年:智能BI

为什么需要智能?

  • 可视化的分析工具有一定的专业性,小白用户上手困难,具备一定学习成本;
  • 用户自身可视化知识的匮乏,不知道如何用合适的图形来展现更有效的数据反应;
  • 数据复杂,用户无法直接发现数据中的异常。

目前,网易有数可以支持新用户通过语言、打字搜索的使用形式,解析出自然语义进行图表推荐。

高民:网易云安全解决方案

助力打造绿色互联网

2017年,网易所有业务拦截垃圾达400亿条。

可以说,网络垃圾无处不在,网络安全问题极为关键。

情报篇

了解互联网安全态势,初探黑灰产

互联网内容安全现状

  • 网民:截止2017年8月,中国网民规模达7.5亿,手机网民6.84亿。
  • 网站:网站479万家。门户网站、社区论坛、社交平台、短视频等丰富网络产品形态,输出了海量UGC(User GeneratedContent)内容。
  • 网民举报/月:2017年12月,全国各地网信办受理网民举报439.3万件;大部分涉及广告、色情等违规内容。

注:以上为来自中国互联网违法和不良信息举报中心的数据

APP外挂、破解、盗版盛行

据悉,每个热门应用平均有27个山寨App,山寨应用严重危害正版应用。

目前市面上的山寨App通过:解包-逆向分析-找到核心、功能实现-拷贝代码、资源等-进行简单开发-打包-上架,完成一个“复制”版本进行上线。

网络安全威胁时刻存在,而因此受害行业更是不在少数。

从上述图表中可以发现:

  • 棋牌游戏是受害最为严重的行业,占到45.2%的最高比例;
  • 仅2017年上半年游戏业遭大于300G的DDoS攻击超1800次;
  • 游戏公司每月平均被攻击次数为800余次;
  • 遭受DDoS攻击后,游戏公司日损失可达数百万元。

在针对游戏行业的所有流量攻击中,TCP Flood和UDPFlood攻击最为严重,分别占28%和22%。而在攻击源方面,94%的攻击源都位于国内,6%的攻击源来自国外。

黑灰产业链

事实上,我们面对的不是单枪匹马,而是整条黑灰产业链。

包括手机卡商、听码人员、代理IP池、接码平台、自动化工具、卡商、羊毛党、账号商人、群控平台、打码平台……

其中,账号买卖涉及的不仅仅是手机号,还有身份证号码等;譬如手机号大多来自卡商,通过注册皮包公司,获得大量只能收发短信物联网卡。再把这些卡插入“卡猫”中启动,卡猫一次性甚至能插128张物联网卡。

注:卡猫:支持 TD-LTE/FDD-LTE/TD-SCDMA/WCDMA/CDMA2000/CDMA1X/GSM网络,可用于移动联通电信发短信、拨打语音、发送彩信、WAP上 网等。 支持无限次数修改串号(IMEI)。

解决方案篇

下图为网易云安全技术成果及防御体系,通过布局四位一体安全架构,架构一站式安全服务 。

内容反垃圾技术演变

内容反垃圾技术经过了3个阶段的演变,分别为:

第一阶段:关键词、 黑白名单、 过滤器、分类器 第二阶段:内容特征识别(肤色,纹理)、贝叶斯过滤、相似度匹配、规则系统 第三阶段:大数据分析(用户行为,用户分类)、人机识别、人工智能、机器学习(语义识别、图像识别)

内容反垃圾PDCA优化机制

内容反垃圾PDCA优化机制需要依靠“四要素”循序开展、相辅相成。

技术:众多反垃圾核心技术专利、先进的AI、机器学习、神经网络算法 审核:辅助配合机器自动化识别,达到最优效果 运营:针对性策略定制,深入磨合客户需求 服务:1 vs 1 24h 专家顾问服务

业务安全防御技术联动

信息认证:公安部授权机构合作、OCR信息提取、图像轮廓检测

注册保护:识别垃圾注册、人机识别、注册量监控 登录保护:可信设备 人机识别、识别批量登录、识别暴力破解 营销反作弊:人机识别行为分析、高频检测信誉等级、规则系统

业务风控反作弊核心机制

反作弊核心机制在于通过人机识别有效拦截自动注册机、暴力破解、自动发帖机和网络爬虫等,再进行设备 、IP名单、手机号、账号等海量数据筛选自查,建立风险名单,之后基于网络层和业务层,通过位置信息网络类型(基站/IDC/组织机构等)业务事件代理等维度刻画IP画像,识别恶意设备并基于正常人类/按键精灵构建场景化行为模型。

最后,基于设备、行为、画像、名单、业务规则等结合实际的业务场景进行产品内各业务、客户内各产品、网易易盾各客户之间的全链路关联分析,使得最终建立综合分析规则。

安全态势感知 :

易盾反垃圾服务覆盖文本、图片、视频、音频, 实现广告过滤、智能鉴黄、暴恐识别、涉政检测以满足内容安全;

业务风控联动通过信息认证、验证码防护、注册保护、登录保护、活动反作弊,满足业务安全;

移动安全系统以渠道监测、安全评估、应用加固满足移动安全;

网络安全体系涵盖DDoS防护、渗透测试、风险评估、应急响应、培训、咨询、入侵检测、漏洞扫描、Web应用防火墙、 SSL证书服务,满足网络安全。

独立构建完整的安全体系成本非常高,中小企业可以通过接入网易云易盾的方式,快速获得网易的安全防护能力。

李鲁:网易产品创新实践

目前,网易的业务发展可以总结为:C端业务爆发式增长,B端业务战略投入,目前处于高速发展。

C端业务方面,网易从游戏、邮箱业务拓展到新闻、电商、音乐、教育、金融等各类创新产品C端业务呈现井喷状态,正以多款创新产品腾飞完成网易C端生态布局。

B端业务方面,网易则选择将积累多年的大数据、人工智能、云计算能力开放出来,提供高品质的云服务,与伙伴共创云上精彩世界。

事实上,互联网产品的发展阶段不外乎这三点:产品冷启动阶段-产品高速增长阶段-产品成熟阶段

具体的阶段生命周期如下图:

接下来,从这3个阶段出发,结合网易的产品,来讲网易产品的创新实践。

产品演进的一些原则

最小可行化产品(MVP)

以最低成本、用最快、最简明的方式建立一个可用的产品原型,通过市场、客户反馈,发起迭代、完善产品细节。

两个匹萨原则

如果两个披萨不足以喂饱一个项目团队,这个团队可能就显得太大了。沟通成本随人员增加成指数级增长:n(n-1)/2

康威定律

系统设计(产品结构)等同组织形式,每个设计系统的组织,其产生的设计等同于组织之间的沟通结构。

冷启动阶段:需求到验证,唯快不破

网易CEO丁磊认为:”电商的核心是商品,电商的本质在于怎么把性价比最好的、最适合的商品带给中国的13亿消费者。”

因此,在产品冷启动阶段,提出需求到验证的速度一定要快,一般这个过程分为以下几个流程:

  • 产品经理通过竞品分析、市场定位、客户定义等提出基本需求
  • 最小可行化设计,从0到0.1
  • 产品开发,可扩展的架构、刚刚好的资源
  • 产品快速上线
  • 寻找种子客户进行定向运营
  • 通过种子客户的反馈验证产品方向

不重复造轮子,可以通过外部一些工具加快产品上线的速度,比如网易杭研院的云基础服务平台、云信与视频服务,易盾安全产品等。使得团队本身更为聚焦于业务。

快速增长阶段

在这个阶段,面临着:不可控的高并发对可靠性/可用性的压力、新功能快速、高质量的开发上线和缺少专业技能团队的业务挑战。

如何做到快速迭代?

  • 向微服务架构演进

微服务架构不同于“根据系统层次划分不同的职能团队”的形式,而是按照业务的功能划分,使得单一业务功能对应一个独立的职能团队。

从而使得在组织层面,服务内部变更仅发生在团队内,在技术层面,各个服务模块对外提供接口,内部迭代速度、变化不影响其他服务模块,维护成本低。

  • 工具链及团队流程文化

为使业务快速上线,改善开发、测试、运维这些有不同KPI的团队在交付软件过程中的速度和质量。

通过标准化开发环境和自动化交付流程改善交付工作的可预测性、效率、及可维护性。

如何保证核心系统高可用、高可靠

  • 系统中每个模块都至少有两个及以上的副本,保证单一组件故障不会影响整个系统所有模块尽可能设计为可以根据业务负载动态扩容或缩容;
  • 对整个系统所有模块进行全链路实时监控,对于性能、容量、系统关键指标实时展示,主动发送故障、告警通知到相关团队(网易全链路开发、测试、运维体系建设如下图):

产品成熟阶段

在产品成熟阶段,面临的服务治理、系统运维自动化、获/活客成本高、精准营销如何做、用户体验如何衡量、如何寻找新业务方向等挑战。可以从以下几个方面应对。

服务治理及自动化

  • 精细化服务治理

进一步服务化,以应对服务功能、复杂度增加所带来的挑战。面对大规

模突发流量,运用服务降级、限流、熔断手段以防止系统整体崩溃。

  • 自动化

各阶段操作尽量自动化,以解决时间、效率、准确性的挑战,并且避

免成本随业务发展线性增长。

  • 服务化

系统中某些公共组件可以进行服务化,为所有其他需要此服务的模块提

供服务,避免重复造轮子。

网易业务五大服务中心

目前,网易所搭建的五大服务中心分为

  1. 网易支付中心 网易宝、网易支付构建网易交付中心
  2. 网易用户画像中心 通过网易所有产品得到的客户数据形成标签化的用户画像中心
  3. 网易流量交换中心 网易各产品流量的统一监控和流量交换
  4. 网易内容中心 新闻、音乐、游戏、短视频……
  5. 网易账号中心 统一网易所有产品的账号管理

网易大数据

互联网本身就是一个建立在数据之上的服务行业。

因此,互联网领域的大数据应用核心目标是:进一步拓展和发掘数据价值的应用途径,以实现对数据价值的充分利用。

大数据定位:

充分运用数据统计、分析、挖掘、实验等技术,大力推进服务智能化与决策科学化,全面提升产品规划设计运营水平与服务质量。


据IDC预测,到2021年,约2/3的服务业企业(例如银行、医院等机构)、50%的工业企业(制造业和建筑业)和10%的农业生产,都将受到数字技术的积极影响。

而在企业数字化转型过程中,仍会面临很多困惑:如何转变,如何解决技术壁垒,如何掌握安全与数据的界限……

目前,网易云智能平台正通过技术开放,端口接入,赋能企业实现服务升级与业务创新。也希望上述讲师所提到的现状与解决方案对你有所启发!

注:涉及数据隐私,部分讲师分享内容未能体现。

原文发布于微信公众号 - 养码场(yangmachang0)

原文发表时间:2018-05-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏互联网数据官iCDO

广告狗们,真不是吓唬你!再甩你10个可能抢走狗粮的经典案例!

小编发现,自从昨天发布了广告狗们注意了!未来夺走你工作的可能不是客户爸爸---是他!引起了一片哗然!于是小编一发不可收拾,瞒着老板又收集了十个早期经典案例准备继...

1111
来自专栏EAWorld

警惕文化空谈的陷阱,落地DevOps工具才是关键

恍惚间,DevOps已经被讨论十年了 “如果系统是集中式的、环境是同质化的,从开发环境向生产环境推送程序变化的过程非常简单,不需要太多的自动化;但是今天的应用需...

3765
来自专栏华章科技

在腾讯2年,我学会了这15条内容运营干货

两年前,我从人大硕士毕业,误打误撞进了移动互联网行业。来腾讯以后,我所在的部门是手机腾讯网,当时我对门户兴趣不大,得知我们小组有做手机QQ浏览器push运营业务...

1341
来自专栏Java技术栈

年后跳槽,5个诀窍帮你找到满意的工作

很多人在找工作的过程中,总是碰壁,在之前一篇文章中讲述了我的一些个人经历。我是个普通的人,而我相信很多人都跟我一样,不是那么的有才华,也不是那么的笨,所以我的经...

35912
来自专栏人称T客

Gartner又在吹牛逼?2017十大技术预测不见得都是真理 |双语

T客汇官网:tikehui.com 原文作者|Steve Andriole 编译|杨丽 ? Gartner上月刚刚对2017年十大战略性技术趋势进行了预测,分...

42816
来自专栏小巫技术博客

谈谈程序员的焦虑感

922
来自专栏姬小光

你为什么还没有博客?

最近两年,博客这个词已经很少有人提及了,基本上已经被微博,公众号等淹没。有人说,博客已死,然而我并不这么认为。

1043
来自专栏PPV课数据科学社区

【资讯】什么撑起下一代互联网?智能推荐

智能推荐引擎的基本逻辑是什么?热门、兴趣、地域、探索四大策略逻辑,预测群体的行为。 智能推荐爆红于资讯产业是因为啥?海量信息带动海量反馈数据推导出精准算法。 智...

3144
来自专栏悦思悦读

大型IT企业内部数据分析的现状和发展趋势

大数据时代,数据已经成为战略资源。掌握前沿科技的大型IT企业在数据的分析和利用上走在了时代的前列。笔者浸淫IT业十余年,近几年专注在数据分析平台研发和数据分析上...

36212
来自专栏PPV课数据科学社区

【盘点】六个步骤助你最大化大数据的商业价值

? 上个月公布的一项调查结果显示,由Apache基金会所开发的分布式系统基础架构Hadoop可能即将面临着来自资金链方面的压力与挑战。具体而言,调查中的绝大多...

2745

扫码关注云+社区

领取腾讯云代金券