云时代,看大数据如何助力企业实现业务创新!

随着云技术的快速发展以及国家机关对推动企业上云的支持,各行各业都在“云”中快速成长,云时代正悄然来临,云计算必将成为未来所有IT应用的基石。而大数据作为数据应用分析的基础技术,也将会变的越来越重要,大数据为人工智能提供基础物料,为企业决策者提供数据支撑。未来,大数据将成为企业、社会和国家层面重要的战略资源。大数据将不断成为各类机构,尤其是企业的重要资产,成为提升机构和公司竞争力的有力武器。企业也将通过大数据实现业务创新,获取更多价值。

迅达云大数据平台,挖掘多维度热点内容分析、网站资源的关联分析评估、投诉故障定位处理,从三个层面提升网内资源引入针对性、加强已引入资源流量贡献、提高互联网业务故障投诉定位准确性。迅达云大数据平台支持多种数据源接入,以Hadoop主流框架为核心,融合优秀的开源技术,支持MapReduce, Hive, Spark 等主流框架。当集群规模很大或运行时间过长时,经常会遇到某台机器宕机的情况,迅达云大数据平台可以在集群机器出现问题时,秒级感知集群状态,及时踢出或重新拉起问题机器。

迅达云大数据平台系统架构

迅达云大数据平台将数据的完整走向分为7层:

首先,在数据源这一层,我们知道数据有很多种,有在关系型数据里面存储的结构化数据,有日志形式的半结构化数据,也有视频音频这种非结构化数据,迅达云大数据平台可以将三大类型的数据都采集到集群中。

对于数据集成的过程,迅达云大数据平台既支持全量非实时的接入,也支持增量形式的实时接入。比如,想看一个人在某个页面停留多久,对即时性要求比较高,可以采用实时的流式接入,而对于对实时性要求不高的(比如第二天才要数据结果),则可以采用非实时的数据接入。

数据接入进来之后,需要存储。数据的安全很重要,应对现代的应用场景,单机的存储已无法满足需求,数据丢失会导致很大损失,所以迅达云采用的分布式存储。对于结构化数据,迅达云采用的是分布式数据库来存储。而对于非结构化和半结构化数据,是Hadoop的主流框架HDFS存储。

再往上一层,经过整体的资源调度,应对不同场景,不同的处理需求,迅达云大数据可以提供离线计算、流式计算、交互式查询和内存计算,最后将处理结果可视化呈现。对于大数据的集群状态,迅达云也有运维监控平台、智能作业调度,以及元数据管理等。

迅达云大数据平台功能及服务

数据源集成

支持全量离线接入和各种日志数据的增量,以及准实时接入、RDBMS的数据接入。

数据存储与计算

支持不同的存储方案和计算方案,灵活满足客户的各类场景。

元数据管理

通过数据地图、数据字典、数据血缘三个方面保证企业的元数据标准,同时对主题、维度、指标进行一致性定义和管理,解决了数据生产过程中的质量问题。

数据应用开发

提供SQL开发、依赖配置与调度管理、交互式查询等,提高开发效率。

迅达云大数据平台优势

DNS数据分析

提供域名解析分析和运营监控的能力。

日志分析

提供网络流量、访问来源、带宽利用率、丢包率、延时等与网络质量状况相关的内容。

智能调度

对海量数据分析,实现对不同地域引入流量的管理,提高资源利用率。

迅达云大数据平台适用场景

运营商DNS日志分析

通过迅达云大数据运营平台为DNS日志提供各种维度的数据分析,解决单机服务能力的限制,提供动态计算能力和分布式数据存储功能。

DNS日志分析平台为运营商提供域名解析分析和运营监控的能力。

☞ 分析每天出网流量、出网趋势对比和详情

☞ 分析本省的各个地区的流量

☞ 分析移动和PC用户流量的占比

☞ 分析DNS解析的域名数量等情况

同时,还可为运营商提供业务分析。

☞根据现有数据和历史数据导入算法模型,预测未来IDC规模量的变化,Cache数量,CDN走势波动状况,方便运营商提前调配资源,另一方面能够及时发现流量变化问题,提高服务质量。

☞ 由运营商内部考校标准,通过无监督聚类算法搭建的模型,找到影响本网率的重点域名,方便运营商方与内容提供商进行相关业务沟通,从而更好地提供服务,降低运营成本和缓解通道压力。

案例展示

以上是运营商日志分析结果图(本图仅作案例展示,为保护客户隐私,图片已做特别处理),从当日用户流量的维度来看,可以很直观的看到固网用户和移动用户的比重;从流量走向的维度看,社交娱乐的流量最多;从省份维度来说,A市的流量使用占比最高。对于流量多的城市,可以调配更多资源来提高服务的稳定性。同时,也可以通过这些流量走向,利用机器学习算法来预测未来的IDC规模量变化,帮助运营商及时扩充机房,降低运营成本,缓解通道压力等等。

迅达云大数据平台助力企业实现业务创新

网络故障预测,帮助运营商提升运维效率。对DNS解析的数量变化和成功率、CDN缓存命中率和回源量、应用服务器峰值流量和告警等数据进行进行综合分析,预测网络设备的故障率,以改进网络的可靠率。

流量分布分析,为运营商进行网规网优提供依据。按照各地市维度对网络流量的分布进行分析,掌握各地市的互联网用户访问量和网络承载能力状况,为网络扩容规划、网络结构优化提供定量化的依据。

流量流向分析,为运营商开展内容引入提供指导。通过网内和跨网流量的监测和分析,将用户跨网访问的热点内容引入到运营商网内,提升本网用户的访问体验,同时有效降低网间结算支出。

用户行为画像,为运营商开展流量经营提供支持。从海量日志信息中提取用户特征和行为数据,包括地域来源、访问时间、访问路径、访问域名等,形成用户画像,进行个性化内容推荐,增强用户粘性。

此外,迅达云大数据平台可以对不同领域的运营商进行数据的深度定制,并提供一对一的算法与服务支撑团队,利用迅达云的平台集成优势,提供一站式服务体验,降低实施和部署的成本。

- END -

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180315B1I2KI00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券