大数据文摘作品，转载要求见文末 大数据文摘记者 宁云州 在大数据应用场景中，互联网金融一直是一个诱人但危机四伏的领域：实时性高、交易量大、风险性高。而像蚂蚁金服这样一家用户量过6亿的互联网金融机构，更是需要面对“百亿个节点万亿条边的超大规模，并且实时更新的关系图进行高并发低延时的读写”。 “金融的业务场景对于实时性的要求都很高，比如说在转账的时候，我们几乎需要在这一瞬间判断这一笔转账是不是有风险，要求响应速度非常的高，才能把钱在一秒之中转出去。”蚂蚁金服首席数据架构师俞本权这样告诉大数据文摘记者，“但在
前段时间做可一些用户画像方面的工作，对用户画像技术有了初步了解。如果你是一个对大数据和用户画像技术完全不了解的小白，希望这篇文章可以提供一点帮助。
【大数据100分】冯一村：数据可视化的魅力 主讲嘉宾：冯一村 主持人：中关村大数据产业联盟 副秘书长 陈新河 承办：中关村大数据产业联盟 嘉宾介绍： 冯一村:海云科技创始人 。海云数据是一家做数据可视化的的初创公司。海云数据是“微软创投加速器”第四期入驻的企业。 以下为分享实景全文： 冯一村：大家好，很高兴在微信的平台上和大家来交流。在群里面，大家都是大数据方面的专家，而海云数据还只是一家创业公司，还请大家多多支持。我是海云数据的冯一村。 下面正式进入主题，我们知道大数据的概念已经很火爆了，也看到大家
数据平台领域发展 20 年，逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域，当下的架构已经完美了吗，主要问题和挑战是什么？在 2023 年 AI 跃变式爆发的大背景下，数据平台又该如何演进，以适应未来的数据使用场景？
阶段一、大数据、云计算 - Hadoop大数据开发技术 课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企业 中的项目基本上都是使用Linux环境下搭建或部署的。 image.png 课程二、大数据开发核心技术 - Hadoop 2.x从入门到精通 本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据，无论是Hive
阿里江湖中，很多资源和技术，如神龙服务器、OceanBase、POLARDB等等，在开源、自研、云这三架马车上形成协同效应，既是内功也是武器。
如今，我们每个人都在谈论“数据科学”，《哈佛商业评论》甚至将数据科学家定义为“21世纪最性感的职业”。在这个大数据时代，究竟什么是数据科学？数据科学家又究竟是怎样的一群人？他们在创造着什么令人着迷的东西？DT君将在2018年走访50位来自各行各业的顶尖数据科学家，希望能让你们了解这些神奇的人和他们的神秘事儿，为你们一窥数据科学的未来与未知。
中国建设银行信息技术管理部资深经理林磊明 ▼ ▼ 1、银行压力越来越大 从十二五走到十三五期间，银行业面临的各方面的压力越来越大，从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样
对于大数据给企业带来的价值，已经毋庸置疑。在国内，银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行，更是走在整个银行业的前面。那么，他们对于大数据是如何看待的?在这四大银行，大数据的
In大数据时代，跟随相关技术的日新月异与成熟，在这样的背景下，前端和后端又能玩出什么新花样呢？在18年的双11活动中，天猫的可视化大屏可谓玩花了技术控们的眼睛。
在国家政策的指引下，5G与工业互联网的深度融合，将构建满足工业领域业务发展需求的大带宽、低时延、海量连接的的无线网络通信基础设施，催生融合创新应用，推动传统工业数字化、网络化与智能化，为中国经济发展增加新动能。
阿里妹导读：今年的双11，实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录，数据体量也达到了惊人的每秒7TB，基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角，并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验，回顾“流批一体”大数据处理技术的发展历程。
1.水利部黄河水利委员会与腾讯达成战略合作，将合力把黄河变成一条“智慧长河” 10月16日，水利部黄河水利委员会（下称“黄委”）与腾讯达成战略合作，将合力把黄河变成一条“智慧长河”，实现水利管理“调度可视化”、“管理智能化”、“决策科学化”和“监管数据化”。 其中，利用腾讯云物联网、智能感知等技术能力建立的新型智慧水利物联感知平台，可以全时、全域、全量采集相关数据。通过腾讯云大数据实时可视交互系统（RayData）实时渲染后，做到3D可视化呈现对数据进行多视角、多层次解读，为水资源利用、污
由于关注的重心从我们收集数据的方式转向实时处理数据，大数据时代即将终结。大数据现在是支持多云、机器学习和实时分析这几个新时代的业务资产。
回复“院士”可查看更多院士精彩演讲 感谢杨静的分享，推荐大家关注 摘自：杨静lillian 微信公号：lillian_yang_1111 静点评：李德毅院士的报告题目为《云计算再认识》,他在报告中回顾了过去历届云计算大会上认知,首次提出云计算的天梯概念。李德毅认为从图灵计算到网络计算,云计算的交互性远远超出图灵机,互联网不是一台虚拟的图灵机,交互导致众包、众挖和群体智能。他在PPT中形象地画出了实现云计算的7级天梯:光网宽带、移动宽带、互联网、云计算、物联网、大数据、人工智能,他说这座构想中的理想天梯是信息
主讲嘉宾：谢国忠 主持人：中关村大数据产业联盟 副秘书长 陈新河 承 办：中关村大数据产业联盟 嘉宾介绍： 谢国忠先生，目前为IBM大中华区全球企业咨询部副合伙人、业务分析与优化服务中国区总经理。他具有20年以上工作经验，17年专注于数据管理、商业智能应用、业务分析、客户关系管理及大数据等解决方案。他曾服务于NCR/Teradata公司13年，是Teradata中国最早的员工之一，历任专业服务总监、中国区副总经理。国内众多大型金融机构企业级数据仓库及其分析系统，都是他当年领导的团队帮助建设的。目前，谢先生负
无线个性化推荐起步于2013年10月。现在往回看，当时的阿里很好地把握住了移动端快速发展的浪潮，以集团All-in无线的形式吹响了移动端战斗的号角。个性化推荐团队也是从All-in无线这一事件中孵化的。我们从零开始搭建了个性化推荐算法体系及个性化算法平台TPP。TPP这一个性化算法平台对个性化推荐团队的成长起到了至关重要的作用。基于TPP，个性化算法团队成员们验证算法的速度得到了极大的提高，优化算法的速度从而也得到了极大的提高。仅仅花了不到两个月的时间，个性化推荐的第一版算法就在“有好货” 中初露锋芒：结合基于主动学习的选品算法平台TSP，个性化推荐团队一举打造了“有好货”针对高端人群的优质导购体验。
在诸多消费者买买买的同时，海量的购买交易数据也正在生成，这些数据不仅能够反映出消费者在网上购物的喜好，还能为供货商的产品策略提供强有力的依据，将这些数据进行采集、处理、整合、计算和分析成为许多大数据公司toB业务的主要组成部分。 双11当天，互联网大数据服务提供商星图数据对16个平台、1562个品类、39487个品牌和834万中商品进行了数据监测，其在双11之后发布的《双十一大数据分析报告》备受业界关注，其中许多数据分析结果一度被多家媒体在报道双11时引用，而这些数据也让我们对双11的线上零售全景有了更进
一年一度的双十一购物狂欢节又要来临了，你准备好剁手了吗？我每年都要购买好几百，有时候甚至是一千多的东西。不过以前我还没有考虑过这背后的技术问题，直到最近我做了一个烂项目以及和同事谈论双十一购物效率问题时才思考了一下这个问题。
导读 随着2016全国两会的到来，“大数据”再次成为媒体报道的高频词汇。利用大数据打造智慧城市、提高扶贫精准度、关注农业发展、促进居家养老服务业发展、建立两会大数据平台……两会委员“提案夹”中关于大数
随着云平台、容器等技术的不断成熟，云原生大数据解决了传统大数据平台建设和运维中的繁琐，使即时可得，按需分配的高效大数据开发平台成为可能。 云原生的到来不止为大数据部署和交付带来了变革，它更是帮助大数据连接了一个生态。利用云原生生态，真正做到了为大数据赋予云的能力，使得大数据可以“生长在云端”。 【腾讯云原生】收集了关于大数据云原生系列干货文8篇，帮助你更好了解”大数据云原生“，一定要收藏哦！ 技术原理 Apache Flink on K8s：四种运行模式，我该选择哪种？ 本文根据 Flink 在 Kuber
不管你信也好，不信也好，大数据时代真的来临了，随着Hadoop技术的普及，其生态圈发展的越来越壮大，Hive、Hbase、Spark、Storm等的一系列新名词不断的涌现在我们的眼里。似乎NoSQL一夜间，攻陷了全部的大数据阵地。
腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户，为了保证公司各业务产品能够使用更丰富优质的数据服务，腾讯的大数据平台做了那些工作？具备哪些能力？记者采访到了腾讯数据平台总经理蒋杰先生，他将给大家揭秘腾讯的大数据平台！ 建设专业数据平台、持续提升处理能力、贴身满足业务需求、挖掘创造数据价值———蒋杰（腾讯大数据团队使命） CSDN： 首先还是请蒋总介绍一下自己和你的职业生涯。 蒋杰：我是蒋杰，目前是腾讯数据平台部的负责人。我的第一份工作其实并非在互联网行业，而是在传
海量信息技术有限公司授权转载，如需转载请与版权方联系 回复“海量”，可得全版PPT。 海量大数据研习社是海量信息技术有限公司发起的大数据公益沙龙。12月26日下午，在研习社第六次聚会上，谢国忠特别分享
欢迎熟悉外语（含各种“小语种”）的朋友，加入大数据文摘翻译志愿者团队，回复“翻译”和“志愿者”了解详情。 大数据文摘翻译作品 作者：Mark Van Rijmenan 翻译：龙吟 校对：孙强 欢迎个人转发朋友圈；其他机构或自媒体转载，务必后台留言，申请授权 物联网连接万物，可谁又能想到最近网络挂上了啤酒瓶子？这又是玩哪出？原来，是喜力在瓶子上装了体感控制器，从此这玻璃瓶就能闻音起舞。我们说这招有创意，够酷！但这不是这个点子的全部。这个传感器除了制造光音互动外，它还能收集数据。这一招, 使得喜力一箭双雕。通过
开源，开源，开源。 这就是腾讯2019年技术领域最直观的变化。 最新代表事件，来自于腾讯首个开源的AI项目Angel，完成3.0版本进化后，得到全球技术专家认可，从开源基金会LF AI毕业，成为业内顶级AI开源项目。 这是中国首个得此认可的项目，消息传来自是引发好评热议。不过，这只是腾讯过去这一年开源成绩的注脚之一。 过去一年，腾讯开源势头愈发凶猛。截止12月份，对外开源项目超过92个，覆盖所有BG（事业群），微信、腾讯云、大数据、游戏、AI、安全等业务都在其中，累计获得超27万标星，赢得一片赞
不管你信也好，不信也好，大数据时代真的来临了，随着Hadoop技术的普及，其生态圈发展的越来越壮大，Hive、Hbase、Spark、Storm等的一系列新名词不断的涌现在我们的眼里。似乎NoSQL一夜间，攻陷了全部的大数据阵地。 那么传统的关系型数据库的一些思路，真的没有用武之地了么？真的就一去不复返了么？当大数据技术大旗在每个山头摇摆的时候，我们躲在角落里还能做些什么？“索引”，没错，数据库时代的必杀，大数据的利器。 当大数据使用上大索引后有什么好处？ 1. 索引技术大幅度的加快数据的检索速度。 2.
现在运用到大数据技术的公司非常之多，在这块的质量保证工作上已经成为软件测试工程师又一个需要挑战自己的地方。在目前较流行的大数据5V标准之下，决定了大数据测试所应对的业务和常规业务测试存在一定的差异性和难度，下面我们就来看看基于大数据层级的一些测试关注点。
image.png 大数据，这个词越来越热，很多人都在谈大数据，其实很多张口闭口大数据的人，或许都不知道数据是如何产生、传递、存储、运算到应用的。其实我一直感觉大数据这个东西有时候真的不是一般企业可以玩的溜的，特别是随着传统业务增长放缓，以及移动互联网时代的精细化运营，对于大数据分析和挖掘的重视程度高于以往任何时候，如何从大数据中获取高价值，已经成为大家关心的焦点问题。 腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户，为了保证公司各业务产品能够使用更丰富优质的数据
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 12日下午的互联网大数据分论坛，滴滴机器学习研究院研发总监刘威、百度主任架构师、机器翻译技术负责人何中军、京东商城大数据研发部负责人刘彦伟、中国人民大学
伴随着秋雨绵绵，我们郑重地向假日告别，从此迎来又一段筑梦的旅程。 刚刚过去的国庆中秋双节，Oracle OpenWorld 2017于美国旧金山隆重开幕，在这场盛大的技术盛宴上，通过来自现场的及时分享，我们感受创新和变革的力量。技术日新月异，无论个人和企业，不变革就面临淘汰。（拉里·埃里森亲自支招，数据库自动化之后，DBA何去何从？） 盖老师从以下五个方面概括了OOW2017的技术要点：云程发轫，扬帆起航；从物联网，到区块链；自治自动，推陈出新；Oracle 18c，明年发布；技术社区，开发者先。 参考：云
数据猿导读 随着数据量的不断增大、接入的系统越来越多，系统加工效率逐步降低，满足内部数据分析和监管机构的监管数据不断增加的需求，农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。
机器之心原创 作者：蛋酱 930 变革两年后，被寄予厚望的腾讯云在 To B 这张考卷上都写了什么？ 从「深圳市腾讯计算机系统有限公司」注册成立，到成为服务用户最多的中国互联网企业之一，腾讯经历了互联网发展的黄金二十年。拥有众多国民级应用、十多亿 C 端用户的同时，这家公司对于自身技术的披露却一向低调。 当然，事情也正在发生变化：两年前，腾讯宣布正式「拥抱」产业互联网，并进行了第三次组织架构调整，史称「930 变革」。这家科技巨头积淀多年的技术能力，终于越来越多地从幕后走到台前，被寄予厚望的腾讯云，成为腾
在今天双 11 这个万众狂欢的节日，对于阿里员工来说，每个环节都将面临前所未有的考验，特别是技术环节，今天我们就一起来探讨下双11天量交易额背后的技术。
李娜又一次捧得大满贯桂冠点燃了全国观众的注意力。在赛后采访过程中，除了幽默豪爽的娜姐本人妙语连珠引发关注之外，教练卡洛斯的一句话也颇值得玩味。 卡洛斯：“那种技术提升了教练的能力。”——那种技术，就是大数据！ 近些年来，大数据正在快速改变着当代职业体育，并可以实时的影响场内正在进行的比赛。与其他体育运动，篮球，足球一样，网球比赛本身也涉及大量的数据。一发成功率，一发得分率，和ACE球是标志球员竞技水平的关键指标。发球速度、接发球成功率、上网成功率、得分点等则突出展现了球员的特点。 在赛场上，比赛的输赢取决
Tech 导读 在企业的业务经营中，实时数据是营销、运维、决策的重要支撑，实时数据链路基本是所有大公司所拥有的，无论是否采用了中台模式，本文从如何建设实时数据双流、数据双流的建设标准，以及数据双流的压测备战三方面进行了详细的论述。
<数据猿导读> 百分点作为Gartner近期发布的 “Gartner 2016 Cool Vendors in China”报告中唯一当选的大数据技术与应用服务商，在其6月7日开放日中，百分点集团董事
大家在日常工作中可能会经常遇到系统更新迭代与集群重建等需求，不可避免会涉及到服务的迁移更换操作。针对不同场景和诉求，具体的处理方式会不太一样，但大致的思想和方法还是具有一定的普适意义。本文主要想和大家分享一下团队最近经历的在保障大数据高并发、低延时、高吞吐读写的同时，如何不停机地在 AWS 上更换关键大数据服务的实践，供感兴趣的同学参考。
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，腾讯已经成为中国实时数据计算量最大的公司。并且，随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源最全面的公司。
1、4G元年，大流量和实时在线移动应用爆发； 2、互联网与传统行业有几个交叉重点：农业、健康、教育和汽车； 3、政府推出大数据刺激计划，探索数据开放； 4、可穿戴设备跳出健康领域，GoogleGlass在中国社交场所大量出现，我将拥有1台！ 5、O2O出现与团购同级的下一个模式，本地生活服务成BAT竞争焦点，该领域出现上市公司； 6、智能电视一超多强成型，家电智能化开始流行； 7、传统社交网络大裁员或被收购，移动社交宠儿被争抢，百度收购社交应用； 8、互联网金融余额宝超过6000亿，百度腾讯奋起直追，银行
从“最多跑一次”到“一次不用跑”，随着智慧政务建设的不断深入，政务服务能力和现代化治理水平不断提升。而这背后，实现跨部门事项联办、数据信息互通，加快推进部门间信息共享和业务协同，“流程改造+数据共享”可谓功不可没。
自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
运维领域常见的方案是使用 ELK 全家桶， 通过 Logstash 收集，直接写入 ElasticSearch, 配合web插件 Kibana 完成交互分析部分。
面对即将到来的双11购物狂潮，小伙伴们最担心的恐怕不是优惠力度不够，或者是钱包有点瘪，而是买买买之后，要经过多长时间的漫长等待，才能拿到自己的宝贝呢？为了加速整个物流过程，阿里、京东等公司可谓花了血本，历经多年打造的黑科技项目，能否应对今年的双11呢？ 菜鸟智能发货引擎：为每一个包裹匹配最合适的快递公司 为客户选择一个合适的快递公司，以最快的速度将货物送到客户手中是每个商家的心愿，然而在现实中，大部分商家选择快递是，基本都是凭经验、比价格的方式按区域对订单包裹进行分配，因为没有办法全面了解各家快递公司的优势
数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台，重构数据仓库应用，减少数据重复加工与存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和应用创新能力，正逐步取得预期的成效。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
