最近在考虑新一年的架构的时候,我就在想一个大数据平台核心竞争力到底是什么?每个平台发展的阶段可能不太一样,所以所需要的核心竞争力不同。但是做架构,做设计的朋友一定要常常思考下你负责的平台到底核心竞争力是什么。 我们现在做的平台不是自用的,是销售给第三方。我觉得排在前三核心竞争力分别是: 1、业务敏捷性 敏捷:汉语中解释反应迅速快捷。核心思路就是快,学习成本,构建成本低。软件开发模式中相对于传统的瀑布模型也有敏捷开发,讲的就是回归开发的本质,抛弃瀑布中低效重型的东西。 大数据产业目前还存在一个快速蜕变和成长阶
文摘摘自:人大经济论坛 微信ID: bbspingguorg-weixin 网站:bbs.pinggu.org 数据来源:itbear 每到冬季,总会引发“南方是否该供暖”的问题。在冰天雪地中,南方
本文介绍了大数据应用在企业经营分析、运营效率优化、财务数据应用等方面的案例和解决方案,以及数据应用对企业和政府部门的创新价值。
数据猿导读 近年来,随着互联网金融行业野蛮生长,各种跑路、欺诈案件层出不穷。因此,越来越多的P2P信贷平台开始重视风险控制,急需第三方征信平台为其提供征信服务,从而有效管控客户信用风险。 记者 | 春
本文介绍了金融大数据在金融风控、精准营销和增值业务中的应用,并探讨了金融大数据平台的发展趋势。
中国移动苏州研发中心大数据部总经理,高级工程师钱岭在主题演讲《大数据研发历程的回顾和思考》中分享了一个大数据实践者所走过的历程,主要包括三方面内容,(1)对大数据理解的变化;(2)大数据实践历程回顾;(3)大数据发展方向思考。 一路走来,中国移动苏州研发中心对大数据理解在不断深化。2007年,将大数据称为大规模并行计算、云计算。2010年之后,大数据被按照3V~7V来定义。3V,即规模大(Volume)、种类繁多(Variety)、处理速度要求高(Velocity)。而到了2014年前后,开始跳出技术的视角
前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》,今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的,运用HDFS作为数据存储,计算框架分为批处理、流处理。
作者 杨琳桦 这可能是我听过对大数据最逻辑清晰和实用的一段案例阐述了,来自 Simon Zhang,LinkedIn Business Analytics 部门资深总监。 特别介绍一下:Simon 原是国内脑肿瘤医生,但“觉得一个人真正要想有追求,还是应该做自己喜欢的事”,于是 12 年前到美国,因个人爱好是计算机,就从医生转到了计算机行业。 四年半前,Simon 曾独自一人支持公司 200 多个销售;现在,他 80 人部门支持 LinkedIn 近 5000 多员工。该部门实际上负责所有和收入有关的
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
我们团队每周开会讨论问题的时候,都会对每天的增长数据进行复盘。期间,领导常常会提及「数据思维」这个词。 这就涉及到,你必须要有思维能力,去支撑你在看到数据时,会从多维度去分析,而不是只看到表面数字这么简单而已,否则就是抓瞎。 数据时代,无论你是做产品,运营,还是做研发,系统架构,乃至于安全风控,都会发现,数据思维是考验你能力提升的重要指标。 但其实,很多人只是掌握了数据分析的工具和技能,却做不好数据分析,无法让数据产生真正的价值。 比如有的新闻:「某市的人均住房面积是 120 平米」「计算机行业人均年收入
从贵阳的大数据交易所开始,各地陆续上线了很多数据交易所,但显然都没有掀起多少浪花。没有具体了解过这些交易所是干嘛的,但是就数据交易而言,谈何容易,至少目前为止很难。
在大数据时代,数据分析的重要性毋庸置疑。但依然有很多人掌握了数据分析工具和技能,却做不好数据分析。 我们曾经都看到过这样的报道: “某市的人均住房面积是 120 平米”“计算机行业人均年收入超过 50 万元”。 看到这,不少人调侃自己“被平均、被幸福”了。 其实,这种事儿并不少见。我们最缺的不是数据,而是数的背后能看出什么结果。 就在前段时间,我的一个游戏分析师朋友告诉我,他的公司做了款游戏,很受欢迎,他们分别开发了安卓、iOS、Pad 等等版本。经过分析已有的付费数据,发现安卓用户的付费率要高于 iOS
利率市场化改革、宏观经济新常态、互联网金融和大数据时代的来临正从经营环境和商业模式两个维度彻底颠覆着商业银行赖以生存发展的生态环境。可以预期,内外部经营环境的变化和大数据的应用将共同推动商业银行进入真正向“以客户为中心”的业务转型期。
作者简介:诸葛子房,目前就职于一线互联网公司,从事大数据相关工作,了解互联网、大数据相关内容,一直在学习的路上。
人类实现了信息的存储,就像Time Machine一样,回到任意一个点,通过已有的数据重新构建过去的影像,也能够预测未来,模拟一个虚拟而准确的未来环境
随着互联网的发展,大数据正在以惊人的速度被创造和收集着,尤其随着诸如Google和Alibaba等互联网公司的崛起,数据的价值越来越得到认可,甚至被公司定义为战略资源。因此越来越多的公司开始搭建自己的大数据平台,用来处理数据,从中挖掘商业价值。大数据运维正是在这样的背景下发展起来的,它与传统领域的运维有很多共性的地方,也有一些自身的特点。 第一个特点是规模大 大数据领域单个集群的规模一般是几百台物理机,多则上万台。为了满足容灾需求,一般会有多个集群,而且是跨地域部署的。集群规模大
日前,国内第一份《九次方·金融大数据白皮书》在北京发布。这份报告认为,金融业是大数据的重要产生者,交易、报价、业绩报告、消费者研究报告、官方统计数据公报、调查、新闻报道无一不是数据来源。大数据的发展,
数据猿导读 在目前的互联网金融市场上,有60%的损失来自于欺诈,这60%里面又有80%—90%属于集团欺诈。因此,风险控制就成为互联网金融发展的必要基础。而在实施风控过程中,其核心在于如何通过大数据以
大数据文摘作品,转载要求见文末 作者 | Aileen、钱天培、加号 8 月 13 日至 8 月 17 日,每年一度的数据挖掘领域的顶级会议 ACM SIGKDD 2017 在加拿大的 Halifax 召开。 8月15日下午,SIGKDD中国分会组织了本次会议中的分支活动Data Science of China。这是SIGKDD继2016年后第二次举办中国专场。也是现场除了印度专场之外,另外一家完全为了一个国家举办的专场会议。 大数据文摘前方记者为你带回了三场讲座的文字报道,同时附上新鲜出炉的PPT全文。
2016年8月,社交软件Facebook成功申请了这样一项专利:当用户申请贷款时,如果该用户的社交网络上好友的平均信用等级达到了最低信用分要求,贷款才能获得通过。 随着互联网技术与金融不断融合,把社交
转载来源:数据蒋堂 作者:蒋步星 本文共1495字,建议阅读3分钟。 本文蒋步星老师从时间与空间上讲解了1T数据到底有多大。 一英里不是个很长的距离,一立方英里相对于地球也不会让人觉得是个很大的空间。然后我说,这个空间内能装下全世界所有人,你会不会觉到很惊讶?不过这话不是我说的,是美国作家房龙在一本书里写的。 业内有个著名的数据仓库产品,叫Teradata,20多年前起这个名字,显然是想给人能处理海量数据的感觉。可现在,论用户还是厂商,谈论数据量时都常常以T为单位了,动不动就有几十上百T甚至PB级的数据
本文共10000字,建议阅读时间20分钟 讲座选自清华大学苏州研究院大数据处理中心首席技术官赵勇于2015年4月8日在青岛大数据高峰论坛金融大数据分论坛上所做的题为《大数据驱动的个性化财富管理》的演讲。 我简单介绍一下自己,我是清华硕士,在美国芝加哥大学读博士,后来在美国微软公司工作几年,主要做广告大数据平台。2012年和我们中心的林辉主任一起创立清华大学苏研院大数据处理中心,主要做央企,国家部委大型中央数据统计,后来做用户端行业大数据。 先讲一下大数据爆发原因。实际上数据的问题,包括大数据问题,是
随着云计算、大数据等各类新技术的兴起普及,汽车行业正迎来一场数据变革。12月7日的线上数据侠实验室中,DT君邀请到了车主服务平台公司“微车”的联合创始人、CTO包炬强,为我们分享了如何用车主大数据助力汽车产业精准营销。
在工作和面试中,很多小伙伴会遇到“对XX行业进行分析”的要求。一听“行业分析”四个字,好多人会觉得特别高大上,不知道该怎么做。今天给大家一个懒人攻略,小伙伴们可以快速上手哦。
今天是2020年的最后一天了,其实大部分人基本上没啥感觉,毕竟现在过年过节也不是一个稀罕物了,不过,年终决算不会迟到也不会早退,就在今天。
移动互联网电商的市场份额不壮大,网上购物热潮不断,网上销售动力成了各商家与企业关注热点,随着市场的不断快速增大,企业或商家发现微商城分销系统可以大大助力销售道路,很多企业或商家朋友们都想要了解这样一个问题,那就是使用微信分销系统或搭建一个自己的微商城分销系统要多少钱,微商城分销系统价格是怎么算的。当前市场上很多系统声称都是免费的,但实现收费和后期的服务费用都是很贵的。
由国家发改委、工信部、网信办、京津冀三地政府指导,中关村管委会、北京市经信委、北京市发改委主办,北京大数据研究院、中关村大数据产业联盟、北京软件和信息服务业协会承办的“2016中关村大数据日”活动于1
<数据猿导读> 腾讯与钱升钱宣布战略合作,利用大数据系统防范金融风险;Twitter惨被“打脸”,杰克·多西账户遭遇黑客袭击;华中大数据发布交易平台2.0版,以“活数据”提升环境安全等级……以下为您奉
<数据猿导读> 51猎头CEO刘维在2016年中国信息通信大数据大会上分享了以“大数据认知时代下如何让人力资源产业更聪明”为主题的演讲。他讲到,传统招聘虽然非常土,但为现在的互联网招聘提供了一个业务基
1 一觉醒来,发现InfoQ的大数据杂谈公众号改名叫AI前线了。相关的微信群也变成了AI前线群。大数据已死,AI当立,大概是这样一个节奏。 我依稀记得编辑拉我进群时候的盛况。于是我过去问编辑大数据是不是不做了,编辑和我说大数据内容不变,加量不加价。 也许编辑没有说谎,但是顶着AI名声的公众号里,即便有大数据的内容,估计也不再是头条二条了。大数据终究还是被抛弃了。 对于这个2008年开始碰Hadoop,2009年开始在Cosmos上班的人,有种说不出来的悲凉。不到10年,大数据这一茬被收割的差不多了。我们
煤老板和IT精英相遇,两个人想比比谁更富有,但都不愿告诉对方自己真正拥有多少财富,也不想让第三方掌握原始信息。何解?
除了关注大佬们长什么样子,打了什么领带,我们更应该关注的是互联网大会上展示了哪些世界领先的科技成果。 又是一年世界互联网大会,互联网公司的大佬们又聚在一起涮涮火锅、吹吹牛、聊聊人生。 那么问题来了,上面两桌加一起值多少钱呢? 粗略算了一下,两桌(各家公司)的市值(或估值)至少超过5万亿元。 不过除了大佬和饭局之外,还有14个领先科技成果可能比5万亿元更值得聊聊。 在世界互联网领先科技成果发布会活动中,发布了14项世界领先科技成果。从这14项独立成果中,我们可以看出未来互联网发展的趋势。 先来看看,是如何评选
陈凡凡:您好,我目前在腾讯云负责云上大数据应用产品的工作,包括我们这次即将推出的产品——腾讯云BI智能助手ChatBI。我2011年加入腾讯,一直从事ToB业务的相关工作,参与过互动广告、一部手机游云南、央视频等平台产品规划和研发等工作。
国际研究机构Gartner在近日发布了2021年十大数据和分析趋势。纵观这十个趋势,基本可以归纳为三类主题:
点击标题下「大数据文摘」可快捷关注 大数据文摘(ID: BigDataDigest)整理编辑 会议:第十四届中国网络媒体论坛 分论坛二:创新:大数据时代的媒体运营 时间:2014-10-31 地点:苏州 主讲嘉宾:秦雯 北京缔元信互联网数据技术有限公司首席执行官(CEO)。1995年进入互联网行业,曾就职瀛海威、千龙新闻网、新浪网。2007年,创立缔元信网络数据公司,专注网民行为数据收集处理和挖掘应用,为大型媒体网站、传统企业、政府机构提供数据管理解决方案、数据应用产品及咨询服务。 缔元信(微信ID:dr
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
今天我们来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路可以寻觅。
4月20日,京东大数据来到了北京大学光华管理学院,这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座,为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关,实现产品创新,建设高效、安全、稳定的大数据平台,并以数据支撑京东的快速发展。 讲座中,葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发,全面的剖析了其中的奥秘。 在讲到平台使命时,胜利总提到,大数据平台在京东集团中的战略地位很重要,因为京东的公司运营是由
日前,中国信息通信研究院正式发布《城市大数据平台白皮书》,阐述了城市大数据的概念和内涵,分析了建设城市大数据平台对于破解智慧城市建设难题的意义,并介绍了我国城市大数据平台的发展现状。
表面看起来,大数据似乎只有大企业能够用得上。当人们首次听说海量的信息被用于反恐、治愈癌症或预测埃博拉疫情时,我们的第一印象是这些大数据很昂贵,且耗时费力。但实际上并非如此。 从人口统计到气象预报再到消费者的购物习惯等大量数据,现在都可以在网上免费找到,前提是你需要知道去哪里寻找。此外,随着利用这些数据的基本工具逐渐实现免费,且变得日益简单,任何人都将可以使用它们。 在最基本情况下,任何人都可以使用谷歌的Adwords追踪他们的用户正在网上搜索什么,这实际上就是一种大数据分析,只是有时候他们甚至连都
临近过年,很多小伙伴已经回家和亲戚朋友团聚,长时间不见,自然少不了嘘寒问暖灵魂拷问的环节。
在业务增涨过程中,每个企业不知不觉积累积累了一些数据。无论数据是多是少,企业都希望让“数据说话”,通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
后web2.0时代,互联网、物联网每天都在生产大量数据,人们对于这些庞大数据资源的价值渴求,使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”,那么“大数据”正在演变成一种战略资源,当“用户需求导向”成为企业共识,大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向,数据成为企业愈加珍视的宝贵资产。 目前,建设有大数据平台的企业不在少数,对比传统数据库,大数据平台数据大量集中,且蕴含更高价值,其安全建设要求明显更高。然而,由于大数据平台使用非结构化数据库类型,以及
RFM模型是衡量客户价值和客户创利能力的重要工具和手段。在众多的客户关系管理的分析模式中,RFM模型是被广泛提到的。该数据模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱3项指标来描述该客户的价值状况。
大数据已不再是一个单纯的热门词汇了,随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用,并通过持续不断的发展,大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据,并对其进行分析。企业所收集的数据量也呈指数级增长,包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息,数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会提到大数据,谈人工智能的时候也会提大数据,谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割,如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系,所以有必要解释一下。
现代商业竞争已经从渠道、资源向系统整体效率倾斜,而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战,比如: 1. 数据领域的生态非常庞大,针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件,以及随之带来的团队碎片化,设备资源的重复投入,数据一致性的焦虑,技术选型的困难和迁移的潜在风险; 2. 在伴随业务扩张的过程中,如何平滑而透明地解决伸缩性,用好自建以及混合多云资源;如何建设一站式多租户的数据工具链,在开发生产以及租户之间做好共享和隔离的
<数据猿导读> TalkingData CEO崔晓波在专访中提到,现在是有一些想做交易的平台,他们的交易模型过于简单,再一个违背商业规律,你会发现所有交易所不赚钱,它不可能赚很多钱,要靠其它增值服务其
现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台; 平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞…
领取专属 10元无门槛券
手把手带您无忧上云