从南湾硅谷开车进旧金山湾区的101公路上，随处可见关于大数据工具的广告牌，上面写着："现在我们每个人都是数据书呆子"。 从某种程度上说，这是实话。 在他看来，大数据最令人惊奇的一个事实是，我们不但正在使用大量的数据，而且数据在使用过程中，又继续制造出更多的数据。因此，如何将这些冷冰冰的数据转变成有用的工具就成了重点。 纳德拉说，“你可以把Office当成是可以取得所有数据的画布或脚手架，微软每一个业务都因为数据而有了改头换面的转变。要能够充分利用这个平台，你需要在公司内部形成一种‘数据文化’。” 换句话说，将Office当成是数据的用户界面，只要简单的提问，就可以轻易地得到大数据所提供的答案。 大数据的本质在于，越多的有用数据，可以得出更有意义的结论，而这也是微软将筹码压在物联网的理由。如果这些结论能够变成最后可利用的资料，并且规模化，那么就可以发挥极大的作用。
“俗话说巧妇难为无米之炊，要在数据里找出有价值的东西，首先必须面对让数据产生价值的大米——数据源。数据源把控得不好，再先进的算法模型也发挥不了奇效。” 此次科技云报道分别采访了业界知名的第三方大数据服务公司相关负责人——TalkingData合伙人兼执行副总裁林逸飞，亚信数据政务大数据业务部资深大数据专家杜岩，请他们介绍关于数据源的方法论，并分享对大数据行业发展的看法 目前使用的数据来源有哪些？ TalkingData的数据来源主要有三种： 第一种形态是合作，跟互联网的运营商或者移动APP，通过提供服务跟合作的形式来获取数据。 数据来源多样化，如何保证数据的真实性？ 我们会分别从内部的数据质量和数据管控，以及外部的价值导向来评估数据。 针对这个问题，亚信按照 “一数一源”的规则，即确保一个数据一个源头，其基础根据是国家对各级业务部门的三定职责，按照政府部门的工作边界和职责来确定数据源。
代金券、腾讯视频VIP、QQ音乐VIP、QB、公仔等奖励等你来拿！
源头数据.jpg 源头数据是企业数据大厦的基础 2.1.1 企业数据源头 源头数据即是直接从终端采集的数据。 评价源头数据质量的指标有多个，包括数据的真实性、准确性、精确性、完整性、全面性和及时性，在大数据时代，还比较强调源头数据之间的关联和共享，所以还有关联性和开放性，从而形成了评价数据质量的8个指标。 在企业数据中，源头数据有两大类，一类是描述企业资源的静态数据，一类是描述资源活动的动态数据，这两类数据关联在一起，形成了相互联系在一起的企业大数据的源头数据。 而企业大数据只有基层的源头数据也是不行的，源头数据的量非常大，高层“日理万机”也不可能事无巨细地看那么多数据，因此，数据在向上汇报的时候，必须经过加工处理。 我们知道，大厦的地基是源头数据，而采集源头数据又是基层工作者的职责，企业信息系统中的原始数据是否准确与基层的工作分不开，如果他们对源头数据质量不负责任，那么源头数据就不会准确，任何的向上传输都变得毫无意义
一、 除了日志数据，关系数据库中的数据也是数据分析的重要来源。 再之后为了减少MySQL压力，选用Canal来接收MySQL binlog，离线 merge 出全量表，这样就不再直接读 MySQL了，而且对千万/亿级大表的处理速度也会更快。 因为以目前的数据和集群规模，直接使用社区版本乃至企业版的产品，都会遇到大量困难。 最初实现用的是类似 Flume 模式的单机上传，很快遇到了瓶颈，实现改成了通过 Storm 来实现多机分布式的上传，支持的数据吞吐量大幅增加。 为了更好的支持 Adhoc 交互式查询，调研 MPP 类查询引擎，先后使用过 Impala 和 Presto，但在超大数据量级下都遇到了稳定性的问题。
罗超为虎嗅网、爱科技网撰稿，2013年5月31日发表于首页头条 阿里巴巴CTO即阿里云负责人王坚博士说过一句话：云计算和大数据，你们都理解错了。实际上，对于大数据究竟是什么业界并无共识。 国内互联网三巨头BAT坐拥数据金矿，已陆陆续续踏上了大数据掘金之路。 BAT都是大矿主，但矿山性质不同 数据如同蕴藏能量的煤矿。 对于真正的大牛来说，钱只是一个影响因素。能否实现自己的梦想，公司的资源能否帮助自己的研究至关重要。 阿里拥有LVS(Linux Virtual Server，Linux虚拟服务器)开源软件创始人章文嵩，Linux Kernal、文件系统、大牛DBA等领域的大牛。 对大数据的挖掘正是对世界的二次发现和感知。BAT三巨头已经出发。 致谢：感谢大数据领域专家、Intel中国研究院首席工程师、虎嗅网作者吴甘沙老师对本文的指导。
随着《纸牌屋》2013年2月首播，一批公关稿件也同步在北美推出，其主题落脚在了两个方向，一是放大数据分析的作用，来解释Netflix为什么愿意参与新手MRC的项目（MRC之前以电影投资为主，《纸牌屋》是他们的第一部电视剧集 事实上《纸牌屋》带给北美传媒业内部的影响，与公关稿中所描述的互联网数据分析并没有什么关系，Netflix真正改变的其实是电视剧集的营收规则，这方面的流程之前被几大传媒集团牢牢把控，通过《纸牌屋》和其他的首播剧集 2013年，Netflix全年的收入已达到43.7亿，逼近HBO的年收入49亿美元，但利润仅有HBO的13%.按照最新公布的财务数据，Netflix全球4140万收费用户，2014年第一季度单个用户的单月产出约为 根据北美相关机构的统计，在《纸牌屋》第二季上线的72个小时内，北美约有16%的Netflix用户观看了纸牌屋，但是只有2%的用户看完了总共的13集，与一些有线电视台高收视率的热播剧集相比，这样的数字并不突出 Netflix的权贵之路，目前仅仅是开了个头，能否像《纸牌屋》里的弗朗西斯一样登上权力的巅峰，还有待观望。
图片来源：加州大学圣地亚哥分校出版社 大数据大有来头有——记加州大学（UC SanDiego）研讨会：专家如何理解大数据的增速 作者：约翰弗里曼 大数据文摘 翻译：甄艾庄校对：孙强（转载请保留） 我们的生活正在被一个称作 “大数据”的概念迅速而剧烈地改变着，事实上就连专家也对这种现象难以定性，甚至摸不着头脑。 Gordon被评为世界上最快的大容量超级计算机，它是活生生的大数据知识库，拥有能够转存和分析大规模数据的能力。 Norman博士列出了“大数据”的三大主要分类评估标准：1）体积，特指数据的数量；2）速率，指信息产生的速度；3）多样化，指已产生数据的种类。 当然有可能，但是大数据同时淡化了各个领域的边界，我们现在还仅仅在大数据真正价值的表面探索着它的商业潜能。关于炒作的担忧是对大数据经营领域的警示，如何排除干扰是个大课题。”
因此，要想了解大数据，光了解技术是远远不够的，本文中大数据领域的十个巨头，将有助于你更深入掌握大数据这个行业的发展形势。 大数据领域的十大开源技术 根据最新的思科全球云指数报告，预计到2017年年底，全球数据中心年均IP流量将达到7.7ZB。 组织被迫寻找新的创造性方法来管理和控制如此庞大的数据，目的不只是为了整理数据，而是要分析和挖掘数据来进一步发展业务，因此，一些开源大数据技术值得考虑： Apache HBase：这个大数据管理平台建立在谷歌强大的 作为具有开源、Java编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。 历数大数据领域不可忽视的十大巨头 Amazon Web Services Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。
国内互联网三巨头BAT坐拥数据金矿，已陆续踏上了大数据掘金之路。 BAT都是大矿主，但矿山性质不同 数据如同蕴藏能量的煤矿。 一、百度：含着数据出生且拥有挖掘技术，研究和实用结合 搜索巨头百度围绕数据而生。 搜搜花了很多钱，但被认定为一款无法承载腾讯重托的产品，最后这些大牛都走了。大都回Google了。 腾讯在大数据领域也缺少技术带头人。其对公关也不重视。 阿里拥有LVS(Linux Virtual Server，Linux虚拟服务器)开源软件创始人章文嵩，Linux Kernal、文件系统、大牛DBA等领域的大牛。 对大数据的挖掘正是对世界的二次发现和感知。BAT三巨头已经出发。
Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。 该公司的Hadoop产品被称为EMR(Elastic Map Reduce)，AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上 微软在开源软件问题上一直很低调，但在大数据形势下，它不得不考虑让Windows也兼容Hadoop，它还积极投入到开源项目中，以更广泛地推动Hadoop生态圈的发展。 EMC和Vmware部分大数据业务分拆组合产生了Pivotal。 近几年的发展使计算机科学进入到全新的时代，而AMPLab为我们设想一个运用大数据、云计算、通信等各种资源和技术灵活解决难题的方案，以应对越来越复杂的各种难题。
在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。 大数据平台的核心功能 从大数据平台工程师的角度看，决定整个大数据平台关键质量的不外三方面： 数据采集 数据存储 数据处理 至于系统监控、资源协调、部署运维及其他管理功能都是大数据平台整个生态环境中不可缺少的拼图 根据我在大数据项目中的经验，我发现，无论是数据采集、存储还是分析，在技术选型与方案设计上，似乎又与数据源的特征息息相关，甚至在某种程度上，可以认为是数据源的特点决定了整个大数据平台架构的设计。 通常，我们会尽量避免直接将内部系统的数据库公开给大数据平台。因为这种方式不仅会带来潜在的安全威胁，还可能会因为资源占用的缘故影响到业务系统。 然而，作为大数据平台的数据源而言，情况则相反，若数据允许更改，数据采集过程就会变得更复杂。 一种简单的应对办法是采用直连的形式。
从曾经的“管道”到大数据战略融合，电信运营商到底该如何善用大数据?全球10强电信“大佬们”的大数据应用之道及其培育的新经济增长点启示颇多。 自2010年，NTTDOCOMO利用大数据解决方案，实现了医疗资源的社会化创新，培育了医疗信息服务增长点。 通过实时获得汽车、医疗以及能源企业的数据，T-Systems先后开发了车载互联网导航系统、交通意外自动呼叫系统以及声控电邮系统，以及能源网开发解决方案，实现电量的供需平衡。 为了辨别客户投诉的真实原因、发现问题、改进产品、提升服务体验，中国移动配置了基于CCR模型的客户投诉智能识别系统，以投诉内容为源头，通过智能文本分析，实现了从发现问题到分析问题，再到解决问题以及跟踪评估的闭环管理 、数据空间运营模式、大数据技术提供商等全新商业模式。
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 3.NiFi——Apache NiFi是由美国国家安全局（NSA）贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。 基于其工作流式的编程理念，NiFi非常易于使用、强大、可靠、高可配置。两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。
源头数据是企业大数据应用的基础，也是所有数据分析和挖掘工作的基础。没有原始数据，所有的大数据都找不到依据。很多企业之所以不知道“大数据在哪里呢”，就是因为没有构建原始数据集，没有数据的积累。 所以，了解源头数据的采集方法以及积累和管理的方法至关重要。如果企业没有大量的数据可以使用，那么最好的决策不是马上拥有数据，而是蹲下身去开始行动——积累数据。 对主体的描述是静态数据，放到企业大数据层面，数据的主体就是企业的各种资源，包括企业内部拥有的资源和与企业相关但不被企业所拥有的资源。 对企业资源的梳理可以使用顺藤摸瓜的方法来进行，以保证所有的资源或者相关资源的信息都得到采集，保证源头数据的全面性。 人力资源部门会接触到：（1）猎头公司，（2）社保机构，（3）保险机构，（4）招聘网站，（5）大学或者各种技校培训机构，（6）潜在人才对象，（7）人才市场等。
三大巨头均从美国兴起，通过收购和信用合作等方式不断向全球扩张，以在海外广泛设立分支机构的方式把业务几乎覆盖全球，逐步发展成为完全国际化的世界性个人征信组织。 这三家大牛现在已经不仅仅单纯的是征信公司了，还涉及了数据相关的解决方案业务，通过对数据的增值能力，成长为全球的领袖。 在数据采集方面，环联（Trans Union）拥有7000个数据供应机构，不断地向它提供数据更新，从而使公司有能力、有资源每个月对2.3亿的客户资料进行12次数据更新，每次更新涉及20亿条数据档案记录。 三大公司百花齐放——先进的数据处理和模型评分技术 由于Metro标准的存在，美国三大个人征信局的数据库内容基本一致，但为什么三大机构的业务会有所不同呢？ 事实上，Metro标准只是提供了一个数据的原始输入格式，三大征信局都会对这些原始的数据进行各具特色的数据变换和数据加工，于是这些数据变换和数据加工技术成为三大征信局的关键技术，也就是它们各自拥有的“黑匣子
虚无境的博客 随笔分类 - 大数据
大数据文摘翻译／整理：兔八哥 转载请保留 想想吧, 每一分钟，每一瞬间，只要我们在网上，我们就在各种无穷尽的数据中找寻什么。 当你浏览到一个网站，你的大脑开始兴奋。 当数据成为一种任何人都可以掘取的资源，决策权也就少数人手中转让出来，并且变成公众讨论的的焦点问题。 这不仅让我们作为消费者感觉更有信心, 同时对于我们的工作职业及公司来说意义也很重大。正因为数据资源变得容易获取,分析数据的专业能力就成为了一个竞争优势。 把数据看成天然资源也可以帮助我们根据这些数据推出新的服务。 大数据正在重新定义每一个行业和职业，每个人都要把握时机，学习如何充分利用这些数据。
关系数据库管理系统（RDBMS） SQLServer：世界最有活力的数据库； MySQL：世界最流行的开源数据库； PostgreSQL：世界最先进的开源数据库； Oracle 数据库：对象- Actian Versant：商用的面向对象数据库管理系统； Crate Data：是一个开源的大规模可扩展的数据存储，需要零管理模式； Facebook Apollo：Facebook的Paxos ； SymmetricDS：用于文件和数据库同步的开源软件； Map-D：为GPU内存数据库，也为大数据分析和可视化平台； TiDB：TiDB是分布式SQL数据库，基于谷歌F1的设计灵感； VoltDB ； SpagoBI：开源商业智能平台； Tableau：商业智能平台； Zoomdata：大数据分析； Jethrodata：交互式大数据分析。 、兼容Retina的图表； Chart.js：开源的HTML5图表可视化效果； Chartist.js：另一个开源HTML5图表可视化效果； Crossfilter：JavaScript库，用于在浏览器中探索多元大数据集
到底，商业数据库，开源数据库，云原生，云数据库，国产数据库那些更有看头，这里来胡说八道，当然也是不负责的胡说八道。 那么急于这个市场的数据库产品是那些，大家心里都有数。 所以就略过这样的产品，说说商业数据库，云数据库，云原生数据库，开源数据库这几类。 2 开源数据库 开源数据库使用是有很大的群众基础的，大到上面使用商业数据库的那些使用者，想节约成本，下到根本买不起商业数据库的那些企业，个人都是开源数据库的使用者，基于广大的使用者以及各种场景的应用， 但是基于开源数据库最大的问题是，稳定性，或者在用大白话，就是没有人背锅，所以使用数据库的使用者，那些领导不愿因使用开源数据库的一个原因是 1 怕担责任 2 怕出事 3 出事怕没有背锅的 4 没技术 另外两种数据库形式的产品，总体会随着越来越多的使用者往云上迁移，导致萎缩，开源数据库本身不会萎缩，还会更强大，因为更多云厂商也会投入到开源数据库本身的研究中。 所以结论是不是有了。
腾讯大数据处理套件（TBDS）是基于腾讯多年海量数据处理经验，对外提供的可靠、安全、易用的大数据处理平台。你可以根据不同数据处理需求选择合适的大数据分析引擎和相应的实时数据开发、离线数据开发以及算法开发服务，来构建您的大数据应用服务……
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
文件存储
命令行工具
SSL 证书