腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

CDA数据分析师

专栏作者

1603

文章

1884721

阅读量

175

订阅数

解读 | 数据分析的发展和演变经过哪几个阶段

数据分析存储大数据开源 hadoop

近年来，我们在信息技术领域取得了巨大进步，在技术生态领域中取得的一系列革命性成果也确实值得称赞。在过去的十年到二十年里，数据和分析一直是非常热门的词汇。因此我们需要明确它们是如何相互关联的，市场中扮演什么角色，以及将如何重塑商业业务。

CDA数据分析师

2018-11-08

1.1K0

资源 | 25个机器学习面试题，期待你来解答

机器学习深度学习线性回归 hadoop 编程算法

许多数据科学家主要是从一个数据从业者的角度来研究机器学习（ML）。因此，关于机器学习，我们应该尽可能多地把注意力放在新的程序包、框架、技术等方面，而不是关于核心理论的深入研究。在本文中，我所定义的机器学习包含所有的统计机器学习方法，因此不仅仅指深度学习。

CDA数据分析师

2018-09-17

5050

嫌弃Hadoop?可能是你的打开方式有问题

hadoop 数据分析 spark tcp/ip

原作者 Andrew Brust 编译 CDA 编译团队本文为 CDA 数据分析师原创作品，转载需授权关于 Hadoop 所谓的消亡，以及它跌落神坛的报道数不胜数。有很多人放马后炮说，Hadoop 从一开始就没有意义。还有人说“Hadoop 对于小型，临时的工作来说很慢”、“ Hadoop 很难”、“ Hadoop 已经死了，Spark 才是胜者”等等。那么事实真的如此吗如今围绕着 Hadoop 缺陷的争论和当初对其的大肆追捧一样激烈。在这些喋喋不休的争论中，你可能已经得出结论，Hadoo

CDA数据分析师

2018-02-26

5600

除了Hadoop，其他6个你必须知道的热门大数据技术

hadoop 大数据数据分析

原文来自 Cabot Technology Solutions 编译 CDA 编译团队本文为 CDA 数据分析师原创作品，转载需授权你知道新的市场领导者和曾经的领导者之间的关键区别是什么吗? 那

CDA数据分析师

2018-02-26

1.2K0

2017 数据科学届的六大预测！

hadoop 机器学习神经网络深度学习人工智能

如今数据给业务增长和利润创造了前所未有的机会。近十年来,随着先进的数据技术和出众的分析工具的出现，使得企业经营者可以从他们的数据资产获得众多利润,但他们中大部分才刚刚涉及到数据潜力的皮毛。数据科学正使得企业能够前所未有的利用其潜力。 McKinsey report 在2013年发布的一份报告中预测,全球商界会在未来十年中面临数据科学专业人员的严重短缺,尤其是擅长从大量的静态和动态的(实时)数据中获取竞争情报的 “150万名分析师”。随着这个的预测的成真,企业对数据管理的日益重视以及高等教育机构是使整个

CDA数据分析师

2018-02-26

6530

专访 | 神策数据CEO桑文锋：谁说大数据不需要「小而美」

大数据微信 hadoop 数据处理

从前任百度大数据部门的技术经理，到今天神策数据CEO，9年时间，桑文锋身上发生了许多变化。他笑称，这种变化从他的微信好友数量就能看出来。创业之前，他只有200多个好友，现在已经迅速逼近5000人的上限

CDA数据分析师

2018-02-24

1.1K0

别再比较Hadoop和Spark了，那不是设计人员的初衷

hadoop spark 大数据

对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。将Hadoop MapReduce与Spark作一番比较来得更明智，因为它们作为数据处理引擎更具有可比性。过去几年，随着数据科学趋于成熟，也日益需要用一种不同的方法来处理

CDA数据分析师

2018-02-24

8120

谈谈MATLAB大数据处理

matlab 大数据 hadoop 数据处理编程算法

摘要：今天多数的大数据方案都是依托Hadoop环境来做结构化和非结构化数据处理，如何把自己的Hadoop算法快速部署到实际的生产环境当中去，对很多企业的大数据部署也提出了挑战。近年来，随着大数据在Google、Facebook等企业的成功应用，很多传统企业和初创公司都转向应用大数据技术挖掘数据金矿。现有企业累计了大量的工业数据，但是大数据的开发的复杂流程阻碍了企业快速从工业数据和商业数据中挖掘价值。行业专家（算法研究者）精通行业数据分析，却受限于编程复杂度和缺乏快速部署算法的方法，使很多创造性想法无法得

CDA数据分析师

2018-02-24

2.3K0

数读 | 大数据与Hadoop不得不说的事

大数据 hadoop

大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、Hadoop等等。那么，大数据是什么、Hadoop是什么，Hadoop和大数据有什么关系呢？大数据概念早在1980年，著名未来学家阿尔文·托夫勒提出的概念。2009年美国互联网数据中心证实大数据时代的来临。随着谷歌MapReduce和GoogleFileSystem（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。目前定义：大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透

CDA数据分析师

2018-02-23

6110

大数据吹了这么久为什么还落不了地？就因为这9点

大数据 hadoop nosql

尽管在Hadoop与NoSQL部署方面做足了准备，同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。有时候一艘巨轮的侧方出现了破洞，但业界却决定坐等船体下沉、并把希望寄托在销售救生艇身上。也有些时候，这些问题似乎并没到要闹出人命的地步——类似我家里浴室的状况，只有往一边拧龙头才会出水。过一阵子我可能会找机会修理一下，但事实上这个问题已经存在了12年之久了。而在面对大数据业务时，我可以列出九个长久以来一直令人头痛的问题，时至今日它们依然存在着并困扰着无数用户。大数据痛点一号：GPU

CDA数据分析师

2018-02-23

6750

如何让Hadoop结合R语言做统计和大数据分析？

hadoop r 语言大数据数据分析

R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。以下为原文：前言写过几篇关于RHadoop的技术性文章，都是从统计的角度，介绍如何让R语言利用Hadoop处理大数据。今天决定反过来，从计算机

CDA数据分析师

2018-02-08

1.1K0

Hadoop中的Python框架的使用指南

最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但Apache Hadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括： Hadoop流 mrjob dumbo hadoopy pydoop 其它最终，在我的看来，H

CDA数据分析师

2018-02-05

1.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态