使用python或hadoop进行数据分析?

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (3)
  • 关注 (0)
  • 查看 (509)

哪种技术可以有效地分析数据hadoop或python?哪种技术速度介于上述两者之间?

提问于
用户回答回答于

所谓大数据分析,其实是大数据处理当中非常关键的一个环节,而企业搭建大数据系统平台,负责大数据计算的框架不少,从Hadoop的原生MapReduce到Spark,Storm,Flink,这些年一直在不断更新迭代,各自更能适应的场景也并不相同。

Hadoop是当前大数据管理标准之一,运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。

Spark采用了内存计算。从多迭代批处理出发,允许将数据载入内存作反复查询,此外还融合数据仓库,流处理和图形计算等多种计算范式。

Storm用于处理高速、大型数据流的分布式实时计算系统。为Hadoop生态添加了可靠的实时数据处理功能。

而新兴的Flink,主打有状态的数据流计算,在计算性能上有极大的优势,目前也越来越受到市场的欢迎。

热门问答

程序员过节指南:如何用代码做一个月饼?

西门呀在吹雪非典型性程序员
public static void main(String[] args) { int r = 20; for (int y = 0; y <= 2 * r; y += 4) { int x = (int) Math.r...... 展开详请

腾讯 99 公益日,技术如何改变公益未来?

在5G时代,会给公益发展趋势带来三个改变:一是公益的广度,传统的公益有了技术的支撑,参与范围会更广;二是基于5G的超快速度,公益会更高效;三是公益的深度会增加,以前做公益、做支援更容易被局限于时空。当然不管技术怎么改变,我们都是想让社会更美好,热爱公益的心和对待社会的温度是不变的...... 展开详请

作为人类高质量程序员,必须掌握哪些算法?

IT小马哥

北京天谱同盛教育科技有限公司 · JAVA高级研发经理 (已认证)

想做个有钱人,却误入程序世界的一个小码农。
推荐
程序 = 数据结构 + 算法 。数据是程序的中心。数据结构和算法两个概念间的逻辑关系贯穿了整个程序世界,首先二者表现为不可分割的关系。没有数据间的有机关系,程序根本无法设计。换言之数据结构是底层,算法就是高层。数据结构为算法提供服务。算法围绕数据结构操作。可以说没有算法的程序是没...... 展开详请

程序员如何维持对编程的热情?

一方面多上github,多实践新的开源项目。思考我能从这些开源项目中学到什么来改进自己的工作。新事物总能给人带来新的乐趣。另一方面定位问题,思考解决方案的过程在未解决问题以前总是无趣的。只有解决的瞬间才有最棒的成就感。长期做自己能力范围外的事容易有挫折感,比如思考数周没有方案的事...... 展开详请

程序员读别人的代码是一种什么样的心理体验?

推荐
以下案例为反面教材,大家不要模仿∠( ᐛ 」∠)_ 我接手了这个项目,发现整个系统对外交互的接口就这一个orderController(里面不止订单维度的接口。。。) 它果然幸不辱命2370行代码。(我看不下去了就新增了一个PartnerController,希望我走后con...... 展开详请

《黑神话:悟空》有哪些值得关注的游戏技术?

三掌柜

佰钧成技术有限责任公司 · 架构师 (已认证)

一名合格的、二把刀的、科班的程序猿
近段时间对于《黑神话:悟空》的话题在整个游戏圈掀起了热烈的讨论,热情之余回归理性,会发现这款游戏的预告片之所以这样火,主要原因并非是其有多么高的品质,而是我们终于有一款能够让外国人主动去了解中国西游文化的作品。也正是有这个深层次的原因,才会让人民日报这样的主流媒体都称赞“悟空”。...... 展开详请

扫码关注云+社区

领取腾讯云代金券