首页标签大数据

#大数据

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

大数据计算引擎对比:Hadoop vs Spark vs Flink

成都加米谷大数据

Hadoop学习可以说是大数据学习当中的重难点,很多同学都在Hadoop的学习当中存在各种各样的疑问。很多同学都问过这样一个问题,针对于大数据处理,有Hadoo...

2320

Pandas高级教程之:Dataframe的合并

程序那些事

Pandas提供了很多合并Series和Dataframe的强大的功能,通过这些功能可以方便的进行数据分析。本文将会详细讲解如何使用Pandas来合并Serie...

3100

抖音面试题:遇到连续问题怎么办?

猴子数据分析

然后,用登陆日期的“天”和“每个月登陆顺序”的差值来做标记(如下图)。这样就可以知道,当登陆日期连续时,差值就是相同的,代表这些天用户是连续登陆。

700

大数据开发:Kafka入门须知的几组概念

成都加米谷大数据

Kafka在目前的大数据技术生态体系当中,是尤其得到重用的,尤其是针对于实时消息流处理,Kafka的性能是值得称赞的。Kafka学习,也是大数据学习当中的重要一...

200

Flink自定义OSS的Sink

平常心

基于上篇说明的OSS异常内容和功能弱的缘故,考虑自定义Sink处理的方式。主要关注点是文件命名的动态化和高效批写入。

5420

大数据开发:Spark core核心讲解

成都加米谷大数据

关于Spark框架在大数据生态当中的地位,相信不必多说大家也明白,作为大数据公认的第二代计算引擎,Spark至今仍然占据重要的市场份额,只要提到大数据,那么Sp...

7510

Flink实时kafka数据写入OSS异常总结

平常心

目前想把kafka json格式的埋点数据写入OSS存储,但是参考官网文档出现很多异常内容,总结如下:

12260

【Flink源码实战(一)】给Flink增加一个REST API

皮皮熊

腾讯 · 高级工程师 (已认证)

Flink官方实现了大量的REST API接口,有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManag...

17260

面试应答有哪些话术和技巧?

猴子数据分析

是想通过这个问题知道,你是否愿意长期在公司干下去,还想知道你的职业规划是什么,毕竟面试官喜欢有明确目标的人。

5120

大数据开发:离线数仓与实时数仓

成都加米谷大数据

进入大数据时代,大数据存储的解决方案,往往涉及到数据仓库的选型策略。从传统时期的数据仓库,到大数据环境下的数据仓库,其核心的技术架构是在随着最新技术趋势而变化的...

3800

原来做炫酷图表这么容易

猴子数据分析

这是腾讯旗下的产品,里面有多种图标,选择适合的图标定制数据,做完后可以发手机上看。操作快捷方便,最重要是免费。

1700

每日互动CTO谈数据中台(上):从要求、方法论到应用实践

个推

当下,数据中台概念火热,但业界对于何谓数据中台,如何进行中台建设意见不一。如何拨开中台建设背后的迷雾,开启对于企业而言意义深远的数字化战略之路?作为数据智能领域...

3200

大数据入门到进阶:Hadoop学习路线规划

成都加米谷大数据

在大数据处理的各项技术当中,Hadoop的地位无疑是得到充分肯定的,做大数据,避不开Hadoop,学大数据,当然也必学Hadoop。而对于很多零基础学习者,学H...

4410

python抓取微信撤回消息

用户6172015

微信是腾讯公司的一个智能通讯服务的免费应用APP程序,在互联网飞速发展的下,微信也得到大众认知,经统计中国人基本上都在用微信。中国已经进入了互联网的微信时代,中...

8810

如何评价「选择比努力更重要」这种观点?

猴子数据分析

从个人层面来说,在现在人工智能,大数据时代,你选择学习python和r的技能,就是在改变自己的出身环境,从而提高你的赚钱能力,比其他人的条件概率高。

9720

大数据开发:Hadoop、Spark、Flink三大框架对比

成都加米谷大数据

目前来说,大数据领域最为活跃的三个计算框架,当属Hadoop、Spark以及Flink这三者。三个框架在不同的大数据处理场景当中,表现各有优势,因此也常常被拿来...

5930

腾讯面试题:你今天上班打卡了吗?

猴子数据分析

有一张用户签到表,表中记录了每个用户每天签到的情况。该表包括了三列日期、用户id、用户当日是否签。

900

大数据开发:Flume分布式日志系统简介

成都加米谷大数据

关于大数据开发学习,Flume分布式日志系统,以上就为大家做了简单的介绍了。Flume组件在大数据技术生态当中占据重要位置,因而在大数据学习当中,也需要给以足够...

8120

Flink 快照分析:定位大状态和数据倾斜的算子

KyleMeow

腾讯云 · 工程师 (已认证)

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以...

10520

扫码关注云+社区

领取腾讯云代金券