腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
圈层
工具
返回腾讯云官网
大数据开发
专栏成员
举报
212
文章
236362
阅读量
26
订阅数
订阅专栏
申请加入专栏
全部文章（212）
大数据（179）
大数据处理套件 TBDS（83）
hadoop（56）
java（42）
大数据解决方案（30）
spark（27）
分布式（17）
数据库（16）
数据分析（14）
mapreduce（10）
编程算法（8）
hive（8）
数据挖掘（7）
sql（7）
深度学习（7）
hbase（7）
神经网络（6）
面向对象编程（6）
spring（5）
文件存储（5）
人工智能（5）
kafka（5）
scala（4）
nosql（4）
云数据库 Redis®（4）
TDSQL MySQL 版（4）
消息队列 CMQ 版（4）
mongodb（4）
网站（4）
云计算（4）
c++（3）
python（3）
git（3）
容器镜像服务（3）
yarn（3）
容器（3）
存储（3）
缓存（3）
微服务（3）
负载均衡（2）
机器学习（2）
node.js（2）
android（2）
api（2）
jar（2）
maven（2）
linux（2）
负载均衡缓存（2）
云数据库 MongoDB（2）
es 2（2）
数据库解决方案（2）
企业（2）
开源（2）
运维（2）
spring boot（2）
zookeeper（2）
微信（2）
数据处理（2）
数据可视化（2）
物联网（2）
系统架构（2）
架构设计（2）
任务调度（2）
5g（2）
程序员（2）
行业（2）
ICP备案（1）
ios（1）
javascript（1）
servlet（1）
react（1）
xml（1）
嵌入式（1）
云数据库 SQL Server（1）
mvc（1）
github（1）
struts（1）
批量计算（1）
NAT 网关（1）
消息队列 CKafka 版（1）
腾讯云测试服务（1）
医疗（1）
数据安全（1）
云数据仓库 PostgreSQL（1）
shell（1）
网络安全（1）
jdk（1）
正则表达式（1）
mybatis（1）
grep（1）
kotlin（1）
aop（1）
tcp/ip（1）
spring cloud（1）
nat（1）
haskell（1）
虚拟化（1）
分布式事务 dtf（1）
Elasticsearch Service（1）
小程序·云开发（1）
vr（1）
面试（1）
搜索文章
搜索
搜索
关闭
大数据开发：Spark SQL数据处理模块
大数据
大数据处理套件 TBDS
spark
Spark SQL作为Spark当中的结构化数据处理模块，在数据价值挖掘的环节上，备受重用。自Spark SQL出现之后，坊间甚至时有传言，Spark SQL将取代Hive，足见业内对其的推崇。今天的大数据开发学习分享，我们就来讲讲Spark SQL数据处理模块。
成都加米谷大数据
2021-08-03
841
0
大数据开发：Spark MLlib组件学习入门
大数据
大数据处理套件 TBDS
spark
在Spark生态圈当中，MLlib组件，作为机器学习库而存在，在大数据分析、数据挖掘等数据处理操作上，提供重要的支持。学习Spark，对于MLlib组件的学习，也可以有相应程度的掌握。今天的大数据开发学习分享，我们就来讲讲Spark MLlib组件学习入门。
成都加米谷大数据
2021-08-02
871
0
大数据开发：Spark Structured Streaming特性
大数据
大数据处理套件 TBDS
spark
在Spark框架当中，早期的设计由Spark Streaming来负责实现流计算，但是随着现实需求的发展变化，Spark streaming的局限也显露了出来，于是Spark团队又设计了Spark Structured Streaming。今天的大数据开发学习分享，我们就主要来讲讲，Spark Structured Streaming特性。
成都加米谷大数据
2021-07-30
792
0
大数据开发：Spark运行原理
大数据
大数据处理套件 TBDS
spark
在大数据的诸多技术框架当中，Spark发展至今，已经得到了广泛的认可。Hadoop与Spark可以说是大部分企业级数据平台的主流选择，基于不同的应用场景，结合实际需求，来选择相应的技术架构。今天我们来聊聊Spark运行原理。
成都加米谷大数据
2021-07-29
355
0
大数据开发：Spark核心概念RDD入门
大数据
大数据处理套件 TBDS
spark
Spark在大数据处理上的优势，很大一部分来自数据处理速度的提升，这使得Spark在面对大规模实时计算的数据任务时，能够更快地完成大批量数据的处理，提升大数据处理的效率。而Spark获得的这些优势，核心关键在于RDD，今天我们为大家讲讲Spark核心RDD概念。
成都加米谷大数据
2021-07-28
361
0
Flink会取代Spark吗？谈谈大数据框架之间的竞争
大数据
大数据处理套件 TBDS
spark
在大数据计算领域，先后出现了Hadoop、Spark、Storm、Flink等多个计算框架，并且每每当一个新兴计算引擎出现，大家就忍不住拿来与早期的计算引擎进行对比。然后就会出现诸如Flink会取代Spark吗，Flink和Spark哪个好等等的问题讨论。今天我们就来聊聊大数据框架之间的竞争。
成都加米谷大数据
2021-07-27
1.1K
0
大数据开发：Spark数据处理核心架构
大数据
大数据处理套件 TBDS
spark
作为大数据领域主流运用的大数据计算框架之一，Spark这几年的发展态势也越来越好了。一方面是由于Spark在不断地完善，更适用于现阶段的大数据处理；另一方面则是因为Spark确实在大数据处理上表现出了强大的优势。
成都加米谷大数据
2021-07-26
707
0
大数据开发：Hadoop技术原理简介
大数据解决方案
大数据
hadoop
在大数据技术体系当中，Hadoop技术框架无疑是重点当中的重点，目前主流的大数据开发任务，都是基于Hadoop来进行的。对于很多初入门或者想要学习大数据的同学们，对于大数据Hadoop原理想必是比较好奇的，今天我们就主要为大家分享大数据Hadoop技术体系详解。
成都加米谷大数据
2021-07-23
1.1K
0
大数据开发：Hadoop数据分析应用场景
大数据
大数据处理套件 TBDS
hadoop
对于海量数据价值的挖掘，需要通过大数据分析来实现，而这些数据由于具有不同于传统数据的新特征，传统的数据分析技术和工具都不能高效的进行处理，因而才有了基于大数据技术平台进行大数据分析的需求。今天，我们以Hadoop框架为例，来看几个大数据分析项目实例。
成都加米谷大数据
2021-07-22
557
0
大数据开发：大数据Hadoop好学吗？
大数据
大数据处理套件 TBDS
hadoop
在大数据技术体系当中，Hadoop无疑是占据着非常重要的位置。从2005年Hadoop项目诞生开始，到如今发展到相对成熟稳定的阶段，Hadoop技术在大数据处理当中的重要性无疑是值得关注的，很多企业也在招聘Hadoop数据工程师。那么大数据Hadoop技术好学吗，下面我们先来了解一下。
成都加米谷大数据
2021-07-21
1K
0
大数据开发：Hadoop数据可视化展示
大数据
大数据处理套件 TBDS
数据可视化
在大数据时代，数据价值的挖掘非常重要，而挖掘出来的数据价值成果，需要展示出来，尤其是展示给相关业务人员，才能得到理解和下一步的运用，这也就是大家所说的数据可视化的问题。那么在Hadoop框架当中，Hadoop数据展示主要是怎么来实现的呢，今天我们就来分享一些Hadoop数据可视化的知识。
成都加米谷大数据
2021-07-20
2.3K
0
大数据开发：Hadoop架构如何提高数据吞吐量？
大数据处理套件 TBDS
大数据
hadoop
Hadoop架构在目前的大数据处理上，具有极大的优势，其中主要的一个原因就是Hadoop解决了系统进行数据处理的数据吞吐量的问题。海量的大数据通过Hadoop架构集群能够进行高效稳定的数据处理，那么Hadoop吞吐量是如何通过系统架构得到提升的呢，下面我们来了解一下。
成都加米谷大数据
2021-07-19
815
0
大数据开发：Hadoop处理数据的优势是什么？
大数据
大数据处理套件 TBDS
hadoop
Hadoop之所以大数据时代得到重用，很大程度上来说，就是因为在Hadoop在大数据处理上有很大的优势，针对大规模、多样化的大数据，进行高效准确的处理。那么Hadoop能处理哪些类型数据，Hadoop处理数据的优势是什么，下面我们来详细了解一下。
成都加米谷大数据
2021-07-16
1.2K
0
大数据开发：基于Hadoop的机器学习框架
大数据
大数据处理套件 TBDS
hadoop
机器学习
大数据成为热门关注的同时，机器学习、人工智能等话题热度也在不断攀升，尤其是在现阶段来说，大数据发展到一定阶段，与机器学习、人工智能等方面都存在斩不断的联系，因此很多人也在关注机器学习Hadoop框架。今天，我们就基于Hadoop来聊聊机器学习框架的相关话题。
成都加米谷大数据
2021-07-15
804
0
大数据开发：Hadoop数据写入和数据读取流程
大数据
大数据处理套件 TBDS
hadoop
基于Hadoop开发自己的企业大数据平台，这是现如今很多企业刚开始做大数据的选择，而在Hadoop系统框架当中，Hadoop实现数据处理的原理和技术，更是很多同学在学习上的难点。今天，我们就基于Hadoop生成数据、写入数据和读取数据的流程，来给大家做一个简单的分解。
成都加米谷大数据
2021-07-14
390
0
大数据开发：Hadoop Hive和Spark的对比
大数据
大数据处理套件 TBDS
hadoop
hive
spark
在大数据处理框架不断更新和优化的过程中，Hadoop和Spark之间既有竞争关系，也有相互协同的需求。比方说Hive和Spark，在一段时间内，很多人认为Spark会代替Hive，作为Hadoop的数据仓库，Hive真的已经落后了吗？
成都加米谷大数据
2021-07-13
2.2K
0
大数据开发：消息队列如何实现分布式事务？
大数据
大数据处理套件 TBDS
分布式
分布式事务 dtf
在大数据技术生态当中，消息队列，主要是针对实时消息流的处理，而实时消息流场景下，常常需要解决的一个问题，就是数据一致性的问题，这其中又涉及到分布式事务。今天的大数据开发学习分享，我们就来讲讲消息队列如何利用事务消息实现分布式事务？
成都加米谷大数据
2021-07-12
757
0
大数据开发：消息队列如何处理重复消息？
大数据
大数据处理套件 TBDS
消息队列 CMQ 版
消息队列是越来越多的实时计算场景下得到应用，而在实时计算场景下，重复消息的情况也是非常常见的，针对于重复消息，如何处理才能保证系统性能稳定，服务可靠？今天的大数据开发学习分享，我们主要来讲讲消息队列如何处理重复消息？
成都加米谷大数据
2021-07-09
2.3K
0
大数据开发：消息队列如何处理消息积压
大数据处理套件 TBDS
大数据
消息队列 CMQ 版
实时消息流处理，是当前大数据计算领域面临的常见场景需求之一，而消息队列对实时消息流的处理，常常会遇到的问题之一，就是消息积压。今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？
成都加米谷大数据
2021-07-08
2.3K
0
大数据开发：消息队列如何确保消息不丢失？
大数据
大数据处理套件 TBDS
消息队列 CMQ 版
消息队列在大数据技术生态当中，一直都是值得重视的存在，开源的消息队列产品，市面上也不少，基于不同的场景，需要去匹配不同的解决方案。围绕消息队列，今天的大数据开发学习分享，我们主要来聊聊，消息队列如何确保消息不丢失。
成都加米谷大数据
2021-07-07
1.6K
0
点击加载更多
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
