大数据开发-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据开发

专栏成员

212

文章

225390

阅读量

25

订阅数

大数据开发：消息队列如何实现分布式事务？

大数据大数据处理套件 TBDS 分布式分布式事务 dtf

在大数据技术生态当中，消息队列，主要是针对实时消息流的处理，而实时消息流场景下，常常需要解决的一个问题，就是数据一致性的问题，这其中又涉及到分布式事务。今天的大数据开发学习分享，我们就来讲讲消息队列如何利用事务消息实现分布式事务？

成都加米谷大数据

2021-07-12

7210

大数据行业人才缺口究竟有多大？

云计算大数据物联网数据挖掘分布式

如今我们听到越来越多关于大数据相关的信息，无论是大数据行业的工资薪酬还是大数据的人才缺口数量，它已然成为了是继云计算、物联网后的又一全球热点问题它不断的受到了社会各界的关注。大数据已经成为一种战略资源，具有广阔的应用前景。

成都加米谷大数据

2021-03-16

6850

大数据开发：Spark入门详解

spark 任务调度 sql hadoop 分布式

众所周知，Spark 它是专门为大规模数据处理而设计的快速通用计算引擎，因此Spark它在数据的挖掘等领域便有着非常广泛的应用，而从现阶段来讲的话它也已经形成了一个高速发展并且应用相当广泛的生态系统了。所以，今天这篇文章便要为大家做一个Spark入门基础的简单介绍，满满干货，请不要错过。

成都加米谷大数据

2021-03-02

8880

大数据分析：浅谈分布式架构

分布式负载均衡负载均衡缓存

简单的说，“分工协作，专人做专事”就是分布式的概念。就好比你是你们公司唯一的码农，那么前后端都需要你自己来开发（单体架构），但随着业务的增长，你确实忙不过来了，老板给你招来了一个前端，那么你就只需要专注后端开发就行了（分布式）。但是软件的分布式搭建远远不像现实例子中这么简单，需要考虑和处理很多方面的问题，我们先了解以下几个常见的概念：

成都加米谷大数据

2021-02-05

9770

大数据开发：分布式OLAP查询引擎Presto入门

大数据大数据处理套件 TBDS 分布式批量计算

在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求。

成都加米谷大数据

2021-01-19

1.3K0

大数据开发：分布式文件存储系统简介

大数据大数据解决方案分布式文件存储

在分布存储式存储技术体系当中，分布式文件存储是其中的分类之一，也是大数据架构当中常常用到的。得益于Hadoop的高人气，Hadoop原生的HDFS分布式文件系统，也广泛为人所知。但是分布式文件存储系统，并非只有HDFS。今天的大数据开发分享，我们就主要来讲讲常见的分布式文件存储系统。

成都加米谷大数据

2021-01-13

1.5K0

大数据开发：HDFS的故障恢复和高可用

大数据大数据处理套件 TBDS 分布式文件存储 hadoop

作为分布式文件系统的HDFS，在Hadoop技术生态当中，始终是不容忽视的。HDFS的稳定性和可靠性，对于后续的数据处理环节，提供底层支持，起着至关重要的作用。今天的大数据培训分享，我们就主要来讲讲HDFS的故障恢复和高可用。

成都加米谷大数据

2020-12-31

1.4K0

大数据入门：HDFS架构演进之路

大数据大数据处理套件 TBDS hadoop 分布式文件存储

Hadoop的核心三大组件之一，HDFS主要负责分布式文件存储，将大规模的数据存储任务拆分成小块，分布到不同的机器上，从而以低成本的方式解决大数据存储问题。今天的大数据入门分享，我们就主要来讲讲伴随着Hadoop的迭代更新，HDFS架构是如何演进的。

成都加米谷大数据

2020-12-29

3190

大数据入门：微服务架构重要概念

大数据微服务分布式

在大数据当中，作为核心基础的分布式，在架构层面可以说是作为主导的思想，而提到分布式，还有一个与之紧密关联的重要概念，就是微服务。之前我们也对微服务做个简单的入门介绍，今天的大数据入门分享，我们主要来讲讲，微服务架构重要概念。

成都加米谷大数据

2020-12-21

3370

Java大数据：全文搜索引擎Elasticsearch入门

大数据分布式 Elasticsearch Service

在之前的《Java大数据：大数据开发必须掌握的四种数据库》一文中，我们提到了MongoDB、Redis、ElasticSearch、Hbase，系列文也对MongoDB、Redis、Hbase都做了简单的入门介绍。今天是系列文的最后一篇，我们来讲全文搜索引擎Elasticsearch。

成都加米谷大数据

2020-11-17

8880

Java大数据：Hbase分布式存储入门

大数据分布式 TDSQL MySQL 版 hadoop hbase

之前的系列文章当中，已经为大家介绍了大数据存储当中的MongoDB、Redis等数据库，今天接着来讲Hbase。Hbase在大数据存储当中，与Hadoop生态紧密相关，也是Hadoop生态当中必学的重要组件。下面我们从基础入门开始，来讲讲Hbase。

成都加米谷大数据

2020-11-16

1K0

Java大数据：分布式存储Redis初级入门

大数据 java 云数据库 Redis 数据库分布式

在Java大数据当中，Redis作为数据存储的一种的解决方案，主流运用很多。Redis可作为数据库、缓存或者消息代理，从内存加载数据，相比传统的数据库解决方案，具有更快的读写性能。今天我们就来讲讲，Java大数据分布式缓存的Redis入门基础。

成都加米谷大数据

2020-11-12

5690

Java大数据：关于分布式、高并发与多线程

大数据大数据处理套件 TBDS java 分布式

大数据作为Java新一轮的热点方向，越来越多的企业在招聘当中，想要找到懂分布式、高并发的开发人才，而在Java大数据方向上，分布式、高并发、多线程既是重点，也是难点。今天我们就来聊聊Java大数据开发当中，分布式、高并发与多线程的概念异同。

成都加米谷大数据

2020-11-09

8540

大数据和分布式入门：主流分布式缓存组件

大数据大数据处理套件 TBDS hadoop 云数据库 Redis 分布式

在大数据处理当中，核心指导思想始终是分布式，基于分布式思想，我们有了Hadoop等开源技术框架，能够以更低的成本完成企业大数据系统平台搭建，支持业务进展。今天大数据和分布式入门，我们主要来聊聊主流的大数据分布式缓存组件。

成都加米谷大数据

2020-10-20

1K0

大数据概念解析：分布式存储与数据库

大数据大数据解决方案 TDSQL MySQL 版分布式

大数据技术当中，在海量数据的存储环节，涉及到两个重要的概念，就是分布式数据存储与数据库，稳定高效安全的数据存储，才能为后续的计算分析环节，提供稳固的支持。今天的大数据概念解析，我们来讲讲分布式存储与数据库。

成都加米谷大数据

2020-10-16

2.7K0

大数据概念解析：分布式计算与服务器集群

大数据分布式 hadoop

进入大数据学习当中，相关的专业词汇很多，尤其是涉及到技术概念，对于概念词汇的理解，对于后续的技术学习和掌握，也是有好处的。今天我们来着重讲解大数据当中的两个重要概念，分布式计算以及服务器集群。

成都加米谷大数据

2020-10-13

9850

分布式消息系统之Kafka入门

大数据处理套件 TBDS 大数据 kafka 分布式

在大数据学习当中，重点之一就是大数据技术框架，针对于大数据处理的不同环节，需要不同的技术框架来解决问题。以Kafka来说，主要就是针对于实时消息处理，在大数据平台当中的应用也很广泛。今天我们就主要来讲讲分布式消息系统Kafka的入门基础。

成都加米谷大数据

2020-09-30

1.2K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态