腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大鹅专栏：大数据到机器学习

从大数据计算到机器学习，你需要了解这些。专注于Hadoop生态 Spark 机器学习深度学习

专栏作者

127

文章

265353

阅读量

46

订阅数

【ES三周年】ElasticSearch 简要技术总结与Spark结合使用实践

官方文档 spark Elasticsearch Service 搜索引擎 html

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。它是一个实时的分布式搜索和分析引擎。它可以帮助你用几秒钟内搜索百万级别的数据。

2023-02-14

1.6K0

Spark 查看某个正在执行的或已结束的任务中executor与driver日志

yarn node.js 网站 spark 大数据

如果运行在 YARN 模式，可以在 ResourceManager 节点的 WEB UI 页面根据任务状态、用户名或者 applicationId Search 到应用。

2021-06-16

5.2K0

Spark Structrued Streaming 及 DStreaming 调优笔记

文件存储批量计算 spark 数据处理编程算法

项目中用的是Spark Structrued Streaming ，也就是Spark 2.0的新版Streaming，看官方文档也说过性能及实时性会比之前的Dstreaming好点，但是相关的资料相比Dstreaming实在是少很多，现在调优阶段很多都要参考Dstreaming的文章以及经验。

2021-06-16

1.3K0

Spark RDD / Dataset 相关操作及对比汇总笔记

javascript https 网络安全 spark python

本篇博客将会汇总记录大部分的Spark RDD / Dataset的常用操作以及一些容易混淆的操作对比。

2021-06-16

9780

Spark Structured Streaming + Kafka使用笔记

jquery node.js kafka spark 批量计算

这篇博客将会记录Structured Streaming + Kafka的一些基本使用(Java 版)

2021-06-16

1.4K0

Spark中RDD 持久化操作 cache与persist区别

文件存储 scala 缓存 java spark

在进行RDD操作的时候，我们需要在接下来多个行动中重用同一个RDD，这个时候我们就可以将RDD缓存起来，可以很大程度的节省计算和程序运行时间。

2021-06-15

7360

Spark RDD / Dataset 相关操作及对比汇总笔记

大数据解决方案 java spark 云数据仓库套件 sparkling

本篇博客将会汇总记录大部分的Spark RDD / Dataset的常用操作以及一些容易混淆的操作对比。

2020-10-29

1.6K0

Spark Streaming(DStreaming) VS Spark Structured Streaming 区别比较优劣势

java spark 大数据解决方案

## Spark Streaming(DStreaming) VS Spark Structured Streaming 区别比较优劣势

2020-10-29

2K0

Spark Structured Streaming 使用总结

大数据解决方案 java spark hadoop

在大数据时代中我们迫切需要实时应用解决源源不断涌入的数据，然而建立这么一个应用需要解决多个问题：

2020-10-29

8.9K0

CentOS集群安装CDH Hadoop环境操作指引及Yarn Hbase Spark配置安装

java hadoop spark hbase

此篇博客主要记录集群安装Hadoop环境的流程及配置讲解。这里的IP已换成192.168.0.*

2020-06-24

1.4K0

Spark 基本概念及 jobs stages tasks 等解释

spark hadoop 大数据处理套件 TBDS 大数据大数据解决方案

还有一个是范围的依赖，即RangeDependency，它仅仅被org.apache.spark.rdd.UnionRDD使用。UnionRDD是把多个RDD合成一个RDD，这些RDD是被拼接而成，即每个parent RDD的Partition的相对顺序不会变，只不过每个parent RDD在UnionRDD中的Partition的起始位置不同

2019-09-23

1.2K0

Spark 与 Hadoop 学习笔记介绍及对比

大数据处理套件 TBDS 大数据解决方案大数据 spark hadoop

这篇博客将会简单记录Hadoop与Spark对比，HDFS，MapReduce的基本概念，及Spark架构设计，RDD，运行模式。整理起来一起阅读方便我们理解整个大数据处理框架全局和发展。

2019-09-23

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态