spark - 标签 - 腾讯云开发者社区-腾讯云

#spark

Apache Spark是一个开源集群运算框架，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。

袋鼠云数栈基于CBO在Spark SQL优化上的探索

数栈DTinsight 20天前2022-06-10 11:59:30

Spark SQL 的优化器有两种优化方式：一种是基于规则的优化方式 (Rule-Based Optimizer，简称为 RBO)；另一种是基于代价的优化方式 ...

8320

分享一下Spark History Server搭建以及使用s3路径的eventlog的坑

huanhuan sama 22天前2022-06-07 14:08:24

完成了spark on k8s的部署和测试，现在需要一个能够查看spark任务执行情况的ui，原先采用yarn资源管理器ui链接到spark-web-ui，由于...

10330

Spark离线导出Mysql数据优化之路

2011aad

腾讯 · 后台开发 (已认证)

2022-05-242022-05-24 12:13:43

这个实现中需要注意在sparkSession.read时，设置 "pushDownPredicate"和"pushDownAggregate"这两个参数为tru...

256102

陈胡：Apache SeaTunnel实现非CDC数据抽取实践

DataFunTalk

DataFun · 运营负责人 (已认证)

2022-05-192022-05-19 15:51:56

导读：随着全球数据量的不断增长，越来越多的业务需要支撑高并发、高可用、可扩展、以及海量的数据存储，在这种情况下，适应各种场景的数据存储技术也不断的产生和发展。与...

13920

No FileSystem for scheme "s3"问题解决

huanhuan sama 2022-05-192022-05-19 11:22:35

公司使用s3的路径去关联hive的分区，现在接入spark on k8s引入了3.0以上的hadoop版本，高版本的hadoop版本开始支持s3a配置。

15630

Spark-Core核心RDD基础03---对照Spark官网学习

Michael999 2022-05-102022-05-10 07:52:06

https://spark.apache.org/docs/2.3.0/rdd-programming-guide.html#overview

13810

数据开发治理平台Wedata之数仓建设实践

张志刚 2022-05-092022-05-09 11:04:22

本案例基于腾讯云一站式开发治理平台Wedata、私有网络VPC、云数据库Mysql和弹性Mapreduce构建了全流程的离线数仓建设流程。通过模拟业务数据的导入...

21440

Spark-Core核心RDD基础02

Michael999 2022-05-062022-05-06 15:02:16

首先由SparkContext对象sc调用textFile()函数，然后进行collect()操作，也就是做一个reduce操作，即可显示读取的结果

13860

Spark初步认识与安装

Michael999 2022-04-292022-04-29 20:14:18

Spark官方文档：https://spark.apache.org/docs/2.3.0/rdd-programming-guide.html

13420

Spark SQL 字段血缘在 vivo 互联网的实践

2020labs小助手

vivo · 技术编辑 (已认证)

2022-04-252022-04-25 10:44:36

上面按照这种方式实现扩展，并在 apply 方法中把自己需要的规则注入到 SparkSessionExtensions 即可，除了以上四种可以注入的以外还有其他...

13020

使用Elasticsearch、Spark构建推荐系统 #2：深入分析

flavorfan

腾讯 · 研究员 (已认证)

2022-04-082022-04-08 15:24:41

Elasticsearch-spark-based recommender系统方案的两个关键步骤：

1.2K100

Spark源码分析-作业提交(spark-submit)

leslizhang

腾讯计算机系统有限公司 · 后台开发工程师 (已认证)

2022-03-302022-03-30 17:06:50

前面提到，spark向yarn提交作业的client类是org.apache.spark.deploy.yarn.YarnClusterApplication

14530

【大数据】回顾踩过的 Scala & Spark学习资料

onephone

腾讯 · 工程师 (已认证)

2022-03-302022-03-30 11:46:52

553420

带你理解并亲手实践 Spark HA 部署配置及运行模式

数人之道 2022-03-282022-03-28 17:52:05

由于 Spark 是计算框架，还需要有底层存储系统、资源协调管理、分布式协作管理等框架等进行支撑，因此我们这里使用在《万字+50图，详解 Hadoop HA 完...

27870