腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

xingoo, 一个梦想做发明家的程序员

专栏作者

805

文章

896321

阅读量

80

订阅数

Spark 3.0 新特性之自适应查询与分区动态裁剪

Spark憋了一年半的大招后，发布了3.0版本，新特性主要与Spark SQL和Python相关。这也恰恰说明了大数据方向的两大核心：BI与AI。下面是本次发布的主要特性，包括性能、API、生态升级、数据源、SQL兼容、监控和调试等方面的升级。

2020-07-27

1.3K0

基于TensorFlow的深度学习系列教程 2——常量Constant

spark tensorflow 编程算法

在tensorflow中，数据分为几种类型: 常量Constant、变量Variable、占位符Placeholder。其中：

2019-07-02

6820

Structured Streaming教程(1) —— 基本概念与使用

大数据 spark

在有过1.6的streaming和2.x的streaming开发体验之后，再来使用Structured Streaming会有一种完全不同的体验，尤其是在代码设计上。

2018-07-31

1.3K0

Spark踩坑——java.lang.AbstractMethodError

百度了一下说是版本不一致导致的。于是重新检查各个jar包，发现spark-sql-kafka的版本是2.2，而spark的版本是2.3，修改spark-sql-kafka的版本后，顺利执行。

2018-07-31

1.6K0

CDH中如何升级Spark

spark hadoop yarn

通过上面的过程分析，可以知道，Spark版本存在两个地方：一个是A节点提交Spark-submit的程序必须是2.3.0版本的；另一个是Yarn使用的lib必须是2.3.0版本的。

2018-07-31

8240

Spark MLlib 之大规模数据集的相似度计算原理探索

spark 大数据

在spark中RowMatrix提供了一种并行计算相似度的思路，下面就来看看其中的奥妙吧！

2018-07-31

2.2K0

spark踩坑——dataframe写入hbase连接异常

最近测试环境基于shc[https://github.com/hortonworks-spark/shc]的hbase-connector总是异常连接不到zookeeper，看下报错日志： 18/06/20 10:45:02 INFO RecoverableZooKeeper: Process identifier=hconnection-0x5175ab05 connecting to ZooKeeper ensemble=localhost:2181 18/06/20 10:45:02 INFO Rec

2018-06-21

2.2K0

Spark Client启动原理探索

经过几天闲暇时间的学习，终于又理解的深入了一些，关于Spark Client如何提交作业也更清晰了点。在整体的流程图上是这样的：大体的思路就是应用程序通过SparkSubmit提交程序后，

2018-03-28

5650

Spark机器学习——模型选择与参数调优之交叉验证

spark 机器学习

spark 模型选择与超参调优机器学习可以简单的归纳为通过数据训练y = f(x) 的过程，因此定义完训练模型之后，就需要考虑如何选择最终我们认为最优的模型。如何选择最优的模型，就是本篇的主要内容：模型验证的方法超参数的选择评估函数的选择模型验证的方法在《统计学习方法》这本书中，曾经讲过模型验证的方法有三种，分别是简单的交叉验证，S折交叉验证，留一交叉验证简单的交叉验证即把全部数据按照比例分割成两部分，分别是训练集和测试集。在训练集训练模型，在测试集测试效果，最终选择一个代价比较小

2018-03-28

1.5K0

Spark DataFrame写入HBase的常用方式

Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可... 代码在spark 2.2.0版本亲测 1. 基于HBase API批量写入第一种是最简单的使用方式了，就是基于RDD的分区

2018-03-28

4.1K0

如何在Java应用中提交Spark任务？

最近看到有几个Github友关注了Streaming的监控工程——Teddy，所以思来想去还是优化下代码，不能让别人看笑话啊。于是就想改一下之前觉得最丑陋的一个地方——任务提交。本博客内容基于Spark2.2版本~在阅读文章并想实际操作前，请确保你有：一台配置好Spark和yarn的服务器支持正常spark-submit --master yarn xxxx的任务提交老版本老版本任务提交是基于 ** 启动本地进程，执行脚本spark-submit xxx ** 的方式做的。其中一个关键的问题就是

2018-03-28

2.9K0

[Scala随用随学] —— sealed声明的作用

今天在看MLlib的源码时，看到Vector的声明是sealed trait,很好奇这个sealed有什么作用，与是搜到了这个文章：http://www.cnblogs.com/rollenholt/p/4192758.html 试验了下，这个sealed就是保证你在match的时候需要把所有可能出现的情况都写出来。如果漏掉一个，就会报编译出错：比如下面的代码，声明了两个trait，其中Test2是sealed声明： sealed trait Test2{} trait Test1{} case cla

2018-01-17

6280

白话推荐系统——从原理到实践，还有福利赠送！

机器学习 spark 大数据深度学习

之前流水账似的介绍过一篇机器学习入门的文章，大致介绍了如何学习以及机器学习的入门方法并提供了一些博主自己整理的比较有用的资源。这篇就尽量以白话解释并介绍机器学习在推荐系统中的实践以及遇到的问题... 也许很多点在行家的眼里都是小菜一碟，但是对于刚刚接触机器学习来说，还有很多未知等待挑战。所以读者可以把本篇当做是机器学习的玩具即可，如果文中有任何问题，还请不吝指教。本篇将会以下面的步骤描述机器学习是如何在实践中应用的： 1 什么是推荐系统？ 2 机器学习的作用 3 机器学习是如何使用的？ 4 基于S

2018-01-17

7060

《Spark MLlib 机器学习实战》1——读后总结

spark 大数据

1 概念 2 安装 3 RDD RDD包含两种基本的类型：Transformation和Action。RDD的执行是延迟执行，只有Action算子才会触发任务的执行。宽依赖和窄依赖用于切分任务，如果

2018-01-17

7060

Spark源码分析之 Driver和Excutor是怎么跑起来的?(2.2.0版本)

今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。更多内容参考：我的大数据之路 Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0，所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有： Standalone模式中的Master与Worker client、dr

2018-01-17

5750

大数据学习之路（持续更新中...）

大数据云数据库 SQL Server 运维 spark

在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。前言在学习大数据之前，先要了解他解决了什么问题，能给我们带来什么价值。一方面，以前IT行业发展没有那么快，系统的应用也不完善，数据库足够支撑业务系统。但是随着行业的发展，系统运行的时间越来越长，搜集到的数据也越来越多，传统的数据库已经不能支撑全量数

2018-01-17

1.4K0

Oozie分布式任务的工作流——Spark篇

Spark是现在应用最广泛的分布式计算框架，oozie支持在它的调度中执行spark。在我的日常工作中，一部分工作就是基于oozie维护好每天的spark离线任务，合理的设计工作流并分配适合的参数对于spark的稳定运行十分重要。 Spark Action 这个Action允许执行spark任务，需要用户指定job-tracker以及name-node。先看看语法规则：语法规则 <workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.3

2018-01-17

1.2K0

Oozie分布式任务的工作流——邮件篇

xml tcp/ip 分布式企业邮箱 spark

在大数据的当下，各种spark和hadoop的框架层出不穷。各种高端的计算框架，分布式任务如乱花般迷眼。你是否有这种困惑！——有了许多的分布式任务，但是每天需要固定时间跑任务，自己写个调度，既不稳定，又没有可靠的通知。想要了解Oozie的基础知识，可以参考这里那么你应该是在找——Oozie。 Oozie是一款支持分布式任务调度的开源框架，它支持很多的分布式任务，比如map reduce,spark,sqoop,pig甚至shell等等。你可以以各种方式调度它们，把它们组成工作流。每个工作流节点可以

2018-01-17

1.6K0

Spark源码分析之 Driver和Excutor是怎么跑起来的?(2.2.0版本)

spark 大数据 android

今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。更多内容参考：我的大数据之路 Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0，所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有： Standalone模式中的Master与Worker client、dr

2018-01-17

5010

Spark Stage切分源码剖析——DAGScheduler

Spark中的任务管理是很重要的内容，可以说想要理解Spark的计算流程，就必须对它的任务的切分有一定的了解。不然你就看不懂Spark UI,看不懂Spark UI就无法去做优化...因此本篇就从源码的角度说说其中的一部分，Stage的切分——DAG图的创建先说说概念在Spark中有几个维度的概念：应用Application，你的代码就是一个应用 Job，Job是以action为边界的。 Stage，是按照宽窄依赖来界定的 Task，最终落实到各个工作节点上的任务，是真正意义上的任务光说上面的

2018-01-17

1.2K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态