腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

王小雷

专栏作者

167

文章

264078

阅读量

46

订阅数

Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6

kafka gradle android spark

问题在于spark目前使用的Jackson是2.6+，而storm-kafka-client和kafka使用的是2.9+，两者之间gradle默认使用最新的依赖2.9+，所以spark structure Streaming程序运行时报错，不兼容jackson高版本。

2022-05-08

5350

Caused by: com.fasterxml.jackson.databind.JsonMappingException

kafka gradle android spark

问题在于spark目前使用的Jackson是2.6+，而storm-kafka-client和kafka使用的是2.9+，两者之间gradle默认使用最新的依赖2.9+，所以spark structure Streaming程序运行时报错，不兼容jackson高版本。

2019-05-28

1.5K0

14.3 Spark-SQL基于PostgreSQL数据分析编程实例

spark 数据库 postgresql sql 大数据

Spark对PostgreSQL数据源数据的处理，通过Spark SQL对结构化数据进行数据分析。

2019-05-28

1.1K0

14.1 Apache Spark 简介快速入门

spark apache 大数据 sql 机器学习

Spark使用先进的DAG调度系统，查询优化器与物理执行引擎，实现了批处理与流处理的高性能。

2019-05-28

3630

14.4 Spark-SQL基于Cassandra数据分析编程实例

spark nosql sql 数据库 https

版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/81058073

2019-05-26

9250

Spark jdbc postgresql数据库连接和写入操作源码解读

spark 数据库

本文介绍了如何利用Spark JDBC驱动和PostgreSQL数据库进行数据存储，并实现Spark程序对PostgreSQL数据库的增删改查操作。通过一个简单的示例，展示了如何使用Spark SQL进行读取和写入操作，并介绍了Spark JDBC和PostgreSQL的连接配置方法。

2018-01-02

3K0

spark (java API) 在Intellij IDEA中开发并运行

2018-01-02

3.4K0

用windows浏览器打开Linux的Jupyter notebook开发、调试示例

spark linux windows

本文介绍了如何在Windows操作系统上通过浏览器来远程访问Linux服务器上的Jupyter Notebook，以便进行Python和Spark编程。首先介绍了安装和配置Jupyter Notebook和Spark的必要步骤，然后阐述了如何在浏览器中访问Linux服务器上的Jupyter Notebook。

2018-01-02

2.2K0

Spark企业级应用开发和调优

2018-01-02

7110

Spark应用(app jar)发布到Hadoop集群的过程

本文介绍了如何将Spark应用(app jar)发布到Hadoop集群中，并提供了相关步骤、注意事项和示例。

2018-01-02

5060

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

ubuntu hadoop spark

摘要总结：本文主要介绍了在Ubuntu 16.04下如何安装Hadoop 2.6.0、Spark 1.6.2以及开发环境搭建的过程。主要包括了配置环境变量、安装Hadoop、配置Hadoop、安装Spark、运行Spark的例子以及关闭YARN和Spark。同时，还介绍了如何在Jupyter Notebook中开发Spark应用程序。

2018-01-02

1.1K0

spark编程python实例

本文介绍如何使用 PySpark 来读取和分析 CSV 数据。首先，我们介绍在 PySpark 中创建 SparkContext 的步骤，然后使用 SparkContext 来读取和分析 CSV 数据。我们使用 map 函数对数据进行处理，并使用 count 函数获取数据中的总购买次数。最后，我们打印出总购买次数。

2018-01-02

1.6K0

Spark学习之基于MLlib的机器学习

机器学习 spark

本文介绍了Spark基于MLlib的机器学习，包括机器学习算法、数据类型、操作向量、算法、统计、分类和聚类等。同时，还介绍了主成分分析（PCA）、奇异值分解（SVD）等降维方法在Spark上的应用。

2018-01-02

1.3K0

Spark学习之Spark SQL（8）

本文介绍了Spark SQL的功能和其与Spark DataFrame的交互，包括读取结构化数据、支持SQL查询、支持自定义函数等。同时，还提供了几个基本的查询示例和用户自定义函数的示例。

2018-01-02

1.1K0

Spark学习之在集群上运行Spark（6）

spark 机器学习

Spark学习之在集群上运行Spark（6）

2018-01-02

5790

Spark学习之Spark Streaming（9）

本文介绍了Spark Streaming的用法，包括如何编写和运行基于流的应用程序，以及如何使用Spark Streaming来处理数据。此外，还介绍了Spark Streaming的API和如何使用它来执行各种操作，包括筛选和输出操作。

2018-01-02

9330

Spark学习之编程进阶——累加器与广播（5）

本文介绍了Spark编程进阶之累加器与广播变量，包括两种类型的共享变量：累加器与广播变量。累加器用于信息聚合，广播变量用于高效分发大型对象。通过示例展示了如何使用这两种变量在Spark中处理数据。

2018-01-02

5250

Spark学习之Spark调优与调试（7）

本文介绍了Spark调优与调试的方法和技巧，包括设置SparkConf、查看应用进度信息和性能指标、Spark执行组成部分、使用Spark shell完成简单的日志分析应用、查看RDD和DataFrame等。同时，还讲解了Spark网页用户界面的使用方法以及关键性能考量。

2018-01-02

1K0

Spark学习之数据读取与保存（4）

spark 数据处理

本文介绍了Spark在数据读取与保存方面的功能，包括对文本文件、JSON文件以及Spark SQL中结构化数据的读取和保存操作。同时，还介绍了如何使用Spark进行数据的转换和处理，以完成数据的读取和保存。

2018-01-02

1.1K0

Spark学习之键值对（pair RDD）操作（3）

本文介绍了Spark中Pair RDD操作，包括如何从一个RDD中提取字段作为键，如何创建和转换Pair RDD，以及针对两个Pair RDD的转换操作等。此外，还介绍了Pair RDD的数据分区方式，包括自定义分区方式和HashPartitioner分区方式等。

2018-01-02

1.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态