腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
王小雷
专栏成员
举报
167
文章
274722
阅读量
46
订阅数
订阅专栏
申请加入专栏
全部文章(167)
数据库(23)
spark(22)
sql(19)
hadoop(19)
大数据(16)
java(15)
python(15)
windows(13)
linux(12)
ide(11)
ubuntu(10)
spring(10)
编程算法(10)
maven(9)
网络安全(9)
sas(9)
android(8)
mybatis(8)
https(8)
其他(7)
机器学习(7)
xml(7)
容器镜像服务(7)
分布式(7)
数据处理(7)
oracle(5)
nosql(5)
mapreduce(5)
http(5)
gradle(5)
html(4)
云数据库 SQL Server(4)
eclipse(4)
apache(4)
存储(4)
hbase(4)
学习笔记(4)
mac os(3)
jquery(3)
jar(3)
yarn(3)
tcp/ip(3)
tensorflow(2)
react(2)
node.js(2)
postgresql(2)
github(2)
api(2)
tomcat(2)
TDSQL MySQL 版(2)
图像处理(2)
容器(2)
开源(2)
shell(2)
jdk(2)
ssh(2)
jdbc(2)
zookeeper(2)
kafka(2)
虚拟化(2)
olap(2)
插件(2)
php(1)
javascript(1)
bash(1)
servlet(1)
jsp(1)
scala(1)
r 语言(1)
json(1)
ajax(1)
android studio(1)
sqlite(1)
mvc(1)
打包(1)
unix(1)
centos(1)
神经网络(1)
文件存储(1)
命令行工具(1)
腾讯云测试服务(1)
人工智能(1)
网站(1)
日志数据(1)
缓存(1)
爬虫(1)
jvm(1)
hive(1)
yum(1)
numpy(1)
面向对象编程(1)
npm(1)
aop(1)
markdown(1)
rabbitmq(1)
nat(1)
join(1)
nexus(1)
schema(1)
set(1)
string(1)
vim(1)
wikipedia(1)
规范化(1)
基础(1)
逆向工程(1)
生命周期(1)
域名(1)
搜索文章
搜索
搜索
关闭
Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6
kafka
gradle
android
spark
问题在于spark目前使用的Jackson是2.6+,而storm-kafka-client和kafka使用的是2.9+,两者之间gradle默认使用最新的依赖2.9+,所以spark structure Streaming程序运行时报错,不兼容jackson高版本。
王小雷
2022-05-08
610
0
Caused by: com.fasterxml.jackson.databind.JsonMappingException
kafka
gradle
android
spark
问题在于spark目前使用的Jackson是2.6+,而storm-kafka-client和kafka使用的是2.9+,两者之间gradle默认使用最新的依赖2.9+,所以spark structure Streaming程序运行时报错,不兼容jackson高版本。
王小雷
2019-05-28
1.6K
0
14.3 Spark-SQL基于PostgreSQL数据分析编程实例
spark
数据库
postgresql
sql
大数据
Spark对PostgreSQL数据源数据的处理,通过Spark SQL对结构化数据进行数据分析。
王小雷
2019-05-28
1.1K
0
14.1 Apache Spark 简介快速入门
spark
apache
大数据
sql
机器学习
Spark使用先进的DAG调度系统,查询优化器与物理执行引擎,实现了批处理与流处理的高性能。
王小雷
2019-05-28
377
0
14.4 Spark-SQL基于Cassandra数据分析编程实例
spark
nosql
sql
数据库
https
版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/81058073
王小雷
2019-05-26
969
0
Spark jdbc postgresql数据库连接和写入操作源码解读
spark
数据库
本文介绍了如何利用Spark JDBC驱动和PostgreSQL数据库进行数据存储,并实现Spark程序对PostgreSQL数据库的增删改查操作。通过一个简单的示例,展示了如何使用Spark SQL进行读取和写入操作,并介绍了Spark JDBC和PostgreSQL的连接配置方法。
王小雷
2018-01-02
3.2K
0
spark (java API) 在Intellij IDEA中开发并运行
spark
java
王小雷
2018-01-02
3.5K
0
用windows浏览器打开Linux的Jupyter notebook开发、调试示例
spark
linux
windows
本文介绍了如何在Windows操作系统上通过浏览器来远程访问Linux服务器上的Jupyter Notebook,以便进行Python和Spark编程。首先介绍了安装和配置Jupyter Notebook和Spark的必要步骤,然后阐述了如何在浏览器中访问Linux服务器上的Jupyter Notebook。
王小雷
2018-01-02
2.4K
0
Spark企业级应用开发和调优
spark
王小雷
2018-01-02
754
0
Spark应用(app jar)发布到Hadoop集群的过程
spark
hadoop
本文介绍了如何将Spark应用(app jar)发布到Hadoop集群中,并提供了相关步骤、注意事项和示例。
王小雷
2018-01-02
537
0
Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例
ubuntu
hadoop
spark
摘要总结:本文主要介绍了在Ubuntu 16.04下如何安装Hadoop 2.6.0、Spark 1.6.2以及开发环境搭建的过程。主要包括了配置环境变量、安装Hadoop、配置Hadoop、安装Spark、运行Spark的例子以及关闭YARN和Spark。同时,还介绍了如何在Jupyter Notebook中开发Spark应用程序。
王小雷
2018-01-02
1.1K
0
spark编程python实例
python
spark
本文介绍如何使用 PySpark 来读取和分析 CSV 数据。首先,我们介绍在 PySpark 中创建 SparkContext 的步骤,然后使用 SparkContext 来读取和分析 CSV 数据。我们使用 map 函数对数据进行处理,并使用 count 函数获取数据中的总购买次数。最后,我们打印出总购买次数。
王小雷
2018-01-02
1.7K
0
Spark学习之基于MLlib的机器学习
机器学习
spark
本文介绍了Spark基于MLlib的机器学习,包括机器学习算法、数据类型、操作向量、算法、统计、分类和聚类等。同时,还介绍了主成分分析(PCA)、奇异值分解(SVD)等降维方法在Spark上的应用。
王小雷
2018-01-02
1.4K
0
Spark学习之Spark SQL(8)
spark
sql
本文介绍了Spark SQL的功能和其与Spark DataFrame的交互,包括读取结构化数据、支持SQL查询、支持自定义函数等。同时,还提供了几个基本的查询示例和用户自定义函数的示例。
王小雷
2018-01-02
1.1K
0
Spark学习之在集群上运行Spark(6)
spark
机器学习
Spark学习之在集群上运行Spark(6)
王小雷
2018-01-02
609
0
Spark学习之Spark Streaming(9)
spark
本文介绍了Spark Streaming的用法,包括如何编写和运行基于流的应用程序,以及如何使用Spark Streaming来处理数据。此外,还介绍了Spark Streaming的API和如何使用它来执行各种操作,包括筛选和输出操作。
王小雷
2018-01-02
976
0
Spark学习之编程进阶——累加器与广播(5)
spark
本文介绍了Spark编程进阶之累加器与广播变量,包括两种类型的共享变量:累加器与广播变量。累加器用于信息聚合,广播变量用于高效分发大型对象。通过示例展示了如何使用这两种变量在Spark中处理数据。
王小雷
2018-01-02
556
0
Spark学习之Spark调优与调试(7)
spark
本文介绍了Spark调优与调试的方法和技巧,包括设置SparkConf、查看应用进度信息和性能指标、Spark执行组成部分、使用Spark shell完成简单的日志分析应用、查看RDD和DataFrame等。同时,还讲解了Spark网页用户界面的使用方法以及关键性能考量。
王小雷
2018-01-02
1.1K
0
Spark学习之数据读取与保存(4)
spark
数据处理
本文介绍了Spark在数据读取与保存方面的功能,包括对文本文件、JSON文件以及Spark SQL中结构化数据的读取和保存操作。同时,还介绍了如何使用Spark进行数据的转换和处理,以完成数据的读取和保存。
王小雷
2018-01-02
1.1K
0
Spark学习之键值对(pair RDD)操作(3)
spark
本文介绍了Spark中Pair RDD操作,包括如何从一个RDD中提取字段作为键,如何创建和转换Pair RDD,以及针对两个Pair RDD的转换操作等。此外,还介绍了Pair RDD的数据分区方式,包括自定义分区方式和HashPartitioner分区方式等。
王小雷
2018-01-02
1.2K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档