腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我可以使用spark 2.3.0和
pyspark
来做Kafka的流处理吗?
、
、
我将使用
pyspark
进行流处理,并使用Kafka作为数据源。 我发现Spark Python API不支持Kafka 0.10
连
接器。我可以在Spark 2.3.0中使用Kafka 0.8
连
接器吗?
浏览 14
提问于2018-03-02
得票数 4
3
回答
用
MySQL
读取
PySpark
、
我有以下测试代码:sc = SparkContext('local') driver="com.
mysql
.jdbc.Driver", user="user.jar
mysql</
浏览 2
提问于2017-09-03
得票数 5
回答已采纳
1
回答
如何在Eclipse IDE中修复“异常: Java网关进程在发送其端口号之前退出”
我正尝试在Eclipse IDE的pydev环境中使用
pyspark
连接
MySQL
。设置为值--master local[*] --jars path\
mysql
-connector-java-5.1.44-bin.jar
pyspark
-shell。#import osfrom
pyspark
import SparkConf from
pyspark
.sql.context import'
浏览 23
提问于2019-01-11
得票数 1
1
回答
PySpark
中的协群
、
object at 0x1d8b190>, <
pyspark
.resultiterable.ResultIterable object at 0x1d8b150>))这有3级嵌套,如果我将输出存储在'r‘中并执行以
浏览 7
提问于2014-06-25
得票数 4
回答已采纳
1
回答
PySpark
数据帧写入orc不允许使用
连
字符的列名
、
、
、
、
我是
PySpark
的新手。我有一个列名中包含
连
字符的csv文件。我可以成功地将文件读取到数据帧中。然而,当将df写入orc文件时,我得到一个错误,如下所示-当我通过删除
连
字符来重命名列时,我可以将数据帧写入但是我需要列名有
连
字符,因为我想把这个orc附加到列名中有
连
字符的现有orc上。 有没有人能帮我一下?任何帮助都将非常感谢!
浏览 32
提问于2021-02-13
得票数 0
2
回答
使用
pyspark
连接
mysql
、
、
、
我想把
mysql
和
pyspark
连接起来。我正在使用jupyter笔记本来运行
pyspark
。然而,当我这样做的时候, url="jdbc:
mysql
://localhost:3306/playground", driver = "com.
mysql
.jdbc.Driver&qu
浏览 29
提问于2018-08-21
得票数 6
2
回答
如何在Jupyter notebook中设置
MySQL
的JDBC驱动程序?
、
、
、
、
我正在尝试将一堆CSV文件逐行加载到
mysql
实例中,该实例使用
pyspark
配置在OpenShift上运行。我有一台运行着spark的Jupyter笔记本。 scSpark = SparkSession \'] = '--packages
mysql
:
mysql
-connector-java:jar:8.0.21 <
浏览 7
提问于2020-09-01
得票数 0
1
回答
无法在ipython中正确创建火花上下文以链接到
MySQL
- com.
mysql
.jdbc.Driver。
、
、
、
、
我正在使用Spark、
PySpark
、Ipython和
mysql
运行一个本地环境。我很怀疑能够通过spark启动一个
mysql
查询。主要问题是包含适当的jdbc,以便能够执行查询。-5.1.37/
mysql
-connector-java-5.1.37-bin.jar")sc =
pyspark
.SparkContext(conf=conf)from
pyspark
.sql import S
浏览 4
提问于2015-11-26
得票数 3
回答已采纳
1
回答
使用Python从
MySQL
数据库表中读取SparkSQL
、
、
我在
MySQL
中有一个'user‘表。我想把它读到我的Spark SQL程序中。如何使用Python将表从
MySQL
读取到Apache Spark的SparkSQL模块?
浏览 0
提问于2016-04-25
得票数 12
1
回答
为什么我得到了TypeError:不能在使用_thread.RLock时选择'_thread.RLock‘对象
、
、
、
、
我用火花来处理我的数据,就像这样: url='jdbc:
mysql
://xxxxxxx', dbtable='(select * frompassword='xxxxxx'
浏览 2
提问于2022-05-11
得票数 0
回答已采纳
1
回答
如何修改spark中的特定列?
、
、
、
我有一个数据集,其中有一列电话号码,但号码是以999-999-9999格式编写的。我想通过删除'-‘并将它们连接在一起,将它们转换为整数或bigint,将其转换为整数格式。那么,有没有人可以帮我解决这个问题呢?
浏览 10
提问于2021-06-07
得票数 0
回答已采纳
1
回答
使用
PySpark
读取数据库的最快方法是什么?
、
、
我正在尝试使用
PySpark
和SQLAlchamy读取数据库表,如下所示:database_uri = 'jdbc:
mysql
://{}:3306/{}'.format("127.0.0.1",<db_name>) da
浏览 0
提问于2018-03-31
得票数 3
1
回答
使用dict替换列中子字符串的一部分
、
、
、
、
在
pyspark
中,我有一个具有3列的dataframe,我希望用字典中的值替换部分列值。只有当整个列值是字典的一部分时,df.replace才会替换,但我想从列值的一部分替换值。
浏览 0
提问于2021-07-27
得票数 2
回答已采纳
2
回答
在windows上重置根
mysql
、
、
,我试过了,"C:\Program Files\
MySQL</e
浏览 5
提问于2012-02-13
得票数 2
回答已采纳
1
回答
将
PySpark
数据复制到
MySQL
、
、
我正在尝试将用
PySpark
在DataBricks中创建的数据文件加载到
MySql
,但它告诉我:from
pyspark
.sql import SparkSession .config("spark.jars", &quo
浏览 6
提问于2022-11-04
得票数 0
回答已采纳
1
回答
我必须遵守
pyspark
sql中的命令顺序吗?
、
我正在学习
pyspark
sql,我不确定函数的顺序是否必须是下一个?
浏览 2
提问于2019-09-18
得票数 0
1
回答
如何从
Pyspark
更新
Mysql
表中的数据
、
我可以从
pyspark
中的
mysql
表中读取数据。hiveContext.read.format('jdbc').options(url=jdbc_url, dbtable=
mysql
_query,driver='com.
mysql
.jdbc.Driver').load() 但是我找不到在
mysql
中更新记录的方法。有没有人执行过
pyspark
的更新。
浏览 4
提问于2016-12-17
得票数 1
2
回答
子字符串
PySpark
2.2中数组列的每个元素
、
、
、
我想在
PySpark
2.2中子串数组列的每个元素。我的df类似于下面的df,它类似于this,尽管我的df中的每个元素在
连
字符分隔符之前都有相同的长度。有没有办法在
PySpark
2.2中做到这一点?import
pyspark
.sql.functions as F cust_udf = F.udf(lambda arr: [x[0:4
浏览 24
提问于2021-09-09
得票数 0
回答已采纳
1
回答
表或视图未被插入到
mysql
中,而该表或视图存在于
Pyspark
中。
、
、
、
我试图使用
Pyspark
连接插入到现有的
Mysql
表中,但是我得到了以下错误 File "/usr/hdp/current该表存在于
MySql
数据库中,在从另一个表中选择数据时,我成功地插入了Dataframe,但是我想直接插入到
Mysql
数据库表中。我的代码:from
pyspark
.sql import SQLCont
浏览 0
提问于2020-07-17
得票数 0
回答已采纳
1
回答
PySpark
Count () CASE WHEN [duplicate]
这个问题在这里已经有答案了 : 如何在Spark SQL中使用
连
字符转义列名 (3个答案) 列名中包含破折号/
连
字符的
PySpark
Sql (1个答案) 使用selectExpr选择其中包含特殊字符的我正在尝试基于多个CASE语句进行计数,使用
PySpark
sql将我的数据放入回收站。ParseException: "\nmismatched input '[' expecting (line 3, pos 84)\n\n== SQL ==\n\n 有没有其他想法,我可以通
浏览 70
提问于2020-11-30
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySpark数据分析基础:PySpark原理详解
pyspark 安装
PySpark调优
MySQL 索引 15 连问,抗住!
PySpark安装+Jupyter Notebook配置
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券