腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在过滤前将
数据
从
数据
库
加载
到
Spark
、
我正在尝试运行这样一个PySpark应用程序: dataframe_
mysql
=
spark
.read.format('jdbc').options( url="jdbc:
mysql
://= dataframe_
mysql
.filter("da
浏览 3
提问于2022-08-12
得票数 0
回答已采纳
1
回答
表或视图未被插入到
mysql
中,而该表或视图存在于Pyspark中。
、
、
、
我试图使用Pyspark连接插入到现有的
Mysql
表中,但是我得到了以下错误 File "/usr/hdp/current/
spark
2-client/python/pyspark/sql/context.py", line 384, in sql
浏览 0
提问于2020-07-17
得票数 0
回答已采纳
1
回答
星星之火:将大型
MySQL
表读入DataFrame失败
、
我试图编写一个作业,将
数据
(每天一次)从
MySQL
表移动到存储在Amazon S3上的Parquet / ORC文件的Hive表中。目前,我们正在为此使用sqoop,但出于以下原因,我们希望迁移到
Spark
: 我们已经为组织中其他地方使用的Scala但是,如果我尝试一次获取超过1.520万条记录(
Spark
作业)(从
MySQL
读取
数据
到DataFrame),则会失败。下面我
浏览 1
提问于2018-03-07
得票数 7
1
回答
使用
spark
创建新的
MySQL
表
、
、
、
、
我知道我们可以使用
spark
从现有的
mysql
表中读取和写入
数据
。但是,我们甚至可以创建
mysql
表并使用dataframes将
数据
插入其中吗?当我试图将文件
加载
到dataframe并试图写入不存在的表时,我面临的是空指针,exception.Following是一个错误: org.apache.
spark
.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationPr
浏览 1
提问于2018-03-12
得票数 2
1
回答
与JDBC一起使用SparkSession.sql()
、
、
、
问题: .master("local") .getOrCreate() 配置:driver=com.
mysql
.jdbc.Driverpassword=xxxxxxxxxx[inf
浏览 2
提问于2018-04-20
得票数 0
回答已采纳
2
回答
如何从主机接入
MySQL
Docker镜像?
、
我正在运行
MySQL
Docker镜像并创建
数据
库和表。使用以下命令
加载
容器:
Spark
在我的主机上运行,所以我想将
Spark
中的
数据
写入容器中运行的
数据
库中。但是连接没有成功,我得到了
浏览 1
提问于2019-12-11
得票数 1
2
回答
在DataFrame脚本中使用' JDBC‘为
Spark
Python 'write’
加载
jdbc驱动程序
、
、
我正在尝试从
MySQL
应用程序
加载
python JDBC驱动程序。我没有调用'bin/pyspark‘或'
spark
-submit’程序;相反,我有一个Python脚本,我在其中初始化了'SparkContext‘和'SparkSession’对象。我知道我们可以在调用'pyspark‘时传递'--jars’选项,但我如何在我的python应用程序中
加载
和指定jdbc驱动程序?
浏览 21
提问于2019-06-04
得票数 0
回答已采纳
1
回答
将非规范化表导出到包含map和list列的cassandra表
、
、
我在
mysql
中有一个非规范化的表,其结构如下:我想我的问题是,用映射和列表将关系
数据
库系统中的非规范化表转换到cassandra中的最佳方法是
浏览 2
提问于2015-08-12
得票数 0
3
回答
如何使用火花提交的包指定多个依赖项?
、
、
spark
-submit --class com.biz.test \ org.apache.
spark
:
spark
-streaming-kafka/test-
spark
_2.10-1.0.8.jar \作业无法从以下错误开始: Exception in thread "main" java.lang.Il
浏览 9
提问于2015-11-25
得票数 27
回答已采纳
1
回答
如何检索从
Spark
中编写的输出大小和记录之类的度量?
、
、
、
、
我们使用
Spark
将
数据
从
Mysql
加载
到Cassandra,这是相当大的(例如:200 GB和600 m行)。当任务完成时,我们要验证到底有多少行触发了进程?我们可以从
Spark
中获得号码,但是我们如何从火花外壳或火花提交作业中检索这个数字(“输出记录编写的”)。 示例命令从
Mysql
加载
到Cassandra。val pt = sqlcontext.read.format("jdbc").option("url", "
浏览 0
提问于2016-04-27
得票数 11
回答已采纳
1
回答
关闭
Spark
中的
MYSQL
JDBC连接
、
、
、
、
我正在通过JDBC将
数据
从
MYSQL
服务器
加载
到
Spark
,但我需要在
加载
数据
后关闭该连接。关闭连接的确切语法是什么?df_
mysql
= sqlContext.read.format("jdbc").options( driver="com.
mysql
.jdbc.Driver
浏览 13
提问于2016-09-17
得票数 1
4
回答
火花无法从SBT中找到JDBC驱动程序
、
、
、
但是,当我添加行Class.forName("com.
mysql
.jdbc.Driver")时,它会抛出一个ClassNotFoundException。" %% "
spark
-core" % "2.1.0"libraryDependencies+= "
浏览 8
提问于2017-03-01
得票数 2
回答已采纳
2
回答
使用Apache编写错误
、
、
我是一个使用
Spark
的新手。我遵循了DataBricks:的在线指南import org.apache.
spark
.SparkConf; import org.apache.
spark
.api.java.JavaSparkContext;import org.apache.
spark
.sql.Dataset;
浏览 4
提问于2017-05-01
得票数 0
回答已采纳
1
回答
使用
Spark
写入memsql的最佳实践
、
、
我的用例如下:我们正在使用
Spark
从HDFS读取和转换
数据
。转换后的
数据
应保存在memsql中。长话短说:
Spark
scale如何写入memsql?
浏览 4
提问于2016-01-15
得票数 1
1
回答
火花源三角洲-湖泊次生砂岩
、
、
在相同的jupyter会话中使用"
spark
.sql.warehouse.dir“(无
数据
库)可以工作。但是在jupyter中重新启动内核后,目录
数据
库和表不再被识别。谢谢,克里斯蒂安 SparkSession.builder .config("
spark
.jars.packages"") "
spark<
浏览 1
提问于2021-09-17
得票数 3
1
回答
Spark
DataFrame不在JDBC
数据
源内执行group-by语句
、
、
我已经注册了一个
MySQL
数据
源,如下所示:val url = "jdbc:
mysql
://address=(protocol" -> url, "dbtable" -> "videos")) jdbcDF.registerTempTable("vide
浏览 1
提问于2015-10-01
得票数 1
3
回答
我们可以在
spark
sql中执行传统的连接查询吗
、
形成的查询类似于:select * from table1 inner join table2 on table1.id = table2.id;
spark
.read().format("jdbc").option("url", "jdbc:
mysql
://localhost:3306/databasename") .option(
浏览 3
提问于2018-09-11
得票数 0
1
回答
将PySpark
数据
复制到
MySQL
、
、
我正在尝试将用PySpark在DataBricks中创建的
数据
文件
加载
到
MySql
,但它告诉我: .write \ .option("url", "jdbc:
mysql</em
浏览 6
提问于2022-11-04
得票数 0
回答已采纳
1
回答
MemSQL中的列名字符限制
我有一个到MemSQL的
数据
加载
作业(火花连接器),由于列名的长度超过了允许的限制,它失败了。有办法解决这个问题吗?我不能更改列名,因为它们是编程生成的,我对此没有控制权。(Util.java:377) at com.
mysql
.jdbc.SQLError.createSQLException$.org$apache$
spark
$deploy$SparkSubmit$$runMain(Spa
浏览 4
提问于2015-10-22
得票数 0
回答已采纳
1
回答
如何使用PySpark向
MySQL
数据
库流式传输
数据
?
、
、
、
、
我目前正在开发一个单页面web应用程序,它允许用户将大型CSV文件(目前正在测试一个~7 7GB的文件)上传到flask服务器,然后将该
数据
集流式传输到
数据
库。现在,我需要能够流式传输此文件并将其存储到
数据
库中。我做了一些研究,发现PySpark非常适合流式传输
数据
,我选择
MySQL
作为流式传输
数据
的
数据
库(但我对其他dbs和流式传输方法持开放态度)。
Spark
说
数据
必须通过Kafka、Flume、TCP socets等源获取,所以
浏览 1
提问于2018-11-13
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据集群服务安装-mysql,hive,azkaban,sqoop,spark,python
第八篇|Spark SQL百万级数据批量读写入MySQL
走进大数据 Spark-Spark streaming
Spark计算引擎:Spark数据处理模式详解
大数据Spark框架:Spark生态圈入门
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券