腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
SCALA和弹性搜索:向类路径添加符号(Databricks)
、
、
、
、
build.sbt包含:libraryDependencies += "org.elasticsearch" %% "elasticsear
浏览 0
提问于2019-06-24
得票数 0
回答已采纳
1
回答
安装
spark
时出错
、
、
我正在尝试在Windows8.1中安装
spark
,但出现了下面的错误。C:>cd程序文件\
spark
-1.5.0\bin并已完成前提条件,请参考以下命令: C:\Users\Anbu>scala -version Scala代码运行器版本2
浏览 0
提问于2016-09-23
得票数 0
1
回答
是否有对于SQL文件的格式保证?
、
、
是否保证一个SQL文件中只包含一个CREATE TABLE语句,且有固定格式?
浏览 148
提问于2021-12-16
1
回答
DataFrame对象未显示任何数据
、
、
、
、
我试图使用
spark
csv lib在hdfs文件上创建一个dataframe对象,如所示。empid,empname2000,Jerryval empDf = sqlContext.read.format("com.databricks.
spark
.csv
浏览 1
提问于2016-08-09
得票数 0
回答已采纳
1
回答
从
Mysql
中读取
Spark
、
、
我有一个
spark
作业,它从
mysql
读取一个
表
,但出于某种原因,
spark
将int列定义为布尔值。如何在
表
读取期间强制数据类型?火花会议:.config("
spark
.sql.autoBroadcastJoinThreshold", -1) .config("
spark
.sql.adaptive.enabled", "true")
浏览 10
提问于2022-10-10
得票数 1
回答已采纳
2
回答
下载页面上的
Spark
包类型有什么区别?
、
、
spark
的下载包类型有什么不同:1)为hadoop 2-6-0和更高版本预
建
的,2)源代码(可以构建多个hadoop版本)我可以安装为hadoop 2-6-0和更高版本预
建
的包,但不使用(hadoop
浏览 2
提问于2015-06-02
得票数 3
4
回答
java.sql.SQLException:在将DataFrame加载到
Spark
中时找不到合适的驱动程序
、
、
、
这个问题既发生在
spark
-shell中,也发生在用
spark
-submit执行代码时。我尝试过
MySQL
&
MySQL
驱动程序,但没有成功。考虑以下样本:val url = "jdbc:
mysql
://localhost:3306/test" val t1 = {task 0.0 in stage 0.0 (TID 0, 192.1
浏览 2
提问于2015-04-28
得票数 13
回答已采纳
3
回答
尝试运行
Spark
时出错
、
、
我是
spark
的新手。我已经下载了为hadoop版本2.6预
建
的
spark
版本1.3.1。我解压并导航到该文件夹,然后键入以下命令:./bin/
spark
-shell,对于该命令,我得到一个错误,指出没有找到
spark
-shell命令。我使用git bash在windows上做了同样的事情,我得到了一个错误消息:在尝试运行
spark
之前,我还需要做什么吗?
浏览 1
提问于2015-05-09
得票数 4
回答已采纳
2
回答
从
mysql
读取火花外壳中的数据
、
、
首先,我构建了scala应用程序,使用这一行代码从apache中的
mysql
表
中读取数据。","file:///tmp/
spark
-warehouse").getOrCreate()var df =
spark
.read.format("jdbc.option("password", "root")现在,我正尝
浏览 2
提问于2017-10-02
得票数 1
1
回答
如何在读取JDBC连接时使用谓词?
、
、
、
默认情况下,
spark
_read_jdbc()将整个数据库
表
读入
Spark
。我使用了以下语法来创建这些连接。<- "
mysql
-connector-java-5.1.43/
mysql
-connector-java-5.1.43-bin.jar" name = "table_name",
浏览 2
提问于2017-08-01
得票数 5
回答已采纳
1
回答
如何设置字符集,以便使用JDBC数据源写入
MySQL
表
?
、
、
我使用
Spark
JDBC将数据摄取到
Mysql
表
中。如果
表
不存在,它还会创建一个
表
。许多文本都有特殊字符。如果遇到任何特殊字符,则表示摄取失败。我通过在
MySQL
表
中手动设置字符集utf8解决了这个问题。 .format("jdbc")
浏览 95
提问于2018-12-18
得票数 2
回答已采纳
1
回答
如何使用PySpark向
MySQL
数据库流式传输数据?
、
、
、
、
我做了一些研究,发现PySpark非常适合流式传输数据,我选择
MySQL
作为流式传输数据的数据库(但我对其他dbs和流式传输方法持开放态度)。
Spark
说数据必须通过Kafka、Flume、TCP socets等源获取,所以我想知道是否必须使用这些方法中的任何一种来将我的CSV文件导入到
Spark
中。唯一让我对这个例子感到困惑的是,他们正在使用
Spark
Spark
集群将数据流式传输到数据库中,而我不确定如何将所有这些都整合到flask服务器中。
浏览 1
提问于2018-11-13
得票数 1
2
回答
apache zepplelin显示ava.lang.classnotfoundexception: com.
mysql
.jdbc.driver错误
、
value default.driver org.
mysql
.jdbc.Driverdefault.password **** /usr/local/zeppelin/interpreter/j
浏览 0
提问于2018-04-24
得票数 0
1
回答
火花示例NoClassDefFoundError作用域/选项分析器
、
、
、
我已经成功地构建了
Spark
2.1源代码。但是,当我运行一些示例(例如,org.apache.
spark
.examples.mllib.BinaryClassification)时,我会得到以下错误。Exception in thread "main" java.lang.NoClassDefFoundError: scopt/OptionParser 我试着使用
Spark
2.1预构建版本(examples/jars/
spark
-examples_2.11-2.1.0.ja
浏览 5
提问于2017-02-18
得票数 2
回答已采纳
1
回答
使用
spark
创建新的
MySQL
表
、
、
、
、
我知道我们可以使用
spark
从现有的
mysql
表
中读取和写入数据。但是,我们甚至可以创建
mysql
表
并使用dataframes将数据插入其中吗?当我试图将文件加载到dataframe并试图写入不存在的
表
时,我面临的是空指针,exception.Following是一个错误: org.apache.
spark
.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(SaveIntoDataSo
浏览 1
提问于2018-03-12
得票数 2
1
回答
如何获取有关火花阶段和任务的详细信息
我知道有
Spark
,但是我想直接在我的Spyder控制台中获得信息。因此,我的意思是我的代码/脚本的哪一部分是由哪个工作人员/主完成的。pyspark.sql.functions import udfimport pyspark.sql.functions as F # .builder \# .getOrCreate() <em
浏览 0
提问于2019-01-21
得票数 0
回答已采纳
1
回答
如何将
Spark
与我的SQL数据库Scala连接
、
、
、
我想查询
MySQL
数据库,然后将一个
表
加载到
Spark
中。然后,我想使用SQL查询在
表
上应用一些过滤器。一旦过滤了结果,我想以JSON的形式返回结果。{SparkConf, SparkContext} .config("format","jdbc") .config("url","jd
浏览 0
提问于2019-08-19
得票数 0
回答已采纳
1
回答
表
或视图未被插入到
mysql
中,而该
表
或视图存在于Pyspark中。
、
、
、
我试图使用Pyspark连接插入到现有的
Mysql
表
中,但是我得到了以下错误 File "/usr/hdp/current/
spark
2-client/python/pyspark/sql/context.py", line 384, in sql return self.sparkSession.sql(sql
浏览 0
提问于2020-07-17
得票数 0
回答已采纳
1
回答
在查询优化和总体效率方面,
MySQL
是否比Apache
spark
更高效
、
我发现在
spark
数据帧上进行相同的查询和相同的
表
查询时,Apache
spark
要比
MySQL
服务器慢得多。使用独立的pyspark笔记本电脑,配备至强16核和64 on内存,位于同一服务器
MySql
上 一般来说,我想知道在目标数据大小方面何时使用
SPARK
与SQ
浏览 0
提问于2016-06-19
得票数 0
1
回答
使用Python从
MySQL
数据库
表
中读取SparkSQL
、
、
我在
MySQL
中有一个'user‘
表
。我想把它读到我的
Spark
SQL程序中。如何使用Python将
表
从
MySQL
读取到Apache
Spark
的SparkSQL模块?
浏览 0
提问于2016-04-25
得票数 12
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MySQL大表优化方案
MySQL 分库分表方案
MySQL 大表优化方案
查看MYSQL表数据大小
Mysql分库分表详解
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券