腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
SparkSQL
是关系数据库管理系统还是NOSQL?
、
、
、
、
最近,当我们遇到这个问题时,我正在和我的朋友讨论
SparkSQL
的特性。它们是酸性交易吗?
SparkSQL
是否遵循CAP定理? 我对这个领域有点陌生,帮帮我吧。提前谢谢。
浏览 3
提问于2016-05-10
得票数 3
回答已采纳
1
回答
在
SparkSQL
中使用Avro模式和Parquet格式进行读写
、
、
、
我正在尝试从
SparkSQL
中
写入
和读取镶木面板文件。出于模式演变的原因,我希望在
写入
和读取时使用Avro模式。但是,我想使用
SparkSQL
的write()和read()方法(它们与DataFrameWriter和DataFrameReader一起工作),它们与
SparkSQL
很好地集成在一起(我将编写和读取Dataset
SparkSQL
拼接格式似乎只支持“压缩”和"mergeSchema“选项--也就是说,没有用于指定替代模式格式或替代模式的选项。换句话说,似乎没有办法通过
浏览 1
提问于2017-01-04
得票数 5
1
回答
在SparkSession.SQL中执行准备语句和批处理语句
、
、
、
如何使用SparkSession.SQL对Java中的Cassandra执行准备语句和批处理语句?我在使用Spark2.1
浏览 4
提问于2017-01-19
得票数 0
回答已采纳
1
回答
星火结构流scala +合流模式注册表(json模式)
、
、
我有一个火花结构化流scala作业,它从kafka读取json消息并将数据
写入
S3。我配置了一个合流模式注册中心,该模式使用type=object的json格式。
浏览 7
提问于2022-11-30
得票数 0
3
回答
什么是JDBC查询来
写入
SparkSQL
表?
、
、
、
、
.;注意:我希望它是SQL。 plz提供了使用HiveContext.sql(.)时可以
写入
HiveContext.sql的纯"SQL“。
SparkSQL
的。
浏览 4
提问于2016-03-23
得票数 6
1
回答
相当于
MySQL
在Apache
SparkSQL
中的“杀死查询”?
MySQL
的命令kill query (定义为)是否等同于Apache
SparkSQL
?谢谢!
浏览 2
提问于2017-10-17
得票数 0
回答已采纳
1
回答
相当于
MySQL
在
SparkSQL
中的“显示处理列表”
在
MySQL
的命令show processlist;中有Apache
SparkSQL
的等价物吗?
浏览 3
提问于2017-10-17
得票数 0
回答已采纳
1
回答
使用Python从
MySQL
数据库表中读取
SparkSQL
、
、
我在
MySQL
中有一个'user‘表。我想把它读到我的Spark SQL程序中。如何使用Python将表从
MySQL
读取到Apache Spark的
SparkSQL
模块?
浏览 0
提问于2016-04-25
得票数 12
2
回答
了解如何在星火中执行Hive SQL
、
、
、
我是新来的火花和蜂巢。我需要了解当蜂箱表在星火中被查询时后面发生了什么。我正在使用PySparkwarehouse_location = '\user\hive\warehouse'spark =SparkSession.builder.appName("Pyspark").config("spark.sql.warehouse.dir", warehouse_location).enableHiveSupport().getOrCreate() DF = s
浏览 0
提问于2018-05-07
得票数 0
回答已采纳
1
回答
Spark SQL 2.1是否支持将临时表或hive表
写入
Mysql
/Oracle?
我使用的是Spark SQL 2.1, 我可以在Spark SQL中以临时视图的形式从
mysql
/oracle中读取数据: val url = "jdbc:
mysql
://localhost:3306password '$pass', numPartitions '3') val session = SparkSession.builder().appName("
S
浏览 9
提问于2019-03-29
得票数 0
1
回答
SparkSQL
/Hive:相当于
MySQL
的`information_schema.table.{data_length,table_rows}?
、
、
、
在
MySQL
中,我们可以查询表information_schema.tables并获得有用的信息,例如data_length或table_rows。-----------++-------------+------------+是否存在与
SparkSQL
我可以使用
SparkSQL
或像HiveMetaStoreClient (java org.apache.hadoop.hive.metastore.HiveMetaStoreClie
浏览 1
提问于2018-03-09
得票数 3
回答已采纳
1
回答
Azure Synapse中使用SQL声明变量中的错误
、
、
最近,我第一次接触了Azure Synapse Analytics环境,在实现一些SQL查询时,我在尝试声明一个变量以运行查询时遇到了一个问题。%%sql SET @Counter = 0;BEGIN SE
浏览 2
提问于2022-05-27
得票数 2
回答已采纳
1
回答
sparksql
如何批量插入数据到
mysql
?
、
、
最近我需要使用
sparksql
在
mysql
中插入大约100,000,000个数据,但是速度相当慢,大约需要1个小时。有人能找到一种有效的插入方法吗?
mysql
配置=>prop.setProperty("password", "password") prop.setProperty(
浏览 28
提问于2018-08-01
得票数 4
1
回答
在HDFS中存储用于MongoDB的普通JSON
、
、
、
我从不同的API中获取JSON数据,我想将它们存储在HDFS中,然后在MongoDB中使用它们。我知道,如果我将它们转换成另一种格式,它们将得到更好的分发和压缩,但是我如何才能将avro文件上传到MongoDB呢?MongoDB只接受JSON。我应该再做一步从avro中读取它们并将它们转换为JSON吗?
浏览 1
提问于2022-04-02
得票数 0
回答已采纳
1
回答
将两个不同的数据从一个kafka主题转换成两个数据
、
、
、
我有这样的家庭作业:我有一个问题,读取不同的文件从一个主题,2个文件夹包含json文件,但一个是歌曲数据和一个是日志。我怎样才能从一个主题中得到他们自己的数据?
浏览 5
提问于2022-04-13
得票数 0
回答已采纳
1
回答
是否有可能在没有Hive的情况下使用带有ORC文件格式的Spark?
、
、
、
、
我正在使用HDP 2.6.4,更具体地说,Hive1.2.1与tez0.7.0,Spark2.2.0。
浏览 0
提问于2018-06-08
得票数 1
回答已采纳
1
回答
错误:无法识别表源中靠近“减号”的输入,选择“*”,而在spark中运行
、
有人能告诉我如何在spark-sql中解决以下问题吗?MINUS
浏览 2
提问于2018-04-06
得票数 0
1
回答
星星之火SQL构建的蜂巢?
、
、
、
、
我想要使用
SparkSQL
,我还需要读取和
写入
来自hive的数据。谢谢图沙尔
浏览 6
提问于2015-06-03
得票数 0
1
回答
使用Spark for ETL on EMR实现S3的最佳文件格式
、
、
我们计划使用Spark执行ETL处理,源数据位于S3上。用于ETL处理的数据量小于1亿。在这种情况下,在S3中存储数据的最佳格式是什么,即最佳压缩和文件格式(文本、序列、拼图等)
浏览 3
提问于2017-06-28
得票数 0
2
回答
使用
SparkSQL
删除
MySQL
表
、
、
、
我知道我们可以通过以下命令从
SparkSQL
查询或创建
Mysql
表。
浏览 0
提问于2016-02-24
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python写入数据到MySQL
Python爬虫数据写入mySQL案例
MySQL 每秒 570000 的写入,如何实现?
解决写入中文数据到 MySql 时变成?
SparkSQL内核剖析
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券