我使用的是Spark SQL 2.1， 我可以在Spark SQL中以临时视图的形式从mysql/oracle中读取数据： val url = "jdbc:mysql://localhost:3306/db1"val pass = "root" s"
浏览 9提问于2019-03-29得票数 0
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3提问于2021-08-16得票数 3
回答已采纳
1回答
我需要像这样update一个表蜂窝 set Col2 = B.Col2,Col3 = B.Col3, where A.Col1 = B.Col1 and A.Col2 <> B.Col2
使用Scala Spark
浏览 20提问于2017-08-30得票数 0
1回答
"org.apache.spark" % "spark-sql_2.10" % "1.5.2"我
浏览 1提问于2016-12-25得票数 0
回答已采纳
我正在尝试创建hive表，它将指向oracle表，但是它在org.apache.spark.sql.AnalysisException中失败了。步骤：将oracle-db-connector.jar放在类路径中使用beeline连接到它
beelineTABLE oracl
浏览 5提问于2016-09-20得票数 0
回答已采纳
有没有办法在Hive、Spark SQL和Azure U SQL中维护表关系？其中是否支持像Oracle或SQL Server中那样创建关系。在oracle中，我可以使用user_constraints表来获取关系。寻找与ML中的处理类似的东西。
浏览 2提问于2017-11-17得票数 0
3回答
我可以连接mysql和hive (hdfs上的蜂窝)之间的表吗？A在mysql，b在hdfs上。
我怎么才能让它起作用？
浏览 3提问于2014-12-17得票数 0
回答已采纳
2回答
我已经创建了一个临时表，该表在列关键字上存储桶。但是，当我通过另一个表手动将数据插入到这个表中时，我看到了以00000_*为前缀的文件。我不确定<
浏览 1提问于2018-08-02得票数 5
我有一个S3位置，目录结构如下，上面创建了一个Hive表：假设我有一个Spark程序，它使用下面的代码行将数据写入上面的表位置，跨越多个分区：
Df.write.partitionBy("orderdate").parquet("s3://<Mybucket>/<
浏览 0提问于2018-03-19得票数 11
我有一个使用配置单元命令创建的兽人配置单元表 create table orc1(line string) stored as orcfile 我想写一些数据到这个表使用spark sql，我使用以下代码hive.exec.compress.output=true") SESSION.sql(=BLOCK")
SE
浏览 44提问于2019-03-02得票数 1
在spark-shell (scala)中，我们将为特定配置单元上下文以编程方式启动Hive Thrift服务器的org.apache.spark.sql.hive.thriftserver._作为HiveThriftServer2.startWithContext(hiveContext)导入，以公开该特定会话的已注册临时表。
我们如何使用python来做同样的事情呢？
浏览 0提问于2016-04-15得票数 3
我对Hive的理解是，它提供了一种使用SQL命令查询HDFS的方法。输入Spark SQL。既然我可以使用Spark SQL通过SQL查询我的数据库，那么为什么Hive会进入这个画面呢？, support for Hive serdes, and Hive u
浏览 1提问于2018-08-16得票数 0
3回答
我想要捕获表和相关元数据的列表(如列，不。所有数据库中的行等)。我正在寻找的是某种类型的脚本，我可以将其提交给任何人，任何人都可以运行它，并通过将其写入文件来为我提供输出。一种方法是编写一个mapreduce程序，该程序将连接到hive并提取此信息。
另一种方法是以某种方式遍历表列表并获取此信息。对于RDBMS，我只需在系统目录表上编写一个SQL查询就可以做到这一点。
浏览 4提问于2016-03-29得票数 0
4回答
用星星之火覆盖蜂窝分区
、、、、
我正在使用AWS，我有使用Spark和Hive的工作流。我的数据是按日期划分的，所以每天我在S3存储中都有一个新的分区。我的问题是，当有一天加载数据失败时，我必须重新执行该分区。如果我使用SaveMode.Overwrite，完整的表将被删除，并且只保存分区。如果我使用SaveMode.Append，我可能有重复的数据。通过搜索，我发现Hive支持这种覆盖，只支持分区，但是使用hql语句，我没有它。
我们需要Hive上的解决方案，所以我们不能使用这个 (直接到csv)。
浏览 2提问于2018-04-23得票数 11
回答已采纳
1回答
运行示例时出错
、、、
这就是我要做的：
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Ro
浏览 2提问于2017-12-18得票数 1
回答已采纳
我会将数据从拼图加载到火花数据，并使用df.CreateOrReplaceTempView("TableName")创建一个临时表，这样我就可以使用spark或% SQL魔术来执行ETL了。这样做之后，我可以在spark.sql或%%sql上使用TableName。当我做完了，我会write我的桌子到蜂巢亚稳态。但是，如果我不想执行这个saveAsTable操作并写入我的数据湖，该怎么办？使用<e
浏览 6提问于2022-09-08得票数 0
回答已采纳
在HDFS上写入文件创建多个零件文件(200)并花费很长时间 我正在将配置单元表(使用SqlContext.sql)加载到数据帧1(6K记录)并注册到临时表。我将临时表与另一个配置单元表(500万条记录)连接在一起，并加载到dataframe 2中。我使用左外部连接更新dataframe 1和dataframe 2的值，并尝试将dataframe_1(6K记录)写入HDFS文件，这
浏览 71提问于2019-05-18得票数 2
1回答
我尝试创建一个函数，从关系数据库中获取数据并将它们插入Hive表中。由于我使用Spark1.6，所以需要注册一个临时表，因为将数据直接写入Hive表不是sc = SparkContext(conf=spark_conf一个文件，在两个小时后创建
因此，当我尝试在作业完成后从Hive表中进行选择时，就会有丢
浏览 6提问于2018-03-05得票数 0
我已经用Spark注册了一个临时表，如中所述// I can run queries on it all right.现在我想通过JDBC远程访问这个表。/sbin/st
浏览 5提问于2014-11-24得票数 19
回答已采纳
11回答
有没有可能将spark中的DataFrame直接保存到Hive？
我尝试过将DataFrame转换为Rdd，然后保存为文本文件，然后加载到hive中。但是我想知道我能不能直接把dataframe保存到hive
浏览 1提问于2015-06-05得票数 93
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
