我正在处理Azure团队的这个文档的，其中在Dedicated SQL pool中(实际上也是一个数据库--作为教程状态的第2项)创建了一个名为nyctaxi的数据库，其表nyctaxi.trip如下所示：spark.sql("CREATE DATABASE IF NOT EXISTS nyctaxi")
df.write.mode("overwrite"
浏览 10提问于2021-11-13得票数 0
回答已采纳
3回答
sqlContext.sql('drop table test') //spark 1.6这两种代码在pyspark复制到了spark中的conf目录中。怎样才是正确的方法，把一个蜂箱表通过火花？更新：
我试着用下面的代码比较了火花外壳和我提交的</e
浏览 5提问于2016-09-30得票数 8
我正在尝试将数据从配置单元表插入Azure SQL DB表。SQL DB表已经存在，我只想用下面的Scala JDBC编写代码覆盖其中的数据。此代码将数据写入SQL DB表，但它正在更改其DDL (数据类型/列名)。我怎么才能避免它。我想要简单的插入表。 ?
浏览 18提问于2019-04-29得票数 0
1回答
数据库Python优化
、、、、
我需要您的帮助，我在python中有一个简单的代码，它列出了数据库中所有数据库中的所有字段，有将近90个表，我想将结果保存在一个txt或csv文件中。# table containing all name of database in databricks showT
浏览 8提问于2022-01-06得票数 0
1回答
上下文:我有一个使用SQl查询的数据文件。在这个查询中，我使用spark上的熊猫保存到一个数据文件中。现在，经过一些转换后，我想将这个新的dataframe保存在给定数据库的新表上。示例：df_final = spark.sql("
浏览 13提问于2022-11-18得票数 0
回答已采纳
1回答
好奇在Databricks中索引是如何工作的。您是否可以将分区视为索引，因为它有效地将数据组织在分组的子类别中？
浏览 83提问于2021-05-04得票数 2
回答已采纳
2回答
在我的用例中，我想“创建或替换”星星之火sql中的蜂巢数据库。我想知道这是否可能？还是必须先手动删除for-循环中数据库中的所有表，然后删除空数据库？
浏览 1提问于2019-04-01得票数 2
回答已采纳
2回答
我试图在中重命名一个数据库，但是我得到了以下错误：
%sql ALTER DATABASEinventory MODIFY NAME = new_inventory;
请解释这个错误是什么意思“输入‘alternative没有可行的选择”，我如何解决它？
浏览 4提问于2021-03-05得票数 4
1回答
我知道Spark和Hive几乎一样。现在我已经创建了一个表，当我执行Spark查询来创建表索引时，它总是会给出以下错误：
我使用的Spark查询是：id的数据类型为bigint。在此之前，我还尝试在这个<e
浏览 1提问于2016-03-20得票数 4
回答已采纳
我使用Spark已经有一段时间了，在Python中取得了成功，但是我们有一个用C#编写的产品，它将从分布式和并行执行中受益良多。我做了一些研究，并尝试了新的C#应用程序接口，但目前这有点限制。关于Ignite，从表面上看，它似乎是一个不错的选择。它得到了良好的.NET支持，它具有集群能力和跨网格分布计算的能力。然而，我想知道在我们的用例中，它是否真的可以用来取代Spark --我们需要的是一种执行数据帧类型操作的分布
浏览 14提问于2019-11-08得票数 0
回答已采纳
2回答
我试图从Cassandra读取数据，并将特定索引写入Redis。假设Redis DB 5。我可以将数据保存到没有表名的Redis中吗？实际上，我只想将所有数据保存到Redis索引5中，没有表名，可以吗？我已经看过了火花红宝石连接器的文档，我没有看到任何与此相关的例子。如果没有在配置中提到表名，就会出现错误 java.lang.IllegalArgum
浏览 6提问于2020-07-08得票数 4
的结果进行聚合。SHOW TABLES FROM databasenameCREATE TABLE database.new_table AS (
);编辑:我只能
浏览 4提问于2022-01-06得票数 2
Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。
浏览 31提问于2020-07-21得票数 1
回答已采纳
1回答
使用Apache Spark :2.3.0数据库: Oracle 12.1 Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseEx
浏览 0提问于2018-09-05得票数 2
我正在尝试运行这样一个PySpark应用程序： dataframe_mysql= spark.read.format('jdbc').options(
url="jdbc:mysql://我发现Spark直到执行write才从Mysql加载数据，这意味着Spark让<em
浏览 3提问于2022-08-12得票数 0
回答已采纳
我正在从运行在EMR上的吡火花写一个数据到外部的蜂巢表。这项工作包括从外部单元表中删除/截断数据，将数据的内容写入上述表，然后将数据从单元写入DynamoDB。我想写到EMR集群上的一个内部表，但现在我希望以后的集群可以使用蜂箱数据。我可以直接写信到Glue目录，强迫它注册，但这比我需要做的还要远。所有组件都可以在给定的EMR集群上单独工作:我可以使用脚本或ssh和hive shell在E
浏览 4提问于2020-10-22得票数 0
回答已采纳
1回答
我想在Spark中创建一个数据库，为此，我编写了一些SQL脚本来创建SQL表。我的问题是，如何将SQL表(数据库)集成到Spark中以便以后处理？这可以使用Scala脚本或通过Spark控制台来完成吗？ 谢谢。
浏览 98提问于2021-03-21得票数 0
回答已采纳
2回答
我运行的是spark版本1.4。我正在对来自red shift的4m数据的spark进行性能基准测试。我通过pyspark shell触发了一个查询。dbtable="table_name", user='user', password="pass") d=sqlContext.sql以下是我的spark</e
浏览 0提问于2015-07-29得票数 11
回答已采纳
1回答
我想列出Azure Databricks中每个数据库中的所有表。这是我目前所拥有的：df = spark.sql(databaseName")
prin
浏览 0提问于2020-09-23得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
