4回答
如何在Databricks中删除增量表？我在文档里找不到任何信息...也许唯一的解决方案是使用魔术命令或dbutils删除文件夹‘delta`中的文件： %fs rm -r delta/mytable?test_list = [['furniture', 1], ['games', 3]]
df = spark.createDataFrame(test_list,schema=cSchema) 并将其保存在增量表中df.write.format(&quo
浏览 93提问于2019-11-22得票数 8
回答已采纳
3回答
我最近开始发现Databricks，并面临需要删除增量表的某一列的情况。当我使用PostgreSQL时，它就像DROP COLUMN metric_1;
我正在查看删除时的数据库，但它只覆盖了DELETE the我也找到了关于DROP database，DROP function和DROP table的文档，但完全没有关于如何从增量表中删除列的文档。这里我漏掉了什么？是否有从增量表中删除
浏览 4提问于2019-01-31得票数 12
回答已采纳
1回答
因此，当我试图执行像join这样的操作，然后在这些增量表中删除或插入时，需要很长时间。
我主要要做的是插入和删除操作。所以我应该使用平面文件而不是增量表。或者我应该尝试合并到增量表中。这是一个基本的问题，但我对databricks还不熟悉，所以任何帮助都会很好。
浏览 3提问于2019-12-17得票数 2
回答已采纳
1回答
我有一个增量表，其中多个作业通过databricks可以并发地将数据合并/升级到增量表中。有没有一种方法可以检查增量表是否被追加/合并/更新/删除，并等待它完成，然后我们获取锁并开始第二个作业的合并？ 仅供参考，这些是2个独立的Azure数据工厂作业，试图更新一个增量表。 干杯!
浏览 12提问于2020-09-16得票数 1
在我的场景中，Databricks在Delta表中执行读写转换。我们已经将PBI连接到Databricks集群，该集群需要在大部分时间内运行，这是非常昂贵的。知道增量表在容器中，从增量表提供PBI的成本x性能方面，最好的方法是什么？
浏览 37提问于2021-11-10得票数 1
回答已采纳
1回答
我想通过在一个Databricks中创建全局配置单元元存储，从其他Databricks环境中访问一个Databricks环境增量表。有没有可能，请告诉我。
提前谢谢。
浏览 7提问于2021-07-23得票数 2
1回答
我试图从Databricks中删除一个使用R的增量表。system("rm -rf /my_dir/my_table")
但我不喜欢这个解决方案..。
浏览 7提问于2022-10-05得票数 1
回答已采纳
我有一个databricks笔记本，我目前在其中创建了一个基于几个增量表的视图，然后根据这个视图更新一些相同的增量表。但是，我得到了不正确的结果，因为随着增量表的变化，视图中的数据也会发生变化。目前，我正在通过将数据持久化到一个表中并在笔记本末尾删除该表来解决这个问题，但我想知道是否有更好的解决方案？
浏览 68提问于2021-08-27得票数 0
回答已采纳
我能够使用scala创建databricks增量表，并能够对其执行追加和覆盖操作。 有没有办法可以使用scala而不是Databricks运行时来执行删除和更新操作？
浏览 6提问于2019-05-29得票数 0
到目前为止，我可以在Azure Databricks中编写代码。我想创建和部署连接到confluent kafka的库，并将数据保存到增量表。我弄糊涂了- 1]我是否需要通过如下设置从本地计算机连接到Databricks Delta，使用python将流存储到增量或将流存储到本地增量(我可以创建增量表
spark = pyspark.sql.SparkSession.builder.appNamespark.sql.catalog.spark_catalog", "org.apache.spark.sq
浏览 0提问于2021-01-08得票数 1
我正在尝试清理并重新创建用于集成测试的databricks增量表。此外，如果我简单地从增量表中删除数据，我仍然可以看到底层的dbfs目录和文件完好无损。
浏览 0提问于2019-04-04得票数 0
我试图在delta湖中实现scd-type-2，并得到以下错误-“合并目的地只支持Delta源”。MERGE INTO stageviews.employeetarget t -- The records from the first select statement, will have both new & updated records FROM
浏览 1提问于2020-09-10得票数 0
回答已采纳
目前，我正在将一个旧的Databricks环境迁移到一个新的环境。由于许多依赖项，目标是并行运行旧的和新的环境，直到所有的测试都通过为止。因此，我试图将Databricks表从旧环境复制到新环境。要尝试成功复制表，我尝试将Databricks表从旧订阅导出到帐户存储，并从帐户存储中将它们导入到新Databricks环境中。第二种方法没有将DeltaTable保存到Databricks的保存方法。对于第三个选项和第四个选项，它们都保留版本历史记录号，但不保留时间戳，它们使用执行命令时的时间戳进行更新。
浏览 2提问于2020-11-13得票数 2
我在Databricks增量中有一个表，它由transaction_date分区。我想将分区列更改为view_date。我尝试删除该表，然后使用PARTITIONED BY (view_date)使用新的分区列创建它。 然而，我的尝试失败了，因为实际的文件驻留在S3中，即使我删除了一个hive表，分区也保持不变。有没有办法改变现有增量表的分区？或者，唯一的解决方案是删除实际数据，并使用新指定的分区列重新加载它？
浏览 27提问于2019-03-05得票数 10
回答已采纳
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。当我将此数据加载到增量表中时，应该在表模式中动态创建列E和F，相应的数据应该加载到这两个列中，列C应该填充为NULL。我以为spark.conf.set("spark.databricks.delta.sche
浏览 18提问于2021-10-29得票数 0
我使用Azure datalake gen 2，我用databricks转换数据，我有在Power中发送的增量表。但是，必须允许客户端在sql表中请求。什么是最佳做法？是否可以使用databricks，或者让我使用其他的东西？提前谢谢你帮我!！
浏览 3提问于2022-06-17得票数 0
您好，我想在我的spring boot应用程序中建立与Microsoft azure databricks增量表的连接。我有集群url、用户名和增量表的密码(令牌)，我需要从中提取数据到我的应用程序。
浏览 2提问于2021-05-17得票数 1
1回答
我在一个文本文件和增量表中有一个SQL脚本列表。我需要一个接一个地把他们处死。制作了增量表。早些时候，我在SQL server中使用Exec命令执行存储过程。在databricks中的delta lake有什么解决办法吗？
浏览 6提问于2021-06-09得票数 1
S3湖形成治理表和databricks增量表之间的主要区别是什么？他们看起来很像。
浏览 10提问于2021-12-06得票数 8
回答已采纳
1回答
通过提供其挂载路径，从Azure blob存储容器下的数据块创建增量表。它是使用Azure blob存储资产在Azure权限中扫描的，不会生成沿袭。如果提供任何实现这一目标的建议，将是有帮助的。或者提供从Databricks增量表直接扫描也是值得注意的。
浏览 11提问于2021-04-28得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
