我正在生成一系列嵌套在json中的数据，并希望将这些文件自动附加到databricks中的一个表中。我没有她的图式。这些数据将存储到azure存储中。# !OPTIONS (path 'dbfs:/mnt/lake/vsts/*.json&#x
浏览 22提问于2020-02-18得票数 1
1回答
我正在研究基于Cloud语言的ETL/ELT系统，这些系统可以处理深度嵌套的JSON / XML文档。 我发现Azure Datafactory似乎符合我的要求。但是，文档让我不确定Datafactory是否可以处理这些深度嵌套的文档。在我在这里找到的示例中：https://docs.microsoft.com/en-us/azure/data-factory&#x
浏览 26提问于2020-04-06得票数 0
回答已采纳
1回答
我们可以使用Azure数据工厂中的哪个连接器连接到日志分析工作区？我的要求是读取"AzureActivity“表&将其写入存储帐户作为一个拼花文件。我想使用ADF从工作区表而不是活动日志直接读取的原因是，在工作区中运行的ETL进程已经解析了Activity文件，并且当我们从那里导出表时，Json输出没有那么原始和复杂。另外，如果
浏览 11提问于2022-07-23得票数 0
比方说，数据服务器在AWS上。使用S3作为存储，Glue作为数据目录。因此，我们可以很容易地使用雅典娜，红移或电子病历查询数据在S3上使用胶作为亚稳态。我的问题是，是否有可能将Glue数据目录公开为外部服务的转移，比如托管在AWS上的Databricks？
浏览 0提问于2018-04-16得票数 8
1回答
我对Databricks非常陌生。所以请原谅我。这是我的要求
我怎么才能做这个活动。我想没有一个拍摄过程。我正计划创建一个笔记本并通过Azure Data运行它。将数据<
浏览 1提问于2018-11-14得票数 4
回答已采纳
1回答
Json火花红移
、、、
我有一个有多个嵌套的jsons的文件，我希望topush进行红移，我想首先可以将整个行保存为一个列字符串，然后保存。我对spark和scala都很陌生，所以请原谅我的无知，但是以json的身份读取文件似乎会自动推断出一个模式，因为连接器im 不能为嵌套的json保存模式，所以我无法将其保存为redshift。因此，我的问题是，如何在具有嵌套json的</e
浏览 3提问于2016-07-11得票数 1
回答已采纳
TL;DR:是否有可能让terraform为Azure、AD和Databricks提供SCIM配置的Microsoft？我正在尝试为Databricks配置自动SCIM配置，以便用户和组管理可以通过Azure Active来完成，而不是在Databricks本身中完成。看起来，它可以通过企业应用程序或使用MicrosoftGraph来完成。
在编写本报告时，azuread提供程序上有，可以通过企业应用程序方法添加配置。我使用的是azuread提供商<e
浏览 7提问于2022-07-26得票数 2
我有azure databricks工作区，我使用databricks cli在工作区中添加了服务主体。我一直试图使用服务主体创建集群，但无法理解它。有什么能帮到我吗？我可以使用我的帐户创建集群，但我希望使用Service主体创建，并希望它是集群的所有者，而不是我。另外，是否有一种方法可以将群集的所有权转移到服务主体？
浏览 4提问于2022-03-25得票数 2
我将用这张图片来想象我的问题：
Databricks1在Databricks中创建数据库(和表)，并将其数据存储在存储帐户中。在Databricks2中，我想读取数据: Databricks2只具有读取权限。我可以直接读取原始的增量文件，但是我想要创建一个数据库和表，它
浏览 2提问于2020-04-10得票数 2
回答已采纳
4回答
如何在Databricks中删除增量表？我在文档里找不到任何信息...也许唯一的解决方案是使用魔术命令或dbutils删除文件夹‘delta`中的文件： %fs rm -r delta/mytable?编辑： 为了清楚起见，我在这里举了一个非常基本的例子。test_list = [['furniture', 1], ['games', 3]]
df = spark.createDataFrame(test_list,s
浏览 93提问于2019-11-22得票数 8
回答已采纳
我正在设置DataBricks来比较和对比来自多个来源的数据。有些数据是CSV文件，有些是JSON格式，还有一些是Google Earth KML文件。最后一个确实是一个挑战；我正在尝试使用数据上传函数上传XML数据，但是DataBricks不能从XML字符串创建表。将XML插入到DataBricks表中的过程是什么？
浏览 37提问于2019-04-18得票数 1
我正在使用Azure Databricks笔记本并访问Azure plateform上提供的SQL Server。val jdbc_url = sql-db-connection-stri
浏览 4提问于2019-11-13得票数 0
1回答
我通过在Databricks中挂载并创建一个表(“使用增量”)来连接到Azure gen 2数据湖中的增量表。然后我在Power BI中使用Databricks连接器连接到它。首先，我不清楚数据湖和Databricks中的Spark表之间的关系。Spark表在每次查询时都会从
浏览 24提问于2021-08-12得票数 2
2回答
我从两个来源看到，现在你不能以任何有意义的方式与Spark的HIVE事务表进行交互。
我看到Databricks发布了一个名为的事务性功能。现在可以使用此功能读取配置单元事务性表吗？
浏览 0提问于2018-12-13得票数 2
我想在databricks上的scala脚本中调用R函数。我们有没有办法做到这一点呢？我使用scalac -cp "$JVMR_JAR"在我的mac上，它会自动打开一个可以调用R函数的scala。有没有办法在databricks</e
浏览 1提问于2015-07-22得票数 0
我有一个databricks notebook Notebook1，我在其中编写了一个查询，用于从databricks数据表获取last_mod_time，并将其保存为dataframe。现在，我已经在azure数据工厂中创建了一个管道，并使用该notebook的输出将last_mod_time值作为字符串传递给一个IF condition活动。
浏览 15提问于2021-03-18得票数 1
回答已采纳
1回答
我正在使用，并试图与Databricks集群建立连接。到目前为止，一切看起来都很好，但有一个问题是，在星火的配置下，我们必须为ADLS 2存储帐户放置SAS密钥。这样做的原因是，当Informatica试图写入Databricks时，它首先必须将该数据写入ADLS 2中的一个文件夹中，然后Databricks实质上接受该文件并将其写入一个Delta表。现在，一个问
浏览 11提问于2022-05-03得票数 1
我有一个复制活动在Azure数据工厂与谷歌BigQuery的来源。我需要导入整个表(其中包含嵌套字段-BigQuery中的记录)。嵌套字段按如下方式导入(仅包含数据值的字符串)：
"{\"v\":{\"f\":[{\"v\":\"1\"},{\"v\":\"1\"},{\"v\":\&q
浏览 4提问于2021-09-15得票数 2
回答已采纳
在Databricks中，表是使用模式json定义创建的。用来创建表的架构json "fields": [ "metadata": {}, "nullable":我正在使用readstre
浏览 0提问于2021-10-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
