databricks集群中的通用元数据
databricks集群中的通用元数据
提问于 2020-07-11 01:12:23
我的Azure云平台的databricks实例中有3-4个集群。我想为所有集群维护一个公共的转储。如果有人实现了这一点，请告诉我。
回答 1
Stack Overflow用户
发布于 2020-07-13 02:28:12
我建议配置一个外部配置单元转储。默认情况下，Detabricks在幕后旋转自己的metastore。但您可以创建自己的数据库(Azure SQL可以工作，也可以使用MySQL或Postgres)，并在集群启动时指定它。
下面是详细的步骤：https://docs.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore
需要注意的事项：
数据库中的
- 数据选项卡-您可以选择群集并查看不同的元存储。
- 要避免使用SQL用户和密码，请使用初始化脚本在源上使用初始化脚本来查看托管标识https://docs.microsoft.com/en-us/azure/stream-analytics/sql-database-output-managed-identity
- Automate外部配置单元元存储连接。对于第二代ADLS，请考虑使用口令pass-through
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62839220
复制相关文章
相似问题
腾讯云开发者
