Databricks绘制超过1000行

文章/答案/技术大牛

发布

1回答

databricks、azure-databricks、aws-databricks、gcp-databricks

在Databricks中，有没有办法用内置的可视化功能绘制1000多行数据？我尝试使用limit()函数，但它仍然只显示前1000个。

浏览 36提问于2021-07-07得票数 1

回答已采纳

1回答

FileNotFoundException - delta_log中缺少checkpoint.parquet

apache-spark、pyspark、pyspark-sql、databricks、pyspark-dataframes

几个月前我遇到了一个类似的问题，我发现将Databricks Runtime版本更新到5.5可以解决这个问题。当然，它解决了，但几个月后错误又回来了，我找不到任何合理的解决方案来防止它。

浏览 16提问于2020-02-25得票数 0

1回答

数据库将结果截断到1000列

pyspark、databricks

我一直在尝试printSchema() of a Dataframe in Databricks。Dataframe有超过1500个列，而且显然Databricks正在截断结果，只显示1000个条目。

浏览 6提问于2021-06-23得票数 1

回答已采纳

1回答

如何通过terraform为Azure AD和Databricks配置SCIM配置？

terraform、databricks、azure-databricks、terraform-provider-azure、scim

TL;DR:是否有可能让terraform为Azure、AD和Databricks提供SCIM配置的Microsoft？我正在尝试为Databricks配置自动SCIM配置，以便用户和组管理可以通过Azure Active来完成，而不是在Databricks本身中完成。

浏览 7提问于2022-07-26得票数 2

2回答

可以将长度与标题记录不同的记录放入bad_record目录

scala、apache-spark、error-handling、apache-spark-sql、databricks

sep", props.inputSeperator) .option("badRecordsPath", "/mnt/adls/udf_databricks

浏览 6提问于2018-08-28得票数 0

回答已采纳

2回答

对于Delta Lake的真空操作，Databricks集群是否需要始终保持正常运行？

apache-spark、databricks、azure-databricks、delta-lake

我正在使用Azure Databricks和集群的最新运行时。我对德尔塔湖的真空操作有些困惑。

浏览 53提问于2020-11-27得票数 0

回答已采纳

1回答

Hadoop客户端Azure数据湖Gen2令牌访问- AADToken: HTTP连接从AzureAD获得令牌失败。Http响应: 400次不良请求

azure、hadoop、azure-data-lake

尝试通过控制台中的Hadoop客户端使用令牌连接Azure数据湖存储Gen2并接收错误如果我将标记放入"“中，则错误是不同的。Usage: hadoop fs [generic options] 批准从第二步- 开始申请的行

浏览 0提问于2019-09-04得票数 2

1回答

Azure数据库笔记本参数传递

azure-databricks

错误： com.databricks.common.client.DatabricksServiceException: com.databricks.WorkflowException: INVALID_PARAMETER_VALUE：提供的参数(在json表示中)太长(10046字节)；不能超过10000字节。

浏览 3提问于2020-10-07得票数 1

回答已采纳

1回答

使用databricks python代码删除azure帐户中的文件

python-3.x、pyspark、azure-databricks

如何在databricks中编写pyspark/python代码以删除在azure存储帐户中超过X天的文件。

浏览 5提问于2022-04-21得票数 0

1回答

有没有办法使用ADO.Net连接到数据库？

python、.net、.net-core、databricks、azure-databricks

我想构建一个API来查询databricks的表，并将结果输出为JSON。实现这一点的一种方法是调用databricks来执行作业并读取作业输出，但这有数据大小限制(最大5MB，我的结果集可以超过20MB)。相反，我是否可以使用集群提供的JDBC/ODBC端点通过Microsoft.Net连接到databricks，或者是否有任何其他直接连接的方法？我的API层最好是用Microsoft.Net构建的。

浏览 0提问于2020-12-17得票数 2

1回答

Azure DataBricks中的Azure Devops集成错误

azure、azure-devops、azure-databricks

在将azure databricks笔记本与我已链接到的Azure DevOps存储库同步时，我遇到以下错误：同步Git历史记录时出错:数值(3204746134)超出整数范围？在[来源：{"id"：在azure databricks中指定的存储库分支已在Azure DevOps上成功创建。我尝试删除不再需要的笔记本的修订历史记录，以减少要签入的更改数量。

浏览 10提问于2019-06-26得票数 0

2回答

无法在Azure数据库中创建新的集群

azure-databricks

我有免费的试用，还有一些学分，我想在蔚蓝数据库中创建一个新的集群，并在scala笔记本中编写一些代码，但是每次我尝试创建一个新的clsuter时，它都说终止了。有人能帮助创建一个新的集群所需做的事情吗？

浏览 3提问于2022-05-10得票数 0

回答已采纳

1回答

如何在数据库上绘制Python XGBdecision树

python、plot、pyspark、databricks

我有一个问题要在databricks上绘制Xgboost决策树。XGboost是为python安装的，这使得在此环境中工作时有些奇怪。我已经将graphviz作为一个包安装在databricks端。

浏览 1提问于2019-04-23得票数 2

回答已采纳

2回答

如何在databricks内置地图中可视化地理数据(点)？

maps、data-visualization、databricks、azure-databricks

在databricks中这是可能的吗？任何帮助都非常感谢！

浏览 1提问于2019-11-07得票数 2

1回答

在spark中，如何使用不同组中的元素列表呈现直方图？

apache-spark、pyspark、histogram、databricks

我试图在databricks上的spark中直观地比较两个元素列表。.|我希望能够绘制两个频率图(如条形图，直方图)-排序和位置堆叠。如何在Databricks中使用display()函数来实现？

浏览 0提问于2021-06-15得票数 0

1回答

AWS管理的气流到Databricks SSL错误

python、amazon-web-services、airflow、databricks、mwaa

我试图使用由气流(如DatabricksSubmitRunOperator或DatabricksRunNowOperator )提供的databricks内置操作符，但我无法使用它，它给出了以下错误：对数据库的1次API请求失败，原因是: HTTPSConnectionPool(host='usdev.databaricks.xyz.com'，port=443)：最大重试超过url: /api/2.0ssl.c:1091)‘)引起) 如果我要使用自定义python代码，那么我可以在python的requests模块中提

浏览 8提问于2021-12-21得票数 2

1回答

不断获取错误(缺少凭据)将Power服务连接到Azure数据库

azure、powerbi、databricks、azure-databricks、connectivity

我对从Databricks到Power服务的连接有一些问题。在我将我的应用程序发布到Power服务之后，我想用这些数据来安排一次刷新。但是，我发现Power中出现了一个错误(缺少凭据)。

浏览 24提问于2022-09-02得票数 1

1回答

星火DataFrame到ADW表:无法插入字符>4k的列

python、apache-spark、databricks、azure-databricks、databricks-connect

在DataBricks上，我拥有一个值为字符长度> 10,000的值的。.option("url", sqlDwUrl) \ .option("forwardSparkAzureStorageCredentials

浏览 4提问于2019-11-21得票数 0

1回答

在作业执行阈值时间后停止azure databricks集群

azure、azure-databricks

我需要知道，当azure databricks集群无限运行以执行作业时，如何通过进行配置来停止它(无需手动停止)，以及在作业运行时间超过其正常运行时间时为其创建电子邮件警报。

浏览 14提问于2020-05-14得票数 0

1回答

小Spark数据帧在Databricks中速度非常慢

pyspark、databricks

我使用了一个非常标准的Databricks集群(2个节点，14 GB内存，4核，0.75DBU)。然而，运行spark_shape(df)需要超过6分钟！我想知道我是否需要增加内存或nodes Databricks集群，除了这个数据帧如此之小，我不明白为什么一个简单的操作会花费这么长的时间。

浏览 9提问于2021-06-26得票数 0

点击加载更多