我想通过pyspark sql在databricks上的数据库中找到具有特定列的表。 我使用了以下代码，但它不起作用。https://medium.com/@rajnishkumargarg/find-all-the-tables-by-column-name-in-hive-51caebb94832 在SQL server上</em
浏览 46提问于2019-12-12得票数 4
6回答
我已经在stackoverflow上搜索了这个问题，但大多数问题都比我想要的要深一些。许多问题都与查找具有特定列名的表有关。
我通过SSMS连接到数据库。我已经找到了要用SELECT * FROM Item搜索的表。在Item表中，我想搜索所有字段名(或列名)，并对包含特定字
浏览 22提问于2018-07-24得票数 0
2回答
下面是我编写的代码，用于连接到关系数据库管理系统，然后创建临时表，在该临时表上执行SQL query，通过databricks模块将SQL查询输出保存为.csv格式。from pyspark import SparkContextfrom pyspark.sql import SQLContex
浏览 30提问于2017-12-22得票数 0
回答已采纳
我已经用数据库csv包启动了shell。然后，我读取了一个csv文件，通过op完成了一些操作，并将其转储到csv中。am not getting any columns in that..1st row becomes column names
请不要回答，比如在read_csv之后向datafra
浏览 6提问于2016-07-27得票数 37
回答已采纳
1回答
我已经开发了一个databricks管道，它使用Kafka主题中的数据。目前，我正在通过在Pyspark中手动定义模式来进行处理。我知道Kafka模式注册表也是由Kafka团队设置的，我收到了注册表URL。
请指导我如何通过Databricks中的pyspark程序连接到模式注册表。谢谢
浏览 12提问于2021-05-20得票数 1
1回答
我有：A kubernetes集群在数据库使用的相同的Azure blob存储区中以拼花和/或Delta格式读写数据(通过</em
浏览 1提问于2021-08-19得票数 2
我目前使用的角色，比如main_user，具有对特定雪花数据库的完全权限，比如live_database。temp_user说，还有一个角色目前没有任何与这些数据相关的权限。在雪花用户界面中，我可以简单地运行以下查询，临时用户可以按照预期进行访问。中运行一个模型，并通过一个Spark连接器从/写到前面提到的雪花数据库。不幸的是，每次我在
浏览 2提问于2021-03-08得票数 0
回答已采纳
我们希望将转换后的数据存储在Azure数据库中，并将其用作power BI仪表板的来源。一方面，我们希望在仪表板上显示“几乎”实时的数据(由于转换等原因造成的延迟是可以接受的，但是仪表板需要非常频繁地刷新，比方说每分钟刷新一次)，但我们也希望存储转换后的数据并在以后查询它，例如，仅在给定的一天可视化数据有没有可能将熊猫的DataFrame转换成SQL，并将其存储<
浏览 15提问于2020-07-24得票数 0
回答已采纳
我已经构建了，并能够使用下面的命令使用同样的pyspark错误获取Traceback (most recent call last):
File "<stdin>",line 1, in &l
浏览 13提问于2015-06-10得票数 26
回答已采纳
2回答
我在一些VM上运行了一个Databricks集群。我的组织有一个Hadoop集群，其中有一些我想要的数据。我没有访问Hadoop集群的权限，只有一个JDBC (我的所有权限都已经整理好了，它们只给了我一个URL)。
我可以在本地机器(Dbeaver)上打开数据库管理工具，并成功地查询Hive表。但是，我很难使用Databricks和PySpark查询Hive<em
浏览 2提问于2020-04-16得票数 2
1回答
我如何模拟一个项目的现有代码(由其他人编写)，并在windows机器/Anaconda上本地运行它们以进行测试和实践？是否有可能模拟这些代码，或者我需要在Databricks上创建一个新的集群，用于我自己的测试？谢谢
浏览 1提问于2022-03-17得票数 1
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名称，并作为
浏览 15提问于2019-03-06得票数 0
回答已采纳
7回答
我有一个查询，它查找与特定数据库的列名相匹配的所有表和视图。我正在使用SQL SERVER 2008。SELECT table_name FROM information_schema.columns我希望扩展我的查询功能，以便在所有数据库中搜索，甚至查找具有我搜索的<em
浏览 7提问于2012-08-21得票数 9
我有一个有像这样的数据的文件，我把这个文件转换成一个databricks表。输出：123 Mobile456 laptopSelect * from myTable where Product[name]='laptop'
下面是
浏览 1提问于2022-05-18得票数 0
我已经运行了一个脚本，使用信息模式从数据库中查找具有特定列名的表名，下面是查询 select * from information_schema.columnswhere column_name like 'COMPANY_ID%'
在找到表名之后，我想要更新所有数据库的特定列值。
浏览 1提问于2014-05-21得票数 0
1回答
我在SQL方面的技能有限：上述陈述是有效的。它给出了具有LONGVAR数据类型的所有表和相应的列名
浏览 5提问于2015-05-20得票数 0
回答已采纳
目前，我正在通过databricks-connect与本地VS代码连接数据库。但是我的子任务都有模块未找到的错误，这意味着其他python文件中的代码没有找到。我试过：
有人在这方面有经验吗？或者更好的方式
浏览 2提问于2020-07-10得票数 1
我将用这张图片来想象我的问题：
Databricks1在Databricks中创建数据库(和表)，并将其数据存储在存储帐户中。在Databricks2中，我想读取数据: Databricks2只具有读取权限。我可以直接读取原始的增量文件，但是我想要创建一个数据库和表，它也可以在<
浏览 2提问于2020-04-10得票数 2
回答已采纳
2回答
我想使用PySpark提取SharePoint列表数据。我不确定Sharepoint列表数据和存储。我想以PySpark数据帧的形式读取SharePoint列表数据。
浏览 2提问于2019-05-24得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
