从spark目录中获取表名

文章/答案/技术大牛

发布

1回答

Simba Spark驱动程序不工作ms excel

excel、apache-spark、apache-spark-sql、simba

我使用Spark(1.5.0)来使用Spark特性，使用Spark应用程序，并使用Simba驱动程序获取连接。使用Tableau，我能够连接并能够执行Spark操作。但是，当我试图将Spark连接到MS时，它会连接起来，但不会列出数据库和表名。我还尝试了根据SPARK.使用MS的Microsoft Query选项来执行自定义的SQL查询(select * default.airline)，但是它会抛出带有目录<em

浏览 3提问于2016-02-12得票数 1

1回答

apache-spark、apache-spark-sql

我有一个DataSourceV2Relation对象，我想从spark catalog中获取其表的名称。spark.catalog.listTables()将列出所有的表，但是有没有一种方法可以直接从对象中获取特定的表？

浏览 57提问于2021-08-08得票数 2

1回答

火花SQL中DB名称中的转义关键字

scala、apache-spark、apache-spark-sql

我有一个名为serde_dwh的数据库由于数据库名以serd开头，因此我收到以下错误：val record_count = spark<

浏览 1提问于2021-05-18得票数 0

1回答

Delta Lake表元数据

delta-lake

Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。

浏览 31提问于2020-07-21得票数 1

回答已采纳

6回答

从Spark* Dataframe获取表名*

apache-spark、pyspark

如果我创建了一个数据帧，如下所示：有没有什么方法可以让我从df恢复tblName？

浏览 0提问于2018-09-27得票数 11

1回答

如何从HDFS中获取目录名

scala、apache-spark、hdfs

我试图从hdfs位置获取目录名，使用spark。我正在获取到目录的整个路径，而不仅仅是目录名。hdfs://localhost/user/rev/raw_data/2065-5 如何才能得到如下输出(即目录</e

浏览 1提问于2018-03-19得票数 2

回答已采纳

1回答

用文件名激发read.json

json、apache-spark

我需要从HDFS目录中读取一堆JSON文件。完成处理后，Spark需要将文件放在不同的目录中。函数read.json立即将文件转换为DataFrames，这很酷，但它没有给出像wholeTextFiles这样的文件名。有办法在读取JSON数据的同时获取文件名吗？是否有从RDD (带有JSON数据)到DataFrame的转换？

浏览 7提问于2016-04-20得票数 0

1回答

TestCafe -如何使用类名获取标签为"th“的表的索引号

javascript、header、testcafe、getelementsbyclassname、getelementsbytagname

我正在尝试获取具有正文列的链接表标题列，因为这些列是可配置的，并且顺序不断变化。唯一的识别方法是只在头部分给出类名。如果我将使用类名获取索引号，那么我可以使用该索引从body中获取值。我可以使用getElementsByTag('th').nth(i).classNames来获取类名。<span>Gender</span> </th>

浏览 22提问于2020-11-10得票数 1

回答已采纳

1回答

使用Apache和kfaka的实时数据库流

apache-spark、apache-kafka、apache-spark-sql、spark-streaming

我有以下几个问题:将RDBMS表中的数据流到kafka，并使用Spark使用者使用Spark处理消息和处理。问题: 1.我将数据从表流到kafka (键作为tablename，值作为表数据形式的JSON记录) --这是正确的体系结构吗？在spark使用者中，我试图使用DStream.foreachRDD(x =>转换到x)来使用数据--我对此有异议(它说转换中的错误与转换是不允许的.我试图在foreachRDD

浏览 0提问于2017-01-31得票数 0

1回答

PySpark无法通过sparkContext/hiveContext读取Hive事务表？我们可以使用Pyspark更新/删除蜂箱表数据吗？

apache-spark、hadoop、hive、pyspark、pyspark-sql

我尝试过使用PySpark访问Hive事务表(它在HDFS上有底层的增量文件)，但是我无法通过sparkContext/hiveContext读取事务表。

浏览 5提问于2019-08-01得票数 1

回答已采纳

1回答

带有数据库的CI / CD统一目录

databricks、databricks-unity-catalog

我正在为我的数据库工作空间将表从hive_metastore迁移到Unity。DevTestProd当从Dev ->测试->工作空间部署代码时。我希望

浏览 9提问于2022-09-21得票数 1

1回答

如何在Hive 3.1到Spark2.3(火星雨)中创建拼花表

apache-spark、hive、pyspark、parquet、hortonworks-data-platform

从火花创建/加载拼花表时面临的问题Horotonworks HDP3.0蜂巢3.12#.成功地将数据插入到现有的拼花表中，并通过火花检索。df.write.format("parquet").mode("overwrite").insertInto("database_name.

浏览 0提问于2018-10-12得票数 1

回答已采纳

2回答

使用python将Oracle分区表转换为Datalake

python、oracle、azure-data-lake

你好，我正在尝试将Oracle分区表转换为Datalake parquet文件。使用此脚本 # Convert it to Spark SQL table and save it as parquet format .format("parquet"schema_name + "/" + table_name + ".parquet") \ .saveAsTable(table_name

浏览 29提问于2020-09-02得票数 0

回答已采纳

2回答

使用直线客户端通过Spark服务器查询冰山表时出错吗？

apache-spark、spark-thriftserver、iceberg

我正在尝试使用星火节约服务器来查询冰山表(外部表包含S3中的数据和Hivemetastore中的元数据)。我能够查询非冰山表，但是当我查询冰山表时，我得到的是以下错误。我们不可以通过星火节约服务器查询冰山表吗？版本细节 --conf <em

浏览 31提问于2022-06-14得票数 2

回答已采纳

2回答

火花仓库与蜂巢仓库

apache-spark、hive、apache-spark-sql、hortonworks-data-platform

Hortonworks数据平台HDP 3.0有spark 2.3和Hive 3.1，默认情况下spark 2.3应用程序(pyspark/ Spark sql等)使用spark数据仓库，而Spark 2.3| hdfs://<hostname>:8020/warehouse/tablespace/managed/hive | | default| hdfs://<hostname>:8020&

浏览 1提问于2018-10-29得票数 3

回答已采纳

3回答

Amazon和Hive:在将子目录加载到外部表时获得"java.io.IOException:而不是文件“异常

hadoop、amazon-web-services、amazon-s3、hive、emr

我在s3中有一些日志数据，它们都在同一个桶中，但是在不同的子目录下，例如："s3://bucketname/2014我在用：Set mapred.input.dir.recursive=true; 当尝试加载“S3:/桶<em

浏览 3提问于2014-09-07得票数 2

回答已采纳

1回答

如何使用spark的textFile()读取包含子目录的目录

apache-spark

我正在使用spark的textFile从hdfs读取文件。hdfs中的目录如下所示：/user/root/vjwy.txt/user/root/dira/xxx.txt作业将失败，因为目录<

浏览 0提问于2016-01-14得票数 0

3回答

Spark streaming DStream RDD获取文件名

scala、apache-spark

Spark streaming textFileStream和fileStream可以监控目录并处理Dstream RDD中的新文件。如何获取DStream RDD在该特定时间间隔正在处理的文件名？

浏览 0提问于2015-03-13得票数 9

2回答

Spark ()工作，但sql()抛出数据库找不到

java、apache-spark、cassandra、apache-spark-sql

我使用Spark2.1读取Java中Cassandra的数据。我尝试了在 (使用SparkSession)中发布的代码，它成功了。但是，当我将spark.read()方法替换为spark.sql()方法时，将引发以下异常： at org.apache.spark.sql.catalyst.ana

浏览 3提问于2017-01-11得票数 0

回答已采纳

2回答

通过sparkSQL创建蜂窝

apache-spark、hive、apache-spark-sql、data-processing

我对蜂巢中的扣环有一个疑问。我已经创建了一个临时表，该表在列关键字上存储桶。当我检查这个表的基目录时，它显示了前缀为part_*的文件名。但是，当我通过另一个表手动将数据插入到这个表中时，我看到了以00000_*为前缀的文件。

浏览 1提问于2018-08-02得票数 5

点击加载更多

Simba Spark驱动程序不工作ms excel