将DDL语句转换为通过Spark程序或通过Hive发出的DDL语句

文章/答案/技术大牛

发布

1回答

sql、apache-spark

我正在尝试将SQL查询转换为spark程序。在SQL查询中，我遇到了一个标记(distribution = replicate)。首先，我创建了一个hive查询，并尝试执行相同的查询。如何在hive sql中处理此问题？代码如下所示。col3 varchar(20), col5 int )with (distribution = replicate); 我已经将上面的内容转换为以下内容

浏览 7提问于2019-04-22得票数 0

回答已采纳

1回答

使用Beeline或Spark的内部类或方法的单元DDL解析器

apache-spark、hive、apache-spark-sql、beeline

是否可以在我们的自定义程序中使用Hive/Beeline/Spark的DDL解析功能，最好是在Java或Scala中？我已经看过了项目，它做了我想做的事情。我对这个项目的关注是，它没有使用Hive或Spark自己的内部类进行解析。他们提出了自己的regex模式来解析给定的DDL语句。我知道

浏览 15提问于2022-02-07得票数 0

1回答

Bigquery作为Dataproc的转移

apache-spark、google-bigquery、google-cloud-dataproc、spark-bigquery-connector

我们正在尝试将pyspark脚本从一个前提迁移到GCP平台，该脚本通过数据转换在Hive中创建和删除表。蜂巢被BigQuery所取代。在本例中，使用连接器将单元读和写转换为bigquery读写。然而，问题在于通过spark创建和删除bigquery表，因为spark将默认在由蜂窝转移支持的蜂巢上运行创建和删除查询，而不是在大型查询上运行。我想检查一下是否有计划将DDL语句

浏览 7提问于2022-03-30得票数 2

回答已采纳

1回答

HiveWarehouseConnector executeUpdate()函数返回什么？

apache-spark、hive

我不敢相信我不得不在这里问这个问题，但似乎没有关于HWC实际工作的文档。我所能找到的就是它返回一个布尔值：但是这个布尔值到底是什么意思呢？这是一个成功/失败的代码吗？

浏览 3提问于2022-03-26得票数 1

回答已采纳

2回答

不能将org.apache.hadoop.hive.ql.io.orc.OrcStruct转换为org.apache.hadoop.io.BinaryComparable

hadoop、hive、orc、apache-tez

at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:563) at org.apache.hadoop.hive.serde2.AbstractEncodingAwareSerDe.deserialize:113) at or

浏览 1提问于2019-09-20得票数 0

3回答

如何获取/生成现有hive表的create语句？

sql、hive、hiveql

假设您在Hive中已经有了" table“，有没有像其他数据库一样快速获取该表的"CREATE”语句的方法？

浏览 0提问于2013-08-09得票数 102

回答已采纳

1回答

为什么一个Impala查询失败，如果DDL执行时，黑斑羚的状态是关闭的？

hadoop、impala、cloudera-cdh

在黑斑羚的正式文档中，statestore组件有一个语句：如果在statestore关闭时发出DDL语句，则访问DDL创建的新对象的查询将失败。如果我错了，请纠正我，但是通过Impala SQL所做的元数据更改将从Impala Catalog服务传播到Impala Daemons。那么，如果statestore关闭，通过DDL生成的新对象<e

浏览 0提问于2019-07-16得票数 0

回答已采纳

1回答

时间戳字段显示EMR上的Presto 0.170中的1970-01-01

hadoop、hive、emr、parquet、presto

我有一个外部配置单元表，指向通过s3上的Spark作业编写的地块文件，它有日期、时间戳字段，当我通过配置单元查询时，我得到了正确的日期event_dateevent_category stringdateid int, LOCATION 's3a://somebucket/events' h

浏览 3提问于2017-08-16得票数 0

1回答

亚马逊S3上的Presto

amazon-web-services、amazon-s3、amazon-ec2、presto

我有一个正在运行的配置单元元存储服务器，并且我已经在presto hive.properties中对其进行了配置。但是当我尝试在hive中运行LOCATION命令时，它不起作用。和是我在设置时遵循的文档。

浏览 2提问于2016-05-09得票数 7

2回答

指定序列化程序的ORC不工作。

hadoop、hive、cloudera、hiveql、orc

我在HDFS中有一些使用Sqoop导入的数据。数据以ORC的形式导入，压缩非常快速。但是，我是通过定义ROW FORMAT SERDE and STORED AS INPUTFORMATand OUTPUTFORMAT来定义“自定义序列化程序”的</em

浏览 4提问于2017-06-23得票数 1

回答已采纳

1回答

事务Laravel模式创建

database、laravel、transactions

当我使用Schema::create方法时，我试图创建一个事务，但是它没有创建我的应用程序，我必须在另一个数据库上创建动态表，并且在出现错误的情况下，我必须回滚( work.In )。我使用的是laravel 5.1

浏览 2提问于2016-04-02得票数 1

1回答

Spark将数据写入分区Hive表的速度非常慢

hadoop、apache-spark、pyspark、spark-dataframe

我想将Spark数据帧以正常的可读文本格式存储到Hive表中。因为这样做，我首先这样做了我的DataFrame是这样的：我试着通过以下方式来写： fin

浏览 10提问于2016-08-08得票数 6

1回答

从S3读取分区数据-分区是如何发生的？

apache-spark、amazon-s3

当我使用Spark从S3读取多个文件时(例如一个包含多个Parquet文件的目录)-此外，分区是否默认为用于写的分区(即每个文件=1个分区)？

浏览 0提问于2018-11-11得票数 5

回答已采纳

4回答

截断存储过程中的表

oracle、stored-procedures、plsql、ddl

当我在Oracle shell中运行以下代码时，它工作正常但是当我尝试将其放入存储过程中时BEGINEND test;它失败了，错误为为什么？

浏览 1提问于2009-03-09得票数 58

回答已采纳

1回答

mysql事务不使用innodb表

php、mysql、asp.net、sql

我写了这篇文章，但是事务不起作用，我还将两个表都转换为not类型，这两个表都可以指导我编写代码时有什么问题，或者可以选择另一个事务。

浏览 1提问于2013-08-29得票数 0

2回答

使用create语句的InnoDb事务

mysql、transactions、innodb

CREATE TABLE之类的sql语句是否为tbl_name .....在事务中允许。.; 尽管事务中的语句失败，但仍会创建表，并在结束时进行回滚。有没有办法防止在事务中的语句失败时创建表？

浏览 4提问于2011-12-24得票数 0

回答已采纳

1回答

KSQL流主题存储在哪里？

apache-kafka、ksqldb

----------------我是从一个主题private-import-clients编写KSQL的，我假设创建的流的结果会给出一个主题、、CLIENT_STREAM、或其他名称。这是正确的吗？如果是这样的话，KSQL在哪里存储这个主题CLIENT_STREAM？我有一个Spring应用程序，它将使用主题CLIENT_STREAM。

浏览 5提问于2022-05-18得票数 0

1回答

匹配pgdump中的多行SQL语句

sql、regex、postgresql、sed、grep

我有PostgreSQL数据库转储版本9.5.2，其中包含DDL和给定数据库中每个表的INSERT INTO语句。我需要从这个转储创建2个文件：如果所有语句都在单行上，而数据中没有新的行字符，则通过</

浏览 2提问于2020-08-04得票数 0

2回答

在AWS Glue中使用Python调用Snowflake存储过程

python、snowflake-cloud-data-platform

我有一个管道，在其中我需要使用Python shell调用AWS Glue作业中的Snowflake存储过程。谢谢

浏览 0提问于2020-06-17得票数 1

3回答

您可以回滚状态为“正在将alter table提交到存储引擎”的查询吗？

mysql、mariadb、innodb

我们有一个有7000万行的InnoDB表，并且我们一直在尝试运行alter table语句来修改和添加几列。该查询似乎已更改了表，现在处于“正在将alter table提交到存储引擎”的状态。我们没有启用性能模式，因此无法查看预计的完成时间。我关心的是查询正在做什么，以及如果取消查询是否会回滚。我见过其他与查询有关的问题，这些查询被卡在复制到临时表中，或者等待表锁。然而，我找不到任何关于在alter table提交时被卡住的东西。在这种状态下终止查询

浏览 1提问于2018-03-06得票数 5

点击加载更多