使用hudi - select * from表进行presto - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

使用hudi - select * from表进行presto

apache-spark、aws-glue、presto、apache-hudi

我有一个用hudi创建的镶木地板记录，并存储在S3中。从我运行的presto-clipresto-cli --catalog hive --schema my-schema --server my-server:8889 presto:my-schema> select</

浏览 28提问于2020-02-12得票数 0

1回答

使用HUDI在TRINO上创建表的示例

apache-spark、create-table、trino、apache-hudi

我使用Spark Structured Streaming (3.1.1)从Kafka读取数据，并使用HUDI (0.8.0)作为S3上的存储系统，按日期对数据进行分区。(本节无问题)我创建了一个具有以下模式的表 CREATE TABLE t

浏览 6提问于2021-12-23得票数 3

1回答

更新存储在亚马逊网络服务S3中的数据的模式/数据的策略

amazon-web-services、amazon-s3、aws-glue、amazon-athena

在我的组织中，我们使用亚马逊网络服务S3、和的堆栈来推动一些内部指标的报告。通常，这个堆栈非常适合用于报告原始数据(存储在S3中)的快速设置。

浏览 0提问于2020-07-17得票数 1

1回答

最后/最后一次提交:使用pyspark获得hudi的最新提交

python、dataframe、apache-spark、pyspark、apache-hudi

我每小时都使用spark hudi进行增量查询，每次都将增量查询的开始和结束时间保存在db(例如mysql)中。对于nexti mysql查询，我使用开始时间作为上一次从mysql获取查询的结束时间。': hudi_end_commit但我不知道如何在pyspark(python)中找到hudi_end_commit。= list(map(lambda row: row[0], spark_session.sql("

浏览 7提问于2022-05-16得票数 1

5回答

以s3为数据的亚马逊网络服务中的ETL流水线如何处理增量更新

amazon-web-services、amazon-s3、etl、amazon-data-pipeline、aws-glue

以便后续presto db查询产生最新数据。在spark脚本中，是否需要创建Hive外部表，源为s3，并在presto db中使用？

浏览 0提问于2017-09-06得票数 4

1回答

插入到Hudi表时SdkInterruptedException导致的记录消费错误

amazon-web-services、amazon-emr、apache-hudi

我有一个从迁移中创建的Hudi表，所以它有数十亿行。迁移时没有问题，但当我开始流式传输以开始向该表写入新数据时，发生了以下错误： ? ERROR - error producing records (org.apache.hudi.common.util.queue.BoundedInMemoryExecutor.lambda$null[2020-12-29 16:45:18,284] ERROR - error reading records from queue (org.apache.

浏览 91提问于2020-12-30得票数 0

回答已采纳

1回答

使用spark递增聚合hudi表值

apache-spark、pyspark、apache-kafka、spark-streaming、apache-hudi

我有一个火花流作业，每10秒加载一次apache hudi表中的数据。如果该行已经存在，它将更新hudi表中的行。实际上，它正在执行重新插入操作。但是，在hudi表中，有一个an列，该列也使用新值进行更新。hudi是否支持增量聚合，不使用外部缓存/db？

浏览 9提问于2022-07-13得票数 1

0回答

对在配置单元中以orc格式创建且数据驻留在s3中的表执行presto-cli查询失败

hive、orc、presto

我设置了一个Amazon EMR实例，它包含1个主和1个核心(m4 Large)，具有以下版本详细信息: EMR : 5.5.0 Presto: Presto 0.170 Hadoop2.7.3 HDFS然后，我在配置单元(create external table TABLE ... partition() stored as ORC location 's3a"//')中创建了表，并尝试从presto-cli进行查询，查询SELECT

浏览 7提问于2017-06-15得票数 1

回答已采纳

1回答

如何在Presto中不使用唯一键进行全局排序

sql-order-by、presto、row-number、deterministic、non-deterministic

在我的例子中，我有一些单元表，分区列(Dt)是每个表中唯一包含的列。我在hive中执行下面的sqlSELECT row_number() over(ORDER BY T.dt) as row_num,T.* FROM WHERE TT.row_num BETWEEN 1 AN

浏览 3提问于2021-11-30得票数 1

回答已采纳

1回答

在Apache Hudi* - Glue作业中删除*

pyspark、aws-glue、apache-hudi

我必须建立一个胶水作业来更新和删除雅典娜表中的旧行。* FROM view_dyf_output where id in (select id from view_dyf where op like 'D')") df.write.f

浏览 159提问于2021-07-01得票数 0

1回答

在presto中更新SQL表

sql、airflow、presto

因此，我尝试在Presto SQL中更新表的一个列的值；但是，在Presto文档中似乎没有更新查询，如下所示：WITHstuff heretableB AS ( ),.. do final merge of tables fromcolD = REPLACE( REPLACE( REPLACE(UPPER(co

浏览 122提问于2019-08-14得票数 2

回答已采纳

1回答

将Apache Hudi数据集写入腾讯云cos可以实现嘛，有没有例子？

apache、腾讯云、开发、数据

将Apache Hudi数据集写入腾讯云cos可以实现嘛，有没有例子？

浏览 248提问于2023-10-10

1回答

雅典娜相当于information_schema

amazon-athena

作为背景，我有SQLServer背景，并且大量使用系统表& information_schema，来告诉我关于表和列的所有信息。例如，'describe mytable‘-一次只描述一个表。在一个结果中显示所有表的列如何？它也不会输出表名称，也不允许您手动将其作为自定义列添加到中。这些"show/ list /describe“命令的所有结果似乎都会生成一个文本列表，而不是一个记录集，因此您不能获取结果并将其连接到其他表或

浏览 26提问于2019-07-02得票数 7

回答已采纳

3回答

Timerange表SQL Presto

sql、database、presto

我需要在宝藏数据presto中使用一个临时的时间范围表来查询我的SQL：INSERT INTO Hour VALUES (21);INSERT INTO Hour VALUES (23); 这样的Presto

浏览 0提问于2015-12-02得票数 6

1回答

查询蜂箱表时出现的Presto错误

hadoop、hive、presto

在Hive中查询select * from table_name limit 10;将返回正确的数据。但是，通过presto连接查询同一表会返回以下错误：在Hive中查询selectcount(*) from table_n

浏览 1提问于2017-09-18得票数 0

回答已采纳

1回答

Spark/SQL2.4校验和()、md5等

apache-spark、amazon-athena、presto

SELECT checksum(c)( concat( 我查看了Spar

浏览 3提问于2019-03-21得票数 7

1回答

执行SELECT* 时的StageStateMachine NullPointer查询引发错误

hadoop、hive、parquet、presto

EMR机器中运行：Hadoop distribution: Amazon 2.7.3我可以使用以下方法轻松地查询蜂箱内部的结果：但是，当我使用presto尝试相同的查询时，我会得到以下错误： ERROR remote-task-callbackat com.facebook.pres

浏览 2提问于2016-11-17得票数 0

回答已采纳

1回答

Dataproc上的Apache Hudi

apache-spark、pyspark、google-cloud-dataproc、apache-hudi

我正试图通过进行部署，但我做不到。'警告org.apache.spark.sql.hudi.HoodieSparkSessionExtension :不能使用org.apache.spark.sql.SparkSession_jvm.org.apache.hudi.QuickstartUtils.DataGenerator()我使用了错误的.jar.在创建表和hudi.options之后： 22/12/01 22:2

浏览 30提问于2022-12-01得票数 2

回答已采纳

1回答

无法使用Presto的Cassandra

hadoop、cassandra-2.0、hadoop2、presto

我已经安装了presto 0.76，Cassandra2.1.2，并创建了一个mykeyspace和一个表。我启动了Cassandra守护进程和Presto守护进程。当我尝试使用presto查询Cassandra时，它会返回 presto:mykeyspace> select * from userinfo; Query 20141216_181006_00021_

浏览 2提问于2014-12-16得票数 0

回答已采纳

1回答

如何使用Trino读取位于s3上的拼花文件？

amazon-s3

我是S3和Trino的初学者(Presto)。我有:安装在现场使用码头的Trino(Presto)。S3桶，定位文件与拼花文件扩展。我安装Apache-钻，在盒子里他有s3 conector。在Apache中，演练一种用法若要从文件拼板中选择所有内容，请执行以下操作。我要在Trino(Presto)中这样做，但我没有结果(有错误)。我怎么能在Trino(Presto)里

浏览 9提问于2022-06-27得票数 1

回答已采纳

点击加载更多