如何在greenplum中从带有逗号的csv文件创建外部表？

文章/答案/技术大牛

发布

2回答

linux、greenplum

我正在尝试从csv创建外部表，如下所示：(b text,d text,ftext,h textLOCATION ('gpfdist://192.168.56.111:10000/performnkp.csv') FORMAT 'CSV' (DELIMI

浏览 57提问于2020-05-05得票数 0

回答已采纳

1回答

GreenPlum是如何实现外部表的？

external、greenplum

而且我对外部表感到困惑。以下是我的理解。我的理解正确吗？

浏览 2提问于2016-12-13得票数 0

1回答

greenplum中的增量加载

etl、greenplum

我在greenplum中有外部和内部表。外部表在hdfs中指向csv文件。Hdfs中的csv文件每小时加载一张表的完整数据。在greenplum的内部表中以增量方式加载数据的最佳方式是什么。

浏览 14提问于2017-07-27得票数 0

2回答

如何将数据从HAWQ推送到GREENPLUM？

hadoop、hdfs、greenplum、external-tables、hawq

我有一个不稳定的客户，他想在经过一些预处理后将数据从HAWQ推送到GREENPLUM。有没有办法做到这一点？如果没有，是否可以在greenplum中创建一个外部表，以便从运行HAWQ的HDFS中读取该表？任何帮助都将不胜感激。

浏览 2提问于2014-06-09得票数 1

1回答

我应该什么时候使用格林梅数据库与HAWQ？

greenplum、hawq

我们有零售业数据的用例。我们正在从事EDW的生产。 gpdb层将如何影响我们现有的数据管道。这里的数据管道是外部系统--> talend -->hadoop-hawq-->tableau。我们希望将我们的数据管道转换为外部系

浏览 2提问于2016-05-17得票数 3

回答已采纳

2回答

gpfdist与gpload greenplum

psql、greenplum

我第一次设置greenplum。我在跟着走。我要设置从sql到greenplum数据库的连接。目前正在找出实现这一目标的最佳方法。我遇到了gpfdist和gpload。这两个有什么不同？因为两者都使用外部表，所以都在从节点上工作，并且都用于并行加载。那么使用一种方法比使用另一种方法有什么优势吗？

浏览 18提问于2017-08-09得票数 1

回答已采纳

1回答

读取csv文件，使用逗号作为分隔符，并在psql中转义引号

sql、csv、greenplum

我想读取一个用逗号(,)分隔的csv文件，但想忽略双引号("")中的逗号。我想将结果存储到一个表中。我知道python中有csv阅读器，我可以在plpython中使用它，但考虑到数以百万计的这样的字符串，这太慢了！我想要一个纯粹的psql方法！

浏览 17提问于2017-12-18得票数 0

回答已采纳

1回答

社区版上的外部表GPFDIST文件主机

greenplum

我试图从Greenplum Community版的VM上加载*.csv文件中的数据；但是，在创建外部表时遇到问题。airline_id int, carrier character(2), fl_num int) LOCATION ('gpfdist://home/gpadmin/Desktop/flighttable.csv&#x

浏览 0提问于2012-03-06得票数 0

回答已采纳

1回答

是否可以创建带有选项分隔符的外部表？

greenplum

我想在greenplum中创建外部表：(b text,d text,f text)FORMAT 'CSV' (DELIMITER ','

浏览 0提问于2020-04-02得票数 0

1回答

在greenplum pxf外部表中，从对象的json数组中获取元素时获取空字符串

json、hdfs、greenplum

在多行json表中使用pxf json插件创建外部表来访问json数据的示例"coordinates.values[0]" INTEGER,"coordinates

浏览 1提问于2020-06-12得票数 0

2回答

在字符串周围用双引号编写csv (Alteryx)

azure、csv、export-to-csv、azure-synapse、alteryx

我需要在Azure Datalake Gen2上创建一个带有Alteryx的csv文件，从一个包含逗号的字符串字段的表中读取。我在Alteryx流中使用"Azure Data“连接器(据我所知，它不允许我选择csv分隔符)Alteryx只在包含逗号的字符串字段上放置双引号(似乎Alteryx自动使用逗号分隔符)，但我需要我尝

浏览 4提问于2021-12-14得票数 0

2回答

Greenplum -外部表

greenplum、external-tables

我在服务器位置上有一组以制表符分隔的文件，并且我已经创建了一个元数据表和一个与元数据表具有相同布局的外部表。我想知道，当我在PgAdmin 3中运行外部表脚本时，是否应该使用服务器位置上的文件(以制表符分隔的文件)中的数据加载外部表？我想应该是这样的

浏览 17提问于2013-12-10得票数 0

1回答

我如何将数据从dataframe(在python中)插入到greenplum表？

python、greenplum

问题陈述：我可以认为是CSV-> Dataframe -> Cleainig

浏览 0提问于2017-11-22得票数 3

回答已采纳

2回答

如何从Postgres导出包括大型对象在内的数据，并随后将导出的数据导入格林梅

postgresql、greenplum

我不想使用pg_dump将数据导出到sql脚本中，因为当我有大量数据要导入时，将其提供给greenplum集群太慢了。因此，似乎更倾向于使用格林梅的gpfdist。有什么办法我能做到吗？或者，作为替代，我是否可以将特定Postgres表的数据导出到包含该表的大型轨道对象的CSV格式文件中？

浏览 9提问于2016-12-03得票数 0

回答已采纳

2回答

在Greenplum中格式化外部表格(PostgreSQL)

database、postgresql、greenplum

我想使用外部表将普通文件加载到Greenplum数据库中。我可以为时间戳/日期/时间字段指定输入格式吗？(如果你知道PostgreSQL的答案，也请回复) 例如，对于Oracle，我可以使用DATE_FORMAT日期掩码'YYYYMMDD‘来告知如何解析日期。对于Greenplum，我找不到答案。我可以将字段描述为char，然后在加载过程中解析它们，但这是一个丑陋的变通方法。以下是我的试

浏览 0提问于2012-11-05得票数 1

回答已采纳

2回答

gpfdist错误行在文件中太长

sas、greenplum

我目前正在做一个从格林梅到SAS的大容量装载。最初，在列的末尾有一个带有反斜杠"\“的字段，导致在加载期间抛出一个错误。为了解决这个问题，我将格式从文本更改为CSV，并进行了良好的工作。但是加载了更多的数据，我遇到了这个错误：我一直在进行一些搜索，但无法评估原因是否是由于启动gpfdist服务时max_length设置的原因。非常感谢你

浏览 0提问于2014-08-27得票数 0

1回答

每天将1亿行加载到DWH

python、database、etl、data-warehouse、greenplum

此外，还有Greenplum DWH。如何加载这1亿行数据，每天只需对Greenplum进行少量转换？为此，我将使用Python。我敢肯定，用传统的方式(psycopg2 + cursor.execute("INSERT ...)，即使是批处理，也会花费大量的时间，并会在整个系统中造成瓶颈。你有什么建议如何优化数据加载的过程吗？任何链接或书籍，可能有助于也欢迎。

浏览 1提问于2018-11-04得票数 0

1回答

dbsaint检索表单EXCEL

oracle、excel

如何从Excel检索数据(使用sql)到Oracle数据库中的表。我用的是德比圣。而不是DBSAINT，我应该为此目的使用哪个开发工具？

浏览 0提问于2010-08-04得票数 0

4回答

将数据从DB2数据库传输到greenplum数据库

python、postgresql、db2、datamart、greenplum

我的公司已经决定使用Greenplum实现一个datamart，我的任务是弄清楚如何继续下去。要从现有DB2数据库传输到Greenplum数据库的数据量大概为2 TB。我想知道: 1) Greenplum DB和vanilla PostgresSQL是一样的吗？(我在Postgres AS 8.3上工作过) 2)有没有(免费的)工具可以用来完成这项任务(提取和导入) 3)我对Python有一些了解。在合理的时间内做到这一点是可行<em

浏览 1提问于2011-05-24得票数 0

1回答

管理Azure Synapse分析中外部表的转义字符

azure-synapse

我有一个ADF管道，它读取SAP表，然后以csv格式写入ADLS gen2接收器。SAP表有一个地址字段，在街道和房屋号之间有逗号("，")：这个逗号是一个需要考虑的字符，它不是列分隔符。因此，在ADF中，对于接收器数据集，我已经：引号字符=没有引号字符。在Synapse ( servless池)中，为了<e

浏览 8提问于2022-01-18得票数 0

点击加载更多