将csv文件批量加载到postgres

文章/答案/技术大牛

发布

1回答

如何将文件名作为列添加到Snowflake中，批量加载CSV文件？

csv、snowflake-cloud-data-platform

我可以通过内部stage将CSV文件批量加载到Snowflake中，或者直接将数据加载到表中。我遇到的问题是，文件名包含重要信息，必须包含在表中。如何将CSV文件批量加载到Snowflake中，同时添加文件名作为附加列？例如： ?

浏览 12提问于2020-10-14得票数 1

回答已采纳

1回答

postgresql、visual-studio

我正在寻找一种方法，我可以批量加载我的CSV文件到我的Postgres数据库。我是Postgres的新手，所以感谢任何帮助。

浏览 19提问于2019-10-10得票数 0

1回答

从标准Postgres批量复制中的To_tsvector()

java、postgresql、tsvector

我正在将CSV文件批量加载到Postgres中，而不是在每次插入记录时使用数据库触发器来更新ts_vector列，而是尝试使用来自STDIN的副本插入如下所示的记录 "some text value",我可以在Postgres shell中使用INSERT INTO tablename ()语句手动完成此操作，但是当我从COPY from执行此操作时，我得到了一个ERROR: extra data after

浏览 12提问于2017-01-14得票数 1

回答已采纳

1回答

PostgreSQL将大型csv文件加载到表中时出现问题

postgresql、csv

在我的设置中，当尝试将大型PostgreSQL文件加载到表中时，csv 9.2.2似乎会出错。即使解决方案是增加postgresql.conf中的缓冲区，为什么postgres似乎试图在单个复制调用时将整个csv文件批量加载到ram中？作为一种解决办法，我将csv拆分成更小的文件，然后为每个文件调用copy。这似乎运行得很好。但这并不是一个特别令人满意的解决方案，因为现在我必须维护我想要加载到<em

浏览 1提问于2012-12-17得票数 7

回答已采纳

2回答

将数据从远程计算机中的csv文件导入postgresql表

c#、postgresql、copy、remote-server

如何使用copy命令使用C#将数据从远程机器上存在的csv文件批量插入到postgresql表中？我在C#中有一个前端，我需要使用它将数据从csv文件加载到postgresql表中。数据库在远程服务器上，csv文件在我的机器上。

浏览 4提问于2014-01-29得票数 0

1回答

使用Python xlrd，您可以将货币字段转换为xlsx文件中的文本吗？

python、excel

我正在使用SQL Server将一些xlrd文件批量加载到SQL表中，但在使用Python转换为CSV之前，需要将货币字段转换为文本以删除逗号。我能用xlrd做到这一点吗？

浏览 17提问于2020-02-05得票数 0

2回答

休眠保存到文件

java、sql、hibernate

有没有一种方法可以使用Hibernate将行写入文件而不是DB？因此插入到2个表T1，T2将是2行添加到2个文件T1.csv，T2.csv计划是写入文件，然后在一天结束时将该文件批量加载到数据库中。

浏览 3提问于2014-05-20得票数 0

1回答

SSIS insert大容量是否与大容量插入相同

sql-server、ssis

我正在使用SSIS包(不是我构建的)将CSV文件批量插入到SQL Server2005中insert bulk [dbo].[stage_dht]( ..... ) 但是该语句中没有FROM子句，所以我很好奇它是如何获取数据的，这种所谓的快速加载是将数据大容量加载到SQL中的最佳方式吗？

浏览 3提问于2009-05-13得票数 5

回答已采纳

2回答

大容量插入在SQL Server 2008中不起作用

sql-server-2008、csv、bulkinsert

下面是我的SQL，用于将CSV文件批量加载到SQL Server 2008中，但它返回了：USE energyDBFROM 'c:\temp\24544_MSSQL_out.csv'( ROWTERMINATOR = '\n'GO CSV</

浏览 6提问于2012-12-13得票数 1

1回答

如何从计算引擎自动将csv数据加载到Google Cloud SQL(PostgreSQL表)中

postgresql、google-cloud-platform、google-compute-engine、google-cloud-sql

我想从计算引擎自动将csv加载到云SQL (Postgres)中。我可以从计算引擎连接云sql (postgres)。但我希望将计算引擎中的XML生成的csv加载到Cloud SQL (Postgres)中。

浏览 0提问于2020-02-21得票数 0

2回答

读取CSV文件并插入到LocalDB (asp.net MVC)

c#、asp.net-mvc、entity-framework、csv

我正在尝试一个使用CSV的项目，并且有一个很大的ASP.Net文件，我想将其保存到LocalDB。我一直在遵循本教程(之前的教程都是关于MVC的)：现在，我希望将数据添加到已设置的数据库中，并从csv文件中读取此数据，然后将其保存到数据库中。我希望它能被自动化，这样当我启动我的应用程序时，数据库将填充来自我的csv文件的数据(如果它已经被填充，它将不会再次填充)，或者只是以某种方式编码，以便我可以将来自我的csv文件的数据添加到数据库(LocalDBAssembly.GetExecut

浏览 0提问于2019-02-14得票数 0

1回答

如何在postgres中将csv文件加载到多个表中(主要关注最佳实践)

sql、python-3.x、postgresql、database-design、triggers

我是DB/postgres SQL的新手。场景:需要将csv文件加载到postgres DB中。此CSV数据需要根据DB模式加载到多个表中。我正在寻找更好的设计使用python脚本。我的想法是: 1.将CSV文件加载到postgres的中间表中2.在中间表上编写一个触发器，以便在insert事件时将数据插入到多个表中3.触发器在末尾包含截断数据没有任何ETL工具的任何关于更好的设计的建议

浏览 11提问于2020-02-10得票数 0

回答已采纳

1回答

如何使用copy_from将带日期时间的csv加载到postgresql中

python-3.x、postgresql

我正在尝试找到一种方法将csv文件批量加载到postgresql中。但是，数据具有"YYYY-MM-DD HH24:MI:SS“格式的datetime列。cur.copy_from(dataIterator,'cmodm.patient_visit',sep=chr(31),size=8192,null='') conn.commit() 但是，只有日期部分被加载到表中

浏览 85提问于2020-10-21得票数 1

回答已采纳

4回答

如何搬迁COS文件？

对象存储

COS文件只支持上传，不支持下载，请问要如何将储存在COS上的文件批量下载到本地？

浏览 597提问于2016-04-05

2回答

如何设置路径将数据从CSV文件加载到Docker容器中的PostgreSQL数据库？

python、django、postgresql、docker、docker-compose

我想将数据从CSV文件加载到PostgreSQL数据库中。我跑：然后选择我的数据库：现在，我尝试从myfile.csv (位于Django项目的主目录中)将数据加载到backend_data表中： \copy backend_data (t, sth1, sth2) FROM 'myfile.csv' CSV</e

浏览 4提问于2017-10-20得票数 6

回答已采纳

2回答

将Postgresql中的表转换为Shapefile

postgresql、shapefile、ogr2ogr

到目前为止，我已经将阿拉斯加的所有包裹表(带有几何信息)加载到PostgreSQL。表最初是以转储格式存储的。现在，我希望使用ogr2ogr通过cmd接口将Postgres中的每个表转换为shapefile。ogr2ogr -f "ESRI Shapefile" "G:\...\Projects\Dataset\Parcel\test.shp" PG:"dbname=parceldb host=localhost port=5432

浏览 1提问于2018-06-12得票数 2

回答已采纳

3回答

如何在气流中将Pandas DataFrame上传到Postgres表中？

pandas、dataframe、data-engineering

我需要在气流中创建一个任务，从一个Postgres数据库下载数据并将其上传到另一个Postgres数据库。我的代码如下所示： data = postgres_sql_download.get_pandas_df(''' SELECT

浏览 0提问于2022-08-29得票数 0

2回答

在Python中使用Postgres的从文件复制查询，而无需写入临时文件

python、postgresql、csv、postgresql-copy

我需要将数据从一些源数据源加载到Postgres数据库。为此，我首先将数据写入临时CSV文件，然后使用COPY from query将数据从CSV文件加载到Postgres数据库。代码如下所示：temp_file = "'C:\\Users\\username\\tempfile.csv'" db_conn = psycopg2.相反，我想写一

浏览 0提问于2014-11-04得票数 3

回答已采纳

1回答

从Google Sheets下载文件到Google Drive

google-apps-script、google-sheets、google-api、google-drive-api

有没有办法将所有文件批量下载到Google Drive，而无需手动操作？ 

浏览 1提问于2019-12-05得票数 0

1回答

CKAN搜索数据

postgresql、solr、ckan

嗯，我在CKAN中导入了数据，这正是一个csv文件的URL。当预览此csv时，我们可以在左侧找到一个启用工具栏。使用这个工具栏，我们可以进行搜索和添加过滤器，但我有一个问题。如果我在上一个工具栏中进行搜索，我将无法在Solr中看到该搜索。我试过用Postgres日志什么都没有。所以我认为搜索不是在solr或postgres完成的。有什么帮助吗？

浏览 1提问于2018-05-02得票数 1

回答已采纳

点击加载更多

如何将文件名作为列添加到Snowflake中，批量加载CSV文件？