我将csv从s3加载到内存中，然后需要将其插入postgres。我认为问题是我没有对s3对象或其他东西使用正确的调用，因为我似乎无法跳过标题行。在我的本地机器上，我只需从以下目录加载文件： cur = DBCONN.cursor()
浏览 42提问于2021-11-05得票数 0
2回答
btn-primary" id="upload-files" name="upload_import" style="display: none;">Upload Bulk</button>fa = StringIO(import_data.read().de
浏览 0提问于2018-01-21得票数 1
回答已采纳
我有点困惑，因为我需要在第一阶段将一批csv文件导入到PostgreSQL数据库中，然后在第二阶段添加另一批。例如，第二阶段的csv是附加的“更新”csv。这将需要在单个程序中。所以我的问题是，我该如何在python中做到这一点，我是否需要使用两阶段提交，或者是否有其他解决方案？ 任何帮助都是非常感谢的！
浏览 22提问于2019-04-21得票数 1
问题陈述：我可以认为是CSV-> Dataframe -> Cleainig -> Dataframe -> CSV -
浏览 0提问于2017-11-22得票数 3
回答已采纳
1回答
我正在使用psycopg2中的copy_expert方法将数据从CSV文件复制到postgresql表。数据，同时指定colf和colg的值( colf和colg的每一行都应该具有相同的值)。我可以像这样将前五列复制到我的表中：cur =
浏览 6提问于2017-03-16得票数 3
回答已采纳
我有一个数据库，我一次插入大量行(~100,000)。从PostgreSQL文档来看，"COPY“命令的用例似乎主要用于移动数据库、将数据库备份到CSV等。我的用例似乎与前面列出的用例不在同一领域，但我相信它会提高插入性能。
现在，我正在尝试用一个小的CSV文件测试Psycopg2 Python库的函数"copy_from“命令。现在我已经切换到"copy_from“命
浏览 20提问于2019-11-17得票数 0
回答已采纳
我尝试使用以下RunSQL命令运行迁移： operations = [r'''1 TEST-GROUP''')]File "/home/foo/local/lib/python2.7我们使用<em
浏览 4提问于2015-08-07得票数 12
回答已采纳
1回答
我试图使用AWS将源桶中的多个文件复制到目标桶中，并得到下面的错误。", "lambda_handler", ], &
浏览 2提问于2017-09-26得票数 5
我已经写了一个python脚本，使用psycopg2 copy_from函数将数据从CSV复制到PostgresSQL表。 但我注意到，数据不断被追加，而不是在表中被覆盖。 我需要重写这个表。在python中是否可以通过copy_from或copy_expert函数来实现？ 我知道可以通过将数据从CSV复制到临时表，然后删除原始表并重命名临时表来实现这一点，但我希望避免这种方法。我还可以使用什么其他的最佳替代方案来从CSV</
浏览 102提问于2019-12-09得票数 0
1回答
我正在尝试使用psycopg2从csv文件中上传一些数据。我知道COPY和copy_from命令，但在我的例子中，我需要使用insert语句。我的问题是csv中带有整数值的列可以包含"NULL“。当游标试图执行insert postgres返回错误:整数的无效输入语法：" Null“psycopg2文档说，您应该使用<
浏览 3提问于2014-06-29得票数 1
回答已采纳
我开始使用postgresql创建数据库，但当我想要将数据从csv文件复制到数据库时，当前遇到了一个问题connexion = psycopg2.connect(dbname= "db_testskip the header row 我要求分配4列来存储我的csv数据，问题是我的
浏览 0提问于2021-03-12得票数 1
我正在尝试将csv文件(file.csv)中的数据插入Postgres表的两列中。p.Pro183HisEBI-492252;p.Lys49MetEBI-537514;p.Cys107Serfeature_ac TEXT,
feature_short_label TE
浏览 0提问于2020-01-17得票数 0
我使用Python 2.7和psycopg2连接到我的DB服务器( PostgreSQL 9.3 )，我( Product )的对象列表保存了我想要插入的项products_list.append(product1)我想使用copy_from将这个产品列表插入到产品表中。我尝试了一些教程，在将产品列表转换为CSV格
浏览 1提问于2015-06-14得票数 3
回答已采纳
4回答
是否可以通过psycopg2运行下面的命令？如果是这样，我该怎么做呢？COPY table_name(col1,col2) FROM 'path/to/file.csv' WITH HEADER DELIMITER ',' CSV;
浏览 0提问于2013-07-10得票数 13
我是AWS和lambda的新手，所以如果这是一个愚蠢的问题，我道歉。我希望能够做的是将电子表格加载到s3存储桶中，基于上传触发lambda，让lambda将csv加载到s3中并使用它进行操作，然后将数据帧写回csv到第二个csv存储桶中。我读了很多关于压缩python脚本以及所有的库和依赖项并上传的内容，这是一
浏览 2提问于2018-01-17得票数 5
状态：
导入csv，io，boto3 s3 = boto3.resource('s3') client = boto3.client('s3'，aws_access
浏览 0提问于2018-09-19得票数 0
我正在尝试使用CSV文件在数据库中插入数据。import psycopg2 #import the postgres libraryconn = psycopg2.connect(host='1.11.11.111default" NOT NULL
) 我的CSV如下所示： ? 我得到的错误是： ?如果仔细查看我的csv行，例如：1007
浏览 36提问于2021-04-23得票数 0
回答已采纳
1回答
我正在尝试使用psycopg2创建多个csv文件并将其导入到postgres数据库中。所有csv文件都有相同的列名和类型。我只是想不出怎么高效地点这个。Python 3.5，Postgre - 9.5.12
应该指定要插入或使用copy_from的列吗？导入psycopg2导入os conn =dbname=
浏览 2提问于2018-04-12得票数 2
我有一个很大的CSV文件，大约11G。我想要读取文件的一部分，执行一些计算，然后移动到下一个块。我试过了： df = pd.read_csv('/location/of/file/2016/Q.csv', nrows=2000000, skiprows=1000000) 我得到了相同的行，即第一个我认为这将使我得到一个从1,000,001到3,000,000行的切片
浏览 82提问于2021-08-05得票数 0
在pyspark(databricks)中合并了函数之后，该文件被保存为一个csv，其名称奇怪，以第00000部分开头或以.csv扩展名结尾。我想把它重命名为函数中更友好的名称。我尝试了下面建议的方法：s3_resource = boto3.resource(‘s3’)s3_resource.Object然而，经过几次尝试后，只有当我将整个奇怪的名称放在copy_so
浏览 19提问于2022-12-02得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
