Python -将大型CSV文件转换为JSON

文章/答案/技术大牛

发布

1回答

python、json、python-2.7、csv

我有一个4.5 to的CSV文件，我正在尝试使用Python2.7将其转换为JSON。我有一个较小的500mb文件工作得很好，但是我在较大的文件上耗尽了内存。如何将我编写的代码转换为能够以块形式读取CSV文件并将其写入(以块形式附加)到JSON文件的内容？f = open('table-52007-changeset.csv', 'r

浏览 9提问于2018-02-05得票数 2

回答已采纳

1回答

我需要将多个巨大的csv文件(每一行100k+行，100+行)转换为JSON，以便进一步处理。为了更快地处理，我考虑了线程化和将csv分割成块，但是不能让python只读取在csv库中内置的某些行。因此，我想到了pandas.read_csv。然而，现在我想不出一种很好地将熊猫数据转换成json的表演性方法，而不会因为实现循环而扼杀所有性能。我已经有一个线程对文件进行串行解析。e

浏览 2提问于2019-07-31得票数 0

2回答

如何在cqlsh中使用ascii字符作为引号

csv、cassandra、sqlbulkcopy、cql3、cqlsh

我正在使用cqlsh中的副本将数据从一个大的.csv文件上传到Cassandra。我正在使用cassandra 1.2和CQL 3.0。

浏览 4提问于2013-07-18得票数 1

1回答

由于转义字符，python中的Json打印输出不同于写输出。

python、json、csv

我有一个管道分隔文件，我正试图使用python (2.7)将其转换为json。代码读取文本文件，根据分隔符对其进行转换，然后将其转换为json。基于其他答案，每次处理json转储时，我都尝试将ensure_ascii设置为false。但这不管用

浏览 0提问于2013-09-27得票数 5

回答已采纳

2回答

将大型JSON转换为CSV -- Python

python、json、csv

我正在尝试将一个.json文件转换为一个.csv，以便在R中执行分析。我遵循建议的步骤，但仍然遇到问题(可能是因为json文件的大小很大)。/data/county/1003/")print(input)columns = reduce( lambda x,y: x+y,

浏览 4提问于2017-01-13得票数 0

1回答

使用Python将一个大型CSV文件转换为多个JSON文件

python、json、csv

我目前正在使用以下代码将大型CSV文件转换为JSON文件。import csv jsonArray = [] with= r'test_data.json' csv_to_json

浏览 2提问于2021-02-16得票数 0

回答已采纳

1回答

错误:字段大于字段限制(131072)

python、json、csv、data-conversion

我正在使用spyder python中的大型csv数据将csv转换为json，但它显示的错误字段大于字段限制(131072)。转换脚本：import json json_file = r'abcdata.json' de

浏览 0提问于2019-01-05得票数 0

2回答

如何使用python将大型Json文件转换为csv

python、json、csv、dictionary

(Python3.5)我试图将一个大型用户review.json文件(1.3gb)解析为python并转换为一个.csv文件。我已经尝试寻找一个简单的转换工具在线，其中大多数接受的文件大小最大为1Mb或是超级昂贵。由于我对python相当陌生，我想我会问两个问题。这样做是否可能/有效，还是我应该寻找另一种方法？块引号文件"C:\Anaconda3\lib\

浏览 2提问于2016-09-21得票数 0

回答已采纳

5回答

将大型CSV文件转换为JSON

javascript、json、excel、node.js、csv

简而言之:我正在使用一个大约5万行的CSV，并希望将其转换为JSON。我试过了几乎所有的在线"csv到json“网络应用程序，所有的崩溃与这么大的数据集。我尝试过许多Node CSV到JSON模块，但它们都崩溃了。如前所述，我不介意它是否是一个应用程序，它可以在Excel、webapp或Node模块中工作，只要我得到一个.JSON文件或一个可以在Node中使用的对象。有什么想法吗？

浏览 11提问于2013-09-12得票数 6

回答已采纳

1回答

我如何输出所有8304点击量？

kibana、logz.io

我想出口他们作为一个CSV，以进一步分析。当我点击export (新，保存，打开，共享和自动刷新)，我只得到前500次点击。

浏览 7提问于2019-07-15得票数 4

回答已采纳

1回答

大容量汉字插入

encoding、utf-8、insert、bulk

我想将包含汉字的csv数据文件大容量插入到sql server 2012。csv数据文件的原始编码为utf8，fmt文件由bcp工具生成。问题是，如果我通过记事本将csv数据文件的编码从utf8转换为unicode (用记事本打开数据文件，然后选择'save‘并选择'unicode’格式)，则可以将数据批量插入数据库。任何人都知道是否存在任何脚本，如py

浏览 6提问于2015-11-30得票数 0

回答已采纳

1回答

将CSV文件数据放入数据库的最佳方式是什么？Python* (猎鹰)，Angular，MySQL*

python、mysql、angular、csv、falconframework

目前，我在一个项目中工作，用户将能够上传CSV文件和CSV文件中的数据将被存储到数据库中。这个项目是在Falcon框架上开发的，作为后端，API请求从客户端Angular 4发送。从角度来看，我可以将CSV文件数据解析为JSON数据。有一些包可以作为ngx-papaparse的例子。有没有其他的方法，比如在python中获取CSV文件，并将CSV文件数据处理到数据

浏览 0提问于2018-05-23得票数 1

1回答

将json数据从python* (bottle.py)传递到leaflet的javascript库，以显示在不可靠的地图上*

jquery、python、json、bottle、leaflet

事实证明，我有点脱离了我的舒适区，因为我对python一无所知(PHP就是我使用的)。我正在尝试创建一个滑动地图(使用cloudemade的单张)来显示一组兴趣点。我有一个CSV文件，其中包含POI的名称、纬度和经度。到目前为止，我能够读取CSV数据并将其转换为JSON数据，并使用bottle.py在网页中显示JSON数据的转储。我的问题是如何通过jquery将bottle.py的JSON数据传递给leaflet的

浏览 2提问于2012-05-09得票数 1

2回答

只将最后X行csv转换为json

python、python-3.x、csv

下面的python代码可以将csv文件转换为json文件。def make_json_from_csv(csv_file_path, json_file_path, unique_column_name): import-8') as jsonf: jsonf.write(json.dumps(dat

浏览 5提问于2021-10-21得票数 1

回答已采纳

2回答

Django中的数据迁移

django、oracle、data-migration

我们需要从Oracle数据库导出数据，并将导出的数据加载到django模型。django中的模型是基于相同的Oracle表(相同的名称/相同的列/相同的数据类型)手动构建的。进行这项工作的最佳方法是什么？请让我知道。

浏览 0提问于2011-02-04得票数 4

1回答

在大型数据集中有效地将数据转换为列表

python、pandas、dataframe

下面的代码读取csv文件(进入dataset DataFrame)，并将其转换为一个列表(转换为transactions列表)，由apriori算法处理。import pandas as pd transactions = []num_colsrange(0, num_rows): transactions.append([str(datase

浏览 0提问于2018-05-17得票数 1

回答已采纳

1回答

将tsv文件导入dynamoDB

dataset、amazon-dynamodb

，而不是在本地下载文件，但无法将其导入dynamoDb中的表中。我希望把数据集中到我的表中，但不幸的是，我没能达到我的目标

浏览 0提问于2019-01-12得票数 0

6回答

如何在Python中遍历JSON对象并保存为CSV文件？

python、json、csv

我有一个Python脚本，它可以从API中检索JSON格式的数据(至少我认为是JSON格式)。我想循环遍历每个“对象”并写入CSV文件。adjusted_partner_cost ": "$25.26", "day": "August 21, 2011" ] 如何遍历这些“对象”并将它们写入CSV文件？

浏览 1提问于2011-09-10得票数 0

回答已采纳

1回答

将CSV转换为jSON* --继续获取“文件期望的结束”错误*

python、json、firebase

我正在尝试将CSV文件转换为jSON文件，然后将其注入Firebase数据库。csvfile = open('final_df_2.csv', 'r')

浏览 6提问于2022-04-06得票数 0

回答已采纳

1回答

我想使用Pyhton将Json文件转换为csv文件。

python、json、python-3.x、csv

当我将json文件转换为csv时，我遇到了问题，我将我的csv文件转换为json文件，它可以工作，但是当我将json文件转换为csv文件时，它就不工作了！这里是我的PYTHON代码 with open('orders.json') as js

浏览 0提问于2022-04-20得票数 -1

回答已采纳

点击加载更多