使用pandas读取大型制表符分隔文件问题是有200列，第三列是文本，偶尔会有换行符。这些行被分成多行，数据进入错误的列。
每一行都有固定数量的制表符-这就是我要继续的全部内容。
浏览 2提问于2017-08-02得票数 6
回答已采纳
2回答
我有一个包含以下示例的数据库：
在用Python加载数据时生成数据帧，如下代码所示import pandas as pddf = pd.read_csv('CA Throughput(Kbit_s) .csv',index_col=None, header=0)
是否有任何方法可以避免读取Pandas<
浏览 1提问于2018-04-10得票数 3
回答已采纳
我需要从一个大文件中创建一个Pandas DataFrame，其中包含空格分隔值和取决于列数的行结构。原始数据如下所示：在一行或多行中，将忽略换行符。iter(iterable)] * n(代码来自itertools示例)
问题是，我最终在内存<em
浏览 1提问于2013-04-09得票数 1
4回答
例如，pandas的read_csv有一个chunk_size参数，它允许read_csv在CSV文件上返回一个迭代器，这样我们就可以分块读取它。拼图格式以块的形式存储数据，但是没有像read_csv这样的有文档记录的方法来读入块。
有没有办法以块的形式读取拼图文件？
浏览 3提问于2019-11-29得票数 8
我想用python从csv文件中读取。我正在做内存管理工作，所以我想问一下:当我在python中调用pandas模块的read_csv时，文件中的数据会加载到内存中，然后读取，还是直接从磁盘读取？如果我想以块的形式读取csv文件，数据会在RAM中逐块加载吗？
浏览 1提问于2019-02-19得票数 0
当使用熊猫read_csv方法读取CSV文件时，如果事先不知道行数，如何跳过这些行？
# Meta-Data Line 1#
浏览 5提问于2017-01-30得票数 6
回答已采纳
3回答
我有一个很大的CSV文件，其中包含大约10000行文本信息，数据集中的每一行都由许多行组成。但是，我只想读取CSV文件中每一行的前20行。我在pandas read_csv方法中遇到了n_rows参数，它可以帮助我们限制要加载的数据集的行数。有没有一种方法，我们只能从pandas中的每一行读取
浏览 33提问于2020-06-03得票数 0
回答已采纳
我正在使用python读取文件中的一些数据，并将它们存储在一个熊猫数据框架中。带有数据的文件是"test.prn“，包含：0 0.0 2下面，我附上了我的小代码来说明发生了什么。当执行代码"python my_prog.py“时，一切都按预期工作，read_csv返回一个熊猫框架。然而，如果我执行“蟒蛇-O my_prog.py"
浏览 0提问于2018-10-06得票数 0
回答已采纳
，我知道了如何使用pandas对多列进行分组并构造一个新的唯一id，但是如果我想在Python中使用Apache beam来实现该问题中描述的相同功能，我如何实现它，然后将新数据写入换行符分隔的JSON格式文件(每行都是一个unique_id，其中包含属于该unique_id的对象数组)？假设数据集存储在csv文件中。我是Apache beam的新手，这是我现在所拥有的： import pa
浏览 14提问于2021-08-15得票数 0
回答已采纳
我想从InstaCart 加载大型.csv (340万行，206k用户)开源数据集
基本上，我在将orders.csv加载到Pandas DataFrame时遇到了问题。我想学习将大文件加载到Pandas/Python中的最佳实践。
浏览 3提问于2017-06-14得票数 1
我试图从国家海洋和大气协会进口数据。数据可以以txt格式手动下载，但我想通过Python的urlopen下载。导入数据后，所有列和行都在一个索引列中，而不是带有标头的标准数据格式。import pandas as pd
url = "https://www.ndbc.noaa.gov/view_text_file.phphi
浏览 0提问于2018-10-08得票数 0
回答已采纳
1回答
我加载了一个用于数据预处理的csv文件。完成数据预处理后，并不需要csv文件中的所有列。因此，我只想通过提取一些必要的列来重建csv文件。我应该使用什么代码？但我只需要a，b，c，d，因此， before csv file : columns = a,b,c,d,e,f,g,h,i
after csv file : columns = a,b,c,d *数据集非常大，大约6 6gb *python 3.6.9 *使用pandas
浏览 14提问于2020-01-09得票数 0
回答已采纳
有没有办法使用Pandas(最好是read_csv)从csv文件中只读取具有特定索引的特定列？我知道read_csv提供了按列名读取特定列的能力，但是数据文件没有标题，所以我不能使用列名。
浏览 0提问于2015-09-07得票数 4
1回答
我目前正在尝试使用Pandas的pandas.DataFrame.pivot方法创建一个数据透视表，但遇到了一些问题。我有的DataFrame是(1300000, 6)形状的，所以生成的数据透视表可能会非常大。拆分成更小的DataFrames，用它们创建数据透视表，然后连接这些数据透视表来创建我想要的原始大型数据透视表。问题是每个片的透视表的形状
浏览 2提问于2019-11-26得票数 0
我使用pandas读取.csv文件，然后将其另存为.xls文件。'filename.xls')我尝试使用df.info()
浏览 1提问于2020-07-12得票数 0
尝试在熊猫的read_csv文件中使用达斯克的read_csv失败，但有以下错误：https://google.com,"<a href=""link"">
</a>&
浏览 0提问于2017-08-18得票数 10
1回答
给定一个包含逗号分隔值的文本文件(.txt)，比如6,3,2,6,3,7,6,4,...，我想用.read_csv方法将整数值读取到pandas数据框中。import pandas as pd
data_frame = pd.read_csv(csv_config['path'], sep=",") 结果值存储在data_frame.columns中，当我期望整数值时，浮点值是从哪里来
浏览 18提问于2019-05-25得票数 1
回答已采纳
我正在尝试读取csv以创建数据帧-在列中进行更改-再次更新/将更改的值反映到相同的csv (To_csv)中-再次尝试读取该csv以创建另一个dataframe...there我收到错误我的代码是
浏览 0提问于2015-11-20得票数 33
我将处理非常大的数据文件(许多of )。我将不得不读取这些文件并写入这些文件。因此，我将不能依赖RAM来存储数据，而需要从磁盘读取和写入文件。我熟悉pandas库提供的read_csv和to_csv选项。但是，我不确定read csv函数是读取文件，然后将其存储在内存中，还是直接从磁盘读取文件。使用pandas从磁盘读取和写入文件的最佳方式是什么
浏览 0提问于2017-09-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
