Pandas数据帧到csv行混乱
Pandas是一个强大的数据分析工具，它提供了一个名为DataFrame的数据结构，用于处理和分析结构化数据。DataFrame可以被看作是一个二维表格，类似于关系型数据库中的表格，它具有行和列的索引，可以方便地进行数据的筛选、切片、聚合等操作。
将Pandas数据帧保存为CSV文件是一种常见的操作，可以通过to_csv()方法实现。然而，有时候在保存为CSV文件时，可能会出现行混乱的情况。这种情况通常是由于数据帧中的某些列包含了特殊字符（如逗号、换行符等），导致CSV文件的解析出现问题。
为了解决这个问题，可以在保存为CSV文件时指定一些参数。其中，最常用的参数是sep（分隔符）和quoting（引用字符）。通过指定适当的分隔符和引用字符，可以确保数据帧中的特殊字符被正确地解析和保存。
下面是一个示例代码，展示了如何将Pandas数据帧保存为CSV文件，并避免行混乱的问题：
import pandas as pd
# 创建一个示例数据帧
data = {'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'City': ['New York', 'London', 'Paris']}
df = pd.DataFrame(data)
# 保存为CSV文件，指定分隔符为逗号，引用字符为双引号
df.to_csv('data.csv', sep=',', quoting=csv.QUOTE_ALL)在上述代码中，我们使用了to_csv()方法将数据帧保存为名为data.csv的CSV文件。通过指定sep参数为逗号，quoting参数为csv.QUOTE_ALL，我们确保了数据帧中的特殊字符被正确地解析和保存。
推荐的腾讯云相关产品：腾讯云对象存储（COS），它是一种高可用、高可靠、低成本的云端存储服务，适用于存储和处理各种类型的数据。您可以将CSV文件上传到腾讯云对象存储中，并通过腾讯云的其他服务进行进一步的数据处理和分析。
腾讯云对象存储产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
我从.xlsx文件中提取数据并将其存储在数据帧中。数据帧称为df，数据帧的大小为(51,3)。51行。3列。列是未命名的，编号为0、1、2。行的索引从0到50。在python中，我将使用什么语法从带有pandas的数据帧中提取数据并将其放入csv？我知道我会使用DataFrame.to_csv("outputFile.csv" )，但是我不确定如何识别特定的数据(行/列对)，所以我可以将它放在csv表中的新位置，而不是旧的excel表。
浏览 1提问于2016-03-09得票数 0
我尝试对文件中的Unicode字符进行编码，并将其传递到pandas数据帧中。但是，我在Jupyter notebook中使用df.column.value_counts()获得的唯一行数与同一文件的excel行数不匹配(在删除重复值之后)。
我如何解决这个问题？
我加载了一个文本文件(以制表符分隔)，并使用encoding = 'ISO-8859-1‘将其转换为pandas数据帧。创建数据帧时，其中一列的唯一行数为66370。
当我在原始csv文件上的所需列上应用‘删除重复项’时(我正在使用MS Excel读取导出文件)，唯一值的数量= 66368。
这两个文件- Jupyter N
浏览 13提问于2019-01-21得票数 0
我正在使用以下命令将csv读入数据帧：
import pandas as pd
df = pd.read_csv('file.csv')
我的csv有800行数据，但我的数据帧读取了805行。最后5行是完全空白的。有没有办法删除这5个空行？
浏览 1提问于2017-07-18得票数 0
1回答
我正在使用python将CSV文件转换为数据帧。数据框如下所示：
我的任务是搜索这个数据帧中的所有行，并找到这样的值(startlat应该在18到20之间，startlon应该在72.5到75之间)。当我找到这些值时，我必须将这些特定的行导出到单独的csv中。我用python编写代码，从dataframe中提取最新和最新数据：
import pandas as pd
# read in data to use for plotted point
############################# Open your csv file ######################
浏览 1提问于2018-04-17得票数 0
3回答
我将一个包含150,000行的csv文件读入到pandas数据帧中。此数据帧有一个日期为yyyy-mm-dd格式的字段Date。我想从其中提取月份、日期和年份，并分别复制到数据帧的列Month、Day和Year中。对于几百条记录，以下两种方法可以正常工作，但是对于150,000条记录，这两种方法都需要花费非常长的时间来执行。对于100,000+记录，有没有更快的方法？
第一种方法：
df = pandas.read_csv(filename)
for i in xrange(len(df)):
df.loc[i,'Day'] = int(df.loc[i,'Da
浏览 0提问于2014-02-22得票数 22
回答已采纳
Python新手。我正在导入一个CSV，如果有任何数据丢失，我需要返回一个带有附加列的CSV，以指示哪些行缺少数据。我的同事建议我将CSV导入到一个数据帧中，然后创建一个带有"Comments“列的新数据帧，在其中填充对目标行的注释，并将其附加到原始数据帧中。我陷入了使用与"dfinput“匹配的正确行数填充新的dataframe "dferr”的步骤。 我搜索过"pandas csv return error column where data is missing"，但没有找到任何与创建标记坏行的新CSV相关的内容。我甚至不知道提出的方法是不是最好
浏览 14提问于2019-05-28得票数 0
回答已采纳
我已经使用Pandas将csv文件读取到数据帧中，csv格式如下。我想把“时间列信息”在6/3/2011-10/20/2011间隔之间的行放到另一个数据帧中。我怎样才能在Pandas中高效地做到这一点？
浏览 4提问于2018-08-10得票数 0
1回答
我正在将three.csv文件加载到三个不同的Pandas数据帧中。每个文件中的行数应该相同，但事实并非如此。有时，与另一个文件相比，一个文件包含四到五个额外行。有时，与一个文件相比，两个文件包含两到三行。我正在逐行连接所有文件，因此我将删除这些附加行，使它们具有相同的长度。为此，我编写了以下代码。
df_ch = pd.read_csv("./file1.csv")
df_wr = pd.read_csv("./file2.csv")
df_an = pd.read_csv("./file3.csv")
# he
浏览 4提问于2022-06-14得票数 0
回答已采纳
我正在使用pandas.read_csv(path，low_memory=False)将一个大的csv文件读入内存，我想逐行提取特定的行组并将它们插入到数据库中。我知道第11行到第62行放入一个表，而第65行到第10000行放入另一个表。有没有一种方法可以从数据帧中抓取行的子集，以便单独循环。如果行的元素2不是nan，我也只需要处理子集中的数据。谢谢你的帮忙
浏览 0提问于2020-06-13得票数 0
我正在尝试将csv文件加载为数据帧
import pandas as pd
import numpy as np
# loading csv files
map1 = pd.read_csv('data001.csv')
print(map1)
但是，数据帧的列名是从第一个数据帧的行*.csv文件值提供的。我怎么才能得到一个列名按顺序编号的dataframe呢？
谢谢!
浏览 1提问于2018-04-20得票数 0
0回答
这里的目标是读入许多csv文件，每个文件都读入一个单独的Pandas数据帧。下面三行中的第三行在"=“之前是错误的。我读过很多关于使用字典而不是动态变量的帖子，但我不明白如何在这里应用它。除了globals()方法之外，是否还有其他方法，这似乎有很多反对意见？
testlist = ['A', 'B', 'C']
for dfsuffix in testlist:
'df' + dfsuffix = pandas.read_csv(dfsuffix + '.csv')
所以，举个例子，我希望第一次迭
浏览 1提问于2017-11-29得票数 0
回答已采纳
我有一个csv，我需要导入到熊猫数据帧中。然后，我需要将该pandas数据帧导出回与我导入的csv完全相同的csv (输入文件和输出文件必须完全匹配)。 我遇到的问题是csv的格式非常奇怪，我无法更改这种格式(这是挑战的一部分)。csv的一些行具有不同数量的元素，并且一些行以2个分号、一个分号或没有分号结束。 input.csv scene;1
date;08.04.2019;;
sky;AM;45;
sky;PM;45;
weight;upper;-5 到目前为止，我已经完成了最简单的部分-我已经使用以下代码将csv导入到pandas数据帧中： def csv_read(path):
浏览 49提问于2019-02-20得票数 0
回答已采纳
我有一个csv文件，其中有73行数据和16列，我想读取它并将其传递给pandas数据帧，但当我这样做时 data_dataframe = pd.read_csv(csv_file, sep = ',') 我得到了3152行和22列，73行和16列的数据，其余的只有纯NaN值。如何告诉pandas读取有效的行和列数据，并避免所有这些额外的NaN数据？
浏览 43提问于2021-11-16得票数 0
回答已采纳
我们在jupyter notebook上使用pandas加载csv文件，如下所示：
import pandas as pd
dat=pd.read_csv("data.csv")
多次运行上面的代码行只返回前1024列。我们已经尝试了如下选项：
pd.read_csv("data.csv", na_values ='na', engine='python', delimiter=',', header=0, quoting=csv.QUOTE) to no avail.
以下是数据的快照：
将csv
浏览 0提问于2018-11-13得票数 0
1回答
有没有办法加快存钱的过程。我有一个只包含600,000行的数据框，我的程序在保存文件大约8个小时后被卡住了，然后我出于沮丧退出了程序。Pandas将在短短45秒内成功保存一个50,000行的数据帧，但由于某种原因，这个有点大的数据帧正在使其出错。我知道肯定是pandas的to_csv命令使程序变慢了。下面是一些代码: df.to_csv(mes_csv + "_copy.csv.gz"，chunksize=100000，header=True，compression='gzip'，encoding='utf-8')
浏览 0提问于2020-08-12得票数 0
2回答
我正在试着写一些能做以下事情的东西： 读取超过1m行、100列数据的CSV；按照从最大行到最少行的顺序列出重复行的出现情况来总结每列 到目前为止，我所拥有的： import pandas as pd
df = pd.read_csv (r'infile.csv')
outfile = ('outfile.csv')
for i in df:
df.pivot_table(index=i, aggfunc='size').to_csv(outfile, mode='a') 下面的代码输出如下： ColumnA,0
as
浏览 31提问于2020-08-24得票数 0
回答已采纳
1回答
将pandas数据帧转储到sql数据库的最佳方法是什么？首先将数据帧转换为csv文件，然后转储csv文件或逐行写入sql数据库，哪个更好？
浏览 5提问于2014-09-17得票数 0
我有一个生成器，它返回未知数量的数据行，我希望将这些数据转换为索引的pandas数据帧。据我所知，最快的方法是将CSV写入磁盘，然后通过'read_csv‘解析回来。我知道创建一个空的dataframe，然后不断地追加新的行是没有效率的。我不能创建预置大小的dataframe，因为我不知道将返回多少行。有没有一种方法可以将迭代器输出转换为pandas数据帧而不写入磁盘？
浏览 1提问于2017-03-24得票数 12
我正在从CSV文件创建一个Pandas数据帧：
import pandas as pd
filename = 'mike.csv'
main_df = pd.read_csv(filename)
print(main_df.shape)的输出是(280, 23)，所以这个数据帧中有280行。
但是，当我下一次尝试按列值过滤此数据帧时：
filtered_df = main_df.query('Status == "Active"')
print(filtered_df.shape)
，print(filtered_df.shape)的输出是(0
浏览 10提问于2018-06-11得票数 2
回答已采纳
我在CSV中有一个很大的文件。因为它是一个大文件(几乎7 GB)，所以它不能转换为pandas数据帧。 将熊猫作为pd df1 = pd.read_csv('tblViewPromotionDataVolume_202004070600.csv'，sep='\t'，iterator=True，chunksize=1000)导入df1: print ( chunk )中的块 df1的类型为pandas.io.parsers.TextFileReader 现在，我想在这个文件中编辑/添加/插入一些文本(新行)，并将其转换回pandas数据帧。请让我知道可能的解决方
浏览 28提问于2020-04-12得票数 0
我有一个非常大的csv文件，所以我无法将它们全部读取到内存中。我只想读取和处理其中的几行。所以我在Pandas中寻找一个函数，它可以处理这个任务，基本的python可以很好地处理这个任务：
with open('abc.csv') as f:
line = f.readline()
# pass until it reaches a particular line number....
但是，如果我在pandas中这样做，我总是读第一行：
datainput1 = pd.read_csv('matrix.txt',sep=',',
浏览 0提问于2015-03-30得票数 47
回答已采纳
我想将一行附加到我的数据帧中。下面是代码 import pandas as pd
citiesDataFrame=pd.read_csv('cities.csv')
citiesDataFrame=citiesDataFrame.append({
'LatD': 50,
'"LatM"' : 70,
'"LatS"' : 40,
'"NS"': '"S"',
'"LonD"': 200,
'&#
浏览 40提问于2020-11-25得票数 0
我正在尝试通过它的名称删除超过数百万行，这是超过1000个唯一值。
有一个主数据帧(df_summary)和另一个数据帧，其中包含必须从主数据帧中删除的行的名称。
删除一些列不是问题，但是需要删除的唯一值的数量太多了，无法手动执行。因此，我尝试遍历它。
“两个数据帧的整体外观，列后面有许多列”
以下是我尝试过的方法：
from pandas import read_csv
import pandas as pd
df_summary = read_csv ('path.csv', sep=',')
rows_to_remove = read_csv ('
浏览 28提问于2019-10-25得票数 0
回答已采纳
我有一个小的Pandas数据帧(2000行，35列)，我将它与一个大的Dask数据帧(600万行，550列)合并在一起。我将小Pandas数据帧转换为Dask数据帧，并使用以下代码进行合并： final_df=dd.merge(left=small_df,right=big_df,how='inner',on=('var1','var2','var3')) 合并操作非常快，但运行这些代码需要一段时间： final_df.head() 或者： final_ddf.to_csv('file.csv',header=T
浏览 28提问于2020-07-16得票数 0
回答已采纳
我正在尝试将JSON文件读取到pandas数据帧中(更具体地说，最终目标是将JSON转换为CSV) 因此，我有一个JSON格式： ["[{\\"key1\\":\\"value1\\",\\"key2\\":\\"value2\\"}]"] 如果我使用下面这行代码，结果数据帧就会在一个大的blob中出现： df = df.read_json(json_filename) 我注意到，如果我手动进入JSON文件并删除所有\\，那么当我将其读取到数据帧中时，它会正常工作。但我感觉我没有使用正确的语法；Pandas我确
浏览 11提问于2021-06-24得票数 1
回答已采纳
我有10个csv文件，名为data_run1_all.csv，data_run2_all.csv，...，data_run10_all.csv。CSV文件具有相同的列，但行不同。
现在我将它们逐个导入到df_run1，df_run2，...，df_run10中。
我可以使用循环来导入它们吗？类似于：i=1 to 10, df_runi=pandas.read_csv('data_runi_all.csv')。
我之所以问这个问题，是因为每个数据帧的数据分析、绘图等也是相同的。每个数据帧的所有代码重复10次。如果我可以使用一个循环做10次，代码就会短得多，可读性也好得多。
浏览 4提问于2017-09-30得票数 5
回答已采纳
1回答
我有一个相对简单的任务:我有N个pandas数据帧，每个数据帧有3行数据。大多数列名与所有N个数据帧匹配(有些数据帧可能缺少1到2列)。我想创建3个包含N行的新数据帧，以便通过连接这些行来形成它，使得第i个新数据帧将包含来自所有N个数据帧的行索引i中的所有行。下面是我的尝试。
listOfRows1 = listOfRows2 = listOfRows3 = []
for i in range(N):
dfN = pd.read_csv("filename"+str(i)+".csv")
dfN["Index"] = range(1,
浏览 14提问于2021-03-14得票数 0
回答已采纳
1回答
我有两个CSV文件，一个大约60 GB，另一个在S3中大约是70 GB。我需要将这两个CSV文件加载到pandas数据帧中，并对数据执行连接和合并等操作。
我有一个EC2实例，它有足够的内存供两个数据帧一次加载到内存中。
从S3到pandas数据帧读取这么大的文件的最佳方式是什么？
另外，在我对数据帧执行了所需的操作之后，输出的数据帧应该被重新上传到S3。
将巨大的csv文件上传到S3的最佳方式是什么？
浏览 5提问于2020-05-06得票数 0
我有一个非常大的CSV文件，其中第一列是一个已经从最低到最高排序的unix timestamp。
1461568570,2977.320000000000,0.032000000000
1461568570,2977.320000000000,0.076000000000
1461568570,2977.320000000000,0.076000000000
1461568569,2977.050000000000,0.050000000000
1461568569,2977.050000000000,0.050000000000
1461568569,2977.300000000000,0.
浏览 1提问于2016-04-26得票数 2
我有大约70 MD的MD模拟输出。固定行数解释和固定行数数据的模式在文件中有规律地重复。如何逐块读取Dask Dataframe中的文件，其中的解释行被忽略？
我成功地在pandas.read_csv的skiprows参数中编写了一个lambda函数，以忽略解释行，只读取数据行。我将pandas输入的代码转换为dask one，但它不起作用。在这里您可以看到用dd.read_csv替换pandas.read_csv所编写的dask代码：
# First extracting number of atoms and hence, number of data lines:
with open(f
浏览 0提问于2019-10-04得票数 0
我正在尝试将文件中的数据导入到pandas数据帧中。我试过使用
data = pd.read_csv('data_engineering_assignment.txt',sep="|")
但是我收到一个错误，说"ParserError:数据标记化时出错。C错误:第231行应该有9个字段，看到10个“我不想使用'error_bad_lines=False‘并跳过数据行。
请帮帮忙。
浏览 10提问于2019-11-29得票数 0
我有一个不适合我的系统内存的CSV文件。使用Pandas，我想读取散布在整个文件中的少量行。 我想我可以在没有熊猫的情况下做到这一点，遵循这里的步骤：How to read specific lines of a large csv file 在pandas中，我尝试使用skiprows来只选择我需要的行。 # FILESIZE is the number of lines in the CSV file (~600M)
# rows2keep is an np.array with the line numbers that I want to read (~20)
rows2skip
浏览 21提问于2019-05-14得票数 3
回答已采纳
2回答
这是一个下载压缩文件的链接，该压缩文件包括由英国政府国家统计局发布的1 1GB邮政编码级别数据：
有关数据的信息可在此处找到：
我在Python中的数据科学应用程序中使用了这些数据，并将其加载到Pandas数据帧中。我已经将其集成到一个简单的网页中，并将其部署到云中。我不想在我的存储库中包含我从亚马逊网络服务EC2实例访问的大数据。因此，据我所知，我有两个选择：
1)将压缩文件包含在存储库中，并将CSV读取到Pandas数据帧中。
2)打开url，在文件中流式传输，并在脚本中解压，然后将CSV读取到Pandas数据帧中。
这两种方法的问题是zip文件包含的内容不是我需要的csv文件，我不确定如
浏览 24提问于2019-11-14得票数 2
回答已采纳
我只需要将pandas数据帧中的特定行输出到CSV文件。换句话说，输出只需要X行中的数据，用逗号分隔的一行中，不需要其他任何数据。我在使用to_CSV时遇到的问题是，我找不到一种只处理数据的方法；我总是收到包含列计数的额外行。
data.to_csv(filename, index=False)
给出
0,1,2,3,4,5
X,Y,Z,A,B,C
第一行只是一个列计数，是数据帧的一部分，而不是数据。我只需要数据。有没有什么方法可以简单地做到这一点，或者我是否需要跳出pandas，在python中进一步操作数据？
注意:前面的示例只有1行数据，但如果也有选择行的语法就更好了。
浏览 0提问于2016-11-04得票数 3
回答已采纳
2回答
我有一个包含1000+ csv文件的目录，我希望读取这些文件并将其存储在数据帧中，然后将其保存到一个文件中。我希望数据帧维度是文件，文件中的行，行的内容。这就是我到目前为止想出的：
import pandas as pd
import glob
csv_files = glob.glob("data/*sample.csv")
df = (pd.read_csv(f) for f in csv_files)
dataset = pd.concat(df, ignore_index=True)
这给了我一个数据帧，其中有形状线，线的内容，但我不再能看到线来自哪个文件。有人能帮帮
浏览 0提问于2020-05-28得票数 0
我有一个文本文件，想把它转换成一个熊猫数据帧。不幸的是，文本文件的结构使我很难做到这一点。
文本文件如下所示：
======> EVENT:130
a = 1.4
b = 2.5
c = 1.7
======> EVENT:698
a = 1.2
b = 4.3
c = 2.4
======> EVENT:1055
a = 3.4
b = 4.5
c = 2.3
"EVENT:“后面的数字是随机的。我想将这个文本文件转换为具有以下结构的pandas数据帧
a b c
1.4 2.5 1.7
1.2 4.3 2.4
3.4 4.5 2.3
浏览 16提问于2021-05-23得票数 1
回答已采纳
我现在正在做我的期末作业之一，我有一个CSV文件，里面有几列不同的数据。 当前感兴趣的是提取出单个列，并将单个行转换为txt文件。 下面是我的代码： import pandas as pd
import csv
df = pd.read_csv("AUS_NZ.csv")
print(df.head(10))
print(df["content"])
num_of_review = len(df["content"])
print(num_of_review)
for i in range (num_of_review):
浏览 18提问于2021-01-05得票数 0
1回答
我正在传递1000行的数据块，并将它们合并到一个pandas数据帧中，但是合并后的数据帧不会保存，并且每次都会有一个新的数据帧输出。如何在每次迭代中保存合并？
def mergeDFs:
def merge(x):
df = df.merge(x, left_on="id", right_on="id")
reader = pd.read_csv("train_lag.csv", chunksize=1000)
for r in reader:
merged = merge(r)
浏览 5提问于2019-10-26得票数 1
回答已采纳
有谁知道是什么原因导致pandas.DataFrame.to_csv无法导出完整的数据帧吗？
print(len(df))
[77814 rows x 42 columns]
df.to_csv('filename.csv'))
生成的csv文件有54470行，缺少大约1/3的数据块。我的数据有时间戳，我可以告诉我丢失的数据是一个很大的块，而不是整个文件中的随机点。我使用的是python 3.6.5，pandas是0.22.0。
非常感谢你的帮助
浏览 3提问于2018-04-02得票数 2
我有一个包含两列[key, chunk]的csv文件，需要将其插入到SQL db表中。(放大信息-托管在GCP上的Postgresql数据库，我可以很好地选择和执行其他数据库操作。)
我的csv文件有1000多万行。因此，我很好奇，针对Postgresql语法，我可以使用的最佳批处理插入选项是什么？将csv文件作为pandas数据帧打开会有帮助吗？由于文件的大小，我希望避免迭代行插入。
浏览 2提问于2021-05-28得票数 0
亚马逊网络服务SageMaker批处理转换错误如下： bare " in non quoted field found near: "['R627' 'Q2739' 'D509' 'S37009A' 'E860' 'D72829' 'R9431' 'J90' 'R7989' 在SageMaker工作室笔记本中，我使用Pandas将数据输出到csv： data.to_csv(my_file, index=False, header=Fa
浏览 25提问于2021-01-30得票数 0
我查看了pandas文档，有几个选项可以将数据导入pandas数据帧。当涉及到导入文本文件时，常见的方法似乎是导入csv文件。
我要使用的数据是格式如下的日志文件：
timestamp=2018-09-08T11:11:58.362028|head1=value|head2=value|head3=value
timestamp=2018-09-08T11:15:25.860244|head1=value|head2=value|head3=value
我只需要将这些元素中的一部分导入到数据时间框架中，比如说时间戳、head1和head3。
在csv表示法中，数据帧将如下所示：
timesta
浏览 14提问于2018-09-09得票数 1
回答已采纳
1回答
我有一个非常大的csv文件，所以我使用spark并将其加载到spark数据帧中。
我需要从csv上的每一行提取纬度和经度，以便创建folium地图。
使用pandas，我可以用一个循环解决我的问题：
for index, row in locations.iterrows():
folium.CircleMarker(location=(row["Pickup_latitude"],
row["Pickup_longitude"]),
radiu
浏览 27提问于2018-05-30得票数 0
我一直在想..。比方说，如果我使用read_csv或read_table将一个400MB的csv文件读入到pandas数据帧中，有没有办法猜测这将需要多少内存？只是想更好地了解数据帧和内存...
浏览 4提问于2013-08-07得票数 160
我有一个pandas dataframe，我需要将特定的行从一个新的dataframe中提取出来，并放入其中。这些行在一个类似如下的列表中:42 50 52 59 60 62
我正在从.csv文件创建数据帧，但据我所知，在读取.csv和创建数据帧时，没有一种方法可以指定行号。
import pandas as pd
df = pd.read_csv('/Users/uni/Desktop/corrindex+id/rt35',index_col = False, header = None )
以下是数据帧的一部分：
0
0
浏览 0提问于2019-06-26得票数 0
我首先垂直生成一些数据，但希望将它们转置为行数据，然后将它们堆叠到一个类似Pandas数据帧的数组中。如何获得包含4列('fr'，'en'，'ir'，'ab')和3行的熊猫数据帧的最终结果？
# coding=utf-8
import pandas as pd
from pandas import DataFrame, Series
import numpy as np
import nltk
import re
import random
from random import randint
import csv
import
浏览 1提问于2015-10-20得票数 2
1回答
我想将通过ftp检索的一个以制表符分隔的大文本文件的内容直接放入pandas数据帧中。
import pandas as pd
import urllib.request as ur
# retrieve only the header column & set dtype to save some memory
refseq_summary = "ftp://ftp.ncbi.nlm.nih.gov/genomes/refseq/assembly_summary_refseq.txt"
req = ur.Request(refseq_summary)
z_f = u
浏览 0提问于2019-05-14得票数 0
我正在尝试用来自API的数据更新Pandas Dataframe，并将其写入.csv，我需要确保它不包含重复的行。 我一直在这里查看问题可能是什么(例如忘记添加inplace=True)，但情况似乎并非如此。 所以..。我让熊猫们读了csv df = pd.read_csv(file) 然后，我从API下载了更多的数据(我确保我有重复的行)并创建df2 ( csv是由相同的代码编写的，所以我确信重复的行是完全相同的)。现在，我需要将一个数据帧附加到另一个数据帧，然后删除重复的数据帧： df = df.append(df2, ignore_index=True)
df.drop_duplica
浏览 4提问于2019-04-13得票数 1
回答已采纳
1回答
import cx_Oracle
import pandas as pd
from sqlalchemy import create_engine
# credentials
username = "user"
password = "password"
connectStr = "ip:port/service_name"
df = pd.read_csv("data.csv")
# connection
dsn = cx_Oracle.makedsn('my_ip',service_name='m
浏览 2提问于2018-12-22得票数 1
长话短说，我一直在与内存问题(以及执行时间) dask / pandas来编写大型数据帧to_sql或to_csv作斗争，如果有人能给我指出正确的方向(下面有更多详细信息)？
我将两个较大的.csv文件附加到一起，使用dask形成一个更大的.csv文件(27M行x 52列)，以便节省内存，而不是使用pandas，因为我在pandas中内存不足或接近内存。
在此基础上，我只是简单地尝试写入.csv，但是在尝试使用.compute()将dask数据帧转换为pandas数据帧并写入文件时，我再次耗尽了内存。我想把这个问题集中在如何在不耗尽内存的情况下简单地将这个东西放到.csv中。然后，我计划使用S
浏览 25提问于2020-06-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
