read_csv中的na_values参数行为奇怪
read_csv中的na_values参数是用于指定在读取CSV文件时将哪些值视为缺失值（NaN）。它可以接受不同的输入类型，包括单个值、列表、字典和函数。
- 单个值：可以指定一个单独的值作为缺失值，例如na_values=0。这意味着读取CSV文件时，将把所有值为0的数据视为缺失值。
- 列表：可以指定一个包含多个值的列表作为缺失值，例如na_values=[0, 'unknown']。这意味着读取CSV文件时，将把所有值为0或'unknown'的数据视为缺失值。
- 字典：可以指定一个字典，其中键是列名，值是要视为缺失值的特定值。例如，na_values={'column1': [0, 'unknown'], 'column2': [999]}。这意味着读取CSV文件时，将把列名为'column1'的值为0或'unknown'的数据以及列名为'column2'的值为999的数据视为缺失值。
- 函数：可以指定一个函数来处理缺失值。该函数将应用于每个单元格，并返回一个布尔值，指示该单元格是否为缺失值。例如，na_values=lambda x: x < 0。这意味着读取CSV文件时，将把所有小于0的数据视为缺失值。
na_values参数的行为可能被认为是奇怪的原因可能是由于以下情况：
- 参数值的类型不正确：确保传递给na_values参数的值是正确的类型，如单个值、列表、字典或函数。
- CSV文件中的数据与指定的缺失值不匹配：检查CSV文件中的数据是否与指定的缺失值相匹配。确保CSV文件中的数据与指定的缺失值类型一致。
- CSV文件中的缺失值未被正确处理：检查读取CSV文件的代码，确保正确使用了na_values参数，并且在读取数据后，缺失值被正确处理。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（移动推送、移动分析、移动测试等）：https://cloud.tencent.com/product/mobile
- 腾讯云数据库（MySQL、Redis、MongoDB等）：https://cloud.tencent.com/product/db
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云视频处理（点播、直播、转码等）：https://cloud.tencent.com/product/vod
- 腾讯云音视频通信（TRTC）：https://cloud.tencent.com/product/trtc
- 腾讯云安全产品（DDoS防护、Web应用防火墙等）：https://cloud.tencent.com/product/safety
相关·内容
我正在尝试读取一个csv文件，该文件在某些列中包含字符串'na‘，我希望将其读取为'NaN’。出于这个原因，我使用参数na_values： data=pd.read_csv('myFile.csv', header=1, skipfooter=1, na_values=['na']) 但是在dataframe中，'na‘字符串保留在我的列中 Pandas版本0.23.4 一些样本数据 field
浏览 14提问于2019-09-18得票数 0
我正在从S3读取一个包含空值的字符串列的csv.gz文件。escapechar='\\',我正在获取数据帧中的NaN值，而不是问题的字符串column.Couple中的空/空白。i) NaN是否适用于类型为object的地方？任何帮助都将不胜感激。谢谢
浏览 2提问于2020-03-26得票数 0
1回答
我试着填充这样的东西：285685 0000105 NaN 2016-11-25 00:00:00 NaN285685 0000106 0.0 2016-11-25 Null NaN NaN NaT
我丢失了一个名为test5的列
浏览 0提问于2018-06-19得票数 1
回答已采纳
1回答
forward', axis=0) 但是我得到了一个错误： ValueError: could not convert string to float: '-' 我希望它能节省NAN，这样我就可以运行下一步的插值线在这一点上，一个头部已经下降了时间列，所以可能位置是关闭的。ValueError: Unable to parse string "10.738,75" at position 0 我将感谢所有关于如何正确做到这一点的提示。
浏览 4提问于2021-01-15得票数 1
回答已采纳
2回答
我在windows10上有Anaconda 3，我正在阅读欧洲格式的csv文件( '，‘作为分隔符)。我使用'decimal‘来指定逗号，但它并不适用于所有列。编辑:仍然没有干净的解决方案，我通过这样做来管理：
x['Tension'] = x['Tension'].str.replace(',','.')
浏览 0提问于2018-12-26得票数 2
这是我关于堆栈溢出的第一篇文章。如果我没有正确地遵循普通的样式指南，请对我轻松一点。打印函数显示，该方法有效。最后，我想将修改后的DataFrame保存到一个.csv文件中(您可以在代码中看到路径和文件名)。然而，尽管.csv确实保存了数据，但数据显然是错误的。所
浏览 0提问于2018-11-21得票数 3
回答已采纳
我尝试使用pandas.read_csv读取缺少值的.txt。我的数据格式如下：有数千个样本，具有相同的点名称，gps位置和其他读数。我使用一个代码：
myData = read_csv<
浏览 1提问于2012-09-20得票数 12
回答已采纳
我有许多CSV文件需要解析相同的列标题。在这些文件中，可能有几种表示NA的模式，例如："-“、”-“、"/”、.我不知道所有的模式，所以我不能正确地为na_values设置read_csv()参数。
read_csv(dtype=str)
浏览 2提问于2015-06-26得票数 5
在提出这个问题之前，我要说的是，我并不掌握csv中数据的起始方式。我也不能直接访问csv，因为我只能从我没有直接访问权限的SFTP中拉取它。API显示的数据格式与csv显示的数据格式相同。以下是传入数据帧的csv中相关的两列。我甚至将其他合同csv中的工作代码复制并粘贴到此区域，并简单地更改了代码中的变量以匹配此csv，但它仍然不起作用。我重新检
浏览 23提问于2019-04-18得票数 0
回答已采纳
具体地说，我正在使用pandas read_csv函数读取文件，然后将它们作为dataframe对象进行处理，这非常有效。这是我第一次使用pandas，所以我仍然在习惯它包含的所有令人难以置信的有用功能。
我正在读取的csv文件使用-99.9作为标记值来表示NA/NaN。由于这与我在其他地方表示丢失数据的方式不同，因此我希望将-99.9的所有匹配项更改为"NaN“。有没有一种快速的内置方法可以做到这一点，或者我必须遍历数据帧并检查每个值？
浏览 0提问于2013-07-05得票数 2
回答已采纳
如何将包含字符串和"-“值的DataFrame列转换为浮点型。我试过用pd.to_numeric和pd.Series.astype(int)，但没有成功。你有什么建议吗？? ? ?
浏览 113提问于2020-01-31得票数 0
回答已采纳
，核的金属丰度是中心的金属丰度。TypeError: cannot concatenate 'str' and 'float' objects
浏览 0提问于2015-08-07得票数 0
3回答
我有一个包含'-‘和'na’值的数据集。如何使用na_values属性将被视为缺失值的数据转换为NAN？df = pd.read_csv('austin_weather.csv'.na_values==['na','-'])
浏览 4提问于2022-08-29得票数 -1
在DataFrame中，我有负数，也缺少-给出的值。我想用一个空单元格替换缺少的值，但是这个操作不应该删除负数前面的-。看起来是这样的： 45 45 45 45 45 45 45 45 45 451 1 7 12 3 1 1 1 1 1 因此，带有-
浏览 16提问于2019-03-02得票数 1
我想删除基于高NULL值的某些列。在一些列中有一个等同于null的值(在本例中是“Select”)，我想用null替换它，这样我就可以计算null %并相应地删除列。
浏览 59提问于2019-06-06得票数 0
回答已采纳
在将read_csv与Pandas结合使用时，如果我希望将给定的列转换为类型，格式错误的值将中断整个操作，而不会指示违规的值。pandas as pd
将导致以错误结尾的堆栈跟踪如果我有行号，或者错误消息中的违规值，我可以将它添加到已知的NaN值列表<e
浏览 3提问于2015-05-12得票数 7
回答已采纳
我正在尝试清理pandas中的数据集，信息存储在csv文件中，并使用以下方式导入：每一列都包含一个'?‘其中缺少值。我正在尝试将所有问号设置为NaN，我已经尝试过了：有没有办法强制这样做才
浏览 0提问于2018-11-12得票数 1
下面的行为在我看来是不对的。看起来，如果read_csv的缺省值是na_values=False，那么不应该将包括'NA‘在内的任何值解释为NaN，但情况似乎并非如此。编辑补充：，我认为我更好地理解这一点，基于@Marius的答案，尽管这对我来说似乎并不正确(默认的行为，也就是马吕斯的回答，看起来确实是对正在发生的事情的正确解释)。as NaN
我想我可以理解数字列<em
浏览 6提问于2015-07-21得票数 4
回答已采纳
3回答
字符的形式在column/attribute horsepower中包含缺少的值。所以当我使用代码的时候- data.isnull.values.any() 或 data["horsepower"].isnull.values.any() 这两个代码都返回False，因为这些代码适用于如何找到包含特殊字符的缺失值，在我的例子中，这些字符恰好是?而不是传统的NaN值。 谢谢!
浏览 40提问于2019-01-02得票数 2
回答已采纳
数据是来自人口普查数据的成人收入，行如下所示：我正在尝试从pandas中的CSV文件加载的DataFrame中删除所有带有NaNs的行。我试着用小一
浏览 0提问于2013-11-19得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
