Pandas导入不会插入所有行

文章/答案/技术大牛

发布

1回答

mysql、python-3.x、pandas、csv

我通过以下方式导入一个包含3300行数据的.csv文件： myCSVfile = pd.read_csv(csv_file) myCSVfile.to_sql(con=engine, name='foo', if_exists='replace') 成功导入后，我执行"select * from ...“在我的表上查询，它返回3100行，那么缺少的200行在哪里？我假设有损坏的数据无法读取，我进一步假设熊猫会跳过这些数据。但是，没有明确说明这一点的警告、

浏览 10提问于2019-03-13得票数 0

1回答

如何加快pandas.DataFrame .to_sql的插入速度

python、mysql、pandas

你好，我目前正试图在本地机器上将来自四个熊猫数据帧的数据写入mysql，我的机器需要32秒钟才能插入20,000条记录(每个表5000条)代码-diff=endTime-startTime 当前，我将数据存储在本地机器中，但在未来，我必须将数据发送到mysql服务器，是否有任何方法加快插入速度，或者有什么不同的方法来以更快的速度存储数据，比如使用大容量插入。

浏览 0提问于2018-10-22得票数 3

回答已采纳

1回答

从Pandas导入错误

pandas、python-import、importerror

其他软件包不会出现这种情况。有什么建议吗？"，第2862行，在run_code exec中(code_obj，self.user_global_ns，self.user_ns)文件"C:\Users\UserName\Anaconda3\lib\site-packages\pandas__init__.py"，第42行，从pandas.core.api导入* 文件&

浏览 0提问于2018-08-08得票数 0

回答已采纳

1回答

熊猫不会打开奇怪的TSV文件

python、pandas、csv

这里的TSV文件来自，它来自，不会在Pandas上打开。我尝试过几件事:使用标签分隔符，用read_excel打开它(网站上说它与所有现代系统兼容)。path = "C:.._reader.read_low_memory(Nrow)文件"pandas_libs\parsers.pyx"，第805行，在pandas._libs.parsers.TextReader._tokenize_rows文件“pandas<

浏览 9提问于2022-09-02得票数 1

回答已采纳

1回答

在user-input-error之后从.txt文件中删除多余的制表符

python、pandas

我们每天晚上从ERP收到多个.txt文件，有时我们在插入产品名称的人从其他地方复制粘贴后，产品名称以制表符结尾，长话短说，这打破了这个过程，因为有python脚本自动执行非常适度的清理，然后将数据插入我们的现在，当这种情况发生时，将它们导入到我们的数据库中的脚本错误和中断，因为它会将文件中的一行推到更长的1列，我需要找到一种方法来解决这种情况，因为当它发生时，它破坏了我们的BI报告。我想了一些关于如何定位用户输入错误在文件中的位置的规则，我认为正确的方法是编写一个python脚本，将.txt文件作为pandas</

浏览 8提问于2020-10-21得票数 0

2回答

如何在使用Python Pandas* to_sql()将错误行批量插入到crateDB中时引发异常*

python-3.x、pandas、cratedb

我使用以下命令将数据批量插入到crateDB中 pandas.to_sql(tableId, 'crate://xxxxxxx:4200', if_exists='append', index=False, chunksize=20000) 数据包含一些有问题的行，其中一列'numeric‘类型包含一个'object’/ 'string‘类型的值。这会在插入时导致类型转换错误。当我将to_sql()的chunksize参数

浏览 51提问于2021-08-31得票数 0

回答已采纳

1回答

是否有办法避免每次必须再次执行脚本时重新导入包？

python、pandas

每个脚本都有一些基本导入，如import pandas as pd import matplotlib.pyplot as plt#script2.py import numpy as np import pandas as pd import smth else and heavyweight 因此，每次从main.p

浏览 5提问于2020-05-28得票数 2

回答已采纳

1回答

如何从熊猫的txt文件中创建列名？

python、pandas、numpy

当我尝试使用pandas.read_csv导入它时，第一行就变成了列名。txt文件如下：如果第一行(0 9 8 2 1)是数据帧的列名，我如何成功地导入这个txt文件？如何在数据帧中插入列名？

浏览 2提问于2019-12-17得票数 0

回答已采纳

1回答

如何跟踪通过SSIS完成的行插入

sql-server、sql-server-2008、ssis

对于给定的数据导入操作，我需要一种跟踪行插入到所有数据库表中的方法。所有行插入都是通过SSIS数据流任务(从文本文件导入)完成的。文本文件中的所有行都位于我的数据库中相应的表中。因为这是第一个"load"，所以我生成一个ID 1，这个ID需要在导入的每一行上列出。(我认为最好通过在每个表中添加一个新列来保存这个ID。)(永远不会更新或删除任何行

浏览 3提问于2015-01-28得票数 0

回答已采纳

2回答

如何修复ImportError: DLL加载失败:找不到指定模块

python、python-3.x、pandas

导入熊猫文件"C:\Users\india\Desktop\final\venv\lib\site-packages\pandas__init__.py"，第55行，从pandas.core.api导入文件导入第1行，从pandas.core.groupby.generic导入DataFrameGroupBy，NamedAgg，SeriesGroupBy文件"C:\Users\india\Desktop\

浏览 2提问于2020-06-09得票数 1

1回答

Visual Studio代码中用于matplotlib和pandas的ModuleNotFoundError

python、pandas、matplotlib、visual-studio-code、pylance

当我在我的代码中将matplotlib.pylot作为plt和pandas作为pd导入并运行它时，我在终端中得到错误消息“matplotlib”和"ModuleNotFoundError:没有名为‘pandas’的模块“(当我的代码的第一行有导入pandas模块时，会发生pandas错误)。当我将鼠标悬停在这两个模块上时，将出现消息“导入'matplotlib.pyplot‘无法从源解析”和“导入'<em

浏览 32提问于2021-05-13得票数 0

1回答

“间谍”中的熊猫进口错误

python、pandas

我在Spyder收到了一条错误消息，文件""，第1行，在导入熊猫为pd文件"C:\ProgramData\Anaconda3\lib\site-packages\pa

浏览 1提问于2018-07-23得票数 2

回答已采纳

1回答

不能导入Pandas中逗号分隔的引号文件

python、excel、pandas、csv、libreoffice

我正在尝试将这些数据导入Pandas。它在Libreoffice中使用头部和2行正确导入。然而，在Pandas中，它似乎没有导入。其中有些换行符应该被忽略。但是在Pandas中，它们被看作是一个新的行，而不是包含\n的单个字段。有没有人面临过这样的问题。我尝试过在quotechar和sep参数中设置Pandas，但无法导入。提前感谢这应该在Pandas中作为2行导入</

浏览 2提问于2020-01-14得票数 0

回答已采纳

1回答

mysql中缺少行

mysql、csv、etl、data-import、mysqladmin

我试图从CSV导入数据，在MYSQL中使用bulk insert从CSV导入大约170万行的数据。导入后，我得到的所有表只有104万行。为了交叉检查行，我使用了python中的pandas模块。

浏览 7提问于2019-12-14得票数 1

1回答

Pyfolio导入错误

python、pandas-datareader

\Anaconda3\lib\site-packages\empyrical\utils.py"，第26行，从pandas_datareader导入数据作为web 文件"C:\Users\user\Anaconda3\lib\site-packages\pandas_datareader__init__.py"，第3行，从.data导入(get_components_yahoo，get_data_famafrench\data.py"，第7

浏览 0提问于2018-04-05得票数 0

1回答

如何使用python从excel读取多个列

python、excel

我想从excel中读取162行的数据，我尝试了这段代码，但是我想不出在循环中实现它的方法file_location = "dec_DB.xlsx" workbook =

浏览 4提问于2021-02-11得票数 0

回答已采纳

6回答

为雅虎导入Pandas-Datareader时获得“未来警告”

python、pandas-datareader

但是，在提取数据之前，我总是收到以下消息： FutureWarning:不推荐pandas.util.testing。而是在pandas.testing上使用公共API中的函数。

浏览 0提问于2020-02-03得票数 2

1回答

计算Pandas* Dataframe中多列的日平均值，然后插入一行*

python、python-3.x、pandas、dataframe、csv

我使用Pandas向数据帧输入了一个CSV文件，并希望计算其中列的日平均值。有两个列不会被平均化，时间和日期(日期是数据分组的日期)。然后，我希望在该日期的最后一行下面插入一行，在date列中插入“Average”( time列中没有任何内容)，然后在正确的列中插入相应的平均值。我只使用了Pandas一段时间，所以我不知道最简单的方法是什么。任何帮助都将不胜感激。

浏览 12提问于2022-06-17得票数 0

1回答

导入错误:导入错误

python-2.7、pandas、matplotlib、anaconda、importerror

/anaconda/lib/python2.7/site-packages/pandas/init.py"，第37行，在文件"/Users/anaconda/lib/python2.7/site-packages/pandas/core/config_init.py"，第18行</

浏览 2提问于2016-05-27得票数 0

1回答

如何在pandas.io.parsers.TextFileReader中添加/编辑文本

pandas、pandas-datareader

因为它是一个大文件(几乎7 GB)，所以它不能转换为pandas数据帧。df1 = pd.read_csv('tblViewPromotionDataVolume_202004070600.csv'，sep='\t'，iterator=True，chunksize=1000)导入df1: print ( chunk )中的块 df1的类型为pandas.io.parsers.TextFileReader 现在，我想在这个文件中编辑/添加/插入一些文本(新行

浏览 28提问于2020-04-12得票数 0

点击加载更多