我有一个包含27列和大约45k行的pandas数据帧，我需要将其插入到SQL Server表中。我目前正在使用下面的代码，它需要90分钟来插入： conn = pyodbc.connect('Driver={ODBC Driver 17 for SQL Server};\)
for in
浏览 111提问于2020-12-20得票数 0
回答已采纳
1回答
我目前正在做一个关联规则项目，这是我第一次使用SQL Server。我有一个包含所有结果的Pandas Dataframe，并希望将它们传输到SQL表中。不过，数据帧的形状是(1788020，4)，并且在运行代码时需要花费太长时间，并且在500左右的行处停止。以防万一，这是我使用的代码： cursor2 = conn2.curs
浏览 22提问于2021-09-02得票数 1
3回答
加快潘达斯to_sql()？
、、、、
我有一个1,000,000 x 50 Pandas DataFrame，我正在使用以下方法将其写入一个SQL表：花了相当长的时间我已经看到了关于如何在网上加速这一过程的各种解释，但似乎没有一种解释适合MSSQL。
然后我得到一个no attribute copy_from错误。有什么简单的方法来加速to_sq
浏览 5提问于2017-01-09得票数 8
我正在使用SQL Alchemy engine和pandas，并试图实现fast_executemany=True，但是当我试图将df框架行插入到SQL SERVER DB中时，我得到了这个错误。我的代码是这样的 engine = create_engine('mssql+pyodbc://@SERVER/DATABASE?)
conn =
浏览 60提问于2021-10-06得票数 0
回答已采纳
我尝试通过pyodbc小批量地将数据从pandas dataframe插入到Teradata表中。我能够成功地插入一小部分样本数据，但是当我尝试插入整个数据帧(大约125k行)时，我收到这个错误消息: Teradata SQL请求超过了1MB的最大允许长度。在做了一些研究之后，似乎我的insert语句太大了，所以我想把它拆分成更小的批处理大小。我研究了cursor
浏览 19提问于2019-07-19得票数 2
我正在尝试使用fast_executemany来加速我的df.to_sql插入。=True)当我在没有fast_executemany的情况下运行这段代码时，它可以工作，但是插入操作需要相当长的时间。因此，我想使用该命令，但在'SQL+Server'驱动程序中<em
浏览 16提问于2019-07-10得票数 2
我希望与我在SQL中有一个表在python中工作。我希望将整个表存储在一个名为'mat‘的矩阵中，然后在python代码之后获得输出，这样我就可以再次使用SQL读取该表。我是这样开始的：import pandas as pddatabase = 'mydatabase'p
浏览 0提问于2018-12-18得票数 0
长话短说，我一直在与内存问题(以及执行时间) dask / pandas来编写大型数据帧to_sql或to_csv作斗争，如果有人能给我指出正确的方向(下面有更多详细信息)？在此基础上，我只是简单地尝试写入.csv，但是在尝试使用.compute()将dask数据帧转换为pandas数据帧并写入文件时，我再次耗尽了内存。我想把这个问题集中在如何在不耗尽内
浏览 25提问于2020-06-12得票数 0
2回答
我正在尝试使用pandas to_sql将数据上传到MS Azure Sql数据库，这需要很长时间。我经常在上床睡觉和早上醒来之前运行它，它已经完成了，但已经花了几个小时，如果出现错误，我无法解决它。下面是我的代码： params = urllib.parse.quote_plus('Server=%s,1433;&#x
浏览 116提问于2020-07-06得票数 0
回答已采纳
如何安排将python dataframe批量插入到相应的azure SQL中。我看到INSERT对单个记录有效： 插入XX (Field1)值(value1)； 如何将dataframe的全部内容插入Azure表？ 谢谢
浏览 24提问于2020-08-26得票数 0
我有一个400行的“数据帧”。 当我尝试将数据推送到SQL Server (在azure VM上)时，插入大约需要4分钟。下面是我使用的exceutemany语句： cursor.executemany(insert_query,df) 我知道cursor.executemany是逐行插入的，但是对于只有400行的人来说，花4分钟的</e
浏览 144提问于2019-08-26得票数 0
回答已采纳
2回答
基于Sqlite3的数据库
、、、、
我正在用Sqlite3 python库创建一个股票价格数据库。但是我的代码需要很长时间才能运行，不知道为什么速度慢。知道我怎么能加快速度吗？我做错了什么吗？我使用Python3.x，Anacondafrom googlefinance.client import get_price_data, get_prices_datapd.DataFrame(get_price_data(param))
end_of_day['Time']=end_of
浏览 0提问于2018-04-23得票数 1
回答已采纳
我有一个有6列和大约27000行的数据帧。27000行应该不会花很长时间。从数据库读取时没有问题。row.group_company, row.customer_type, row.invoice_date, row
浏览 3提问于2021-11-21得票数 0
1回答
我正在使用to_sql将pandas数据帧写入SQL server数据库。数据帧很小(1列，100行)。然而，我得到了一个错误： MemoryError
该列的dataType为object (即string)。如果我将dataType转换为INT，则代码执行
浏览 3提问于2020-09-19得票数 0
当我们通过熊猫将文件加载到Server时，在创建SQLAlchemy引擎对象时，我已经开始使用这个SQLAlchemy属性。我理解它在加载数据时所带来的好处。
是否建议在Server任务中启用它？也许只要一直做单身插入就行了？我仍然看不出fast_executemany会怎么变慢。
浏览 0提问于2020-11-23得票数 2
回答已采纳
下面是我的代码，我想要一些帮助。我必须运行它超过1,300,000行，这意味着它需要40分钟来插入~300,000行。 reader = csv.reader(f) #trims any extra spaces
columns = [x.strip(' ')
浏览 7提问于2015-04-14得票数 46
回答已采纳
我在使用pyodbc和fastexecutemany将数据推送到MSSQL表时遇到了问题。 我已经搜索了互联网和Stackoverflow上的其他帖子。据我所知，我这样做是正确的，但并没有成功加载。 我有一个简单明了的数据框架，我正在尝试推送。日期是日期时间。数字是浮点数。名称是字符串 我正在尝试加载到Microsoft SQL 2016数据库 代码如下： conn = '
浏览 31提问于2019-02-08得票数 0
5回答
我有一个dataframe，我想执行一个查询，将来自dataframe的所有值插入到一个表中。基本上，我试图将其加载为以下查询：SELECT *为此，我有以下代码：import pandasas pd
'Ser
浏览 12提问于2020-04-19得票数 0
回答已采纳
我正在尝试使用pgAdmin将.txt文件中的数据添加到postgreSQL数据库的空表中。.txt文件使用'|‘作为分隔符。我猜SQL也试图使用"\“作为分隔符。ERROR: missing data for column "email"SQL state: 22P04 如何修
浏览 52提问于2021-01-13得票数 0
回答已采纳
下面代码的目的是从restful服务中获取数据，将其规范化，用必要的列将其存储在dataframe中，然后使用Pandas‘to_sql将其加载到Sybase表中。错误：
文件“C：\ Files\Anaconda3\lib\site-packages\sqlalchemy\engine\default.py"，第467行，在do_executemany cursor.executemany\n (102) (SQLExecDirectW)
浏览 3提问于2020-07-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
