如何传递oracle modin read_sql的sqlalchemyconnection字符串
Oracle Modin是一个用于加速Pandas的库，它可以利用多核和分布式计算来加快数据处理速度。在使用Oracle Modin的read_sql函数时，需要传递一个SQLAlchemy连接字符串作为参数。
SQLAlchemy是一个Python SQL工具包和对象关系映射器（ORM），它提供了一种在Python中操作数据库的灵活且高效的方式。连接字符串是用来指定数据库连接的信息，包括数据库类型、主机地址、端口号、用户名、密码等。
传递Oracle Modin read_sql的SQLAlchemy连接字符串的步骤如下：
- 首先，确保已经安装了Oracle Modin和SQLAlchemy库。可以使用以下命令进行安装：
- 首先，确保已经安装了Oracle Modin和SQLAlchemy库。可以使用以下命令进行安装：
- 导入必要的库：
- 导入必要的库：
- 创建一个SQLAlchemy连接字符串，指定数据库类型、主机地址、端口号、用户名、密码等信息。例如：
- 创建一个SQLAlchemy连接字符串，指定数据库类型、主机地址、端口号、用户名、密码等信息。例如：
- 其中，
username是数据库用户名，password是密码，hostname是主机地址，port是端口号，service_name是服务名。 - 使用
create_engine函数创建一个数据库引擎对象： - 使用
create_engine函数创建一个数据库引擎对象： - 使用
read_sql函数从数据库中读取数据。例如，读取名为table_name的表中的数据： - 使用
read_sql函数从数据库中读取数据。例如，读取名为table_name的表中的数据： - 这将返回一个包含查询结果的Modin DataFrame对象。
总结起来，传递Oracle Modin read_sql的SQLAlchemy连接字符串的步骤包括导入必要的库、创建连接字符串、创建数据库引擎对象和使用read_sql函数读取数据。通过这些步骤，可以方便地从Oracle数据库中读取数据并加速处理过程。
腾讯云相关产品和产品介绍链接地址：
相关·内容
我有一些python代码，我正在尝试使用sqlalchemy和modin并行地从我的数据库中读取未提交的数据。我试着这样调用这个函数：df = pd.read_sql("select * from my_table", uri_string, params={'isolation_level': 'READ UNCOMMITTED'})。但是，我看到生成的查询在没有隔离级别的情况下提交到数据库。有没有人能够在调用read_sql之前不创建sqlalchemy引擎就注入隔离级别？ 编辑:与pandas不同，modin的实现允许read_sql并行
浏览 61提问于2021-07-24得票数 0
当使用cx_Oracle从甲骨文中选择大量数据时，我发现无论是使用熊猫read_sql还是使用cx_Oracle Cursor fetchall()方法都非常缓慢。
通过增加游标的arraysize属性，性能得到了极大的提高--允许我从fetchall()中获得良好的性能。熊猫read_sql()接受一个Connection对象作为输入，光标是在函数中创建的，因此我不太清楚如何应用相同的设置，并仍然利用read_sql()函数。我错过了什么吗？
浏览 4提问于2015-10-09得票数 1
回答已采纳
对于pandas=1.4.0，它发出警告，不要直接在read_sql中使用psycopg2，而是要使用sqlalchemy。在尝试进行这样的迁移时，我无法解决如何将tuple作为查询参数之一传递。例如，这目前起作用：
import pandas as pd
import psycopg2
read_sql(
"SELECT * from news where id in %s",
psycopg2.connect("dbname=mydatabase"),
params=[(1, 2, 3),],
)
试图像这样迁移到sqlalchem
浏览 5提问于2022-01-24得票数 2
回答已采纳
我只是个Python新手，很喜欢用Python处理数据。
当我能够使用Python的代表性数据工具Pandas时，它似乎能够非常快地在Excel上工作。
但是，看到检索47万行的数据(.xlsx)需要超过1到2分钟的时间，我有点失望，因此，我发现使用modin和ray (或dask)可以实现更快的操作。
在学习了如何简单地使用它之后，我将它与仅使用Pandas进行了比较。(这一次，1亿行数据，约5GB)
import ray
ray.init()
import modin.pandas as md
%%time
TB = md.read_csv('train.csv')
TB
浏览 1提问于2021-07-07得票数 1
回答已采纳
在import modin.pandas as modin_pd行上，我得到了ModuleNotFoundError: No module named 'modin'。我使用的是诗歌和JupyterLab。如果我在单元格中输入!poetry add modin，ValueError会说Package modin is already present。
因此它无法安装modin，因为它已经安装，但也无法导入它。我遗漏了什么显而易见的解决方案吗？
pip freeze命令还显示要安装的modin。我也尝试过通过pip install安装它，但是绝对没有让我最终导入这个模块。
浏览 5提问于2020-02-27得票数 0
Pandas to_sql不工作。 我使用sqlalchemy初始化我的引擎。我还导入了cx_Oracle以防万一。出于测试目的，我使用了pandas.DataFrame.to_sql文档提供的代码示例。下面是一个示例： import pandas as pd
from sqlalchemy import create_engine
import cx_Oracle
# specify oracle connection string
oracle_connection_string = (
'oracle+cx_oracle://{username}:{password}
浏览 14提问于2019-04-05得票数 2
我正在使用anaconda，并且刚刚尝试：
pip install modin
这是没有问题的。
然后创建了一个非常简单的python脚本，里面只有一行：
import modin.pandas as pd
我收到的错误：
ModuleNotFoundError: No module named 'modin.pandas'; 'modin' is not a package
如果我使用常规的panda包-一切正常。
此外，尝试：
pip install --upgrade pip
pip install pandas==0.23.4 --force-rein
浏览 1提问于2019-02-12得票数 4
2回答
我正在尝试使用modin包来加速我的pandas数据帧计算。简而言之，安装并不像pip install modin那样简单
当仅仅运行pip install modin时，一切似乎都很顺利(除了pip升级警告)。到目前为止一切都很好。
WARNING: You are using pip version 19.3; however, version 19.3.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.
(base) C:
浏览 2提问于2019-11-14得票数 2
1回答
英特尔Modin安装
、、、
如何安装Modin的英特尔发行版？ 我想使用现有的基于Conda的python环境安装英特尔AI Kit Modin。在启动conda环境后，安装Modin需要哪些步骤？
浏览 46提问于2021-04-27得票数 0
我正在使用sqlalchemy、pyodbc和pandas read_sql对从数据库中提取的一些数据进行格式化，并将其作为dataframe df返回。
我想使用以下命令逐行应用dataframe的每个“单元格”中的数据格式，并排除前两列：
df.iloc[6, 2:] = (df.iloc[6, 2:]*100).map('{:,.2f}%'.format)
我对dataframe中的其他几行应用了类似的格式。过去，当我从csv文件中读取数据时，这种方法非常有效，但现在从数据库中读取数据时，该行上会出现一个ValueError，其内容如下：
ValueError: Unk
浏览 6提问于2016-08-18得票数 0
当我尝试从mac os上的modin导入熊猫时，我遇到了以下内容 import modin.pandas as pd。这个问题可能的解决方案是什么？ 错误回溯 ImportError Traceback (most recent call last)
<ipython-input-44-7e7b44bd7fd7> in <module>
----> 1 import modin.pandas as pd
~/opt/anaconda3/lib/python3.8/site-packages/modin
浏览 37提问于2021-04-09得票数 0
问题1:使用pandas read_sql读取MySQL。生成的dataframe有一列，其数据类型为unicode字符串。此列将转换为元组并在以下查询中使用。
问题2:使用pandas read_sql读取Redshift。该查询类似于
select b.a from b where b.c in {0}
在一个字符串上，它给了我一个错误。该字符串类似于u"Hello 'There“，这是一个有效的unicode字符串。
syntax error at or near ""Hello 'There""
但它不应该这样做。它将其视为一个空
浏览 15提问于2016-09-19得票数 0
1回答
熊猫Modin射线库启动失败
、、、、
我正在尝试用加速我的熊猫数据处理。
import os
os.environ["MODIN_ENGINE"] = "ray"
import modin.pandas as pd
df = pd.read_csv(r"C:\Users\Harshad\Documents\Files\Data\Pre-processed\data.csv", low_memory=False)
我得到以下警告和错误：
UserWarning: Ray execution environment not yet initialized. Initializing..
浏览 5提问于2022-02-09得票数 0
回答已采纳
我想从我的神谕中读取数据，我使用熊猫的read_sql并设置参数chunksize=20000，
from sqlalchemy import create_engine
import pandas as pd
engine = create_engine("my oracle")
df = pd.read_sql("select clause",engine,chunksize=20000)
它返回一个迭代器，我想使用df = pd.DataFrame(df)将这个生成器转换为数据帧，但这是错误的，如何将迭代器转换为数据帧？
浏览 8提问于2018-09-03得票数 0
回答已采纳
4回答
import modin.pandas as pd
我正在我的windows 10机器中导入modin.pandas库，但是出错了。
"AttributeError:模块'ray‘没有属性'utils'“
安装modin库时遗漏了什么？
浏览 4提问于2021-05-01得票数 7
1回答
我在windows终端中创建了一个具有以下语法的虚拟环境：
conda create --prefix ./modinenv python=3.6 numpy
conda activate e:\modin\modinenv
pip install modin[dask]
jupyter notebook
在一个新的python文件中，当我执行以下命令时：
import modin.pandas as pd
它给了我一个错误：模块创建者没有模块名为'modin'
我搜索了很多论坛，但没有得到任何可行的回应。
在导入语句之前，我甚至尝试如下：
import os
os.envir
浏览 4提问于2021-01-28得票数 1
我试图在Databricks上使用Modin并得到这个错误
我试过pip install modin[all]和pip install modin[ray]
首先，安装需要15分钟，这很奇怪。
安装后，我正在做
import modin.pandas as md
df = md.read_parquet('s3://path/to/file')
得到这个错误
ModuleNotFoundError:没有名为“ray”的模块
我也尝试过设置os.environ["MODIN_ENGINE"] = "ray"
浏览 8提问于2022-06-29得票数 0
1回答
英特尔Modin木星笔记本问题
、、、、
我对modin有两个问题
最近，我无法使用以下命令创建modin环境：
conda create -n aikit-modin intel-aikit-modin -c intel -c conda-forge
(正如AI分析工具包的文档链接中提到的那样)
似乎需要对文件进行更正。
我能够使用股票创建modin环境。
conda create -n stock-modin modin -c conda-forge
(参考-和数据科学的规模与Modin文档：
)
但是当我尝试在Intel的在线JupyterLab中做modin示例时，我得到了一个
文件保存服务器错误/
浏览 7提问于2021-06-04得票数 1
回答已采纳
2回答
我一直在寻找并行化的选项，并找到了ray和modin。经过一些测试后，我对使用modin的好处有点迷惑了。两个例子：
适用于180 MB文件的df = pd.read_csv() pandas 5.2s与modin.pandas 2.7s
但是df.groupby() pandas的0.59对modin.pandas的5.46
哪些类型的应用程序将从使用modin中受益？这里是否有一个通用的规则，或者所有的东西都必须单独测试？
浏览 11提问于2021-01-08得票数 0
1回答
尝试使用modin.pandas来使用此应用函数的所有核心
from nltk.sentiment.vader import SentimentIntensityAnalyzer
sid = SentimentIntensityAnalyzer()
# sentiment Score of essay
data = data.merge(data.essay.apply(lambda s: pd.Series({'neg':sid.polarity_scores(s)['neg'],
浏览 0提问于2020-01-11得票数 2
回答已采纳
当我使用熊猫时，我可以连接到
import sqlalchemy as db
db.create_engine('sqlite:///C:\db\PositionTrackDB.db')
现在，我正试图用modin.pandas代替熊猫，并使用数据库。但是，无论我如何尝试，我总是会得到一个不受支持的数据库的错误：
import modin.pandas as pd
from modin.db_conn import ModinDatabaseConnection
conn = ModinDatabaseConnection('sqlite:///test.db&#
浏览 12提问于2022-08-17得票数 0
1回答
通用问题：我有两个相似的数据框架(相同的形状，相同的变量，但值不同)。
如何根据来自applymap的df1单元格的值，在df1的每个单元上设置一个函数。
My的具体问题：如何根据来自df2的单元格的十进制数对df1的每个单元格进行applymap(round())函数。
我使用了一个for循环来完成这个操作，这个循环横跨我的dataframe的列。现在，我希望使用df.applymap()或df.apply(np.vectorized())函数优化代码，以避免循环。
可选:我还想按变量对这个整数进行洗牌。
下面的代码工作正常，但需要优化。
import numpy as np
import
浏览 12提问于2021-06-28得票数 1
我试图在代码中用modin熊猫替换熊猫：
if not isinstance(X, pd.DataFrame):
raise TypeError(
"X is not a pandas dataframe. The dataset should be a pandas dataframe.")
但错误是：
DataFrame Expected type <class 'pandas.core.frame.DataFrame'>, found <class 'modin.pandas.dataframe.DataF
浏览 3提问于2022-02-20得票数 1
回答已采纳
2回答
我有一个pandas数据框架，可以很好地存储在内存中。我在数据框上做了几个map，但由于传递给map的回调函数的复杂性，每个map都很耗时。我有一个亚马逊网络服务C4实例，它是8核和16 C4内存。我在机器上运行python脚本，发现超过80%的CPU时间是空闲的。因此，我认为(如果我错了，请纠正我) python脚本是单线程的，并且只占用一个内核。有没有办法在多核机器上加速pandas？以下是两个耗时的地图的片段
tfidf_features = df.apply(lambda r: compute_tfidf_features(r.q1_tfidf_bow, r.q2_tfidf_bow
浏览 0提问于2017-04-15得票数 6
问题
我安装了conda install -c conda-forge modin
当我导入import modin.pandas as pd时
我收到一条错误消息
试用解决方案
类似但不同的框架，不同的用例和稍有不同的错误信息-
未解决GitHub问题-
不同的错误代码-
不同的错误代码-
错误消息
---------------------------------------------------------------------------
AttributeError Trac
浏览 26提问于2022-07-26得票数 0
回答已采纳
我正在尝试使用cx_Oracle模块从Oracle数据库中提取数据并将其放入Pandas数据帧中。
使用fetchall()函数时，如下所示
cursor = con.cursor()
cursor.arraysize = 1000
results = cursor.execute("select * from TABLE1")
rows = results.fetchall()
提取速度与使用R Oracle库提取非常相似，大约需要8秒(数据大小约为750,000行和30列混合数据类型)
但是，当使用Pandas read_sql函数将其导入到数据帧中时，性能要差得多
df
浏览 3提问于2016-07-06得票数 3
2回答
我使用的是DataikuDSSV6.0，它使用的是pandas==0.23，不能手动升级。我也在尝试使用只与pandas==0.25兼容的modin==0.6。我尝试过使用需要pandas==0.23的modin==0.3，但这个旧版本在我调用的一些pandas方法中抛出了异常。
对此有什么解决方法吗？我能以某种方式强制modin==0.6接受pandas==0.23吗？否则，有没有一种方法可以同时安装pandas==0.23和pandas==0.25，并强制DSS使用0.23和modin使用0.25？
浏览 21提问于2020-02-04得票数 2
我正在使用便携式python 2.7.6.1，我想将一个查询从oracle数据库导入到python大熊猫中。我已经搜索了几个例子，并提出了以下代码：
from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('oracle://user:pass@host:port/schema', echo=False)
df = pd.read_sql('select * from databasetable', engine, index_col = index)
p
浏览 2提问于2015-02-19得票数 4
回答已采纳
由于Modin不支持从s3上的多个py箭头文件中加载数据，所以我使用py箭头加载数据。
import s3fs
import modin.pandas as pd
from pyarrow import parquet
s3 = s3fs.S3FileSystem(
key=aws_key,
secret=aws_secret
)
table = parquet.ParquetDataset(
path_or_paths="s3://bucket/path",
浏览 4提问于2020-09-02得票数 5
我使用的是本地主机postgresql数据库9.6。它们是这样连接的
conn_string = """host='localhost'
dbname='contact_form'
user='{0}'
password='{1}'""".format(db_username,
浏览 1提问于2017-03-02得票数 1
我用简单的DXL脚本生成链接。有人能解释一下为什么下面的指定行会抛出错误吗？错误是(忽略行号)
-E：(->)的不正确参数
-E:不正确地连接令牌
-E:函数(object)的不正确参数
我对DXL RefManual (9.3)中的信息的解释是，"<-“和"->”对于任何定义对象的方法都是合法的。这里到底发生了什么？
Module modin = edit("/Carl.Witthoft/tablemix",true,false)
if (null(modin)) ack("Error!in")
Module modo
浏览 2提问于2017-08-14得票数 0
回答已采纳
我的Python脚本在一个有python 3.9.2的虚拟环境中执行得很好，但是当我使用pyinstaller创建一个exe时，exe不能工作，我会得到某些模块的跟踪，但是当我在spec文件的帮助下添加缺少的模块时，它会给出其他一些缺少的模块的跟踪。
File “modin\config\pubsub.py”, line 118, in get
File “modin\config\envvars.py”, line 32, in _get_raw_from_config
File “os.py”, line 669, in getitem
KeyError: ‘MODIN_ENGINE’
浏览 14提问于2021-11-23得票数 0
1回答
我正在使用来缩放大型数据集的。但是，当使用pd.read_csv在jupyter notebook中加载一个5 MB的csv数据集以比较modin.pandas和pandas的性能时，它会给出意想不到的执行时间。
modin.pandas 比 pandas**.花更多的时间为什么？**
码-
import modin.pandas as mpd
df = mpd.read_csv(r"C:\Downloads\annual-enterprise-survey-2019-financial-year-provisional-csv.csv")
import pandas as
浏览 1提问于2021-01-18得票数 5
回答已采纳
我的代码是这样的： large_series += add_factor
large_series *= multiply_factor 其中large_series是一个大的pandas.Series。 这段代码占用了我的大量运行时，我想对其进行优化。一种观察结果是，与其作为两个单独的操作来完成此操作-首先将整个Series相加，然后将整个Series相乘-它可以通过一个操作来完成:递增和相乘Series中的每个值。 如何做到这一点？ 我听说过像Numba这样的针对Pandas的JIT优化器，我想知道这样的优化器是否也能有所帮助。
浏览 9提问于2020-03-21得票数 0
1回答
我用Python语言编写了一个模块，它使用pd.read_sql方法从数据库中读取几个表，对数据执行一些操作，然后使用pd.to_sql方法将结果写回同一个数据库。
例如，其中一个测试将检查从数据库获得的数据帧是否为空，另一个测试将检查数据类型是否正确等。对于此类测试，如何创建反映这些错误(如空数据框、不正确的数据类型)的样本数据？对于不从数据库读/写的其他模块，我创建了一个样本数据文件( CSV)，读取数据，进行必要的操作并测试不同的函数。对于与数据库操作相关的模块，我如何(更重要的是在哪里)创建示例数据？
我希望创建一个本地数据文件(就像我测试其他模块时所做的那样)，然后使用read_sq
浏览 0提问于2020-05-27得票数 1
我正在使用pyodbc和pandas read_sql从Oracle db中提取数据。
输入此行时，我看不到错误
df = pd.read_sql(sql_str,cnxn,chunksize=10)
但当我试着看到
df
我得到了这个错误
<generator object _query_iterator at 0x092D40F8>
我对这个错误的含义或可能导致它的原因的搜索没有得到令人满意的答案。
使用块大小的原因是我有一个包含6,000万行的Oracle db表，并计划以位为单位下载，然后将它们放在一起，就像下面这样：
浏览 0提问于2015-07-02得票数 4
回答已采纳
我有一个modin数据帧，它有120 K行。我想把它的几个栏目合并起来。Modin迭代花费了大量时间，所以我尝试使用numpy.where。Numpy.where是在相当于熊猫df在5-10分钟内完成，但同样的事情在摩丁df需要30分钟。对于modin dataframe来说，有其他方法来加速这个任务吗？
cols_to_be_coalesced ->此列表包含要合并的列列表。它包含10-15列.
代码：
for COL in [cols_to_be_coalesced]:
df['COL'] = np.where(df['COL']!='
浏览 2提问于2021-04-23得票数 0
我正在试着加速我的代码。
以下是我的示例代码。(实际代码更为复杂
import pandas as pd
import time, math, random
length=10000
x = [random.randint(0,100) for _ in range(length)]
y = [random.randint(0,100) for _ in range(length)]
x_pd = pd.Series(data=x)
y_pd = pd.Series(data=y)
print(x)
print(y)
print(x_pd)
print(y_pd)
distance= 0
浏览 2提问于2021-01-22得票数 1
我有一个要转换为json对象的json字符串的数据格式。df.col.apply(json.loads)对熊猫很好，但在使用modin时却失败了。
示例：
import pandas
import modin.pandas
import json
pandas.DataFrame.from_dict({'a': ['{}']}).a.apply(json.loads)
0 {}
Name: a, dtype: object
modin.pandas.DataFrame.from_dict({'a': ['{}']})
浏览 0提问于2019-05-12得票数 0
回答已采纳
2回答
我正在努力使用多线程来计算购物篮中有不同购物项目的客户列表之间的相关性。因此，我有一个包含1,000个客户的pandas数据框，这意味着我必须计算100万次相关性，这需要花费太长的时间来处理
数据框的示例如下所示：
ID Item
1 Banana
1 Apple
2 Orange
2 Banana
2 Tomato
3 Apple
3 Tomato
3 Orange
以下是代码的简化版本：
浏览 2提问于2016-05-19得票数 13
1回答
我正在对围绕6GB的大型文件进行计算，每个文件中都有、Modin、熊猫、，我听说与熊猫相比，这是优化的。
我需要以块的形式读取CSV文件，并对其执行计算，并将其附加到大型 dataframe 中，并再次将大数据文件转换为CSV文件。
这对于Pandas来说是非常好的。但是处理小文件需要花费太多的时间。对于6GB文件，我甚至都无法想象。
然而，当我试图对modin熊猫做同样的事情时，它无法将dataframe附加到一个大的数据文件中，而我想要转换为csv文件。
有人能提出任何替代这个或解决方案的建议吗。
Python - 3.6
Pandas - 0.24.2
Modin Pandas - 0.
浏览 0提问于2019-06-15得票数 1
回答已采纳
我使用库进行多处理。虽然这个库很适合更快的处理，但是它在merge上失败了，我想在代码之间恢复到默认的熊猫。
我理解根据PEP 8: E402约定，导入应该声明一次，并且在代码的顶部声明，但是我的情况不需要这样做。
import pandas as pd
import modin.pandas as mpd
import os
import ray
ray.init()
os.environ["MODIN_ENGINE"] = "ray"
df = mpd.read_csv()
do stuff
然后，我想在相同的代码中恢复到默认的大熊猫，但我将如何
浏览 19提问于2022-06-03得票数 0
回答已采纳
我正在使用pandas库将mysql数据库的内容写入csv文件。
但是当我编写CSV时，每隔一行都是空白的：
此外，它还将行号打印到我不想要的左边。第一列应该是“帐号”。
下面是我的代码：
destination = 'output_file.txt'
read_sql = """ SELECT LinkedAccountId,ProductName,ItemDescription,ResourceId,UnBlendedCost,UnBlendedRate,Name,Owner,Engagement FROM billing_info ;&#
浏览 0提问于2019-05-31得票数 15
回答已采纳
为了让我的pandas代码更快，我安装了modin并尝试使用它。之前工作过的两个数据帧的合并给出了以下错误：
ValueError: can not merge DataFrame with instance of type <class 'pandas.core.frame.DataFrame'>
以下是两个数据帧的信息：
printing event_df.info
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1980101 entries, 0 to 1980100
Data
浏览 9提问于2019-11-18得票数 0
当熊猫读取read_sql字节列时会出现问题。如果您通过DBeaver查看sql，那么字节列显示的不同，但如果您通过read_sql查看它，就会发现熊猫将值转换为十六进制。
例如，熊猫显示列值-
b'\x80\xbc\x10`K\xa8\x95\xd8\x11\xe5K\xf9\xe7\xd7\x8cq'
我需要-
0x80BC10604BA895D811E54BF9E7D78C71
如果我在sql中使用
CONVERT(varchar(max),guid,1)
熊猫给予正确的价值观。但是我需要转换python中的列，而不是sql中的列。
浏览 12提问于2022-11-30得票数 1
回答已采纳
1回答
我正在学习如何使用大型数据集，所以我使用modin.pandas。我正在做一些聚合，在此之后，一个50 5GB的数据集有望变得更接近5GB的大小--现在我需要检查一下:如果df足够小，可以放进RAM中，我想把它转换成熊猫，并享受一个没有bug的可靠库。所以，很自然，问题是:如何检查它？.memory_usage(deep=True).sum()告诉我整个df使用了多少，但我不可能从这个数字中知道内存中有多少，以及交换中有多少--换句话说，我需要多少空间才能把df投给熊猫。还有别的办法吗？我认为某些分区驻留在RAM中，而其他分区位于交换区中，这是正确的吗？当我调用._to_pandas()时，如
浏览 5提问于2022-04-22得票数 0
我试图使用DataFrame和read_sql查询对象将数据读取到SQLAlchemy中。尽管数据库中有数据，但返回的行数为零。此外，如果我使用query.all()运行查询，那么read_sql将返回数据。
一个具体的例子
query = session.query(SomeSqlAlchemyModel)
# query.all() # If I uncomment this line, I get data back. Without it I get an empty DataFrame.
df = pd.read_sql(query.statement, session.conne
浏览 11提问于2022-03-04得票数 0
回答已采纳
1回答
我一直在尝试使用cx_oracle提取sql表，并使用以下脚本将其保存为pandas dataframe： import cx_Oracle
import pandas as pd
id = 1234
connection = cx_Oracle.connect(user="user", password='pwd',dsn="dsn")
# Obtain a cursor
cursor = connection.cursor()
# Execute the query
query = """select * fro
浏览 27提问于2021-07-07得票数 0
回答已采纳
我有一个烧瓶-平方炼金术的查询。我知道下面的烧瓶-sqlalchemy查询代码是有效的，因为我能够用'eintest‘变量在html表中的另一个页面上填充数据。
ticker = 'msft'
eintest = db.session.query(company).filter(company.instance==ticker)
我所要做的就是把上面的烧瓶-sqlalchemy代码转换成一个熊猫数据框架，就像我在下面所做的那样。
df = pd.read_sql(eintest.statement, db.session.bind)
当我运行我的烧瓶应用程序时，我会得到
浏览 4提问于2022-10-15得票数 2
回答已采纳
我正在创建一个python脚本，它创建来自sybase查询的csv文件。 pandas创建文件时，csv文件中的所有数值都以".0“结尾(例如，2.0而不是2)。 我可以在查询中强制转换为整数，但这会影响查询性能。 为了解决这个问题，我在read_sql函数内部将coerce_float参数设置为false。 但是，所有列都转换为字符串，有些列必须是浮点型，小数点分隔符是“。我需要"，“作为小数点分隔符。 我的问题是:有没有办法将默认的小数分隔符改为逗号，并将coerce_float保持为False？ Obs:简单的字符串替换不能解决我的问题，因为脚本将读取几个查询文件。
浏览 25提问于2021-01-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
