Pandas/Python中的数据操作

文章/答案/技术大牛

发布

2回答

python、pandas

这似乎是一个简单的数据操作。但我被困在这一点上。100301实际上，我在4000+的</e

浏览 14提问于2016-08-23得票数 2

1回答

使用Pandas处理Python中的大型SQL查询？

python、postgresql、pandas、dataframe、bigdata

我想对一些数据进行备份测试，这些数据将使用Python、psycopg2和Pandas从Postgres数据库中提取。将从Postgres提取的数据非常大(超过10 of )--即使Pandas数据帧能够存储这么多数据，我的系统也无法以RAM的形式保存这些数据。综上所述，我希望我的Python程序需要执行以下操作</em

浏览 27提问于2017-11-02得票数 3

回答已采纳

1回答

python -分析刮取数据时的最佳方法

python

这种情况每天都会发生，数据保存在csv文件中。我已经积累了3个月的每日数据，所以大约有80个文件。(文件中的每一行都有相同的日期，然后是不同的共享)。我现在要做的是按份额检查动量指标和其他比率的演变情况。例如，我认为我应该得到一系列的列表，例如 GSK_momentum_indicator = (42, 43, 38, 47,...)现在，作为一个新手，我有两个问题: 1)你认为什么是最好的

浏览 2提问于2016-08-21得票数 0

2回答

我最近一直在一个slackbot的工作，我有基本的功能下来，我能够采取简单的命令，并使机器人的答案。但是，我想知道是否有必要让机器人存储用户给出的一些数据，例如"@slackbot 5,4,3,2,1“，然后让机器人对其进行排序，并像"1,2,3,4,5”一样返回。另外，有没有办法让机器人读取外部.csv文件并返回某种类型的信息？例如，我想让机器人告诉我.csv文件的第一行是什么意思。谢谢!任何帮助都将不胜感激

浏览 1提问于2017-10-06得票数 0

1回答

如何导入一个大于内存限制的gzip文件到一个熊猫DataFrame？“杀死9”使用HDF5？

python、pandas、dataframe、gzip、hdf5

我有一个大约90 GB的gzip。这完全在磁盘空间内，但比RAM大得多。# start with Python 3.4.5filename = 'filename.gzip' # size 90 GBdf = read_table(filename, compression='gzip') 然而，几分

浏览 12提问于2016-07-20得票数 3

回答已采纳

1回答

如何用Python完成把和复制到雪花中的操作

python、snowflake-cloud-data-platform、snowflake-connector

我需要知道如何执行PUT文件并将其复制到Python中。我知道write_pandas将直接将数据写入雪花，并在幕后执行PUT和复制操作，但我如何用Python“手动”完成这一操作呢？只需寻找一个好的示例，该示例将文件分阶段并将其复制到XML数据的现有变体列中。当我尝试使用write_pandas时，它在每行周围插入引号，这会使Select语句中的列在稍后

浏览 3提问于2022-06-02得票数 0

回答已采纳

1回答

有没有一种通过列表理解来迭代两个数据帧的更快方法？

pandas、dataframe、list-comprehension

我有两个数据帧，一个包含屏幕名称/显示名称，另一个包含个人，我正在尝试创建第三个数据帧，每次屏幕名称/显示名称中出现姓氏时，在新行中包含来自每个数据帧的所有数据。从功能上讲，这将创建一个可能匹配的名称列表。我当前的代码运行得很好，但运行速度非常慢，如下所示：# cols = 'userid','screen_name'

浏览 0提问于2016-04-11得票数 1

1回答

Pandas和Pandas被证明可以一起工作吗？

python、pandas、apache-spark、pyspark、apache-spark-sql

我面临许多问题，集成/添加Pandas现有代码的Pandas代码。1)如果我将Pandas dataframes转换为，那么多个操作就无法很好地转换，因为Pandas dataframes似乎没有Pandas dataframes那么丰富。2)如果我选择使用Pandas和pandas在同一代码中处理不同的数据集，当通过map调用的函数包含任何熊猫

浏览 2提问于2017-12-26得票数 6

2回答

pyspark.pandas和熊猫有什么区别？

pandas、pyspark

开始在Databricks上使用PySpark，我看到我可以在pandas的同时导入pyspark.pandas。有什么不同吗？我想这不像koalas，对吧？

浏览 13提问于2022-09-20得票数 0

1回答

Pandas/Python - Excel数据操作

python、arrays、string、excel、pandas

所以，Python/Pandas相对较新，但我确实有几年的编程经验，但主要是用Java/C++，所以没有什么像Python这样的脚本语言。通过使用Pandas从excel表格中删除冗余，我想让我们的数据分析任务变得更有效率。然而，我试图“解析”的冗余是"description“excel列中的一个子字符串。import pandas

浏览 1提问于2016-05-26得票数 0

1回答

在Power中设置API从网站中提取数据

python、api、powerbi-desktop

我对python和API还比较陌生，基本上，我在吴福奥中有一个表单，我目前正在手动将数据导出到excel文档中，以便构建一个Power报告。我一直试图建立一个网络连接，直接到吴福，所以我不再需要做手动数据拉。我尝试使用Power中的get数据，并输入URL：)更新子域并使用表单的散列作为标识符，并将格式设置为json我在下面用Pytho

浏览 4提问于2021-08-28得票数 0

回答已采纳

1回答

来自stdin的Pandas数据

python、json、pandas、stdin

有没有可能让标准输入数据进入pandas DataFrame？目前，我将数据保存在一个中间的json文件中，然后执行以下操作：但是想知道是否可以在python脚本中直接通过管道传输stdin我发现了这个：，但不确定如何在pandas DF中进行逐行插入。

浏览 2提问于2013-08-29得票数 16

回答已采纳

2回答

如果列中的值为NaN，如何删除整行

machine-learning、python、data-cleaning、data

我想删除所有包含与列相关的NaN值的行。假设我有这样的数据集：12 5'7 NaN M32 5'5165 NaN55 5'10 170 NaNAge Height Weight

浏览 0提问于2018-04-13得票数 8

回答已采纳

3回答

尝试在python中解析文本文件以进行数据分析

python、parsing、numpy、scipy、pandas

我用perl做了很多数据分析，我正在尝试用python复制这项工作，使用pandas、numpy、matplotlib等。一般工作流程如下：2)解析文件，因为它们有元数据4)将匹配标签和加载数据的行拆分为散列\n"; 我希望将这些数据加载到一个分层<

浏览 2提问于2012-11-13得票数 2

2回答

df[:，'column_name']和df['column_name']在从pandas.dataframe查询数据时有什么区别？

python、pandas、dataframe

df[:,'column_name']和df['column_name']在从熊猫的DataFrame中查询数据时有什么区别？当我使用df[:,'Energy_supply']时，我就进入了这个阶段但是当我使用df['column_name']时，我得到了我想要的。我的数据是带有country_name索引的228行×3

浏览 0提问于2018-06-08得票数 0

回答已采纳

2回答

pyspark性能与纯python做简单求和

python、pyspark

在具有4个CPU的Ubuntu16.04虚拟机上，我对pyspark和纯python的性能进行了简单的比较。我在有4个cpus的虚拟机上以本地安装的方式运行spark。import pysparkfrom operator importIt should be

浏览 32提问于2020-05-15得票数 2

1回答

在Python中使用Pandas处理对于excel而言太大的数据集

python、excel、pandas、sas

我有一个关于在python中使用pandas分析大型excel表格的快速应用程序问题。对于有数百万行的数据(超出Excel的限制)，我们如何通过pandas来分析它们？我知道excel可以让你从一个文本文件中加载数据，并让你的excel电子表格“创建一个连接”到源文件，而不必直接加载所有数百万行。如果我们在python中使用pandas调用这个excel电子表格，我们是否能够对源文件中</

浏览 135提问于2020-12-03得票数 0

2回答

snowflake select cursor语句失败

python、snowflake-cloud-data-platform、snow

‘cursor.execute(从表中选择*)；’我们有没有其他方法可以用python脚本从雪花表中提取所有的数据

浏览 4提问于2020-12-18得票数 0

2回答

从Snowflake卸载数据并每小时更新JIRA API的有效方法

python、pandas、jira、snowflake-cloud-data-platform

我们有一个当前的设置，python应用程序将通过它从SQL中提取数据，将它们放到pandas dataframe中，检查业务逻辑并更新JIRA问题的字段。issue.update(fields=update_dict) 我正在尝试构建相同的应用程序来从表中卸载Snowflake数据并更新JIRA问题的字段。我考虑的设计方法是将Snowflake数据卸载到S3。使用pytho

浏览 25提问于2021-07-13得票数 0

1回答

python-polars `df.select`操作的性能改进

python-polars

目前，我正在尝试将一些代码迁移到polars，但注意到了过程中的一些性能差异。={platform.python_version()}; numpy={np.=macOS-11.6.5-x86_64-i386-64bit; processor=i386; CPUs=4这些结果表明，对于包含Python的操作，polars要比<e

浏览 3提问于2022-06-18得票数 1

回答已采纳

点击加载更多