我有一个不超过10行的df (df1)。它显示两个引用列(Val1, Val2)和代表一个重要字符串的第三列(Item)。我有第二个数据框，它包含相同的引用列(Val1, Val2)，但超过500万行。我想以一种有效的方式将Item从初始df映射到第二个数据帧。
我已经尝试过merge或设置索引并使用join。有没有单独的方法可以用来代替合并/连接两个数据帧？
浏览 8提问于2021-03-12得票数 1
回答已采纳
1回答
我知道在numpy数组上工作会比pandas更快。在下面的示例中，我创建了一个数据帧和一个字典。字典包含列的名称及其对应的映射。我想知道有没有什么函数可以让我把一个二进制数组提供给一个numpy数组来进行映射，并产生更快的处理时间？import pandas</em
浏览 2提问于2021-05-24得票数 1
我尝试使用以下代码(我在Tensorflow教程here中找到)来读取CSV文件中的数据： def get_dataset(file_path, **kwargs):
dataset = tf.data.experimental.make_csv_dataset然而，在我的CSV文件中，我有多列作为标签(我有1008个特征和2列作为标签)。我想知道如何使用这个make_csv_dataset读取我的数据。 谢谢!
浏览 55提问于2020-03-17得票数 2
2回答
在pandas dataframe中，我有许多列中的数据，如下所示：MBs| Gigabytes|...| MBs|Gigabytes |Megabytesmapping = {'Megabytes':'MB', 'Gigabytes':'GB', 'MBs':'MB'
浏览 0提问于2017-07-27得票数 1
12 Japan ios 0因此，我去Pandas.DataFrame现在，我将根据dict替换数据序列中的值。. : ..因为我使用Pandas.DataFrame.Column_Label.drop_duplicates()。12 3 ios 0
3 1
浏览 2提问于2016-03-17得票数 1
1回答
一个有趣的观察，我觉得我应该澄清。我预计pandas切片操作应该比压缩数据帧的列更快，但在两个操作上运行%timeit时，压缩操作更快……s = pd.DataFrame次循环)每环53.7µs±6.07µs(平均值±标准dev.共7次运行，每次10000次循环)
这说明pa
浏览 1提问于2018-10-16得票数 0
2回答
例如，假设1个数据帧是学生数据帧的分数，第二个数据帧是学生数据帧的组合。我想要遍历每个combination_DF，获得学生的分数，然后将其相加。combination_DF
Dennis James Leo 现在我的程序循环遍历每个combination_DF，找到每个名字的分数，并添加一个列，该列将包含每个组合的总分数，这真的减慢了我的</
浏览 0提问于2018-01-08得票数 0
回答已采纳
1回答
我有一些pandas代码，我试图在一个大数据集上运行，尽管使用了apply，但它看起来本质上是迭代和运行缓慢的……欢迎您的建议！ 我在试着把我的数据分组。每行都有一个非唯一的事件ID，并且每个事件ID可以包含多个事件。如果这些事件中的任何一个是特定的类型，我希望具有该ID的每一行都有一个特定的标志-例如，这种类型的事件发生在该ID中。然后，我希望导出仅包含ID的数据框，并使用该标志显示该事件是否在该
浏览 24提问于2020-09-23得票数 1
回答已采纳
我在pandas DataFrame的列中有一个逗号分隔的字符串： ? 我有一个映射数据帧 ? 我想要最终的数据帧： ? 我想要一个新的列，并用映射数据帧中的值替换ids，写pythonic + pandas的方法是什么？
浏览 22提问于2021-11-02得票数 0
回答已采纳
使用pyspark时，哪个选项的性能最好？使用map的UDF或RDD处理？
浏览 23提问于2020-06-26得票数 1
2回答
我有一个无序的映射，就像这样：在向其中插入值时，以下哪一项会更快?方法1(骨架)：for (int i = 0; i < n; ++i) {
std::string value = std::to_string(im_unordered_map[k
浏览 48提问于2019-04-10得票数 0
回答已采纳
我正在使用pandas读取csv文件。数据是数字，但以文本形式存储在csv文件中。当某些值不正确或丢失时，它们不是数字。如何过滤掉这些值并将剩余的数据转换为整数。我假设有一种比遍历所有值并使用isdigit()测试它们是否为数值更好/更快的方法。
pandas或numpy有没有办法在阅读器中识别不好的值？如果没有，最简单的方法是什么？
浏览 2提问于2012-03-29得票数 1
回答已采纳
1回答
我目前正在修改一个循环结构中的pandas数据帧，如下所示： for item in item_list: ~~~~ do something to the item ~~~~~results_df = results_df.append(item) 这段代码适用于附加的小项目，以及results_df很小的时候。但是，我附加的项目相当大，循环也相当长，这意味着这个循环需要相当长的时间才能完成，因为当result_df变大时，复制它的开销很大。这是可以
浏览 16提问于2020-09-17得票数 0
1回答
我的目标是传递.xlsx文件并将其转换为.csv，然后进行解析以删除.csv中的特殊字符，并在空单元格中显示"NaN“。为了做到这一点，我使用下面的代码。另一方面，如果我运行代码，不能捕获.csv中的"NaN“吗？和Pandas。VERSIONScommit: Nonepython-bits: 64OS-release: 10nose: 1.
浏览 3提问于2018-03-19得票数 0
1回答
我试图从MSSQL DB中提取一个值，代码如下所示：import pypyodbcdf = pd.read_sql_query(query, connection)
但是这会返回一个dataframe对象，是否有一个方法只返回一个字符串值，可能没有Pandas。最重要的是速度。是否有一种<e
浏览 2提问于2017-07-26得票数 0
回答已采纳
1回答
我有一个名为calculate_distance的函数，它以4个Pandas单元为输入，并返回一个新值，我希望将它分配给特定的Pandas单元。如下面的代码所示，这4个输入值动态变化。'].iloc[i-1], df['longitude'].iloc[i-1], df['latitude'].iloc[i], df['longitude'].iloc[i])
有比这个“新手”循环更快的</e
浏览 0提问于2018-09-20得票数 2
回答已采纳
举个例子:我希望有一个查找表，将一组输入(域)值映射到输出(范围)值。映射是唯一的。Python map可以做到这一点，但由于map非常大，我想，为什么不使用ps.Series及其索引，这增加了我可以做到的好处：
传入多个值以映射为一个序列(希望比字典查找更快)中维护了原始序列的索引上面的.map的时间开销在使用len(domain2range)而不是(更明智地)使用O(len(query_vals
浏览 136提问于2018-06-01得票数 5
回答已采纳
我找到了一种巧妙的方法来缩小PySpark数据的大小，并将其转换为Pandas，我只是想知道，随着的大小越来越小，toPandas函数会变得更快吗？window).alias('row_number')) del pdf break
另外，下面的代码真的是将数据映射到熊猫的更快的方法
浏览 5提问于2020-01-21得票数 2
回答已采纳
1回答
我正在寻找一种重写pandas groupby的方法来提高性能，因为当前版本将在感兴趣的数据集上持续很长时间： def to_df_with_lists(group, gby):
ret_df，它将值保存到一个列表中。我想得到这样的结果(请注意，如果列表的长度为1，则groupby函数返回单个值，而不是包含该值的列表)： ? 我知道这不是使用DataFrames的最佳/常见方
浏览 9提问于2020-06-23得票数 1
回答已采纳
1回答
我的问题是，对于数据操作(例如，读取、处理)，会更快，因为所有工作都映射到SQL查询中，优化留给优化器。但是，同时，Pandas正在处理一个比与服务器通信更快的文件？用例：
我正在处理由1,737,123行和8列组成的文本数据集。我将此数据集输入RNN/LSTM网络。我在喂食之前做了一些预处理，这是一种使用定制编码算法的编码
浏览 0提问于2018-10-20得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
