如何提高pandas.apply()在大型熊猫栏上执行文本清理操作的性能？
如何提高pandas.apply()在大型熊猫栏上执行文本清理操作的性能？
提问于 2022-07-08 06:53:30
我正在处理一个tweet数据集，其中一列是tweet的文本。下面的功能执行tweet的清理，包括删除标点符号、停止词、小写转换、删除表情符号，这些本身都是一个小的实用函数。
def clean_text(text):
text = text.lower().strip()
text = remove_punct(text)
text = remove_emoji(text)
text = remove_stopwords(text)
return text我正在为已清除的文本创建一个新列：
df['clean_text'] = df['text'].apply(lambda x: clean_text(x))随着数据集的大小增加，这变得非常缓慢。Numpy.where()提供了过滤数据的significant performance improvement。我如何使用map()或numpy.where()或其他什么来加快上述应用操作的速度？
回答 1
Stack Overflow用户
发布于 2022-07-08 07:18:31
如果不想调整函数本身，可以使用Pandarella来解析应用https://github.com/nalepae/pandarallel。它甚至给了你一个很好的进度条:)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72907702
复制相关文章
相似问题
腾讯云开发者
