问在大熊猫中执行nltk.stem.SnowballStemmer
EN

Stack Overflow用户

提问于 2020-01-13 07:24:20

回答 1查看 868关注 0票数 1

我有一个四列的DataFrame，其中有两列标记化的单词，它们已经删除了停止词，并转换成小写，现在正试图阻止它们。

我不确定apply()方法是否访问了这个系列和它的单个单元，或者我是否需要另一种方式进入每一条记录，因此尝试了这两种方法(我认为！)

from nltk.stem import SnowballStemmer

stemmer = nltk.stem.SnowballStemmer('english')

我试过：

df_2['Headline'] = df_2['Headline'].apply(lambda x: stemmer.stem(item) for item in x)

在() -->1df_2‘标题中的跟踪(最近一次调用)__‘=df_2’标题‘.应用(lambda:stemmer.stem(项目)表示x中的项目)

应用中的~\AppData\Local\Continuum\anaconda3\envs\learn-env\lib\site-packages\pandas\core\series.py (self，func，convert_dtype，args，**kwds) 3192

其他: 3193个值=self.astype(对象).values -> 3194 and =lib.map_infer(value，f，convert=convert_dtype) 3195 3196，如果len(映射)和isinstance(映射，串联)：

熊猫/_libs/src\ference.pyx在pandas._libs.lib.map_infer()

TypeError：“生成器”对象不可调用

我相信这个TypeError类似于说'List‘对象是不可调用的，并且用apply()方法修复了这个对象，这里没有任何想法。

df_2['Headline'] = df_2['Headline'].apply(lambda x: stemmer.stem(x))

在()_2‘标题’.应用(lambda x: stemmer.stem(x)) 2 3 df_2.head()

应用中的~\AppData\Local\Continuum\anaconda3\envs\learn-env\lib\site-packages\pandas\core\series.py (self，func，convert_dtype，args，**kwds) 3192

其他: 3193个值=self.astype(对象).values -> 3194 and =lib.map_infer(value，f，convert=convert_dtype) 3195 3196，如果len(映射)和isinstance(映射，串联)：

熊猫/_libs/src\ference.pyx在pandas._libs.lib.map_infer()

在(x)

词干中的~\AppData\Local\Continuum\anaconda3\envs\learn-env\lib\site-packages\nltk\stem\snowball.py (self，word) 14151416“”-> 1417 word = word.lower() 1418 1419如果单词in self.stopwords或len( word ) <= 2：

AttributeError：'list‘对象没有属性'lower'

python

pandas

nlp

nltk

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-01-13 07:50:07

您需要为axis指定apply。

下面是一个完整的工作示例：

import pandas as pd

df = pd.DataFrame({
    'col_1' : [['ducks'], ['dogs']],
    'col_2' : [['he', 'eats', 'apples'], ['she', 'has', 'cats', 'dogs']],
    'col_3' : ['some data 1', 'some data 2'],
    'col_4' : ['another data 1', 'another data 2']
})
df.head()

输出

    col_1   col_2                   col_3       col_4
0   [ducks] [he, eats, apples]      some data 1 another data 1
1   [dogs]  [she, has, cats, dogs]  some data 2 another data 2

现在，让我们为标记化的列应用词干：

import nltk
from nltk.stem import SnowballStemmer
stemmer = nltk.stem.SnowballStemmer('english')

df.col_1 = df.apply(lambda row: [stemmer.stem(item) for item in row.col_1], axis=1)
df.col_2 = df.apply(lambda row: [stemmer.stem(item) for item in row.col_2], axis=1)

检查dataframe的新内容。

df.head()

输出

    col_1   col_2                   col_3       col_4
0   [duck]  [he, eat, appl]         some data 1 another data 1
1   [dog]   [she, has, cat, dog]    some data 2 another data 2