模块'tensorflow_datasets.core.features‘没有属性'text’
模块'tensorflow_datasets.core.features‘没有属性'text’
提问于 2020-12-22 01:09:46
大家好，我正在使用Tensorflow开发一个情绪分析，使用一些基于亚马逊电子产品的评论。在代码中，我遇到了一个错误。我使用tensorflow数据集检索了一些文本，但是无法检索。以下是代码的一部分，其中包含以下错误：
tokenizer = tfds.features.text.Tokenizer()
vocabulary_set = set()
for _, reviews in train_dataset.enumerate():
review_text = reviews['data']
reviews_tokens = tokenizer.tokenize(review_text.get('review_body').numpy())
vocabulary_set.update(reviews_tokens)
vocab_size = len(vocabulary_set)
vocab_size我从这里得到的错误是一个属性错误
AttributeError Traceback (most recent call last)
<ipython-input-17-1c32dce13853> in <module>()
----> 1 tokenizer = tfds.features.text.Tokenizer()
AttributeError: module 'tensorflow_datasets.core.features' has no attribute 'text'请告诉我如何解决这个错误？谢谢
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-12-22 01:24:17
它是deprecated，但您仍然可以像这样访问它：
import tensorflow_datasets as tfds
tokenizer = tfds.deprecated.text.Tokenizer()
tokenizer.tokenize('hey how are you?')['hey', 'how', 'are', 'you']页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65397061
复制相关文章
相似问题
腾讯云开发者
