首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在没有任何标签数据的情况下,在web上对文档进行排序

在没有任何标签数据的情况下,在web上对文档进行排序
EN

Data Science用户
提问于 2021-07-06 15:11:05
回答 1查看 100关注 0票数 1

我想要创建一个文档排序模型,该模型在dataset中为一个示例查询返回类似的行。该语料库中的文本是标准英语,但没有任何标签(即没有查询相关的文档结构)。是否有可能使用在大型语料库(如bert或word2vec)上训练过的预先训练过的模型,并在未进行任何评估的情况下将其直接用于被刮过的数据集并获得良好的结果?如果不是这样,在MS宏数据集上训练一个模型并将其应用于这个语料库是否值得探索?

EN

回答 1

Data Science用户

发布于 2021-07-06 16:24:23

这取决于您想要达到的排序类型,例如,如果未标记的刮取数据可以根据情绪进行排序,则可以使用传输学习模型给每个文档一个情感评分,如果您返回情感得分概率而不是“肯定”和“负面”标记,该分数将作为一个等级。

迁移学习模型通常会给出很好的结果,但是它确实符合你对文档排序的标准,而且你应该注意刮过的数据的质量,它严重影响了预先训练过的模型结果。

既然您已经提到MS宏数据集,我假设您的文档可能与问答数据集有关,我认为您也应该看看斯坦福问答数据集

票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/97529

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档