问使用nlp在大型语料库中回答自定义问题

EN

如果提问者为4个类别中的每个类别发布一些样本文本，即汽车、半导体、绿色能源和医疗保健，则评论将相对容易。尽管如此，作者试图提供一种在理论上可行的方法。

让我们尝试从NLP的角度来理解这个问题，如下所示。

1. 有些文档是由一些内容组成的。每个文档都可以是财务报表或具有文本和相应事实的内容。
2. 每个文档都应该有与一个类别相关的内容，即自动、半导体等。
3. 一个类别的内容与另一个类别的内容重叠的可能性不为零。例如，关于绿色能源的内容可能会提到一些低排放汽车。

识别相似内容的方法可以如下所示。这些步骤来自作者here的另一个答案。

1. Step 1部署了余弦相似性算法来度量来自多个文档的内容之间的相似性。为了使其更接近语义相似度，使用WORDNET构建用于计算余弦相似度的特征。这将确保来自超过阈值余弦值(例如: 0.75)的不同文档的标记更接近于来自不同文档的标记"road".
2. Step 2组内容，就像来自相同类的文档一样。
3. Step 3手动检查不同的组，以查看来自同一类的内容是否归为一组。如果在这些组中有多个类别的混合，则通过特征工程优化余弦相似度。例如，根据步骤3的结果，添加TfIDf以删除信息量较少的features.
4. Step 4，部署更多的功能工程，直到组看起来是同质的组5，可以部署信息检索技术来检索信息。这一步可以说是上面列出的所有步骤中最困难的一步，而且在撰写本文时，作者还没有任何IE/IR技术的实用知识。