使用联机文本分类器对任务进行错误分类
上下文:寻找公司来完成
的工作
我想要编写的应用程序的用例是，用户将描述由某个公司执行的任务，例如，
下周我想把10箱(30x40x50厘米)的书和衣服从伦敦搬到布里斯托尔。那要多少钱？
应用程序将找到能够完成这项任务的候选公司。在这种情况下，需要将任务归类为搬迁/运输公司。
问题:不正确的分类
我尝试了许多在线服务文本分类，但结果令人沮丧。uClassify将我的文本归类为“家”、“游戏”和“艺术”；Textimate.me --“科学与环境”；得克丝返回了“商业/消费品”、“服务/服装”和“艺术/设计/时尚”。
不正确分类的可能原因：
- 任务描述非常简短，文本中没有明显的特征来区分哪些是对用户更重要的:盒子、衣服或者是移动它们。
- 对其他类型的文本进行分类器培训，
- 根据不同的分类法训练的分类器。
你会如何处理这样的问题？
潜在解决方案:获取特定领域的语料库
由于这个问题非常特定于我的领域，我考虑使用有监督的机器学习算法，这将学习已经分类的这类任务的语料库。该语料库可以从已被客户分类的站点(e-bay的变体)中获取。我还可以在机器学习之前对文本进行预处理:只提取动词(“移动”)和源自动词的名词(“翻译”)，因为它们表示要做什么。
这需要大量的工作，所以我很好奇这是否是正确的方向。
回答 1
Software Engineering用户
发布于 2013-01-06 22:58:19
我认为你的问题需要一个迷你施莱普：
在我们的眼皮底下，有很多伟大的创业理念还没有被开发利用。我们看不到它们的原因之一是我所说的盲症现象。Schlep最初是一个意式词，但在美国已被普遍使用。这意味着一项乏味、令人不快的任务。没有人喜欢“假小子”，但黑客们尤其不喜欢它们。启动初创企业的大多数黑客都希望自己能做到这一点，只需编写一些聪明的软件，将其放在某个地方的服务器上，看着资金滚滚而来--而不必与用户交谈，也不必与其他公司谈判，也不必处理其他人的破译代码。也许这是可能的但我还没见过。
在您的业务计划中，您已经确定了一个很难仅用软件解决的元素。这是个好兆头！
我们在Y所做的许多事情之一就是让黑客们了解schleps的必然性。不，你不能仅仅通过编写代码来启动一家公司。这种恐惧使野心勃勃的想法变得更有价值。除了内在价值，他们就像被低估的股票，因为创始人对这些股票的需求较少。如果你选择一个雄心勃勃的想法，你的竞争就会更少，因为其他人都会被所涉及的挑战吓跑。
所以我的建议是：
- 编写代码，做一个合理的工作扫描用户的输入关键字。在实现此部分时，请注意帕累托原理 (或80-20规则)。
- 在关键字匹配代码中，允许在任何关键字上不匹配的默认情况。在屏幕上，向用户道歉，你找不到匹配的，但鼓励他们尽快返回，因为你在不断改进应用程序。
- 在关键字匹配代码中，记录传入的关键字及其在数据存储中找到的匹配。
- 经常查看此数据存储。每天三次，工作日一次，非工作日一次。
- 这些数据应该为您提供关于如何改进算法的线索，因此要继续改进策略。
- 在业余时间，了解更多关于计算语言学的知识，以及它的概念如何帮助您更好地解决业务问题。
https://softwareengineering.stackexchange.com/questions/181724
复制相似问题
腾讯云开发者
