【深度学习 | 核心概念】那些深度学习路上必经的核心概念，确定不来看看？（二）

🤵‍♂️ 个人主页: @AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨‍💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！🐱‍🏍 🙋‍♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带） 【深度学习 | 核心概念】那些深度学习路上必经的核心概念，确定不来看看？ （二） 作者： 计算机魔术师 版本： 1.0 （ 2023.8.30 ）

摘要： 本系列旨在普及那些深度学习路上必经的核心概念，文章内容都是博主用心学习收集所写，欢迎大家三联支持！本系列会一直更新，核心概念系列会一直更新！欢迎大家订阅

该文章收录专栏 [✨— 《深入解析机器学习：从原理到应用的全面指南》 —✨]

One-vs-One & One-vs-Rest

实际上，一对一（One-vs-One）策略和一对多（One-vs-Rest）策略在解释性方面没有明显的差异。这两种策略都是将多分类问题转化为多个二分类子问题，只是转化的方式不同。

在一对一策略中，每个子问题都是将一个类别与另一个类别进行区分。例如，对于一个有5个类别的问题，一对一策略将生成10个二分类子问题，每个子问题都是将一个类别与另一个类别进行区分。最后，通过投票或其他集成方法来确定最终的类别。

当使用一对一策略解决一个有5个类别的多分类问题时，我们可以通过以下步骤来确定最终的类别：

1. 数据准备：假设我们有一个数据集，其中包含多个样本和它们对应的类别标签。每个样本都有一组特征，用于描述该样本。
2. 子问题生成：使用一对一策略，我们将生成10个二分类子问题。对于每个子问题，我们选择一个类别作为正例，另一个类别作为负例。例如，我们可以选择将类别1与类别2进行区分，然后将类别1与类别3进行区分，以此类推，直到将类别4与类别5进行区分。
3. 训练分类器：对于每个子问题，我们使用训练数据集来训练一个二分类器。这可以是任何二分类算法，如逻辑回归、支持向量机或决策树。训练过程中，我们使用与当前子问题相关的正例和负例样本。
4. 预测：对于每个子问题，我们使用训练好的分类器来对测试样本进行预测。预测结果可以是二分类标签（正例或负例）或概率值。
5. 投票或集成：在所有子问题的预测结果中，我们可以使用投票或其他集成方法来确定最终的类别。例如，我们可以对每个类别进行计数，然后选择得票最多的类别作为最终的类别。如果有多个类别得票数相同，可以使用其他规则来解决冲突，如选择概率值最高的类别。

通过这个过程，我们可以将多分类问题转化为多个二分类子问题，并通过投票或集成方法来确定最终的类别。这种方法可以提供一种简单而有效的方式来解决多分类问题。

在一对多策略中，每个子问题都是将一个类别与其他所有类别进行区分。例如，对于一个有5个类别的问题，一对多策略将生成5个二分类子问题，每个子问题都是将一个类别与其他所有类别进行区分。最后，选择具有最高概率的类别作为最终的类别。

从解释性的角度来看，一对一策略可能稍微更容易理解，因为每个子问题都是将一个类别与另一个类别进行区分。然而，一对多策略也可以提供类似的解释性，因为它仍然可以解释为将一个类别与其他所有类别进行区分。

总的来说，一对一策略和一对多策略在解释性方面没有明显的差异，选择哪种策略取决于具体的问题和数据集。

容忍度（tolerance）

在机器学习中，容忍度（tolerance）是指模型对于训练数据中的噪声和不完美标记的容忍程度。它可以用来衡量模型对训练数据中的错误或异常值的敏感性。

当我们使用算法来构建一个机器学习模型时，我们通常会给定一组输入特征（features）和相应的目标变量（target variable），并通过优化算法去拟合这些数据。然而，在实际应用中，训练数据可能会包含一些错误、异常值或者标签不准确的样本。

容忍度参数允许我们控制模型对这些噪声和不完美标记的反应程度。较高的容忍度意味着模型更加灵活，并能够适应更多种类的噪声；而较低的容忍度则表示模型更加严格地遵循原始数据，并试图尽可能准确地拟合每个样本。（这种情况需要每个样本都有着高质量）

例如，在支持向量机（Support Vector Machine）算法中，我们可以使用容忍度参数C来平衡正确分类样本数量与允许错误分类样本数量之间的权衡。较小的C值将导致更多错误分类被接受，使得决策边界具有更大弯曲性；而较大的C值将强制模型更加严格地进行分类，可能导致过拟合。（泛化效果）

容忍度的选择需要根据具体问题和数据集来决定。如果训练数据中存在较多噪声或标记不准确的样本，可以使用较高的容忍度；如果希望模型尽量正确地拟合每个样本，则可以选择较低的容忍度。

多输出分类 & 多输出多分类

多输出分类

多输出多分类问题在实际应用中非常常见。下面是一些具体的应用场景（一个样本分为多个小类别）：

1. 图像标注：给定一张图片，需要对其中的对象进行多个标签的分类，例如识别图像中的人、车辆和建筑等。
2. 自然语言处理（NLP）：在文本分类任务中，可能需要同时预测文档的主题、情感倾向和情绪状态等多个方面。
3. 音频分析：音频信号可以被分为不同类别，比如音乐类型、说话者性别和语言等。
4. 多模态任务：当涉及到结合不同类型数据时，如图像与文本或视频与声音之间，在每个模态上都有一个或多个输出变量来完成任务。
5. 医学影像诊断：医学领域中经常使用机器学习技术进行疾病诊断。在这种情况下，可能需要根据医学影像数据同时预测患者是否患有某种疾病以及该疾病所属的具体类型。

以上只是一些例子，并且实际应用场景非常广泛。对于这类问题，MLP等神经网络架构通常能够提供强大而灵活的建模能力，并且适合处理复杂关系和多个输出变量之间的相关性。

希望这些具体的应用场景能够帮助你理解多输出多分类问题在实际中的应用！

多输出多分类

多分类多输出问题在现实生活中有很多应用场景。以下是一些常见的例子(就是在大分类后的情况下再次通过多输出小分类）：

1. 图像识别：在图像识别任务中，我们可能需要将输入图像分为多个类别，并同时预测每个类别的相关属性。例如，在人脸识别中，我们可能需要将人脸进行分类（男性/女性、年龄等），并预测额外的属性（眼镜、帽子等）。
2. 自然语言处理：在自然语言处理任务中，我们经常面临着将文本分类到不同的类别，并根据需求生成相应的输出。例如，在情感分析中，我们可以使用模型对文本进行情感分类（积极/消极），并进一步生成对特定方面或主题的评论。
3. 多标签文本分类：某些情况下，一个样本可能属于多个标签类别。比如新闻文章可以被归入多个主题（政治、体育、娱乐等）。这种情况下就需要使用多标签分类算法来解决此问题。
4. 推荐系统：推荐系统通常会针对用户提供与其兴趣和偏好相关联的项目或商品。这涉及到将项目划分到不同的类别，并根据用户历史数据进行个性化推荐。

总之，当涉及到同时对多个输出进行分类或预测时，多分类多输出问题就变得非常有用。这种类型的问题可以帮助我们更好地理解和处理复杂的现实世界数据。