为什么深度学习研究人员和专业人士不使用 C 或 C++，而是使用 Python 等慢速语言？

问：为什么深度学习研究人员和专业人士不使用 C 或 C++，而是使用 Python 等慢速语言？它会减少对 GPU 的依赖吗？

答：从技术上讲，Python 并没有那么慢。

在本机 Python 中，您可以在大约一秒内对列表执行 10M 次追加操作。

但你的整个论点毫无意义。

深度学习研究人员使用C++、C但不仅仅是原生的，如果我占95%的人的话。Native 意味着您没有编写实际的 C++ 或 C 代码。

大多数深度学习库（如 Torch 和 Tensorflow）都是用 C++（以及其他互补语言）编写的，这就是它们速度快的原因。

您访问这些库所用的 API 是 Python 语言，这不会导致任何重大的性能问题。从本质上讲，CPU 密集型的工作是用 C++ 完成的。

对 GPU 的依赖是另一回事。Python 实际上拥有相当多的工具和库（甚至 GUI 和游戏引擎），可以直接利用 GPU 来执行图形任务。使用 GPU 进行 ML/DL 是小菜一碟。

TensorFlow 和 PyTorch 都通过 GPU 支持分布式计算。

PyTorch 包括 CUDA 11.X 安装以及主要库（Torch、音频）。这使得您可以轻松使用您拥有的任何 NVIDIA 显卡，例如未经验证的 CUDA GPU（如 MX250）。

TensorFlow 仅需要支持 CUDA 的 NVIDIA GPU（不需要 AMD，除非您有其他方式）。

另一方面，sklearn利用了 Python，它和其他库一样快，它仍然使用 Numpy（用 C 编写），这给它带来了性能优势。同样，计算量大的事情是由 Numpy 处理的。

如果 DL/ML 仍然被 C++、C 使用，那么今天只有 5% 的 ML/DL 工程师会考虑使用它。其余的人就会离开它。

此外，Jupyter Notebooks 有助于将 python 代码分隔成特定的部分，您可以在其中将计算成本较高的部分划分为 Cell。

然后，您只需运行这些单元一次，这使得您的解决方案可以花费更少的时间来开发和评估，而不是在 IDE 上灵活地从头到尾运行所有内容。

这使得 Python 中的 ML 解决方案的开发变得非常快速且可靠。

问：均方误差和神经网络有什么区别？

答：均方误差 (MSE) 和神经网络是相关但在机器学习和深度学习背景下使用的不同概念。

1.均方误差 (MSE)：MSE 是一种特定类型的成本函数（也称为损失函数），用于评估机器学习模型的性能，特别是在回归任务中。它测量预测值和实际目标值之间的平均平方差。训练期间的目标是最小化 MSE，这意味着使预测尽可能接近真实值。

MSE 的公式为：

1.其中 n 是数据点的数量，yi 是实际目标值，ŷi 是第 i 个数据点的预测值。综上所述，MSE是一种特定的成本函数，用于衡量回归模型的性能并指导其训练。

2.神经网络：神经网络是一类受人脑结构和功能启发的机器学习模型。它们旨在通过互连层的层次结构来学习和表示数据中的复杂模式。每层由节点（神经元）组成，这些节点对输入数据执行数学运算并将结果传递到下一层。神经网络用于广泛的任务，包括分类、回归、图像识别、自然语言处理等。神经网络的架构通常包括输入层、一个或多个隐藏层以及输出层。在训练期间，网络使用优化算法（例如梯度下降）调整其内部参数（权重和偏差），以最小化训练中选择的成本函数（例如 MSE）数据组总之，神经网络是一系列用于各种任务的机器学习模型，它们的训练过程涉及最小化成本函数（例如，MSE）以学习进行预测的最佳参数。

总之，均方误差是用于衡量机器学习模型性能的特定成本函数，而神经网络是用于各种任务的一类模型，其训练过程涉及最小化所选成本函数（例如 MSE）以改善他们的预测。

问：在深度学习模型中使用非线性激活函数有什么好处？

答：好处很多，但关键的好处是该模型现在能够学习非线性响应函数。如果没有非线性激活，正常的深度学习模型只是线性变换的组合，并且始终是线性的。添加激活非线性是允许模型摆脱线性模型约束的最小非线性量。

非线性有什么好处？好吧，线性模型只能通过超平面来分隔类别，本质上它只能绘制直线，这对于许多数据集和函数来说还不够好。典型的例子是“马蹄”数据集，它无法被线性分类器正确分类，但在参数空间中是 100% 分离的。

如果你尝试通过画一条直线将红色和蓝色分开，你会发现它根本行不通。

在实际用例中有许多数据集，这是一个基本要求，而这正是非线性激活函数所实现的。

问：什么是神经网络中的遗传算法？

答：遗传算法是一种受自然进化过程启发的优化方法。它通常用于寻找使用传统方法难以解决的复杂问题的解决方案。在神经网络的背景下，遗传算法可用于优化神经网络的结构和权重，以提高其在特定任务上的性能。

遗传算法的一般工作原理如下：

1.使用随机初始化的权重和结构初始化一组神经网络模型。

2.评估每个模型在给定任务上的性能。

3.选择表现最好的模特作为下一代的“父母”。

4.使用交叉（组合两个父模型的权重和结构）和变异（随机改变父模型的权重和结构）等技术培育“父模型”以创建新一代模型。

5.重复步骤 2-4 指定的代数或直到找到满意的解。

遗传算法的优点是能够搜索很大空间的可能解决方案，并且对初始条件相对不敏感。然而，它们的计算成本可能很高，并且可能需要很长时间才能收敛到最佳解决方案。

问：深度学习和神经网络有什么区别，它们在现实世界中的应用是什么？

答：区别在于隐藏层的数量。

这些隐藏层是计算层。

神经网络可以有一个隐藏层，甚至可以有更多隐藏层。

深度学习模型有许多隐藏层。

这个数字尚未达成一致，而创造者喜欢让这个数字保持模糊，所以事情就这样了。

大多数知情人士都会告诉您，具有十多个隐藏层的神经网络是深度学习模型。再次，主观。

这些模型有两个现实世界的护理用例。NLP 和计算机视觉。它们不是现实世界中最常见的模型。

他们还利用生成式深度学习模型做了很多伟大的事情……ChatGPT 和 DeepMind 的东西。