人工智能AI（2）：线性代数之标量、向量、矩阵、张量

线性代数作为数学的一个分支，广泛用于科学和工程中，掌握好线性代数对于理解和从事机器学习算法相关工作是很有必要的。因此，本书首先探讨一些必备的线性代数知识。学习线性代数，会涉及以下几类数学概念：

1 标量

一个标量就是一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。当我们介绍标量时，会明确它们是哪种类型的数。比如在定义实数标量时，我们可能会说“令表示一条线的斜率”；在定义自然数标量时，我们可能会说“令表示元素的数目”。

2 向量

一个向量是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称，比如x。向量中的元素可以通过带脚标的斜体表示。向量x的第一个元素是x1，第二个元素是x2，等等。我们也会注明存储在向量中的元素是什么类型的。如果每个元素都属于并且该向量有n个元素，那么该向量属于实数集的n次笛卡尔乘积构成的集合，记为。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵列：

我们可以把向量看作空间中的点，每个元素时不同坐标轴上的坐标。

行向量是一个 1×n的矩阵，即矩阵由一个含有n个元素的行所组成即行向量。行向量的转置是一个列向量，反之亦然。所有的行向量的集合形成一个向量空间，它是所有列向量集合的对偶空间。

有时我们需要索引向量中的一些元素。在这种情况下，我们定义一个包含这些元素索引的集合，然后将该集合写在脚标处。比如，指定x1，x3和x6，我们定义集合S=，然后写作xs。我们用符号−表示集合的补集中的索引。比如表示x中除x1外的所有元素，表示x中除x1,x3,x6外所有元素构成的向量。

笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尓积（Cartesian product），又称直积，表示为X × Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一个成员。

3 矩阵

矩阵是具有相同特征和纬度的对象的集合，表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行，一个特征表示为矩阵中的一列，每个特征都有数值型的取值。

通常会赋予矩阵粗体的大写变量名称，比如A。如果一个实数矩阵高度为m，宽度为n，那么定义。

我们在表示矩阵中的元素时，通常以不加粗的斜体形式使用其名称，索引用逗号间隔。比如，A1,1表示左上的元素，表示右下的元素。

我们通过用“:”表示水平坐标，以表示垂直坐标i中的所有元素。比如，Ai,:表示A中垂直坐标i上的一横排元素，这也被称为A的第i行（row）。同样地，A:,j表示A的第j列（column）。当需要明确表示矩阵中的元素时，可以将它们写在方括号包围起来的数组中：

有时我们需要矩阵值表达式的索引，而不是单个元素。在这种情况下，我们在表达式后面接下标，但不必将矩阵的变量名称小写化。比如，表示函数f作用在A上输出的矩阵的第i行第j列元素。

4 张量

在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。使用粗体A来表示张量“A”。张量A中坐标为(i,j,k)的元素记作。