专栏首页AutoML(自动机器学习)[转载]Tensorflow 的reduce_sum()函数的axis,keep_dim这些参数到底是什么意思?

[转载]Tensorflow 的reduce_sum()函数的axis,keep_dim这些参数到底是什么意思?

转载链接:https://www.zhihu.com/question/51325408/answer/125426642 来源:知乎

这个问题无外乎有三个难点:

  1. 什么是sum
  2. 什么是reduce
  3. 什么是维度(indices, 现在均改为了axis和numpy等包一致)

sum很简单,就是求和,那么问题就是2和3,让我们慢慢来讲。其实彻底讲清楚了这个问题,很多关于reduce,维度的问题都会恍然大悟。

0. 到底操作哪个维度??

sum这个操作完全可以泛化为任意函数,我们就以sum为例,来看看各种情况。

首先是1维(按照tensorflow的说法其实是0维,后面会说)就是这样:

a = 1
sum(a) => 1

那么看看2维的情况,为了看的更清楚,特意写成了矩阵的形式:

a = [[1,2],
     [3,4]]
sum(a) => ???

仔细观察,那么问题来了,sum(a)到底应该是多少?有人说,当然是[3, 7](“横着加”[[1+2],[3+4]]),有人说 不应该是[4, 6](“竖着加”[[1+3],[2+4]]) 吗?还有人或说,不应该是10(全加在一起)吗?

谁是对的?

都是对的。

所以,对于多维数组元素的相加,如果不指定“如何加”,结果是未定义的,之所以有些时候没有指定也可以得到结果,是因为不同的软件或框架有默认的行为。对于tensorflow,默认行为是最后一种,也就是全加在一起。

1. 什么是维度?什么是轴(axis)?如何索引轴(axis)?

注:对Axis比较熟悉的读者可跳过这部分解释,只看加粗字体。

这是一个很大的问题,到底什么是维度呢?维基百科说:

维度,又称维数,是数学中独立参数的数目。在物理学和哲学的领域内,指独立的时空坐标的数目。 0维是一点,没有长度。1维是线,只有长度。2维是一个平面,是由长度和宽度(或曲线)形成面积。3维是2维加上高度形成“体积面”。虽然在一般人中习惯了整数维,但在分形中维度不一定是整数,可能会是一个非整的有理数或者无理数。

妈呀,好复杂,我只是想写个tensorflow代码呀。

那么,编程时,你就可以简单的认为:

维度是用来索引一个多维数组中某个具体数所需要最少的坐标数量。

把这句话多读几遍,我想你肯定会有所顿悟。这里之所以说第一个1维的例子时0维,是因为,一个数字根本不需要索引,因为就只有一个呀。所有不同维度的形式如下:

0维,又称0维张量,数字,标量:1

1维,又称1维张量,数组,vector:[1, 2, 3]

2维,又称2维张量,矩阵,二维数组:[[1,2], [3,4]]

3维,又称3维张量,立方(cube),三维数组:[ [[1,2], [3,4]], [[5,6], [7,8]] ]

n维:你应该get到点了吧~

再多的维只不过是是把上一个维度当作自己的元素

1维的元素是标量,2维的元素是数组,3维的元素是矩阵。

从0维到3维,边看边念咒语“维度是用来索引一个多维数组中某个具体数所需要最少的坐标。”

在纸上写写看,想要精确定位一个数字,需要几个数字呢?比如上面例子中的3维数组,我们想要3这个数字,至少要3个数字定位,它的坐标是(0为索引起点):[0, 1, 0]

好了,现在就能说了,什么是轴(axis),如何索引axis(代码中常用的变量名,后文就用axis代表轴)。

什么是axis,编程时,你就可以简单的认为:

axis是多维数组每个维度的坐标。

同样,把这句话多读几遍,我想你一定有体悟。

还拿3维来说,数字3的坐标是[0, 1, 0],那么第一个数字0的axis是0,第二个数字1的axis是1,第三个数字0的axis是2。

让我们再看看我们是如何得到3这个数字的:

  1. 找到3所在的2维矩阵在这个3维立方的索引:0
  2. 找到3所在的1维数组在这个2维矩阵的索引:1
  3. 找到3这个数这个1维数组的索引:0

(这里最好写在纸上看一看,括号比较多。)

也就是说,对于[ [[1,2], [3,4]], [[5,6], [7,8]] ]这个3维情况,[[1,2],[[5,6]], [[3,4], [7,8]]这两个矩阵(还记得吗,高维的元素低一个维度,因此三维立方的元素是二维矩阵)的axis是0,[1,2],[3,4],[5,6],[7,8]这4个数组(二维矩阵的元素是一维数组)的axis是1,而1,2,3,4,5,6,7,8这8个数的axis是2。

越往里axis就越大,依次加1。

那么,对于3维的情况,令a = [ [[1,2], [3,4]], [[5,6], [7,8]] ],tf.reduce_sum(a, axis=1)应该输出[[ 4, 6], [12, 14]],这就是处在axis=1的4个数组相加的结果,并reduce掉了一个维度。

这里需要注意的是,axis可以为负数,此时表示倒数第axis个维度,这和Python中列表切片的用法类似。

那么什么是reduce呢?

2. 什么是reduce

reduce这个词字面上来讲,大多称作“归约”,但这个词太专业了,以至于第一眼看不出来意思。我更倾向于解释为“塌缩”,这样就形象多了。对一个n维的情况进行reduce,就是将执行操作的这个维度“塌缩”。还是上面tf.reduce_sum(a, axis=1)的例子,输出[[ 4, 6], [12, 14]]是二维,显然是被“塌缩”了,塌缩的哪个维度呢?就是被操作的维度,第2个维度,也就是axis=1(0开始索引)。tf.reduce_sum(a, axis=1)具体执行步骤如下:

  1. 找到a中axis=1的元素,也就是[1,2],[3,4],[5,6],[7,8]这4个数组(两两一组,因为前两个和后两个的地位相同)
  2. 在axis=1的维度进行相加也就是[1,2]+[3,4]=[4,6],[5,6]+[7,8]=[12, 14]
  3. “塌缩”这一维度,也就是说“掉一层方括号”,得出[[ 4, 6], [12, 14]]

接下来是一个附加问题:

3. 什么是keepdims

上面的reduce已经解释了,“塌缩”的是被操作的维度,那么keepdims也就是保持维度,直观来看就是“不掉一层方括号”,不掉哪层方括号呢?就是本来应该被塌缩的那一层(详细解释见评论)。tf.reduce_sum(a, axis=1, keepdims=True)得出[[[ 4, 6]], [[12, 14]]],可以看到还是3维。这种尤其适合reduce完了要和别的同维元素相加的情况。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 强化学习方法小结

    上面这个公式就是Bellman方程的基本形态。从公式上看,当前状态的价值和下一步的价值以及当前的反馈Reward有关。它表明价值函数(Value Functio...

    marsggbo
  • 响应式布局简说

    简单说呢就针对不同的屏幕分辨率应用不同的CSS样式。比如在电脑、Pad设备上,屏幕比较宽,就可以一行放2个Div。 到了手机上,或者Pad竖着拿的的时候,一行就...

    marsggbo
  • 【论文笔记系列】- Understanding and Simplifying One-Shot Architecture Search

    由上图我们可以看到(以最左图为例),one-shot模型的准确率从0.1~0.8, 而stand-alone(即retrain之后的子模型)的准确率范围却只是0...

    marsggbo
  • DBA生存警示:备份级误操作案例及防范建议

    编辑手记:对于资深的老DBA们,他们在漫长的职业生涯中养成了很多稀奇古怪的守则,以在复杂多变的环境中“幸存”,这源于无数血泪的教训,我曾经在《数据安全警示录》一...

    数据和云
  • 搭建PHP开发环境(XAMPP+PhpStorm)

    1.先下载好安装需要的软件,PhpStorm,xampp,还有找到一个PhpStorm的注册机

    SmileNicky
  • 前端测试题: 关于Set结构的实例方法,下面说法错误的是?

    ES6 提供了新的数据结构 Set。它类似于数组,但是成员的值都是唯一的,没有重复的值。

    舒克
  • iOS·同一个UIButton可以多次addTarget:添加事件,前面添加的并不会失效

    陈满iOS
  • 音视频平凡之路之FFmpeg编译全过程

    FFmpeg是音视频领域绕不过去的开源库,编译FFmpeg是音视频开发的基本功,FFmpeg就像一个音视频开源框架,很多的开源库都像插件一样作为FFmpeg的子...

    用户7032228
  • MongoDB运维与开发(8)---MongoDB备份与恢复

    任何数据库都离不开日常的备份与恢复,这二者是数据库安全的前提,MongoDB的备份与恢复方法一般而言都采用自带的工具来进行。

    AsiaYe
  • 您知道什么叫大数据吗?下面通过一段对话,您就知道了!

    您知道什么叫大数据吗?下面通过一段对话,您就知道了! XXX快餐店的电话铃响了。 客服拿起电话:必胜客。您好! 请问有什么需要我为您服务? 顾客:你好! 我想要...

    Albert陈凯

扫码关注云+社区

领取腾讯云代金券