学习笔记DL001 : 数学符号、深度学习的概念

数学符号。

数和数组。𝑎,标量(整数或实数)。𝒂,向量。𝑨,矩阵。𝗔,张量。𝑰𝑛,𝑛行𝑛列单位矩阵。𝑰,维度蕴含上下文单位矩阵。𝑒⁽ⁿ⁾,标准基向量0,…,0,10,…,0,其中索引n处值为1。diag(𝒂),对象方阵,其中对象元素由𝒂给定。a,标量随机变量。𝐚,向量随机变量。𝐀,矩阵随机变量。

集合和图。𝔸,集合。ℝ,实数集。{0,1},包含0和1集合。{0,1,…,𝑛},包含0和𝑛之间所有整数的集合。𝑎,𝑏,包含𝑎和𝑏的实数区间。(𝑎,𝑏],不包含𝑎但包含𝑏的实数区间。𝔸\𝔹,差集,即其元素包含于𝔸但不包含于𝔹。𝒢,图。𝑃𝑎𝑔(𝑥𝑖),图𝒢中𝑥𝑖的父节点。

索引。𝑎𝑖,向量𝑎的第𝑖个元素,其中索引从1开始。𝑎₋𝑖,除了第𝑖个元素,𝑎的所有元素。𝐴𝑖,𝑗,矩阵𝐴的𝑖,𝑗元素。𝐴𝑖,:,矩阵𝐴的第𝑖行。𝐴:,𝑖,矩阵𝐴的第𝑖列。𝘼𝑖,𝑗,k,3维张量𝘼的(𝑖,𝑗,𝑘)元素。𝘼:,:,𝑖,3维张量𝘼的2维切片。a𝑖,随机向量𝑎的第𝑖个元素。

线性代数操作。𝐴⫟,矩阵𝐴的转置。𝐴⁺,𝐴的Moore-Penrose伪造。𝐴⨀𝐵,𝐴和𝐵的逐元素乘积(Hadamard乘积)。𝑑𝑒𝑡(𝐴),𝐴的行列式。

微积分。𝑑𝑦/𝑑𝑥,y关于x的导数。∂𝑦/∂𝑥,y关于x的偏导。∇𝑥𝑦,y关于x的梯度。∇𝑿𝑦,y关于𝑿的矩阵导数。∇𝐗𝑦,y关于𝐗求导后的张量。∂𝑓/∂𝑥,𝑓:ℝⁿ->ℝⁿⁿ的Jacobian矩阵𝑱∈ℝ⁽m*n⁾。∇⁽𝟸⁾₍x₎𝑓(x)or𝑯(𝑓)(x),𝑓在点𝑥处的Hessian矩阵。∫𝑓(𝑥)𝑑𝑥,𝑥整个域上的定积分。∫𝕤𝑓(𝑥)𝑑𝑥,集合𝕊上关于𝑥定积分。

概率和信息论。a⊥b,a和b相互独立的随机变量。a⊥b|c,给定c后条件独立。P(a),离散变量上的概率分布。p(a),连续变量(或变量类型未指定时)上的概率分布。a~P,具有分布P的随机变量a。Ex~p𝑓(𝑥)or𝔼𝑓(𝑥),𝑓(𝑥)关于P(𝑥)的期望。Var(𝑓(𝑥)),𝑓(𝑥)在分布P(𝑥)下的方差。Cov(𝑓(𝑥),𝑔(𝑥)),𝑓(𝑥)和𝑔(𝑥)在分布P(𝑥)下的协方差。𝐻(𝑥),随机变量𝑥的香浓熵。𝐷𝐾𝐿(𝑃||𝑄),𝑃和𝑄的𝐾𝐿散度。𝑁(𝑥;𝛍,∑),均值为𝛍,协方差为∑,𝑥上的高斯分布。𝑓:𝔸->𝔹,定义域为𝔸值域为𝔹的函数𝑓。𝑓∘𝑔,𝑓和𝑔的组合。𝑓(𝑥:θ),由θ参数化,关于𝑥的函数(有时为简化表示,忽略θ,记为𝑓(𝑥))。log𝑥,𝑥的自然对数。σ(𝑥),Logistic sigmoid,1/(1+exp(-𝑥))。𝜁(𝑥),Softplus,log(1+exp(𝑥))。||𝑥||p,𝑥的L⁽p⁾范数。||𝑥||,𝑥的L⁽2⁾范数。𝑥⁺,𝑥的正数部分,max(0,𝑥)。1condition,如果条件为真则为1,否则为0。用函数𝑓,参数是一个标量,应用到一个向量、矩阵或张量:𝑓(𝑥)、𝑓(𝑋)或𝑓(𝖷)。表示逐元素将𝑓应用于数组。𝑪=σ(𝗫),对于所有合法的i、j和k,𝗖i,j,k=σ(𝗫i,j,k)。

数据集和分布。𝑃data,数据生成分布。𝑃train,由训练集定义的经验分布。𝕏,训练样本的集合。𝑥⁽𝑖⁾,数据集的第𝑖个样本(输入)。𝒴⁽𝑖⁾或𝓨⁽𝑖⁾,监督学习中与𝑥⁽𝑖⁾关联的目标。𝑿,𝑚 x 𝑛的矩阵,行𝑿𝑖,:为输入样本𝑥⁽𝑖⁾。

古希腊时期,神话人物皮格马利翁(Pygmalion)、代达罗斯(Daedalus)和赫淮斯托斯(Hephaestus)传说发明家。加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。

人类第一次构思可编程计算机,思考变智能(离造出第一计算机一百年)(Lovelace,1842)。人工智能(artificial intelligence,AI)众多实际应用、活跃研究课题领域,蓬勃发展。智能软件自动处理常规劳动、理解语音图像、帮助医学论断、支持基础科学研究。

早期,计算机相对简单问题迅速解决,形式化数学规则描述问题。挑战,很难形式化描述任务,如人说话、图中脸。解决方案,计算机从经验学习,根据层次化概念体系理解世界。概念通过相对简单概念关系定义。计算从经验获取知识,避免人类给计算机形式化指定知识。层次化概念让计算机构建简单概念学习复杂概念。概念建立在彼此之上的图,一张深(多层次)图。AI深度学习(deep learning)。

参考资料:

《深度学习》

欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏算法+

音频增益响度分析 ReplayGain 附完整C代码示例

人们所熟知的图像方面的3A算法有: AF自动对焦(Automatic Focus) 自动对焦即调节摄像头焦距自动得到清晰的图像的过程 AE自动曝光(Automa...

4428
来自专栏Brian

线性代数基础之矩阵乘法

概述 最近在回顾偏微分方程、线性代数和统计学方面的知识,为了方便自己后期查询。对一些数学思想和思维进行了深刻探讨。一些思想对自己解决问题和思路很有帮助,所以就记...

2748
来自专栏一名叫大蕉的程序员

大数据计数原理1+0=1这你都不会算(七)No.59

今天的干货,不是一般的干,噎死人那种干。没下面这些准备的话直接退出吧,回去度娘啊谷哥啊弄懂是什么东西再回来。 知识储备必须有这些: BitMap知识。概率论二...

1845
来自专栏社区的朋友们

Steering Behaviors 详解

Steering Behaviors 意在使游戏中的AI个体具备真实的运动行为,通过对力的施加与整合,使游戏个体具备类生命体般的运动特征。

4931
来自专栏计算机视觉战队

利用深度学习消去反光

越来越接近毕业季了,相信很多同学都结束了论文的撰写以及论文审批,现在就坐等着毕业论文答辩和毕业典礼了!其实我也是这样的一个状态,但是期间大Boss还是会安排很多...

921
来自专栏小樱的经验随笔

模拟退火算法从原理到实战【基础篇】

  模拟退火算法来源于固体退火原理,将固体加温至充分高,再让其徐徐冷却,加温时,固体内部粒子随温升变为无序状,内能增大,而徐徐冷却时粒子渐趋有序,在每个温度都达...

2866
来自专栏量化投资与机器学习

【世界读书日】2018版十大引用数最高的深度学习论文集合

1113
来自专栏人工智能

让你的火柴人动起来!DeepMind发布强化学习环境dm

来源:DeepMind 编译:Bot 编者按:今天,DeepMind发表了一篇名为DeepMind Control Suite的论文,并在GitHub上发布了控...

2426
来自专栏鸿的学习笔记

The Brain vs Deep Learning(三)

生物信息处理的复杂性不是以蛋白质信号传导级联为结束,100亿个蛋白质不是完成其任务的工人的随机汤,而是这些工作者被设计为具有特定数量以服务于与目前相关的特定功能...

512
来自专栏量子位

AlphaGo Zero你也来造一只,PyTorch实现五脏俱全| 附代码

遥想当年,AlphaGo的Master版本,在完胜柯洁九段之后不久,就被后辈AlphaGo Zero (简称狗零) 击溃了。

950

扫码关注云+社区