专栏首页CSDN博客百度机器学习训练营笔记——数学基础

百度机器学习训练营笔记——数学基础

原文博客:Doi技术团队 链接地址:https://blog.doiduoyi.com/authors/1584446358138 初心:记录优秀的Doi技术团队学习经历

均值(mean,average)

  • 代表一组数据在分布上的集中趋势和总体上的平均水平。
  • 常说的中心化(Zero-Centered)或者零均值化(Mean-subtraction),就是把每个数值都减去均值。

μ=1N∑i=1Nxi(x:x1,x2,...,xN)\mu=\frac{1}{N}\sum_{i=1}^Nx_i\left(x:x_1,x_2,...,x_N\right)μ=N1​i=1∑N​xi​(x:x1​,x2​,...,xN​)

import numpy as np

# 一维数组
x = np.array([-0.02964322, -0.11363636, 0.39417967, -0.06916996, 0.14260276])
print('数据:', x)

# 求均值
avg = np.mean(x)
print('均值:', avg)

输出:

数据: [-0.02964322 -0.11363636  0.39417967 -0.06916996  0.14260276]
均值: 0.064866578

标准差(Standard Deviation)

  • 代表一组数据在分布上第离散程度。
  • 方差是标准差的平方。

σ=1N∑i=1N(xi−μ)2(x:x1,x2,...,xN)\sigma=\sqrt{\frac{1}{N}\sum_{i=1}^N\left(x_i-\mu\right)^2} \left(x:x_1,x_2,...,x_N\right)σ=N1​i=1∑N​(xi​−μ)2​(x:x1​,x2​,...,xN​)

import numpy as np

# 一维数组
x = np.array([-0.02964322, -0.11363636, 0.39417967, -0.06916996, 0.14260276])
print('数据:', x)

# 求标准差
std = np.std(x)
print('标准差:', std)

输出:

数据: [-0.02964322 -0.11363636  0.39417967 -0.06916996  0.14260276]
标准差: 0.18614576055671836

正态分布(Normal Distribution)

  • 又叫“常态分布”,“高斯分布”,是最重要的一种分布。
  • 均值决定位置,方差决定幅度。
  • 表示:X∼N(μ,σ2)X\sim N\left(\mu,\sigma^2\right)X∼N(μ,σ2)

正态分布的概率密度函数: f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{\sqrt {2\pi\sigma}}e^{-\frac{\left(x-\mu\right)^2}{2\sigma^2}}f(x)=2πσ​1​e−2σ2(x−μ)2​

import numpy as np
from matplotlib import pyplot as plt

def nd(x, u=-0, d=1):
    return 1/np.sqrt(2*np.pi*d)*np.exp(-(x-u)**2/2/d**2)
    
x = np.linspace(-3, 3, 50)
y = nd(x)
plt.plot(x, y)

# 调整坐标
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')
ax.spines['bottom'].set_position(('data', 0))
ax.spines['left'].set_position(('data', 0))
plt.show()

非标准正态分布的标准化(Normalization)

  • 将非标准正态变为标准正态。
  • 将每个数据减均值,除标准差。

y=x−μσy=\frac{x-\mu}{\sigma}y=σx−μ​

import numpy as np
from matplotlib import pyplot as plt

def nd(x, u=0, d=1):
    return 1/np.sqrt(2*np.pi*d)*np.exp(-(x-u)**2/2/d**2)
    
x = np.linspace(-5, 5, 50)
y1 = nd(x)
y2 = nd(x, 0.5, 2)
plt.plot(x, y1)
plt.plot(x, y2)

# 调整坐标
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')
ax.spines['bottom'].set_position(('data', 0))
ax.spines['left'].set_position(('data', 0))
plt.show()

指数函数(Exponent)

  • 常用2, e的指数函数;
  • 输入为任意实数;
  • 输出为非负数。

y1=2xy_1=2^xy1​=2x y2=exy_2=e^xy2​=ex

import numpy as np
from matplotlib import pyplot as plt

x = np.linspace(-2, 3, 100)
y1 = 2**x
y2 = np.exp(x)
plt.plot(x,y1, color='red')
plt.plot(x, y2, color='blue')

# 调整坐标
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')
ax.spines['bottom'].set_position(('data', 0))
ax.spines['left'].set_position(('data', 0))
plt.show()

对数函数(Logarithm)

  • 常用以2, e, 10为底的对数函数;
  • 定义域为正数;
  • 值域为全体实数;
  • 输入在(0, 1)范围内时,输出为负数。

y1=log2xy_1=log_2xy1​=log2​x y2=lnxy_2=lnxy2​=lnx y3=lgxy_3=lgxy3​=lgx

import numpy as np
from matplotlib import pyplot as plt

x = np.linspace(0.01, 10, 100)
y1 = np.log2(x)
y2 = np.log(x)
y3 = np.log10(x)
plt.plot(x, y1, color='red')
plt.plot(x, y2, color='blue')
plt.plot(x, y3, color='green')

# 调整坐标
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')
ax.spines['bottom'].set_position(('data', 0))
ax.spines['left'].set_position(('data', 0))
plt.show()

Softmax函数

  • 在分类网络的输出层中作激活函数,输出概率;
  • 先通过指数函数,把所有输出都变为整数;
  • 再做归一化,每个数都除以所有数的和,输出各分类的概率。

Pi=exi∑i=1Nexi(x:x1,x2,…,xN)P_i=\frac{e^{x_i}}{\sum_{i=1}^Ne^{x_i}}\left(x:x_1,x_2,\ldots,x_N\right)Pi​=∑i=1N​exi​exi​​(x:x1​,x2​,…,xN​)

import numpy as np

x = np.array([-0.02964322, -0.11363636, 0.39417967, -0.06916996, 0.14260276])
print('原始输出:', x)
prob = np.exp(x)/np.sum(np.exp(x))
print('概率输出:', prob)

输出:

原始输出: [-0.02964322 -0.11363636  0.39417967 -0.06916996  0.14260276]
概率输出: [0.17868493 0.16428964 0.27299323 0.17175986 0.21227234]

One-hot 编码

  • 在分类网络中,用于对类别进行编码;
  • 编码长度等于类别数;
  • 每个编码只有一位为1,其余都为0;
  • 所有编码向量都正交。

示例: 假如有5类,则编码为: 第一类:[1, 0, 0, 0, 0] 第二类:[0, 1, 0, 0, 0] 第三类:[0, 0, 1, 0, 0] 第四类:[0, 0, 0, 1, 0] 第五类:[0, 0, 0, 0, 1]

交叉熵(Cross Entropy)

  • 常用于分类问题中,做损失函数;
  • 从分布的角度,让预测概率趋近于标签。

Label:[l1,l2,…,lN]Label:[l_1, l_2, \ldots, l_N]Label:[l1​,l2​,…,lN​] ——经过One-hot编码

predict:[P1,P2,…,PN]predict:[P_1, P_2, \ldots, P_N]predict:[P1​,P2​,…,PN​] ——经过Softmax函数

ce=−∑i=1Nli⋅log⁡Pice=-\sum_{i=1}^Nl_i\cdot\log^{P_i}ce=−i=1∑N​li​⋅logPi​

import numpy as np

# one-hot 编码的标签
label = np.array([0,0,1,0,0])
print('分类标签:', label)
# 网络实际输出
x1 = np.array([-0.02964322, -0.11363636, 3.39417967, -0.06916996, 0.14260276])
x2 = np.array([-0.02964322, -0.11363636, 1.39417967, -0.06916996, 5.14260276])
print('网络输出1:', x1)
print('网络输出2:', x2)
# softmax 之后的模拟概率
p1 = np.exp(x1) / np.sum(np.exp(x1))
p2 = np.exp(x2) / np.sum(np.exp(x2))
print('概率输出1:', p1)
print('概率输出2:', p2)
# 交叉熵
ce1 = -np.sum(label * np.log(p1))
ce2 = -np.sum(label * np.log(p2))
print('交叉熵1:', ce1)
print('交叉熵2:', ce2)

输出:

分类标签: [0 0 1 0 0]
网络输出1: [-0.02964322 -0.11363636  3.39417967 -0.06916996  0.14260276]
网络输出2: [-0.02964322 -0.11363636  1.39417967 -0.06916996  5.14260276]
概率输出1: [0.02877271 0.02645471 0.88293386 0.0276576  0.03418112]
概率输出2: [0.00545423 0.00501482 0.02265122 0.00524284 0.96163688]
交叉熵1: 0.12450498821197674
交叉熵2: 3.787541448750617

激活函数(Activation Function)

  • 引入非线性因素,使模型有更强的表达能力;
  • 输出层采用softmax激活,可以模拟输出概率;
  • sigmoid和tanh都有饱和区,会导致梯度消失;
  • 在深度学习中,sigmoid和tanh主要用于做各种门或开关;
  • 在深度学习中,最常用的激活函数为ReLU及其变体。

δ(x)=11+e−x\delta(x)=\frac{1}{1+e^{-x}}δ(x)=1+e−x1​ Tanh(x)=ex−e−xex+e−xTanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}Tanh(x)=ex+e−xex−e−x​ ReLU(x)=max(x,0)ReLU(x)=max(x, 0)ReLU(x)=max(x,0)

import numpy as np
from matplotlib import pyplot as plt

x = np.linspace(-10, 10, 100)
# plt.figure(31)
plt.figure(figsize=(10, 20))

# Sigmoid
sigmoid = 1 / (1 + np.exp(-x))
top = np.ones(100)
plt.subplot(311)
plt.plot(x, sigmoid, color='blue')
plt.plot(x, top, color='red', linestyle='-.', linewidth=0.5)
plt.title(s='Sigmoid')

# Tanh
tanh = (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
top = np.ones(100)
bottom = -np.ones(100)
plt.subplot(312)
plt.plot(x, tanh, color='blue')
plt.plot(x, top, color='red', linestyle='-.', linewidth=0.5)
plt.plot(x, bottom, color='red', linestyle='-.', linewidth=0.5)
plt.title('Tanh')

# ReLU
relu = np.maximum(x, 0)
plt.subplot(313)
plt.plot(x, relu, color='blue')
plt.title('ReLU')


# 调整坐标
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')
ax.spines['bottom'].set_position(('data', 0))
ax.spines['left'].set_position(('data', 0))
plt.show()

源代码地址:https://aistudio.baidu.com/aistudio/projectdetail/176057

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用带有隐层的神经网络实现颜色二分类

    导入依赖包,这个两个分别是加载数据的工具函数和数据集,这个两个程序可以在这里下载。这个工具函数中使用到sklearn包,使用之前还要使用pip安装该函数。

    夜雨飘零
  • Python的Numpy实现深度学习常用的函数

    我们常用的激活函数有sigmoid,tanh,ReLU这三个函数,我们都来学习学习吧。

    夜雨飘零
  • 深度学习神经网络中正则化的使用

    如果训练数据集不够大,由于深度学习模型具有非常大的灵活性和容量,以至于过度拟合可能是一个严重的问题,为了解决这个问题,引入了正则化的这个方法。要在神经网络中加入...

    夜雨飘零
  • Python进阶之Matplotlib入门(四)

    Matplotlib是Python的画图领域使用最广泛的绘图库,它能让使用者很轻松地将数据图形化以及利用它可以画出许多高质量的图像,是用Python画图的必备技...

    HuangWeiAI
  • python 用matplotlib画一个折线图

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    多凡
  • 第十二篇:《机器学习之神经网络(实战篇)》

    ACM算法日常
  • Python基础绘图教程(一)

    Python是一种耳熟能详的程序设计语言,具有较强的可视化能力,较常使用的可视化库主要有matplotlib(https://matplotlib.org/)、...

    郭好奇同学
  • 就算会用python画颗心,可你依然还是只单身狗

    俺踏月色而来
  • 就算会用python画颗心,可你依然还是只单身狗

    俺踏月色而来
  • Python+pyplot绘制带文本标注的柱状图

    import numpy as np import matplotlib.pyplot as plt # 生成测试数据 x = np.linspace(0, 1...

    Python小屋屋主

扫码关注云+社区

领取腾讯云代金券