前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >机器学习-Coursera笔记

机器学习-Coursera笔记

作者头像
列夫托尔斯昊
发布2020-08-31 11:39:49
7210
发布2020-08-31 11:39:49
举报
文章被收录于专栏:探物及理

AI->机器学习分类图

矩阵补课

特征值分解EVD,奇异值分解SVD

EVD特征值分解(The eigenvalue value decomposition)

针对方阵,特征值

SVD奇异值分解(Singularly Valuable Decomposition)

应用

存储领域,选取u,v正交基矩阵,计算奇异值矩阵,使奇异值矩阵尽量集中,即可取到

机器学习

1、Introduction

E:经验 T:任务 P:概率

机器学习分类

  • 监督学习(supervisor learning):分类(classification)、回归(regression)
  • 无监督学习(unsupervisor learning):
  • 强化学习Reinforcement learning

2、Linear regression线型回归

Cost funciton-代价函数

  • 正规方程法(Normal Equation)

b相当于y,a相当于x组成的矩阵,

求导过程

线性代数回顾

矩阵、向量使用规范

加速梯度下降方法,让\(x_i\)尺度一致

回归问题方法选择

正规方程法行不通:

回归问题的矩阵表达

3、Logistic Regression逻辑回归

分类classification

函数表达式

作用

h(z)代表着一个边界,将值分为>0和<0 由于sigmoid函数的特性,程序最终会优化到z取值远离零点

Cost function 的选择

不能选择最小二乘法,因为目标是一个非凸函数 凸函数才能最好利用梯度下降法 所以对于,y-0,1的分类问题,改写cost function为

进一步改写为一个式子

其他参数优化方法

代码语言:javascript
复制
1.设置优化参数 optimset = 初始参数,方法,强制结束迭代次数
2.设置初始条件,Initialpara = 
3.[Jval, theta'] = Cost_function (X,Y)
4.调用优化函数[Jval,theta'] = (@Cost_function,Initialpara,optimset),

多类别分类

构建i个分类器,利用i个h(z),处理 分别给出属于某个分类的几率值

X 特征矩阵

3.2回归遇到的问题,解决方案,正则化

  • 过拟合 拟合特征数>>样本量,
  • 欠拟合 特征数不够<<样本量,不能正确预测,回归 办法 1、 减少无关特征
  • 手动减少无关特征
  • 模型选择算法,自动选择相关变量 2、 regularization 正则化

正则化参数,使特征拟合参数减小权重

线性回归正则化

对于逻辑回归正则化,式子一样

4、神经网络——Nonlinear Hypotheses

输入层、隐藏层、输出层

Backpropagation

Cost function 符号约定

传播计算推导

BP神经网络——算法步骤

调用函数的时候 unroll矩阵->Vector

6、Advice for applying machine learning

评价拟合函数hypothesis

  1. 分类数据集(training set、test set)
  2. 用训练集的theta 计算测试集的误差(分类问题,误差定义为0/1,最终统计结果表现为错误率) ### 模型选择——(Train/ Validation/ Test sets)
  3. 训练多个模型,在测试集中找到表现最优
  4. 偏差和方差(Bias/ Variance) 关于 模型种类

关于 正则化参数

学习曲线

High bias

High Variance

6.2 设计神经网络

  1. 快速部署、设计简单网络
  2. plot 学习曲线,发现问题
  3. 误差分析(验证集):数值被错误分类的特征,度量误差

误差度量 for skewed classes 偏斜类

precision/recall

针对最后一级h(x), 防止错判,阈值提高,设定逻辑判断阈值0.9 instead of 0.5 防止漏过1,阈值放低

综合评定标准

7、支持向量机SVM(support vector machine)

7.1 SVM 大间距分类器(Large Margin Classification)

重写了cost function 和 h(z)

支持向量机的代价函数为: \[min_{\theta} C[\sum_{i=1}^{m}{y^{(i)}}cost_1(\theta^Tx^{(i)})+(1-y^{(i)})cost_0(\theta^Tx^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}{\theta_j^2}\]

有别于逻辑回归假设函数输出的是概率,支持向量机它是直接预测 y 的值是0还是 假设函数

7.2 kernels核函数

高斯核函数

注意的点

核函数用于逻辑回归,运算很慢 核函数优化算法仅适用于SVM 使用前,一定归一化处理

分类模型的选择

7.3 分类模型的选择 目前,我们学到的分类模型有: (1)逻辑回归; (2)神经网络; (3)SVM 怎么选择在这三者中做出选择呢?我们考虑特征维度 n 及样本规模 m :

8、无监督学习(Unsupervised learning)

8.1 分类K-means algorithm(Clustering)

  1. cluster 分类,计算到\(\mu_k\)距离将下表k分配给\(c_i\)的

8.2 Dimensionality reduction

数据压缩 Data Compression

减少冗余特征变量

可视化
PCA主成分分析法(Principal Component Analysis)

PCA算法流程

PCA-point

9、异常检测

9.1高斯分布(Gaussian normal distribution)

算法评价

异常检测与逻辑回归的区别

异常检测数据特点是:

  1. 数据偏斜,y=1数据量极少
  2. 异常数据特征不聚类(不稳定),难以预测

多元高斯函数

算法流程-多元高斯分布异常检测

相关性

一般高斯模型: 需要手动创建一些特征来描述某些特征的相关性 多元高斯模型: 利用协方差矩阵\(\Sigma\)获得了各个特征相关性

复杂度

一般高斯模型: 计算复杂度低,适用于高维特征 多元高斯模型: 计算复杂

效果¶

结论:

基于多元高斯分布模型的异常检测应用十分有限。

9、2 推荐器 Recommender system

Content based recommendations

协同过滤Collaborative filtering

正则化

10、大数据集——提升运算速度

Stochastic Gradient Descent(随机梯度下降法)

Mini-Batch Gradient Descent

矢量化->并行计算,提高效率

在线学习Online learning

数据集连续,减少存储成本

Map reduce and data parallelism

代数计算库自动implement

12、Photo OCR pipeline

  1. 文本检测
  2. 特征分割
  3. 特征识别
  4. 修正C1eaning->cleaning ### Sliding window 滑窗分类器 #### 文本检测 步长step size 不同大小,按照比例缩放

检测到特征,相邻互联

特征分割

获取数据,人造数据

  1. 加背景噪音
  2. 字体处理
  3. 人工扭曲

加入高斯噪声没用

大量数据获取建议

Ceiling analysis上限分析

找到提升最大的Module

强化学习

连接

一些概念

  • 向量机
  • 核函数 作用: 减小计算量,解决多维输入问题 无需知道非线性变换函数的形式和参数

核函数种类

  • 贝叶斯滤波器:概率滤波器

处理微分的手段

  1. 微分+一阶惯性环节,\(tf = s/(T_s s +1)\)
  2. TD微分跟踪器
  1. 状态观测器
  2. 卡尔曼滤波器
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-08-27 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • AI->机器学习分类图
  • 矩阵补课
    • 特征值分解EVD,奇异值分解SVD
      • EVD特征值分解(The eigenvalue value decomposition)
      • SVD奇异值分解(Singularly Valuable Decomposition)
      • 应用
  • 机器学习
    • 1、Introduction
      • 机器学习分类
    • 2、Linear regression线型回归
      • Cost funciton-代价函数
      • 线性代数回顾
      • 加速梯度下降方法,让\(x_i\)尺度一致
      • 回归问题方法选择
      • 回归问题的矩阵表达
    • 3、Logistic Regression逻辑回归
      • 函数表达式
      • 作用
      • Cost function 的选择
    • 其他参数优化方法
      • 多类别分类
        • 3.2回归遇到的问题,解决方案,正则化
          • 4、神经网络——Nonlinear Hypotheses
            • Backpropagation
            • BP神经网络——算法步骤
          • 6、Advice for applying machine learning
            • 评价拟合函数hypothesis
          • 学习曲线
            • 6.2 设计神经网络
              • 误差度量 for skewed classes 偏斜类
            • 7、支持向量机SVM(support vector machine)
              • 7.1 SVM 大间距分类器(Large Margin Classification)
            • 7.2 kernels核函数
              • 高斯核函数
              • 注意的点
            • 分类模型的选择
              • 8、无监督学习(Unsupervised learning)
                • 8.1 分类K-means algorithm(Clustering)
                • 8.2 Dimensionality reduction
                • PCA算法流程
                • PCA-point
              • 9、异常检测
                • 9.1高斯分布(Gaussian normal distribution)
                • 算法评价
                • 异常检测与逻辑回归的区别
                • 多元高斯函数
                • 算法流程-多元高斯分布异常检测
                • 相关性
                • 复杂度
                • 效果¶
                • 结论:
                • 9、2 推荐器 Recommender system
              • 10、大数据集——提升运算速度
                • Stochastic Gradient Descent(随机梯度下降法)
                • Mini-Batch Gradient Descent
                • 在线学习Online learning
                • Map reduce and data parallelism
              • 12、Photo OCR pipeline
                • 获取数据,人造数据
                • 大量数据获取建议
                • Ceiling analysis上限分析
              • 强化学习
                • 一些概念
              • 处理微分的手段
              相关产品与服务
              对象存储
              对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档