贪心算法(一)——概述

贪心法用于求解最优化问题,即求解某一问题的最优解。 既然能用贪心法求解的问题是一个最优化问题,那么我们首先来了解下最优化问题的几个基本概念。

最优化问题的几个基本概念

  • 目标函数 解决一个最优化问题,首先要将问题抽象成一个数学函数,这也就是一个数学建模的过程,这个能够描述问题的函数就称为『目标函数』,这个函数的最大/小值就是我们要求的最优值。
  • 约束条件 任何函数都有它的取值范围,所有取值范围的集合就称为『约束条件』。
  • 可行解 满足所有约束条件的解称为『可行解』。
  • 最优解 满足约束条件,并且使得目标函数最大/小的解称为『最优解』。

贪心法的求解思路

既然贪心法用于解决最优化问题,所以我们首先对问题进行数学建模,找出其中的:目标函数、约束条件。 最优化问题的结果需要用一个n元组来表示,如X=(x1,x2,x3,……,xn)。 贪心法的执行一共需要n步,每一步都会确定n元组中的一个元素,并保证每一步选取的值都是局部最优的。在经过n步之后,一共选取了n个值,每个值都是局部最优的,最终我们就可以认为这n个局部最优的值是整体最优的。

那么,在每一步中,究竟通过怎样的策略来选取一个当前局部最优解呢?这个选取策略就叫做『最优量度标准』(也叫做贪心准则)。 最优量度标准选择的好坏,直接影响最终的结果是不是整体最优。 而最优量度标准的选择往往是根据经验来确定的,也就是并不是所有的最优量度标准都能达到整体最优。所以你选取的那个最优量度标准能否导致整体最优,这是需要额外证明的。

贪心算法原型

SolutionType greedy(int[] a){

    // 一开始结果集为空
    SolutionType solution = {};
    // 进行n步选值
    for ( int i=0; i<n; i++ ) {
        // 选出当前局部最优解x
        x = select(a);
        // 判断x是否满足约束条件,若不满足则继续选
        while( !isFeasible(x) ){
            x = select(a);
        }
        // 将当前最优解添加至结果集中
        solution.add(x);
    }
}

何时使用贪心法

满足如下条件,可以使用贪心法:

  1. 要求解的问题是一个最优化问题;
  2. 这个问题的解可以用n元组表示;
  3. 该问题满足最优子结构特性;
  4. 可以找到最优量度标准,并可以证明该最优量度标准能导致一个整体最优解;

PS:并非对所有最优化问题都能找到最优量度标准,若找不到可以使用动态规划法。

贪心法的应用

  • 一般背包问题
  • 最佳合并模式
  • 最小代价生成树
  • 单元最短路径

总结

贪心法用于求解最优化问题。采用多步决策的方式求解,每一步根据最优量度标准求出结果集的一个分量,保证该分量为当前的局部最优解。那么当进行n步决策后,就求出结果集的所有分量。只要最优量度标准选的合理,最终的结果就是一个最优解。 当然,你选取的那个最优量度标准究竟能不能导致整体最优解,这是需要证明的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据分析

文本分类中的特征选择方法

在文本分类中,特征选择是选择训练集的特定子集的过程并且只在分类算法中使用它们。特征选择过程发生在分类器的训练之前。

1946
来自专栏AILearning

【机器学习实战】第8章 预测数值型数据:回归

第8章 预测数值型数据:回归 <script type="text/javascript" src="http://cdn.mathjax.org/mathj...

4086
来自专栏人人都是极客

Peter教你谈情说AI | 04梯度下降法

上一节我们知道了算法是训练出来的,训练过程需要依据某种算法进行运算,这一节我们一起看下线性回归中最常用的优化算法——梯度下降法。

803
来自专栏机器学习算法与Python学习

机器学习(3)之最大似然估计

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 最大似然估计 上一篇(机器学习(2)...

2656
来自专栏真皮专栏

Neural Network

重新回顾一下一开始学的PLA,preceptron learning Algorithm。PLA适用于二维及高维的线性可分的情况,如果是非线性可分的数据,如果使...

741
来自专栏数据科学与人工智能

【知识】线性回归和梯度下降算法,值得学习

小编邀请您,先思考: 线性回归的假设是什么?线性回归用来解决什么问题? 梯度下降算法怎么理解?梯度下降算法怎么改进? ? 实例 首先举个例子,假设我们有一个二手...

1936
来自专栏数说工作室

2. 两独立样本非参数检验 | 非参数检验汇总

飞扬 / 撰写 整理 数说君 / 编辑 ---- 1. 关于非参数检验 上一文(1. 单样本非参数检验 | 非参数检验汇总)中已经说过,相比参数检验,非参数检验...

3279
来自专栏Small Code

【TensorFlow】TensorFlow 的 Logistic Regression

前面提到了使用 TensorFlow 进行线性回归以及学习率、迭代次数和初始化方式对准确率的影响,这次来谈一下如何使用 TensorFlow 进行 Logist...

2287
来自专栏真皮专栏

EM Algorithm

EM算法和之前学的都不太一样,EM算法更多的是一种思想,所以后面用几个例子讲解,同时也会重点讲解GMM高斯混合模型。

1394
来自专栏YoungGy

曲线拟合的几种解释

曲线拟合是一个经典的问题,将其数学化后是:已知训练数据x\bf{x}和对应的目标值t\bf{t}。通过构建参数为w\bf{w}的模型,当新的xx出现,对应的tt...

1698

扫码关注云+社区