【优化1】线性优化

概览

线性优化,指的是目标函数和约束条件都是线性的优化问题。

面对一个优化问题,首先需要建立优化问题的模型,因此需要编程语言;对优化问题建模后需要求解该问题,因此需要求解不同优化问题的solver。

本系列使用的编程语言以及solver如下:

  • 编程语言Julia:是一个由MIT学生开发的高性能动态编程语言,有很多包可以添加来扩充其功能。
  • 优化库JuMP:是Julia的一个包,用于建立优化问题。
  • solver:Jump支持很多开源与商业的solver,这些solver用于求解优化问题。常用的solver有COIN Clp, COIN Cbc, Gurobi等。

本系列大部分内容参考了下面课程,予以感谢:MITx: 15.053x Optimization Methods in Business Analytics。

线性化的必要性

求解线性问题要比求解非线性问题容易很多,因此将非线性的目标函数或者约束跳进进行线性化,有利于求解优化问题。 本文将介绍三种常见的非线性约束并探讨如何将其线性化。

非线性条件线性化

绝对值约束

绝对值约束将绝对值拆开即可。

|x1+x2–x3–x4|≤5{x1+x2–x3–x4≥−5x1+x2–x3–x4≤5

\begin{equation} |x1 +x2 –x3 –x4|≤5 \left\{\begin{aligned} x1 +x2 –x3 –x4 \ge -5\\ x1 +x2 –x3 –x4≤5 \end{aligned}\right. \end{equation}

最大最小约束

最大最小约束(或最小最大约束),可以将优化目标用一个自变量代替,然后补充满足条件的自变量的约束条件即可。

maxmin{50x1,25x2,20x3,15x4}⎧⎩⎨⎪⎪⎪⎪⎪⎪maxzz≤50x1z≤25x2z≤20x3z≤15x4

\begin{equation} \max \min \{50x_1, 25x_2, 20x_3, 15x_4\} \left\{\begin{aligned} \max z \\ z \le 50x_1 \\ z \le 25x_2 \\ z \le 20x_3 \\ z \le 15x_4 \end{aligned}\right. \end{equation}

比例约束

对于比例约束,只需要将两边同乘以分母即可,有以下两点需要注意:

  • 分母如果是负数,必须得变化符号。
  • 分母如果是0,那么新的约束同样满足条件,所以0的情况不用考虑。

x1(x1+x2+x3+x4)≥.2{.8x1−.2x2−.2x3−.2x4≥0

\begin{equation} \frac{x1}{(x1 +x2 +x3 +x4)} ≥ .2 \left\{\begin{aligned} .8x1 -.2x2 -.2x3 -.2x4 ≥0 \end{aligned}\right. \end{equation}

总结

大部分情况下,非线性的目标函数或者约束都不可以直接转化成线性,只有下面三种除外:

  • 绝对值约束
  • 最大最小约束
  • 比例约束

Julia优化例子

Knapsack

using JuMP, DataFrames
# Define model
m = Model()
# Define capacity
capacity = 11
# Read data from CSV file using readtable
data = readtable("knapsack_data.csv", header = false)
# Weights from first column, weights = [1 2 15 6 28]
weights = data[:,1]
# Values from second column, values = [1 6 18 22 7]
values = data[:,2]
# Assign binary values to items
@variable(m, x[1:5], Bin)
# Constraint on total weight
@constraint(m, sum{weights[i]*x[i], i in 1:5} <= capacity) 
# Maximize value from items
@objective(m, Max, sum{values[i]*x[i], i in 1:5})
# Solve model
solve(m)
# Determine which items to carry 
println("Variable Values: ", getvalue(x))
# Determine value from items carried
println("Objetive value: ", getobjectivevalue(m))

Diet

using JuMP
#Define model 
m = Model()
#Food available
S = ["brownies","ice cream","cola","cheese cake"]
#Non-negativity
@defVar(m, x[S] >= 0)
#Minimum calories
@addConstraint(m, 400x["brownies"] + 200x["ice cream"] + 150x["cola"] + 500x["cheese cake"] >= 500)
#At least 6 grams of chocolate
@addConstraint(m, 3x["brownies"] + 2x["ice cream"] >= 6)
#At least 10 grams of sugar
@addConstraint(m, 2x["brownies"] + 2x["ice cream"] + 4x["cola"] + 4x["cheese cake"] >= 10)
#At least 8 grams of fat
@addConstraint(m, 2x["brownies"] + 4x["ice cream"] + 1x["cola"] + 5x["cheese cake"] >= 8)
#Minimize cost of consumption
@setObjective(m, Min, 0.5x["brownies"] + 0.2x["ice cream"] + 0.3x["cola"] + 0.8x["cheese cake"])
#Solve the optimization problem
solve(m)
#Determine consumption amounts
println("variable values: ", getValue(x))
#Determine optimal cost of consumption
println("Objetive value: ", getObjectiveValue(m))

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

教你几招搞定 LSTMs 的独门绝技(附代码)

如果你用过 PyTorch 进行深度学习研究和实验的话,你可能经历过欣喜愉悦、能量爆棚的体验,甚至有点像是走在阳光下,感觉生活竟然如此美好 。但是直到你试着用 ...

2441
来自专栏zhisheng

学习算法之路

一个搞ACM的需要掌握的算法的sheet。 第一阶段:练经典常用算法,下面的每个算法给我打上十到二十遍,同时自己精简代码,因为太常用,所以要练到写时不用想,10...

3695
来自专栏CVer

[计算机视觉论文速递] 2018-03-05

通知:这篇推文有16篇论文速递信息,涉及目标检测、图像分割、风格迁移和GAN等方向。 [1]《Hashing with Mutual Information》 ...

3015
来自专栏iOSDevLog

十个主题,最全的优秀 TensorFlow 相关资源列表

38811
来自专栏懒人开发

(2.1)James Stewart Calculus 5th Edition:The Tangent and Velocity Problems

这里提到 Tangent 起源于 拉丁文, 意思是 touching 也就是曲线对应点位置当前的方向

1002
来自专栏小樱的经验随笔

高斯消元法(Gauss Elimination)【超详解&模板】

高斯消元法,是线性代数中的一个算法,可用来求解线性方程组,并可以求出矩阵的秩,以及求出可逆方阵的逆矩阵。 高斯消元法的原理是: 若用初等行变换将增广矩阵 化为 ...

7008
来自专栏AILearning

【Scikit-Learn 中文文档】新异类和异常值检测 - 无监督学习 - 用户指南 | ApacheCN

中文文档: http://sklearn.apachecn.org/cn/stable/modules/outlier_detection.html 英文文...

6547
来自专栏专知

【论文推荐】最新七篇图像分类相关论文—条件标签空间、生成对抗胶囊网络、深度预测编码网络、生成对抗网络、数字病理图像、在线表示学习

【导读】专知内容组整理了最近七篇图像分类(Image Classification)相关文章,为大家进行介绍,欢迎查看! 1. Learning Image C...

3977
来自专栏钱塘大数据

32类计算机与数学领域最为重要的算法

导读: 奥地利符号计算研究所的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科...

2768
来自专栏深度学习自然语言处理

【论文笔记】中文词向量论文综述(二)

一、Improve Chinese Word Embeddings by Exploiting Internal Structure

733

扫码关注云+社区