【优化1】线性优化

概览

线性优化,指的是目标函数和约束条件都是线性的优化问题。

面对一个优化问题,首先需要建立优化问题的模型,因此需要编程语言;对优化问题建模后需要求解该问题,因此需要求解不同优化问题的solver。

本系列使用的编程语言以及solver如下:

  • 编程语言Julia:是一个由MIT学生开发的高性能动态编程语言,有很多包可以添加来扩充其功能。
  • 优化库JuMP:是Julia的一个包,用于建立优化问题。
  • solver:Jump支持很多开源与商业的solver,这些solver用于求解优化问题。常用的solver有COIN Clp, COIN Cbc, Gurobi等。

本系列大部分内容参考了下面课程,予以感谢:MITx: 15.053x Optimization Methods in Business Analytics。

线性化的必要性

求解线性问题要比求解非线性问题容易很多,因此将非线性的目标函数或者约束跳进进行线性化,有利于求解优化问题。 本文将介绍三种常见的非线性约束并探讨如何将其线性化。

非线性条件线性化

绝对值约束

绝对值约束将绝对值拆开即可。

|x1+x2–x3–x4|≤5{x1+x2–x3–x4≥−5x1+x2–x3–x4≤5

\begin{equation} |x1 +x2 –x3 –x4|≤5 \left\{\begin{aligned} x1 +x2 –x3 –x4 \ge -5\\ x1 +x2 –x3 –x4≤5 \end{aligned}\right. \end{equation}

最大最小约束

最大最小约束(或最小最大约束),可以将优化目标用一个自变量代替,然后补充满足条件的自变量的约束条件即可。

maxmin{50x1,25x2,20x3,15x4}⎧⎩⎨⎪⎪⎪⎪⎪⎪maxzz≤50x1z≤25x2z≤20x3z≤15x4

\begin{equation} \max \min \{50x_1, 25x_2, 20x_3, 15x_4\} \left\{\begin{aligned} \max z \\ z \le 50x_1 \\ z \le 25x_2 \\ z \le 20x_3 \\ z \le 15x_4 \end{aligned}\right. \end{equation}

比例约束

对于比例约束,只需要将两边同乘以分母即可,有以下两点需要注意:

  • 分母如果是负数,必须得变化符号。
  • 分母如果是0,那么新的约束同样满足条件,所以0的情况不用考虑。

x1(x1+x2+x3+x4)≥.2{.8x1−.2x2−.2x3−.2x4≥0

\begin{equation} \frac{x1}{(x1 +x2 +x3 +x4)} ≥ .2 \left\{\begin{aligned} .8x1 -.2x2 -.2x3 -.2x4 ≥0 \end{aligned}\right. \end{equation}

总结

大部分情况下,非线性的目标函数或者约束都不可以直接转化成线性,只有下面三种除外:

  • 绝对值约束
  • 最大最小约束
  • 比例约束

Julia优化例子

Knapsack

using JuMP, DataFrames
# Define model
m = Model()
# Define capacity
capacity = 11
# Read data from CSV file using readtable
data = readtable("knapsack_data.csv", header = false)
# Weights from first column, weights = [1 2 15 6 28]
weights = data[:,1]
# Values from second column, values = [1 6 18 22 7]
values = data[:,2]
# Assign binary values to items
@variable(m, x[1:5], Bin)
# Constraint on total weight
@constraint(m, sum{weights[i]*x[i], i in 1:5} <= capacity) 
# Maximize value from items
@objective(m, Max, sum{values[i]*x[i], i in 1:5})
# Solve model
solve(m)
# Determine which items to carry 
println("Variable Values: ", getvalue(x))
# Determine value from items carried
println("Objetive value: ", getobjectivevalue(m))

Diet

using JuMP
#Define model 
m = Model()
#Food available
S = ["brownies","ice cream","cola","cheese cake"]
#Non-negativity
@defVar(m, x[S] >= 0)
#Minimum calories
@addConstraint(m, 400x["brownies"] + 200x["ice cream"] + 150x["cola"] + 500x["cheese cake"] >= 500)
#At least 6 grams of chocolate
@addConstraint(m, 3x["brownies"] + 2x["ice cream"] >= 6)
#At least 10 grams of sugar
@addConstraint(m, 2x["brownies"] + 2x["ice cream"] + 4x["cola"] + 4x["cheese cake"] >= 10)
#At least 8 grams of fat
@addConstraint(m, 2x["brownies"] + 4x["ice cream"] + 1x["cola"] + 5x["cheese cake"] >= 8)
#Minimize cost of consumption
@setObjective(m, Min, 0.5x["brownies"] + 0.2x["ice cream"] + 0.3x["cola"] + 0.8x["cheese cake"])
#Solve the optimization problem
solve(m)
#Determine consumption amounts
println("variable values: ", getValue(x))
#Determine optimal cost of consumption
println("Objetive value: ", getObjectiveValue(m))

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

写一只具有识别能力的图片爬虫

在网上看到python做图像识别的相关文章后,真心感觉python的功能实在太强大,因此将这些文章总结一下,建立一下自己的知识体系。 当然了,图像识别这个话题...

4105
来自专栏奇点大数据

Pytorch神器(3)

上次我们的连载讲到用最简便的方法,也就是pip方法安装Pytorch。大家都成功了吧。

1141
来自专栏大数据风控

R中时间序列分析-趋势预测ARIMA

时间序列预测(time series forecasting) ARIMA模型(Autoregressive Integrated Moving Average...

23210
来自专栏计算机视觉战队

简单易懂的讲解深度学习(入门系列之八)

神经网络也许是计算机计算的将来,一个了解它的好方法是用一个它可以解决的难题来说明。假设给出 500 个字符的代码段,您知道它们是C,C++,JAVA或Pytho...

663
来自专栏机器学习算法工程师

机器学习实战---线性回归提高篇之乐高玩具套件二手价预测

作者:崔家华 编辑:王抒伟 PS(欢迎访问作者个人网站:www.cuijiahua.com) 线性回归 零 前言: 本篇文章讲解线性回归的缩减方法,岭回归以及逐...

5709
来自专栏有趣的Python和你

sklearn调包侠之KNN算法

1595
来自专栏Petrichor的专栏

论文阅读: Light-head R-CNN

“ Head ” 在文中指连接在basemodel后面的网络结构,包括以下两部分:

1194
来自专栏大数据挖掘DT机器学习

分类模型的性能评估——以SAS Logistic回归为例: 混淆矩阵

跑完分类模型(Logistic回归、决策树、神经网络等),我们经常面对一大堆模型评估的报表和指标,如Confusion Matrix、ROC、Lift、Gini...

3545
来自专栏闪电gogogo的专栏

SAMP论文学习

SAMP:稀疏度自适应匹配追踪 实际应用中信号通常是可压缩的而不一定为稀疏的,而且稀疏信号的稀疏度我们通常也会不了解的。论文中提到过高或者过低估计了信号的稀疏度...

37012
来自专栏人工智能头条

Google | 用神经网络作画

782

扫码关注云+社区