待完善 | R语言 | 优化函数 | optimize,optimise,optim
待完善 | R语言 | 优化函数 | optimize,optimise,optim
R语言中，常用的优化函数知多少，这次将介绍optimize,optimise,optim这三个做优化的函数，也是目前最常用到的优化函数。
做一元的优化：只有要给参数 optimize,optimise，此外，optim也可以做一元优化。前面两个较为常用些。
这两个函数的用法是相同的，先给定函数，指定参数的取值函数，再从取值范围中优化，对于凸函数，能够取到全局最优解，对于非凸函数，可能取到局部最优解。
函数
optimize(f, interval, ..., lower = min(interval), upper = max(interval),
maximum = FALSE,
tol = .Machine$double.eps^0.25)
optimise(f, interval, ..., lower = min(interval), upper = max(interval),
maximum = FALSE,
tol = .Machine$double.eps^0.25)这里，f表示函数，interval是取值的区间，lower是区间下界，upper是区间上界，maximum用于指定是最大优化问题还是最小优化问题，tol是计算的精度设置。
=====================
该区域用于描述optimize和optimise函数的核心优化思想，待下次完善。 关键点：以供下次注意理解点。
The first evaluation of f is always at x_1 = a + (1-φ)(b-a) where (a,b) = (lower, upper) and phi = (sqrt(5) - 1)/2 = 0.61803.. is the golden section ratio. Almost always, the second evaluation is at x_2 = a + phi(b-a). Note that a local minimum inside [x_1,x_2] will be found as solution, even when f is constant in there, see the last example.=====================
案例学习： 第一类：凸问题
f <- function (x) (x - 1/3)^2
plot(f,xlim = c(0,1))
xmin <- optimize(f, c(0, 1), tol = 0.0001)
xmin结果
$minimum
[1] 0.3333333
$objective
[1]0极小值时，x取值为0.3333333 ，函数的值为0
第二种，非凸问题
f=function(x) x*sin(10*pi*x)+1
curve(f,xlim=c(-2,1))
从图来看，是波动的，存在好多极小值或极大值。
optimize(f,c(-2,1),tol=0.0001,maximum=T)结果
$maximum
[1] -1.050968
$objective
[1] 2.050482当函数取最大值时，它对应的x取值为-1.050968，显然在-2到1的范围内，非最佳的极大值。此时，对应的目标函数为2.050482.
多元优化问题，即存在多个参数待求解。 optim函数，对于多个参数的多元优化，设置为theta一个参数，取theta1 = theta[1],theta2 = theta[2],…依次类推。
函数，有两个
optim(par, fn, gr = NULL, ...,
method = c("Nelder-Mead", "BFGS", "CG", "L-BFGS-B", "SANN",
"Brent"),
lower = -Inf, upper = Inf,
control = list(), hessian = FALSE)
optimHess(par, fn, gr = NULL, ..., control = list())对于多元的，它的求解难度较大，涉及到的优化算法很多，对于不同类型的算法，其适用范围也有所不一样。
这里暂时给出demo，下次再来完善。
require(graphics)
fr <- function(x) { ## Rosenbrock Banana function
x1 <- x[1]
x2 <- x[2]
100 * (x2 - x1 * x1)^2 + (1 - x1)^2
}optim(c(-1.2,1), fr)初始值为-1.2和1
$par
[1] 1.000260 1.000506
$value
[1] 8.825241e-08
$counts
function gradient
195 NA
$convergence
[1] 0
$message
NULL计算得到的参数最佳结果为1.000260和1.000506。
注意：需要完善的有
- optimize
- optimise
- optim
- optimHess
- 优化算法的适用范围：”Nelder-Mead”,”BFGS”,”CG”,”L-BFGS-B”,”SANN”,”Brent”