最优化方法概述

什么是最优化（What）

最优化是从所有可能方案中选择最合理的一种，以达到最优目标的学科

1. 最优方案： 达到最优目标的方案；
2. 最优方法： 搜索最优方案的方法；
3. 最优理论： 研究最优化方法的理论。

为什么学习最优化（Why）

在实际工程问题中，往往设计工程师需要获得机器或产品的最佳性能，希望结构更紧凑，用料最省，成本最低。在实际生活中，往往希望用时最短，路径最短，效率最高，消耗最少，利润更高等等。最优化理论与生俱来的，与“最”字息息相关。无论是科学家还是工程师，面对研究对象的不确定性，追求极致完美是最优化理论发展的源泉和动力。

怎样解决最优化问题（How）

解决最优化问题的基本思路：

1. 优化问题的三要素：目标函数、设计变量、约束条件；
2. 核心方法：工程问题→数学问题→数学建模问题；
3. 总体思路：X=[x₁，x₂，…，x_n]^T → minf(X)/maxf(X)；
4. 数学方法：图解法和迭代法

最优化方法的特点（Study）

江畔独步寻花 — 杜甫
黄四娘家花满蹊，千朵万朵压枝低。
留连戏蝶时时舞，自在娇莺恰恰啼。
联想：寻优思想与诗人情怀

最优化方法的特点：

1. 基本套路：提出问题→分析问题→解决问题；
2. 计算机编程工具：C、Python、Matlab、Maple等；
3. 变量个数往往大于1：X=[x₁，x₂，…，x_n]^T → minf(X)/maxf(X)；
4. 全面思维训练：
   （1）思想：至真至简，明辨因果
   （2）思路：数学寻优，极大极小
   （3）方法：数学、几何学、工程学与计算机编程的完美结合

最优化问题的数学描述

1. minf(x₁,x₂,…,x_n)
   [x₁,x₂,…,x_n]^T$\in$Rⁿ
   subject to
   g_i(x₁,x₂,…,x_n) $\ge$ 0 (i=1,2,…,p)
   h_j(x₁,x₂,…,x_n) = 0 (j=1,2,…,m) (m<n)
2. minf(X)
   X= [x₁,x₂,…,x_n]^T$\in$Rⁿ
   s.t.
   g_i(X) $\ge$ 0 (i=1,2,…,p)
   h_j(X) = 0 (j=1,2,…,m) (m<n)
3. minf(X)
   X= [x₁,x₂,…,x_n]^T$\in$Rⁿ
   s.t.
   G_i(X)$\ge$ 0 G(X)=[ g₁(x),g₂(x),…,g_p(x)]^T
   H_j(X) = 0 H(X)=[ h₁(x),h₂(x),…,h_m(x)]^T
4. minf(X)
   X$\in$Rⁿ
   s.t.
   C_i(X)$\ge$ 0 i$\in$I (i=1,2,…,p)
   C_i(X) = 0 i$\in$E (i=p+1,p+2,…,p+m)

几点补充说明

1. 最优化本质：求极大值或极小值
   max f(x) 等价于 min(-f(x))
   g_i(X) $\le$ 0 等价于 - g_i(X) $\ge$ 0
2. 维度n：变量数目多，从几百到几千甚至上万
3. 工程师要学会“耍赖”：目标函数的精确解与近似解
4. 基本方法：图解法和迭代法