Optimization
“一般来说，优化问题都是不可解的”。—— Yurii Nesterrov
在给定的约束条件下，寻找一个或多个变量的值，以最大化或最小化一个目标函数
- 优化变量
- 目标函数 (Objective Function): 需要优化（最大化或最小化）的函数。
- 约束条件 (Constraints): 决策变量必须满足的条件。
单目标优化（最大化，最小化），多目标优化
数值方法 解析方法
最优是对于特定指标的最优
解的类型
可行解 (Feasible Solution): 满足所有约束条件的解。 最优解 (Optimal Solution): 使得目标函数达到最优的可行解。
基本流程
凸优化
Convex Optimization 数学优化领域中的一个重要分支，它研究的目标是求解凸函数在凸集上的最小化问题。 凸集 (Convex Set): 如果集合中的任意两点之间的线段完全包含在该集合内，则该集合是凸的。 凸函数 (Convex Function): 对于任意两点 和任意 都有
f(\lambda x+(1-\lambda)y)\leq \lambda f(x)+(1-\lambda) f(y) \end{align}$$ 则 $f$ 为凸函数 凸优化问题通常比一般的非凸优化问题更容易求解，因为凸优化问题通常保证有全局最优解，而且存在有效的算法来找到这个解。此外，凸优化问题在理论上也更加丰富，因为它们满足许多优美的数学性质。 ### 常见算法 [[线性规划\|线性规划]] [[最优控制\|最优控制]] [[群智能优化算法\|群智能优化算法]] [[并行计算\|并行计算]] (Parallel Computing): 利用多核和分布式计算资源来加速优化过程 [[机器学习\|机器学习]]与优化 (Machine Learning and Optimization): 结合机器学习技术来改进优化算法的自适应性和鲁棒性 **解析方法 (Analytical Methods)**: 如[[拉格朗日乘数法\|拉格朗日乘数法]]（Lagrange Multipliers）用于求解带等式约束的优化问题 **数值方法 (Numerical Methods)**: 如[[梯度下降\|梯度下降法]]（Gradient Descent） [[牛顿法\|牛顿法]]（Newton's Method） 梯度下降法（Gradient Descent） 线性规划（Linear Programming） 非线性规划（Nonlinear Programming）