1.导读

工程结构的优化设计与不确定量化问题具有大量的非线性约束，目前常用拉格朗日乘子求解带有大量约束的最优化问题。拉格朗日乘子方法通过引入新的未知优化变量即拉格朗日乘子处理约束条件(在常用的约束优化内点法中通常还增加松弛优化变量将不等式约束转换为等式约束)，然而拉格朗日乘子的引入会增加优化问题求解的未知变量数量，最终需要求解的方程组的阶数随约束条件的增加而增加。特别是一些特殊优化问题，拉格朗日乘子并不存在。另外，大多数机器学习优化问题是非凸优化问题，如何解决大规模机器学习问题，亟需发展新机器学习和约束优化算法。

近期，金沙威尼斯在《Applied Mathematical Modeling》期刊发表了关于机器学习和非线性约束优化方面的研究工作，论文标题为《An exact penalty function optimization method and its application in stress constrained topology optimization and scenario based reliability design problems》。

2.内容简介

 文章提出如图1所示的激活函数和损失函数，通过构造等式和不等式约束泛函模型处理标准优化问题等式约束和不等式约束，建立一种可微精确微分惩罚函数方法，并从数学上证明了方法的精确性，得到了不依赖于对偶和松弛变量的约束优化问题最优性条件，研究表明构造的等式和不等式泛函关于约束的导数即是传统拉格朗日乘子，此外，研究发现，二阶Hessian矩阵包含与目标和约束函数相关的一阶导数项，通过研究应力约束拓扑优化两个算例验证了提出的算法在复杂约束优化问题中的可行性，如图2所示。

图1 提出的激活函数和损失函数和精确微分罚函数方法原理

图2 提出的方法的应力约束拓扑优化结果

基于上述方法，文章还研究了一种数据驱动的场景可靠性优化方法，如图3所示，提出的场景可靠性优化方法消除了不确定优化问题对松弛变量和拉格朗日乘子依赖性，通过分析精确微分罚函数对每个约束的灵敏度值大于零的约束数量，则可确定支持（积极）约束数量，最终可得到多源不确定优化问题的结构失效概率和可靠性，利用有限样本场景便可得到约束违反边界，获得约束违反程度的不确定度量区间，消除传统可靠性优化问题双层嵌套循环中的内层循环，从而实现可靠性分析与确定性优化解耦，将传统可靠性双层优化问题转变成单层优化问题，图4给出了72杆空间桁架结构工程应用案例。

图3 数据驱动的场景不确定可靠性优化设计方法

图4 数据驱动的场景不确定可靠性优化工程应用案例

3.研究结论和意义

文章创新设计了一种机器学习激活和损失函数，提出了一种精确惩罚函数方法求解非线性约束优化问题，与现有的优化方法相比具有很多优点，例如，不需要增加未知变量的数量，不需要人为地识别活动约束等，避免了额外引入对偶变量和松弛变量处理约束的缺点。除此之外，获得不依赖于对偶和松弛变量的约束优化最优性条件，这些研究结果有助于设计新的复杂大规模约束优化和机器学习算法。

原始文献：

Haitao Liao, Xujing Yuan, Ruxin Gao, An exact penalty function optimization method and its application in stress constrained topology optimization and scenario based reliability design problems. Applied Mathematical Modeling, 2023.

原文链接：

https://authors.elsevier.com/sd/article/S0307-904X(23)00443-2