羊村懒王

这个屌丝很懒，什么也没留下！

热门标签

【智能算法】牛顿-拉弗森优化算法（NRBO）原理及实现_newton raphson 算法的基本原理

作者：羊村懒王 | 2024-06-02 02:10:41

踩

newton raphson 算法的基本原理

1.背景

2024年，R Sowmya等人受到Newton-Raphson方法启发，提出了牛顿-拉弗森优化算法（Newton-Raphson-Based Optimizer, NRBO）。

在这里插入图片描述

2.算法原理

2.1算法思想

NRBO受到Newton-Raphson方法的启发，它使用两个规则来探索整个搜索过程:Newton-Raphson搜索规则(NRSR)和陷阱避免算子(TAO)，并使用几组矩阵来进一步探索最佳结果。NRSR采用Newton-Raphson方法来提高NRBO的探索能力，提高收敛速度以达到改进的搜索空间位置。TAO帮助NRBO避免局部最优陷阱。

在这里插入图片描述

2.2算法过程

牛顿-拉弗森方法是一种在实数域和复数域上近似求解方程的方法，利用泰勒级数展开:
$x_{n+1}=x_n-\frac{f'(x_n)}{f''(x_n)}, n=1,2,3,...\tag{1}$

牛顿-拉弗森搜索规则 NRSR

NRSR控制向量允许更准确地探索可行区域并获得更好的位置，二阶导数表述为:

\begin{matrix} f (x + Δ x) = f (x) + f^{^{'}} (x_{0}) Δ x + \frac{1}{2!} f^{^{″}} (x_{0}) Δ x^{2} + \frac{1}{3!} f^{^{″}} (x_{0}) Δ x^{3} + \dots \\ f (x - Δ x) = f (x) - f^{^{'}} (x_{0}) Δ x + \frac{1}{2!} f^{^{″}} (x_{0}) Δ x^{2} - \frac{1}{3!} f^{^{″}} (x_{0}) Δ x^{3} + \dots \end{matrix}

$\begin{gathered} f(x{+}\Delta x)= f(x)+f^{'}(x_{0})\Delta x+{\frac{1}{2!}}f^{''}(x_{0})\Delta x^{2}+{\frac{1}{3!}}f^{''}(x_{0})\Delta x^{3}+\cdots \\ f(x{-}\Delta x)= f(x)-f^{'}(x_{0})\Delta x+\frac{1}{2!}f^{''}(x_{0})\Delta x^{2}-\frac{1}{3!}f^{''}(x_{0})\Delta x^{3}+\cdots \end{gathered}$ \tag{2}

f (x + Δ x) = f (x) + f^{^{'}} (x_{0}) Δ x + \frac{1}{2 !} f^{^{''}} (x_{0}) Δ x^{2} + \frac{1}{3 !} f^{^{''}} (x_{0}) Δ x^{3} + \dots f (x - Δ x) = f (x) - f^{^{'}} (x_{0}) Δ x + \frac{1}{2 !} f^{^{''}} (x_{0}) Δ x^{2} - \frac{1}{3 !} f^{^{''}} (x_{0}) Δ x^{3} + \dots (2)

上述整理可得f’(x),f’'(x)表达式:

\begin{aligned} f^{^{'}} (x) = \frac{f (x + Δ x) - f (x - Δ x)}{2 Δ x} \\ f^{^{'}} (x) = \frac{f (x + Δ x) + f (x - Δ x) - 2 \times f (x)}{Δ x^{2}} \end{aligned}

位置更新:

x_{n+1}=x_n-\frac{(f(x_n+\Delta x)-f(x_n-\Delta x))\times\Delta x}{2\times(f(x_n+\Delta x)+f(x_n-\Delta x)-2\times f(x_n))}\tag{4}

NRSR是NRBO的主要组成部分，考虑基于种群搜索方式，进行一定修正：

\mathrm{NRSR}=randn\times\frac{(X_w-X_b)\times\Delta x}{2\times(X_w+X_b-2\times x_n)}\tag{5}

其中，Xw为最差位置，Xb为最佳位置。δ的自适应系数平衡了探索和开发能力:

\delta=\left(1-\left(\frac{2\times IT}{Max_IT}\right)\right)^5\tag{6}

Δx的表达:

\Delta x=rand(1,dim)\times\left|X_b-X_n{}^{IT}\right|\tag{7}

Xb表示目前得到的最优解，NRSR表述为:

x_{n+1}=x_n-NRSR\tag{8}

参数ρ来改进所提出的NRBO的利用，该参数将种群引向正确的方向:

\rho=a\times\left(X_b-X_n^{\prime T}\right)+b\times\left(X_{r_1}^{\prime T}-X_{r_2}^{\prime T}\right)\tag{9}

其中a和b是(0,1)之间的随机数，r1和r2是从总体中随机选择的不同整数。向量(Xn IT)的当前位置:

\begin{aligned} X 1_{n}^{T} = x_{n}^{I T} - (r a n d n \times \frac{(X_{w} - X_{b}) \times Δ x}{2 \times (X_{w} + X_{b} - 2 \times X_{n})}) + (a \times (X_{b} - X_{n}^{I T})) + b \times (X_{r_{1}}^{I T} - X_{r_{2}}^{I T}) \end{aligned}

(Weerakoon and Fernando, 2000)提出的NRM进一步完善了NRSR:

\begin{aligned} N R S R = r a n d n \times \frac{(y_{w} - y_{b}) \times Δ x}{2 \times (y_{w} + y_{b} - 2 \times x_{n})} \\ y_{w} = r_{1} \times (M e a n (Z_{n + 1} + x_{n}) + r_{1} \times Δ x) \\ y_{b} = r_{1} \times (M e a n (Z_{n + 1} + x_{n}) - r_{1} \times Δ x) \\ Z_{n + 1} = x_{n} - r a n d n \times \frac{(X_{w} - X_{b}) \times Δ x}{2 \times (X_{w} + X_{b} - 2 \times x_{n})} \end{aligned}

其中yw和yb为zn1和xn生成的两个向量的位置，NRSR表述为:

\begin{aligned} X 1_{n}^{T} = x_{n}^{I T} - (r a n d n \times \frac{(y_{w} - y_{b}) \times Δ x}{2 \times (y_{w} + y_{b} - 2 \times x_{n})}) + (a \times (X_{b} - X_{n}^{I T})) + b \times (X_{r_{1}}^{I T} - X_{r_{2}}^{I T}) \end{aligned}

通过最佳向量Xb构造新向量X2nIT：

\begin{aligned} X 2_{n}^{T} = X_{b} - (r a n d n \times \frac{(y_{w} - y_{b}) \times Δ x}{2 \times (y_{w} + y_{b} - 2 \times x_{n})}) + (a \times (X_{b} - X_{n}^{I T})) + b \times (X_{r_{1}}^{I T} - X_{r_{2}}^{I T}) \end{aligned}

位置向量:

\begin{aligned} x_{n}^{I T + 1} = r_{2} \times (r_{2} \times X 1_{n}^{I T} + (1 - r_{2}) \times X 2_{n}^{I T}) + (1 - r_{2}) \times X 3_{n}^{I T} \\ X 3_{n}^{I T} = X_{n}^{I T} - δ \times (X 2_{n}^{I T} - X 1_{n}^{I T}) \end{aligned}

陷阱避免算子 TAO

TAO是采用(ahmadanfar等人，2020)改进和增强的优化方式，使用TAO可以显著改变x1n的位置。通过结合最佳位置Xb和当前矢量位置xitn，它产生了一个具有增强质量的解决方案：

{\begin{cases} X_{T A O}^{T T} = X_{n}^{T T + 1} + θ_{1} \times (μ_{1} \times x_{b} - μ_{2} \times X_{n}^{T T}) + θ_{2} \times δ \times (μ_{1} \times M e a n (X^{T T}) - μ_{2} \times X_{n}^{T T}), i f μ_{1} < 0.5 \\ X_{T A O}^{T T} = x_{b} + θ_{1} \times (μ_{1} \times x_{b} - μ_{2} \times X_{n}^{T T}) + θ_{2} \times δ \times (μ_{1} \times M e a n (X^{T T}) - μ_{2} \times X_{n}^{T T}), O t h e r w i s e \end{cases}

$\begin{cases}X_{TAO}^{TT}=X_{n}^{TT+1}+\theta_{1}\times\left(\mu_{1}\times x_{\mathrm{b}}-\mu_{2}\times X_{n}^{TT}\right)+\theta_{2}\times\delta\times\left(\mu_{1}\times\mathrm{Mean}\left(X^{TT}\right)-\mu_{2}\times X_{n}^{TT}\right), \mathrm{if} \mu_{1}<0.5\\X_{TAO}^{TT}=x_{\mathrm{b}}+\theta_{1}\times\left(\mu_{1}\times x_{\mathrm{b}}-\mu_{2}\times X_{n}^{TT}\right)+\theta_{2}\times\delta\times\left(\mu_{1}\times\mathrm{Mean}\left(X^{TT}\right)-\mu_{2}\times X_{n}^{TT}\right),\quad\mathrm{Otherwise}\end{cases}$ \tag{15a}

{X_{T A O}^{TT} = X_{n}^{TT + 1} + θ_{1} \times (μ_{1} \times x_{b} - μ_{2} \times X_{n}^{TT}) + θ_{2} \times δ \times (μ_{1} \times Mean (X^{TT}) - μ_{2} \times X_{n}^{TT}), if μ_{1} < 0.5 X_{T A O}^{TT} = x_{b} + θ_{1} \times (μ_{1} \times x_{b} - μ_{2} \times X_{n}^{TT}) + θ_{2} \times δ \times (μ_{1} \times Mean (X^{TT}) - μ_{2} \times X_{n}^{TT}), Otherwise (15a)

X_n^{IT+1}=X_{TAO}^{IT}\tag{15b}

DF为控制NRBO性能的决定因子，μ1和μ2为随机数:

\begin{array}{cc} 3 \times r a n d, & i f Δ < 0.5 \\ 1, & O t h e r w i s e \end{array}

其中rand表示(0,1)之间的随机数，Δ表示(0,1)之间的随机数。上述等式进一步简化:

\mu_{1}=\beta\times3\times rand+(1-\beta)\\\mu_{2}=\beta\times rand+(1-\beta)\tag{17}

流程图

在这里插入图片描述

伪代码

在这里插入图片描述

3.结果展示

使用测试框架，测试NRBO性能一键run.m

【智能算法】省时方便，智能算法统计指标——一键运行~

CEC2017-F21

在这里插入图片描述

4.参考文献

[1] Sowmya R, Premkumar M, Jangir P. Newton-Raphson-based optimizer: A new population-based metaheuristic algorithm for continuous optimization problems[J]. Engineering Applications of Artificial Intelligence, 2024, 128: 107532.

5.代码获取

资源清单

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】

【智能算法】牛顿-拉弗森优化算法（NRBO）原理及实现_newton raphson 算法的基本原理

目录

1.背景

2.算法原理

2.1算法思想

2.2算法过程

3.结果展示

4.参考文献

5.代码获取