【智能算法】牛顿-拉弗森优化算法（NRBO）原理及实现_newton raphson 算法的基本原理

---

1.背景

2024年，R Sowmya等人受到Newton-Raphson方法启发，提出了牛顿-拉弗森优化算法（Newton-Raphson-Based Optimizer, NRBO）。

2.算法原理

2.1算法思想

NRBO受到Newton-Raphson方法的启发，它使用两个规则来探索整个搜索过程:Newton-Raphson搜索规则(NRSR)和陷阱避免算子(TAO)，并使用几组矩阵来进一步探索最佳结果。NRSR采用Newton-Raphson方法来提高NRBO的探索能力，提高收敛速度以达到改进的搜索空间位置。TAO帮助NRBO避免局部最优陷阱。

2.2算法过程

牛顿-拉弗森方法是一种在实数域和复数域上近似求解方程的方法，利用泰勒级数展开:
$$x_{n+1}=x_n-\frac{f^{\prime }(x_n)}{f^{\prime \prime }(x_n)},n=1,2,3,...\text{\hspace{1em}(1)}$$

牛顿-拉弗森搜索规则 NRSR

NRSR控制向量允许更准确地探索可行区域并获得更好的位置，二阶导数表述为:
f ( x + Δ x ) = f ( x ) + f ′ ( x 0 ) Δ x + 1 2 ! f ′ ′ ( x 0 ) Δ x 2 + 1 3 ! f ′ ′ ( x 0 ) Δ x 3 + ⋯ f ( x − Δ x ) = f ( x ) − f ′ ( x 0 ) Δ x + 1 2 ! f ′ ′ ( x 0 ) Δ x 2 − 1 3 ! f ′ ′ ( x 0 ) Δ x 3 + ⋯ (2)

$$\begin{gathered} f(x{+}\Delta x)= f(x)+f^{'}(x_{0})\Delta x+{\frac{1}{2!}}f^{''}(x_{0})\Delta x^{2}+{\frac{1}{3!}}f^{''}(x_{0})\Delta x^{3}+\cdots \\ f(x{-}\Delta x)= f(x)-f^{'}(x_{0})\Delta x+\frac{1}{2!}f^{''}(x_{0})\Delta x^{2}-\frac{1}{3!}f^{''}(x_{0})\Delta x^{3}+\cdots \end{gathered}$$ \tag{2} f(x+Δx)=f(x)+f′(x0​)Δx+2!1​f′′(x0​)Δx2+3!1​f′′(x0​)Δx3+⋯f(x−Δx)=f(x)−f′(x0​)Δx+2!1​f′′(x0​)Δx2−3!1​f′′(x0​)Δx3+⋯​(2)
上述整理可得f’(x),f’'(x)表达式:
$$\begin{array}{rl}& f^{{}^{\prime }}(x)=\frac{f(x+\Delta x)-f(x-\Delta x)}{2\Delta x}\\ & f^{{}^{\prime }}(x)=\frac{f(x+\Delta x)+f(x-\Delta x)-2\times f(x)}{\Delta x^2}\end{array}\text{\hspace{1em}(3)}$$
位置更新:
$$x_{n+1}=x_n-\frac{(f(x_n+\Delta x)-f(x_n-\Delta x))\times \Delta x}{2\times (f(x_n+\Delta x)+f(x_n-\Delta x)-2\times f(x_n))}\text{\hspace{1em}(4)}$$
NRSR是NRBO的主要组成部分，考虑基于种群搜索方式，进行一定修正：
$$\mathrm{NRSR}=randn\times \frac{(X_w-X_b)\times \Delta x}{2\times (X_w+X_b-2\times x_n)}\text{\hspace{1em}(5)}$$
其中，Xw为最差位置，Xb为最佳位置。δ的自适应系数平衡了探索和开发能力:
$$\delta ={\left(1-\left(\frac{2\times IT}{Ma{x}_{I}T}\right)\right)}^5\text{\hspace{1em}(6)}$$
Δx的表达:
$$\Delta x=rand(1,dim)\times \left|X_b-X_n{}^{IT}\right|\text{\hspace{1em}(7)}$$
Xb表示目前得到的最优解，NRSR表述为:
$$x_{n+1}=x_n-NRSR\text{\hspace{1em}(8)}$$
参数ρ来改进所提出的NRBO的利用，该参数将种群引向正确的方向:
$$\rho =a\times \left(X_b-X_n^{\prime T}\right)+b\times \left(X_{r_1}^{\prime T}-X_{r_2}^{\prime T}\right)\text{\hspace{1em}(9)}$$
其中a和b是(0,1)之间的随机数，r1和r2是从总体中随机选择的不同整数。向量(Xn IT)的当前位置:
$$\begin{array}{r}X{1}_n^T=x_n^{IT}-\left(randn\times \frac{(X_w-X_b)\times \Delta x}{2\times (X_w+X_b-2\times X_n)}\right)+\left(a\times \left(X_b-X_n{}^{IT}\right)\right)+b\times \left(X_{r_1}^{IT}-X_{r_2}^{IT}\right)\end{array}\text{\hspace{1em}(10)}$$
(Weerakoon and Fernando, 2000)提出的NRM进一步完善了NRSR:
$$\begin{array}{rl}& \mathrm{NRSR}=randn\times \frac{(y_w-y_b)\times \Delta x}{2\times (y_w+y_b-2\times x_n)}\\ & y_w=r_1\times (\mathrm{Mean}(Z_{n+1}+x_n)+r_1\times \Delta x)\\ & y_b=r_1\times (\mathrm{Mean}(Z_{n+1}+x_n)-r_1\times \Delta x)\\ & Z_{n+1}=x_n-randn\times \frac{(X_w-X_b)\times \Delta x}{2\times (X_w+X_b-2\times x_n)}\end{array}\text{\hspace{1em}(11)}$$
其中yw和yb为zn1和xn生成的两个向量的位置，NRSR表述为:
$$\begin{array}{r}X{1}_n^T=x_n^{IT}-\left(randn\times \frac{(y_w-y_b)\times \Delta x}{2\times (y_w+y_b-2\times x_n)}\right)+\left(a\times \left(X_b-X_n{}^{IT}\right)\right)+b\times \left(X_{r_1}^{IT}-X_{r_2}^{IT}\right)\end{array}\text{\hspace{1em}(12)}$$
通过最佳向量Xb构造新向量X2nIT：
$$\begin{array}{r}X{2}_n^T=X_b-\left(randn\times \frac{(y_w-y_b)\times \Delta x}{2\times (y_w+y_b-2\times x_n)}\right)+\left(a\times \left(X_b-X_n{}^{IT}\right)\right)+b\times \left(X_{r_1}^{IT}-X_{r_2}^{IT}\right)\end{array}\text{\hspace{1em}(13)}$$
位置向量:
$$\begin{array}{rl}& x_n^{IT+1}=r_2\times \left(r_2\times X{1}_n^{IT}+(1-r_2)\times X{2}_n^{IT}\right)+(1-r_2)\times X{3}_n^{IT}\\ & X{3}_n^{IT}=X_n^{IT}-\delta \times \left(X{2}_n^{IT}-X{1}_n^{IT}\right)\end{array}\text{\hspace{1em}(14)}$$

陷阱避免算子 TAO

TAO是采用(ahmadanfar等人，2020)改进和增强的优化方式，使用TAO可以显著改变x1n的位置。通过结合最佳位置Xb和当前矢量位置xitn，它产生了一个具有增强质量的解决方案：
{ X T A O T T = X n T T + 1 + θ 1 × ( μ 1 × x b − μ 2 × X n T T ) + θ 2 × δ × ( μ 1 × M e a n ( X T T ) − μ 2 × X n T T ) , i f μ 1 < 0.5 X T A O T T = x b + θ 1 × ( μ 1 × x b − μ 2 × X n T T ) + θ 2 × δ × ( μ 1 × M e a n ( X T T ) − μ 2 × X n T T ) , O t h e r w i s e (15a)

$$\begin{cases}X_{TAO}^{TT}=X_{n}^{TT+1}+\theta_{1}\times\left(\mu_{1}\times x_{\mathrm{b}}-\mu_{2}\times X_{n}^{TT}\right)+\theta_{2}\times\delta\times\left(\mu_{1}\times\mathrm{Mean}\left(X^{TT}\right)-\mu_{2}\times X_{n}^{TT}\right), \mathrm{if} \mu_{1}<0.5\\X_{TAO}^{TT}=x_{\mathrm{b}}+\theta_{1}\times\left(\mu_{1}\times x_{\mathrm{b}}-\mu_{2}\times X_{n}^{TT}\right)+\theta_{2}\times\delta\times\left(\mu_{1}\times\mathrm{Mean}\left(X^{TT}\right)-\mu_{2}\times X_{n}^{TT}\right),\quad\mathrm{Otherwise}\end{cases}$$ \tag{15a} {XTAOTT​=XnTT+1​+θ1​×(μ1​×xb​−μ2​×XnTT​)+θ2​×δ×(μ1​×Mean(XTT)−μ2​×XnTT​),ifμ1​<0.5XTAOTT​=xb​+θ1​×(μ1​×xb​−μ2​×XnTT​)+θ2​×δ×(μ1​×Mean(XTT)−μ2​×XnTT​),Otherwise​(15a)
$$X_n^{IT+1}=X_{TAO}^{IT}\text{\hspace{1em}(15b)}$$
DF为控制NRBO性能的决定因子，μ1和μ2为随机数:
$$\begin{gathered} {\mu }_1=\{\begin{array}{cc}3\times rand,& \mathrm{if}\Delta <0.5\\ 1,& \mathrm{Otherwise}\end{array} \\ {\mu }_2=\{\begin{array}{cc}rand,& \mathrm{if}\Delta <0.5\\ 1,& \mathrm{Otherwise}\end{array}\text{\hspace{1em}(16)} \end{gathered}$$
其中rand表示(0,1)之间的随机数，Δ表示(0,1)之间的随机数。上述等式进一步简化:
$$\begin{gathered} {\mu }_1=\beta \times 3\times rand+(1-\beta ) \\ {\mu }_2=\beta \times rand+(1-\beta )\text{\hspace{1em}(17)} \end{gathered}$$

流程图

伪代码

3.结果展示

使用测试框架，测试NRBO性能 一键run.m

• 【智能算法】省时方便，智能算法统计指标——一键运行~

CEC2017-F21

4.参考文献

[1] Sowmya R, Premkumar M, Jangir P. Newton-Raphson-based optimizer: A new population-based metaheuristic algorithm for continuous optimization problems[J]. Engineering Applications of Artificial Intelligence, 2024, 128: 107532.

5.代码获取

资源清单