应用背景
信赖域算法TR可以用来求解非线性规划问题（NLP, NonLinear Programing），比如含二次项问题的优化求解。
方法原理
函数
在
处的泰勒展开式为:
%3Df(x_k)%20%2B%20%5Cnabla%20f(x_k)%5E%20Tp%20%2B%20%5Cfrac%20%7B1%7D%7B2%7D%20p%5ET%20%5Cnabla%5E2%20f(x_k)p%20%2B%20o(p%5E2))
其中，向量
为迭代向量。在TR算法中，将函数随着在置信域
中的行为使用二次型表示：
%20%5Capprox%20f(x_k)%2BG(x_k)%5ETp%2B%5Cfrac%7B1%7D%7B2%7Dp%5ETB(x_k)p)
式中
为Jacobian矩阵，
为Hessian矩阵。可以使用有限差分或拟牛顿法来对Hessian矩阵进行近似。这样，我们的优化目标为在置信域中寻找迭代向量使得
取得极小值：
%20%3D%20f(x_k)%20%2B%20G(x_k)%5ETp%2B%5Cfrac%7B1%7D%7B2%7Dp%5ETB(x_k)p%20%5C%5C%0A%26%20s.t.%20%5C%7Cp%5C%7C%20%5Cleq%20%20h_k%0A%5Cend%7Balign*%7D)
式中
是第
次迭代的信赖域上界（或称为信赖域半径）。
接下来我们需要确定置信域边界，我们可以分别计算出此步迭代下的实际优化量和使用近似计算出的优化量：
%20%3D%20f(x_k)%20-%20f(x_k%20%2B%20p)%20%5C%5C%0A%26%20%5CDelta%20m_k%20%3D%20f(x_k)%20-%20m(p)%0A%5Cend%7Balign%7D)
定义实际优化量和预测优化量的比值：
%7D%7B%5CDelta%20m_k%7D)
可以用于衡量二次模型与目标函数的近似程度，显然值越接近1越好；
* 当
，说明步子迈得太大了，应缩小信赖域半径，
；
* 当
且
，说明这一步已经迈到了信赖域半径的边缘，并且步子有点小，可以尝试扩大信赖域半径，
；
* 当
，说明这一步迈出去之后，处于“可信赖”和“不可信赖”之间，可以维持当前的信赖域半径，
；
* 当
，说明函数值是向着上升而非下降的趋势变化了（与最优化的目标相反），这说明这一步迈得错得“离谱”了，这时不应该走到下一点，而应“原地踏步”，即
，并且和上述的情况一样，缩小信赖域。反之，在
的情况下，都可以走到下一点，即
；
