机器学习第一课：微积分原理的多元扩展_您的 hessian 矩阵不是对称矩阵-程序员宅基地

中学开始，我们学过一元自变量的求导。但实际应用上往往需要多自变量求导。多元参数的思考方式也是化“未知为已知”的思想，我们可以将所有多元参数向量化。例如将多元的参数 $x_1,x_2,...$ 变成一个向量变元 $x=（x_1,x_2,...）$ 。这样从形式上又回到了我们熟悉的一元问题。后面提到多元函数参数时基本都用向量转化方法。

一、从一元参数的函数求导到多元参数的函数求导

多元参数常常用向量表示，所以这里的表层含义就是相当于对向量求导。
1.1 $f(x)$ 对向量x的一阶导数（这里x是向量）

f' (x) : g (x) = \nabla f (x) = \partial f ( x ) \partial x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial f ( x ) \partial x 1 \partial f ( x ) \partial x 2 : : ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$f'(x): g(x)=\nabla f(x)=\frac{\partial f(x)}{\partial x} = \begin{bmatrix} \frac{\partial f(x)}{\partial x_1} \\ \frac{\partial f(x)}{\partial x_2}\\ :\\ :\\ \end{bmatrix}$
1.2

f(x) $f(x)$ 对向量x的二阶导数（这里x是向量）

f'' (x) : H (x) = \nabla 2 f (x) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f ( x ) \partial x 2 1 \partial 2 f ( x ) \partial x 2 \partial x 1 : \partial 2 f ( x ) \partial x 1 \partial x 2 . . . . . . ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$f''(x): H(x)=\nabla^2 f(x) = \begin{bmatrix} \frac{\partial^2f(x)}{\partial{x_1^2}} & \frac{\partial^2f(x)}{\partial{x_1}\partial{x_2}}& ... \\ \frac{\partial^2f(x)}{\partial{x_2}\partial{x_1}}& ...\\ :\\ \end{bmatrix}$
这个矩阵就是Hessian矩阵(工程上它一般是个对称矩阵，下面我们按照对称矩阵处理)，下面两个常用二级公式
若向量a与向量x无关，则

\partial a T x \partial x = a

$\frac{\partial a^T x}{\partial x}=a$
若矩阵A与向量x无关，则

\partial x T A x \partial x = 2 A x

$\frac{\partial x^TA x}{\partial x}=2Ax$

二、从一元参数的泰勒展开求导到多元参数的泰勒展开

一元函数的泰勒展开：

f (x k + δ) = f (x k) + f' (x k) δ + 1 2 f'' (x k) δ 2 + \dots + 1 k ! f (k) (x k) δ k + \dots

$f(x_k+\delta) = f(x_k)+f'(x_k)\delta+\frac{1}{2}f''(x_k)\delta^2+\cdots+\frac{1}{k!}f^{(k)}(x_k)\delta^k+\cdots$
那么多元参数（向量）的泰勒展开呢？
向量的泰勒展开：

f (x k + δ) \approx f (x k) + g T (x k) δ + 1 2 δ T H (x k) δ

$f(x_k+\delta) \approx f(x_k)+g^T(x_k)\delta+\frac{1}{2}\delta^T H(x_k)\delta$
g函数，H函数来自上面一中的式子。因为没有完全展开所以是约等于。

三、极值问题

一元参数的极值问题在高中被虐过很多次了吧。。。非边界连续点的极值问题有一套固定的套路，求导=0，将解得的点代入二阶导判断正负
负：极大值；
正：极小值；
0：鞍点，不能判断。

多元参数的函数呢？
同样首先算导数g(x)=0，求得点，然后将解代入Hessian矩阵判断是否是正定矩阵。
正定：极小值
负定：极大值
不定：不能判断。

四、梯度下降法与拟牛顿法

我们如果真的这么求，面临的问题会特别多。鞍点，无解等问题纷纷出现，兼职搞死宝宝了。工业上为了解决这种情况常用约束优化迭代法。就是我们常说的梯度下降法与拟牛顿法。由于这部分十分重要，我将用新文章加以整理。

说明

一、Hessian矩阵可能不是对称矩阵

上面挖了一个坑，这里有一个Hessian矩阵

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f ( x ) \partial x 2 1 \partial 2 f ( x ) \partial x 2 \partial x 1 : : \partial 2 f ( x ) \partial x 1 \partial x 2 . . . . . . ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\begin{bmatrix} \frac{\partial^2f(x)}{\partial{x_1^2}} & \frac{\partial^2f(x)}{\partial{x_1}\partial{x_2}}& ...& \\ \frac{\partial^2f(x)}{\partial{x_2}\partial{x_1}}& ...\\ :\\ : \end{bmatrix}$
按直觉考虑，这应该是个对角矩阵。但直觉这个东西一般靠不住。我们国内通行高数教材上有个“偏导顺序可换的充分不必要条件”

如果函数z=f(x,y)在区域内连续,则下面公式的两个二阶混合偏导数相等才成立：

\partial 2 f ( x , y ) \partial x \partial y = \partial 2 f ( x , y ) \partial y \partial x

$\frac{\partial^2f(x,y)}{\partial{x}\partial{y}}= \frac{\partial^2f(x,y)}{\partial{y}\partial{x}}$

这就很尴尬了，Hassion矩阵看来不一定是对称矩阵。如果要强调Hassion矩阵是不是对称矩阵还要判断是否连续。我们多余判断这一步有没有意义呢？

二、对称矩阵

性质：这里对称矩阵的特征值都是实数。

向量求二阶导举例时，发现结果就三种可能：正定矩阵，负定矩阵，不定矩阵。
我们是不是忘了什么东西？对，复数。Hassion矩阵如果变成反对阵矩阵就直接悲剧了。

[11 - 1 1] \to λ 1 = 1 + i, λ 2 = 1 - i

$\begin{bmatrix} 1 & -1\\ 1 & 1 \end{bmatrix} \rightarrow \lambda_1 =1+i,\lambda_2 =1-i$
这下知道工业中为什么喜欢连续了吧。原来这一章的坑是连续的判断或不连续函数的连续化。

三、鞍点问题

这个东西的确难死，我之前在刷考研数学题时，都很少见过这样的。
我的方法就是设 $G(x)=f'(x)$
然后复杂反推。这实际上相当于求三阶导了。

本文链接：https://blog.csdn.net/dajiabudongdao/article/details/52397343

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

FX3/CX3 JLINK 调试_ezusbsuite_qsg.pdf-程序员宅基地

文章浏览阅读2.1k次。FX3 JLINK调试是一个有些麻烦的事情，经常有些莫名其妙的问题。设置参见 c:\Program Files (x86)\Cypress\EZ-USB FX3 SDK\1.3\doc\firmware 下的 EzUsbSuite_UG.pdf 文档。常见问题： 1.装了多个版本的jlink，使用了未注册或不适当的版本选择一个正确的版本。JLinkARM_V408l，JLinkA_ezusbsuite_qsg.pdf

用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放_qopengl如何鼠标控制旋转-程序员宅基地

文章浏览阅读2.6k次。** 本文仅通过用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放，是比较入门的级别，由于个人能力有限，新手级别，所以未能施加光影灯光等操作，未能让显示的stl文件更加真实。****效果图：**1. main.cpp```cpp#include "widget.h"#include <QApplication>int main(int argc, char *argv[]){ QApplication a(argc, argv); _qopengl如何鼠标控制旋转

刘焕勇&王昊奋｜ChatGPT对知识图谱的影响讨论实录-程序员宅基地

文章浏览阅读943次，点赞22次，收藏19次。以大规模预训练语言模型为基础的chatgpt成功出圈，在近几日已经给人工智能板块带来了多次涨停，这足够说明这一风口的到来。而作为曾经的风口“知识图谱”而言，如何找到其与chatgpt之间的区别，找好自身的定位显得尤为重要。形式化知识和参数化知识在表现形式上一直都是大家考虑的问题，两种技术都应该有自己的定位与价值所在。知识图谱构建往往是抽取式的，而且往往包含一系列知识冲突检测、消解过程，整个过程都能溯源。以这样的知识作为输入，能在相当程度上解决当前ChatGPT的事实谬误问题，并具有可解释性。

如何实现tomcat的热部署_tomcat热部署-程序员宅基地

文章浏览阅读1.3k次。最重要的一点，一定是degbug的方式启动，不然热部署不会生效，注意，注意！_tomcat热部署

用HTML5做一个个人网站，此文仅展示个人主页界面。内附源代码下载地址_个人主页源码-程序员宅基地

文章浏览阅读10w+次，点赞56次，收藏482次。html5 ，用css去修饰自己的个人主页代码如下：<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xh..._个人主页源码

程序员公开上班摸鱼神器！有了它，老板都不好意思打扰你！-程序员宅基地

文章浏览阅读201次。开发者（KaiFaX）面向全栈工程师的开发者专注于前端、Java/Python/Go/PHP的技术社区来源：开源最前线链接：https://github.com/svenstaro/gen..._程序员怎么上班摸鱼

随便推点

UG\NX二次开发改变Block UI界面的尺寸_ug二次开发调整对话框大小-程序员宅基地

文章浏览阅读1.3k次。改变Block UI界面的尺寸_ug二次开发调整对话框大小

基于深度学习的股票预测（完整版，有代码）_基于深度学习的股票操纵识别研究python代码-程序员宅基地

文章浏览阅读1.3w次，点赞18次，收藏291次。基于深度学习的股票预测数据获取数据转换LSTM模型搭建训练模型预测结果数据获取采用tushare的数据接口（不知道tushare的筒子们自行百度一下，简而言之其免费提供各类金融数据 , 助力智能投资与创新型投资。）python可以直接使用pip安装tushare!pip install tushareCollecting tushare Downloading https://files.pythonhosted.org/packages/17/76/dc6784a1c07ec040e74_基于深度学习的股票操纵识别研究python代码