Gradient Grad
向量微分算子数乘标量函数
基本定义
几何意义：
梯度为一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大。
\nabla f=\dfrac{\partial f}{\partial x}\mathbf{i}+\dfrac{\partial f}{\partial y}\mathbf{j} \end{align}$$ ### 梯度与场 [[场\|场]]的概念和梯度密切相关 - 如果对于空间区域 $G$ 内任意一点 $M$，都有一个确定的数量 $f(M)$，则称在空间区域 $G$ 中确定了一个**数量场/标量场** - 如果对于空间区域 $G$ 内任意一点 $M$，对应的是一个向量 $\mathbf{F}(M)$，则称在空间区域 $G$ 中确定了一个**向量场/矢量场**，一个向量场可以用一个[[向量值函数\|向量值函数]]来确定： $$\begin{align} \mathbf{F}(M)=P(M)\mathbf{i}+Q(M)\mathbf{j}+R(M)\mathbf{k} \end{align}$$ 如果向量场 $\mathbf{F}(M)$ 是某个数量场 $f(M)$ 的梯度，则称数量场 $f(M)$ 是向量场 $\mathbf{F}(M)$ 的**势函数**，向量场 $\mathbf{F}(M)$ 为 **势场** #### 实例 求数量场 $\dfrac{m}{r}$ 的梯度场，$m>0,r=\sqrt{ x^{2}+y^{2}+z^{2} }$ 为原点与点 $M(x,y,z)$ 的距离 $$\begin{align} grad \; \dfrac{m}{r}&=-\dfrac{m}{r^{2}} (\dfrac{x}{r}\mathbf{i}+\dfrac{y}{r}\mathbf{j}+ \dfrac{z}{r}\mathbf{k})=-\dfrac{m}{r^{2}} \mathbf{e}_{r} \end{align}$$ 物理意义：位于原点质量为 $m$ 的质点对位于点 $M$ 的引力 ### 梯度下降 **Gradient Descend** 学习率 批量梯度下降：每一步更新使用所有的训练样本 小批量梯度下降：每一步更新使用一定量的训练样本 随机梯度下降：每一步更新使用某个样本 batch_size： 每次所取样本的个数