0 引言

NumPy是Numerical Python的简称，它深深吸引着使用者的原因有下面几点：

• 底层使用C/C++实现，计算快速且省空间，包含C/C++/Fortran接口；
• 可以进行矢量运算并具有复杂广播能力
• 对整组数据进行快速的标准数学运算，而不需要编写循环
• 具有读写磁盘的数学工具和操作内存映射文件的工具
• 具有线性代数、随机数生成、傅立叶变换等功能

0 引言

对于优化问题，经常使用的就是梯度下降算法，但是始终没有搞清楚GD和SGD的差别，翻看了《深度学习》找到了差别，特此记录。

问题描述：对每个样本的损失函数求期望
$$
J(\theta) = \mathbb{E}_{x,y \sim \hat{p}_{data}}L(x,y,\theta)=\frac{1}{m}\sum^{m}_{i=1}L(x^{(i)},y^{(i)},\theta)
$$