在测试的时候，需要注意 \(\mu_j\) 和 \(\sigma_j\) 不能用测试时的数据求得，需要用训练时的数据的移动平均值 上面的是对全链接神经网络的BN层，如果是对CNN，它的每一层输出层是 NxCxHxW，在 对每个 C

激活函数 Sigmoid 将输入压缩至[0,1] 三个问题： 饱和神经元会杀死梯度 输出不是 0-centered，这样会导致梯度是恒正或恒负 exp() 计算量大 ReLU（Rectified Linear Un