反向传播很简单，但是对于矩阵的反向传播稍微有点复杂。对矩阵求导没有什么特别的地方，如果每一项都展开就很清楚了，下面我就来推导一下对于assignment1 Q4 中的两层神经网络的反向传播。 假设输入矩阵 \(X\) 是 NxD维的，

线性时不变系统对复指数信号的响应：输出仍然是复指数信号。如果一个线性时不变系统的输入能够表示成复指数的线性组合，那么系统的输出也能够表示成相同复指数信号的线性组合。 那么问题来了，究竟有多大范围的信号可以用复指数的线性组合来表示？ 用复

指数族分布参数为 \(\eta\) 的变量为 \(x\) 的指数族分布的定义为： 这里 \(\eta\) 被称为概率分布的自然参数，\(g(\eta)\) 可以被看成系数，它确保概率分布的归一化。 接下来证明我们本章讨论过的概率分布的

Unsupervised Learning：只有数据没有标签，我们的目标是学到一些潜在的数据中的结构，比如聚类，降维PCA，特征学习，密度估计等。 Generative Models: 给定训练数据，学得一个p-model，并用p

概率分布本章主要研究某些特殊的概率分布，它们是构成复杂模型的基石。 本章中假设数据点独立同分布，我们考虑离散随机变量的二项分布和多项式分布，以及连续随机变量的高斯分布，这些分布都是参数分布的典型例子。在给定数据集的条件下，我们想确定参数

贝叶斯概率\(p(D \ | \ w)\) 由观测数据集 \(\mathcal{D}\) 来估计，称作似然函数，它表达了在不同的参数向量 \(w\) 下，观测数据出现的可能性的大小。 在贝叶斯观点和频率学家观点中，似然函数 \(p(D

什么是数字图像处理计算机视觉的目标是使用计算机来模拟人的视觉。 三种典型的计算处理： 低级：降低噪声的图像预处理，对比度增强和图像锐化，输入输出都是图像为特征 中级：图像分割，输入为图像输出是从图像中提取的特征 高级：理解已识别目标的

在分类问题中，boosting通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合来提高分类的性能 如何将弱学习算法提升成强学习算法，AdaBoost是个不错的算法，它通过改变训练数据的概率分布（权值分布），针对不同的训练

软间隔最大化对于线性不可分的数据集，通常情况是会有一些outliers(离群点)，将这些outliers去掉，剩下的大部分样本就是线性可分的了。实际上我们是引入松弛变量来达到这一效果 软间隔的支持向量在间隔边界上，或者在间隔边界与分离

梯度上升法确定最佳回归系数梯度上升法用来求函数的最大值，而梯度下降法用来求函数的最小值，其实就是一个东西换了个说法而已 def loadDataSet(): dataMat = [] labelMat = [] wi

决策树构造from math import log def createDataSet(): dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']]

本文总结了 cs231n lecture 13的知识点，介绍了一些理解 CNN 的方法。从激活角度来看，有最近邻，降维，最大patches，遮盖。从梯度角度看，有显著图，特征转换，对抗图片。还有一些有趣的实践：DeepDream，风格迁