在分类问题中，boosting通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合来提高分类的性能 如何将弱学习算法提升成强学习算法，AdaBoost是个不错的算法，它通过改变训练数据的概率分布（权值分布），针对不同的训练

软间隔最大化对于线性不可分的数据集，通常情况是会有一些outliers(离群点)，将这些outliers去掉，剩下的大部分样本就是线性可分的了。实际上我们是引入松弛变量来达到这一效果 软间隔的支持向量在间隔边界上，或者在间隔边界与分离

梯度上升法确定最佳回归系数梯度上升法用来求函数的最大值，而梯度下降法用来求函数的最小值，其实就是一个东西换了个说法而已 def loadDataSet(): dataMat = [] labelMat = [] wi

决策树构造from math import log def createDataSet(): dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']]

本文总结了 cs231n lecture 13的知识点，介绍了一些理解 CNN 的方法。从激活角度来看，有最近邻，降维，最大patches，遮盖。从梯度角度看，有显著图，特征转换，对抗图片。还有一些有趣的实践：DeepDream，风格迁

python思维导图