梯度上升法确定最佳回归系数梯度上升法用来求函数的最大值，而梯度下降法用来求函数的最小值，其实就是一个东西换了个说法而已 def loadDataSet(): dataMat = [] labelMat = [] wi

决策树构造from math import log def createDataSet(): dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']]

本文总结了 cs231n lecture 13的知识点，介绍了一些理解 CNN 的方法。从激活角度来看，有最近邻，降维，最大patches，遮盖。从梯度角度看，有显著图，特征转换，对抗图片。还有一些有趣的实践：DeepDream，风格迁

python思维导图

14.1 隐马尔科夫模型概率模型(probabilistic model)将学习任务归结于计算变量的概率分布，在概率模型中，利用已知变量推测未知变量的分布称为推断概率模型的学习，基于训练样本来估计变量分布的参数往往很困难，为了便于研究高

10.1 k近邻学习k近邻(k-Nearest Neighbor,简称kNN)是一种常用的监督学习方法，给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来预测，它没有显示的训练过程，是懒惰学习

9.1 聚类任务无监督学习目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇(cluster)，通过这样的划分，每个簇可能对应于一些潜在的概念，这些概念对

8.1 个体与集成集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务集成学习一般结构:先产生一组个体学习器(individual learner),再用某种策略将它们结合起来同质集成：只包含同种类型的个

7.1 贝叶斯决策论贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率\(P(c \ | \ \vec{x}) \) 判别式

6.1 间隔与支持向量考虑下列问题，如果能将训练样本分开的超平面有很多，如何选择最优超平面？ 直观上看，应该寻找位于两类训练样本正中间的划分超平面，在样本空间中，划分超平面可用如下线性方程表示：$$\vec{w}^T\vec{x}+

5.1 神经元模型神经网络是由具有适应性得简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应神经网络最基本的成分是神经元(neuron)模型 常见的激活函数有：阶跃函数，sigmoid函数

4.1 基本流程决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制 一棵树包含一个根节点，若干个内部节点和若干个叶节点，叶节点对应决策结果，其他节点对应一个属性测试 决策树是一个递归过程，有三种情况导致递归