14.1 隐马尔科夫模型概率模型(probabilistic model)将学习任务归结于计算变量的概率分布，在概率模型中，利用已知变量推测未知变量的分布称为推断概率模型的学习，基于训练样本来估计变量分布的参数往往很困难，为了便于研究高

10.1 k近邻学习k近邻(k-Nearest Neighbor,简称kNN)是一种常用的监督学习方法，给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来预测，它没有显示的训练过程，是懒惰学习

9.1 聚类任务无监督学习目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇(cluster)，通过这样的划分，每个簇可能对应于一些潜在的概念，这些概念对

8.1 个体与集成集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务集成学习一般结构:先产生一组个体学习器(individual learner),再用某种策略将它们结合起来同质集成：只包含同种类型的个

7.1 贝叶斯决策论贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率\(P(c \ | \ \vec{x}) \) 判别式

6.1 间隔与支持向量考虑下列问题，如果能将训练样本分开的超平面有很多，如何选择最优超平面？ 直观上看，应该寻找位于两类训练样本正中间的划分超平面，在样本空间中，划分超平面可用如下线性方程表示：$$\vec{w}^T\vec{x}+

5.1 神经元模型神经网络是由具有适应性得简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应神经网络最基本的成分是神经元(neuron)模型 常见的激活函数有：阶跃函数，sigmoid函数

4.1 基本流程决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制 一棵树包含一个根节点，若干个内部节点和若干个叶节点，叶节点对应决策结果，其他节点对应一个属性测试 决策树是一个递归过程，有三种情况导致递归

3.1 基本形式给定由 d 个属性描述的示例 \(\vec{x} \)=\( (x_1;x_2;…;x_d) \), 其中 \(x_i \)是 \(\vec{x} \)在第 i 个属性上的取值线性模型(linear model)试图学得

大脑是我们最重要的工具，要正确利用这个工具，唯一的途径就是去了解它，尤其是了解它的弱点。 我们的思维有着各种各样的弱点和陷阱。 人的思维充满着各种各样的捷径，每一条捷径都是一把双刃剑，一方面降低了大脑的认知复杂性，有助于迅速做出绝大部

2.1 经验误差与过拟合错误率，精度训练误差，泛化误差过拟合，欠拟合过拟合是无法避免的，我们只能尽量缓解模型选择 2.2 评估方法通过测试集上的测试误差作为泛化误差的近似，测试集应尽可能与训练集相斥 2.2.1 留出法留出法(

1.1 引言 1.2 基本术语数据集，属性，特征标记空间分类，回归聚类，簇：了解数据内在规律监督学习（分类，回归），无监督学习（聚类）泛化能力通常假设样本空间全体样本服从一个未知分布 \(\mathcal{D} \),获得的每一个样本