1.1 引言
1.2 基本术语
数据集，属性，特征
标记空间
分类，回归
聚类，簇：了解数据内在规律
监督学习（分类，回归），无监督学习（聚类）
泛化能力
通常假设样本空间全体样本服从一个未知分布 \(\mathcal{D} \),获得的每一个样本都是独立从这个分布上采样，i.i.d
1.3 假设空间
归纳：从特殊到一般的泛化过程，从样例学习就是归纳学习
演绎：从一般到特殊的特化过程
学习过程:在所有假设空间中搜索与训练集匹配的假设
版本空间：存在一个与训练集一致的“假设集合”
1.4 归纳偏好
归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好
奥卡姆剃刀：若有若干个假设与观察一致，则选择最简单的那个。但是哪种假设才是最简单的那个？我们需要用到先验概率
No Free Lunch Theorem:针对具体问题
