机器学习：模型、策略与优化算法详解

1    机器学习三要素

机器学习方法由都是由模型、 策略和算法(优化算法)构成的， 即机器学习方法由三要素构成， 可以简单地表示为：

方法＝模型＋学习准则＋优化算法；

学习准则亦可统称为策略，所有涉及到的机器学习方法均拥有这三要素。可以说构建一种机器学习方法就是确定具体的其三要素。

2    模型

机器学习模型可以分为线性方法和广义线性方法；

线性方法模型：

3    学习准则

有了模型的假设空间，机器学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。机器学习的目标在于从假设空间中选取最优模型，而选取最优模型的准则是期望风险最小化。

期望风险：

期望风险度量平均意义下模型预测的好坏。

3.1    损失函数

监督学习问题是在假设空间中选取模型f作为决策函数，对于给定的输入X，由f(X)给出相应的输出Y，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数（loss function）或代价函数（cost function）来度量预测错误的程度。损失函数是f(X)和Y的非负实值函数， 记作L(Y,f(X))，度量模型一次预测的好坏。

常用的损失函数有：