机器学习(一)

线性模型

基本概念

样例$\vec{x}$, 权重$\vec{w}$:

$$\vec{x} = \left(x_1; x_2; \dots; x_n \right),\ \
\vec{w} = \left(w_1; w_2; \dots; w_n \right)$$

预测函数$f$:

$$f(\vec{x})=\vec{w}\cdot\vec{x} + b$$

预测值$\hat{y}$:

$$\hat{y} = f(\vec{x})$$

线性回归

学习目标: 权重$\vec{w}$和常数$b$

学习规则: 令$x_0 = 1$, $w_0 = b$, 则$$\vec{w}’=(X^TX)^{-1} X^T \vec{y}$$其中$\vec{x}’=(x_0; \vec{x})$, $\vec{w}’=(w_0; \vec{w})$, $X=(\vec{x}’_1; \vec{x}’_2; \dots; \vec{x}’_n)^T$

广义线性模型: $$\hat{y}= g^{-1}(f(\vec{x}))$$

对数几率回归

对数几率: $$\ln \frac{g(z)}{1-g(z)}$$

对数几率函数: $$g(z) = \frac{1}{1+e^{-z}}$$

线性判别分析

还在看书, 有点无聊

神经网络

基本概念

神经元的输入$\vec{x}$, 连接权重$\vec{w}$:

$$\vec{x} = \left(x_1; x_2; \dots; x_n \right),\ \
\vec{w} = \left(w_1; w_2; \dots; w_n \right)$$

神经元的输出$\hat{y}$, 激活函数$f$, 阈值$\theta$:

$$\hat{y}=\mathbb{I}\left( f\left(
\vec{w} \cdot \vec{x}
\right) \ge \theta \right)$$

感知机

适用范围: 线性可分的问题

学习目标: 权重$\vec{w}$和阈值$\theta$

学习规则: 令$x_0 = -1$,$w_0 = \theta$, 记$\vec{w}’=(w_0;\vec{w})$则
$$\begin{aligned}
\vec{w}’ \leftarrow \vec{w}’ + \Delta \vec{w}’\ , \
\Delta \vec{w}’ = \eta (y - \hat{y})\vec{x}’\ ,
\end{aligned}$$其中$\eta\in(0,1)$称为学习率