簡單線性迴歸

簡單線性迴歸 (simple linear regression) 用直線 $\hat{y} = b_0 + b_1x$ 描述 $x$ 對 $y$ 的影響,係數由最小平方法決定:$$b_1 = \frac{S_{xy}}{S_{xx}} = \frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2},\qquad b_0 = \bar{y} - b_1\bar{x}$$ 迴歸線一定通過 $(\bar{x},\bar{y})$。$b_1$ 解讀為「$x$ 多 1 單位,$y$ 平均多 $b_1$」。

算例:點 $(1,2),(2,4),(3,5),(4,9)$,$\bar{x} = 2.5$、$\bar{y} = 5$,$S_{xy} = 11$、$S_{xx} = 5$,$b_1 = 2.2$、$b_0 = -0.5$;預測 $x = 5$ 得 $10.5$(外推要小心)。

$b_1 = r\frac{s_y}{s_x}$ 把斜率與相關係數接起來;$R^2$ 說明直線解釋了多少變異。這是線性代數最小平方解的統計版本,也是多元迴歸、機器學習線性模型的起點;記住相關不等於因果。