Lagrange 乘數

在限制條件 $g(x,y) = c$ 下求 $f(x,y)$ 的極值,Lagrange 乘數法 (Lagrange multipliers):在 $\nabla g\ne\mathbf 0$ 的點,局部極值的必要條件是 $$\nabla f = \lambda\nabla g$$ 解出候選點後再比較哪個最大、哪個最小。直覺:在最佳點,$f$ 的等高線與限制曲線相切,所以兩個梯度平行;若不平行,沿限制曲線走一點還能讓 $f$ 變大。

算例:在 $x + y = 10$ 下最大化 $xy$:$(y, x) = \lambda(1,1)$ 得 $x = y = 5$,最大值 25。在單位圓上最大化 $3x + 4y$:$(3,4) = \lambda(2x,2y)$,$(x,y)$ 與 $(3,4)$ 同向,最大值 $= |(3,4)| = 5$——這就是 Cauchy-Schwarz 不等式的幾何版。

$\lambda$ 本身有意義:它是「限制放鬆一單位,最佳值改變多少」,經濟學叫影子價格。對偶理論、支持向量機 (SVM)、物理的約束力學都建立在這個想法上。