线性回归中 w 的形式

线性回归中 的闭合形式可以写成 .我想搞清楚这个式子的具体含义~

网上查到了一些有关这个表达式形式的解释，整理如下：

无脑推导

欧几里得范数

在探究这个式子的含义前，先无脑地推导一下：从解方程组 开始，即

假设矩阵 是满秩的，我们的目的是使 最小，即最小化 ，

$$

$$

接下来，令 ，即

得到 .

投影

误差 ，当它与 正交时，误差是最小的，即

其实道理和范数是相通的……但还是没有找到让我'满意'的解释，或者说将 与 对比，该如何正向思考这种类似于正定的形式。

一点思考

直觉上，这个表达式的形式给我一种正定矩阵构造的内积的感觉

要想存在，必须保证 是可逆的，也就是说损失函数是凸函数，没有局部最小值，而是有全局最小值。