线性回归中w的形式
线性回归中 w 的形式
线性回归中 的闭合形式可以写成 .我想搞清楚这个式子的具体含义~
网上查到了一些有关这个表达式形式的解释，整理如下：
无脑推导
欧几里得范数
在探究这个式子的含义前，先无脑地推导一下：从解方程组 开始，即
假设矩阵 是满秩的，我们的目的是使 最小，即最小化 ，
$$
$$
接下来，令 ，即
得到 .
投影
误差 ，当它与 正交时，误差是最小的，即
其实道理和范数是相通的……但还是没有找到让我'满意'的解释，或者说将 与 对比，该如何正向思考这种类似于正定的形式。
一点思考
直觉上，这个表达式的形式给我一种正定矩阵构造的内积的感觉
要想存在，必须保证 是可逆的，也就是说损失函数是凸函数，没有局部最小值，而是有全局最小值。
最佳接收机
最佳接受机
最大后验概率准则(MAP)
对于数字通信系统来说，可靠性的评价标准是 误码率，接收机要做的是以最小的错误概率猜出接收到的比特是 1 还是 0.
对于一个二进制传输系统来说，误码率定义为
其中 和 是发送集合元素的 先验概率， 为发送 时，接收信号条件概率密度函数在判决区域 的积分， 同理。
最后，在先验概率一定的情况下，要想使得误码率 最小，需要让 越小越好，最好是绝对值很大的负数，于是得到条件
这种判定方法称为 最大后验概率准则 MAP.也就是说，最佳接受机可以等效于一个 AP计算器+比较器。
最佳接收机
某数字通信系统如下：
发送端发射 元波形为 ；
经过高斯白噪声信道（ 双边功率谱密度为 ），得到接收信号位
现在要设计一个接收机结构，使得接收错误概率最小。执行如下操作，若
判定接收到的符号为 .
下面使用“采样法”计算波形与波形的后验概率：
如图，经过一个通带增益为 ，通带为 的抗混叠滤波器，再经过采样以后，得到的波形变为离散序列 ，每个时域采样点可以表示为 .
其中，随机变量 服从高斯分布 ...
匹配滤波器
匹配滤波器
最佳接收，目的是使错误概率达到最小，也就是误码率最小，而决定误码率的因素有信噪比（负相关）、码间串扰。匹配滤波器要实现 在抽样时刻，滤波器的输出信噪比最大。
常规的滤波器设计是采用 参数化设计，是一个不断优化参数的过程。而匹配滤波器是要 解出使信噪比最大的滤波器的方程。下面开始推导：
设时域确定性波形 ，经过一个恶心的信道，噪声是一个双边功率谱密度为 的高斯白噪声，则信噪比可以定义为
在 时刻抽样，现在要导出输出信噪比最大的 。其中输出波形 在 时刻为
噪声波形的功率 为
于是有 表达式如下：
量纲：
最终得到信噪比的最大值为 ，根据柯西……不等式取等条件有：
即为匹配滤波器的表达式。匹配滤波器实际上是原波形先翻转移位~而且可以发现，最大信噪比只与输入波形能量和噪声功率谱密度有关，与波形的形状无关！
那么波形的形状可以用来满足其它的要求，比如无码间串扰条件~
泊松分布
泊松分布
二项分布
令随机变量 表明在 次彼此独立的伯努利实验中成功的次数，其中每次伯努利实验的成功概率均为 ，则可称变量 服从二项分布。记作 。
其中 的值为 的概率记作
的期望和方差分别为
当 非常大时，计算 比较麻烦，可以考虑当 时，简化表达式 ，
表达式的极限不存在，需要附加条件。可以考虑构造一个分布 ，其中的 随着 变化而变化，假定期望 为定值，设 ，且 ，此时
如果一个离散变量 服从这种分布，则称为 泊松分布，记作 ，
求解泊松分布的方差：
首先求 ：
则方差
与二项分布的方差相比，少了一个 ，由于
则 最终趋向于 ，方差只剩下 .
参考资料
排队论基础