数学基础

用概率密度函数（Probability Density Function, PDF）描述一组随机数据，即 ，PDF 以未知量 为参数，以 ， 表示均值为例，数据的 PDF 为

然后就可以根据 的观测值推断 的值。

估计量性能评估

将数据建模为

其中 为加性高斯白噪声（Additive Gaussian White Noise, AWGN），即 表示均值为 ，方差为 的高斯分布，并且所有样本是互不相关的。利用下式即数据的样本均值估计

满足

最小方差无偏估计

无偏估计量

无偏估计意味着估计量的平均值为未知参数 的真值，如果

说明估计量是无偏的，其中 表示 可能的取值范围。

对于同一个参数有多个估计可用的情况，即 ，对这些组合求平均，即

假设每个估计量都是无偏的，方差相同且互不相关，则

因此，求平均的估计值越多，方差越小，当 时，。

最小方差准则

均方误差定义为

衡量估计值偏离真值的平方偏差的统计平均值。

其中第一部分是估计量围绕其数学期望的随机波动，第二部分是估计量的期望围绕真值的波动，展开后得到

其中 ，表示估计量的偏差。上式表明 是由 估计量的方差 和 偏差 引起的误差组成的。

对于有偏的估计量， 与参数 的真值有关，最小化 可能导致不可实现的估计量，如果约束估计量为无偏的，然后最小化方差，得到的估计量就是最小方差无偏（Minimum Variance Unbiased, MVU）估计量。

最小方差无偏估计的存在性

不总是存在一个估计量 ，对于所有的 ，其方差都小于其它无偏估计量！

Cramer-Rao 下限

观测到单个样本

无偏估计满足 .

考虑 PDF 的自然对数

一阶导数为

负的二阶导数（对数似然函数的曲率）为

随着 的减少而增加，并且已知 ，则

更一般的度量是

表示对数自然函数的平均曲率，值越大，表示估计量的方差越小。

直观理解：

PDF 的 取固定值时，PDF 是参数 A 的（似然）函数，图像越尖锐，估计参数 A 的精度越高。用 负的二阶导数 定量描述 尖锐程度。

似然函数的对数曲线对参数越陡，表示数据对该参数越敏感，信息越多，可达的方差下界越小。

标量参数的 CRLB

假设对于所有的参数 ，概率密度函数 满足正则条件

那么，任何无偏估计量 的方差满足

当且仅当

时，对有所 达到下限的无偏估计量可以求得，估计量 时 MVU 估计量，最小方差是 .

推导过程

左边：

右边：

根据牛顿-莱布尼茨公式

当 边界随参数变化带来的边界项 时，求积分与求偏导运算可以交换。

假设正则条件满足，两式中的求积分和求偏导运算可以交换，说明 PDF 的非零边界和参数 无关。

下面推导标量参数 的 CRLB，对于所有无偏估计量

在满足正则条件的前提下，对等式两边求导，得到

根据正则条件 ，可以得到

两式作差得到

根据柯西-施瓦茨不等式，

$$

$$

由正则化条件，

得到

积分边界与参数 无关，于是

最终得到，

当且仅当无偏估计量 与对数似然函数的一阶偏导数呈线性关系，即

时成立，其中 与 无关。

直观理解：

对数似然函数的一阶偏导数反映“秤”对真实值的敏感程度，取等条件表示估计值和 敏感程度 呈固定的比例，“秤”越敏感，估计的误差就按照这个比例调整，几步浪费精度，也不高估“秤”的能力，最终将误差压到最低值。

以 为例，达到 CRLB 时，

定义 Fisher 信息 ，则

矢量参数的 CRLB

现将前一部分的结果扩展到估计矢量参数 ，假定 是无偏估计，矢量参数的 CRLB 允许对每隔元素的方差放置一个下限，即

其中 是 的 Fisher 信息矩阵，

假设 PDF 满足正则条件

则任何无偏估计量 的协方差矩阵满足

当且仅当

时可达下限。

推导过程

下面推导矢量参数 的 CRLB，考虑无偏估计量

根据正则条件 ，可以得到

两式作差得到

当 时，

组合成矩阵形式

对于任意的 矢量 和 矢量 ，

由柯西-施瓦茨不等式

并且

令

进一步得到

由于 正定，得到

取等条件为

与上一部分推导标量的类似，考虑 时，

$$ 、、

$$

附录

下文推导基于以下假设：

信号到达方向对于各个阵元是一致的；信号扫过阵列的过程中只考虑相移，忽略包络的变化。

设阵元数为 ，快拍数为 ，观测数据为

其中

  • ，表示信号矢量；
  • ，复加性高斯白噪声，各个阵元的噪声独立，且时间上互不相关，满足分布 ；
  • ，表示含噪声的接收数据矢量，满足分布 .

复高斯随机变量概率密度函数的推导

设复随机变量

其中 与 均为实值随机变量，若 是一个复原对称高斯随机变量，则

  • 与 相互独立；

  • 与 满足

  • 的均值表示为 ；

下面推导其概率密度函数（PDF），本质上是其 实部与虚部的二维联合 PDF。

因为 与 独立，则联合密度为

其中

因此

利用

得到

则

得到了一维 圆对称复高斯分布 的概率密度函数。

对于 维独立的复高斯随机变量，其联合概率密度函数为

对数似然函数的推导

观测数据 满足分布 ，均值向量为 ，带入上式，得到单个快拍的 PDF 为

由于 个快拍在时间上相互独立，则似然函数为各快拍 PDF 的乘积，即

最终的对数似然函数为

Fisher 矩阵的推导

对于单个参数 ，Fisher 矩阵为

对于矢量参数 ，Fisher 矩阵为

首先计算对数似然函数的一阶导数（忽略常数项）

令 ，关注和参数 有关的部分，

则有

令 代入到对数似然函数的导数中

下面计算对数似然函数的二阶导数

已经得到一阶导数为

对于复加性高斯白噪声，，因此

并且

于是似然函数的二阶导为

其中

代入对数似然函数二阶导数的表达式得到

其中 .

下面取期望得到 Fisher 信息

对数似然函数的二阶表达式中

那么

对于多参数的情况，即 ，

CRLB 的推导

对于实参数 ，其 Cramér–Rao 下界 为

则

单信号源+均匀线阵

下面考虑 单信号源，ULA 阵列，设阵元数为 ，阵元间距 ，ULA 导向矢量为

导向矢量对参数 的导数为

2-范数平方为

最终得到单信源， ULA 阵列的 Cramér–Rao 下界 为

单信号源+均匀面阵

下面考虑 单信号源，UPA 阵列，设水平方向阵元数为 ，垂直方向阵元数为 ，则总阵元数为 ，设入射角的俯仰角为 ，方位角为 ，则 UPA 的导向矢量表示为

其中，

导向矢量对方位角和俯仰角求偏导

下面求 Fisher 矩阵，对于二维参数 ，

其中

对于方位角

则

其中

得到

同理，可以求得

最终的 Fisher 矩阵

最终的 CRLB 表示为