科海拾零

数学基础 用概率密度函数（Probability Density Function, PDF）描述一组随机数据，即 ，PDF 以未知量 为参数，以 ， 表示均值为例，数据的 PDF 为 然后就可以根据 的观测值推断 的值。 估计量性能评估 将数据建模为 其中 为加性高斯白噪声（Additive Gaussian White Noise, AWGN），即 表示均值为 ，方差为 的高斯分布，并且所有样本是互不相关的。利用下式即数据的样本均值估计 满足 最小方差无偏估计 无偏估计量 无偏估计意味着估计量的平均值为未知参数 的真值，如果 说明估计量是无偏的，其中 表示 可能的取值范围。 对于同一个参数有多个估计可用的情况，即 ，对这些组合求平均，即 假设每个估计量都是无偏的，方差相同且互不相关，则 因此，求平均的估计值越多，方差越小，当 时，。 最小方差准则 均方误差定义为 衡量估计值偏离真值的平方偏差的统计平均值。 其中第一部分是估计量围绕其数学期望的随机波动，第二部分是估计量的期望围绕真值的波动，展开后得到 其中 ，表示估计量的偏差。上式表明 是 ...

假设有一组二维数据点，对应的数据矩阵为 数据矩阵中心化 质心的位置为 将数据中心化（去均值） 协方差矩阵 如果不同特征的标准差差异过大，需要先对数据标准化，不再依赖原本的度量单位。 经过标准化处理后，数据均值变为 ，标准差变为 . 协方差矩阵的主对角线为方差 ，非对角线元素为协方差 线性相关系数为 线性相关性系数矩阵为 每个元素表示两个特征之间的相关性 ，对角线上恒为 1，表示和自身完全正相关。 从正交投影的角度看， 在 方向的投影 的方差为 的协方差为 将线性相关性系数矩阵进行特征分解，得到 在特征向量 方向的投影为 则 的方差为 朝 正交投影得到 ， 特征值越大，表示该方向上数据的方差越大，信息越丰富（椭圆/球越长）。 把数据看作一个旋转的椭圆，主成分分析就是找到合适的方向将椭圆摆正。 近似还原 如果仅用第一主元信息还原 ，对应的运算为 误差为 然后用 近似还原 ，进一步缩放和平移 类似地，用前两个主元信息还原 ，对应的运算为 参考资料 Visualize-ML/Linear-Algebra-Made- ...

实对称矩阵的谱分解 实对称矩阵的特征值分解成为谱分解。给定一个 的实对称矩阵 ，其特征值分解可以写成 其中 为正交矩阵，每一列对应一个特征向量， 为对角矩阵，对角元素为特征值。 将矩阵 作用于二维向量 ，对应运算 将其拆解为三个连续变换 用 参考资料 中的例子， 对两个标准正交基做几何变换 首先 先做旋转变换， 做缩放， $$ $$ 最后 做旋转变换， $$ $$ 矩阵 的特征向量为 变换 对特征向量 的作用为 $$ $$ 可视化的 Python 程序见附录。 瑞利商 给定实数矩阵 ，定义其瑞利商为 当向量 为矩阵特征向量时， 为对应的特征值 对于实对称矩阵 ，瑞利商的最大值为最大特征值，最小值为最小特征值，驻点对应所有特征向量。 圆锥曲线——椭圆 设椭圆半长轴的长度为 ，半短轴的长度为 ，椭圆的解析式为 写成矩阵乘法的形式 设单位向量 ，满足 ， 矩阵 作用与 后得到椭圆上的向量 ，，则 则 令 ，则 即 非对称方阵的特征分解 Gram 矩阵 设矩阵 为 的矩阵， 的 Gram 矩阵为 形状为 ，是实对称矩阵，并 ...

本文的推导基于以下假设： 信号到达方向对于各个阵元是一致的；信号扫过阵列的过程中只考虑相移，忽略包络的变化。 设阵元数为 ，快拍数为 ，观测数据为 其中 ，表示信号矢量； ，复加性高斯白噪声，各个阵元的噪声独立，且时间上互不相关，满足分布 ； ，表示含噪声的接收数据矢量，满足分布 . 复高斯随机变量概率密度函数的推导 设复随机变量 其中 与 均为实值随机变量，若 是一个复原对称高斯随机变量，则 与 相互独立； 与 满足 的均值表示为 ； 下面推导其概率密度函数（PDF），本质上是其 实部与虚部的二维联合 PDF。 因为 与 独立，则联合密度为 其中 因此 利用 得到 则 得到了一维 圆对称复高斯分布 的概率密度函数。 对于 维独立的复高斯随机变量，其联合概率密度函数为 对数似然函数的推导 观测数据 满足分布 ，均值向量为 ，带入上式，得到单个快拍的 PDF 为 由于 个快拍在时间上相互独立，则似然函数为各快拍 PDF 的乘积，即 最终的对数似然函数为 Fisher 矩阵的推导 对于单个参数 ，Fisher 矩阵为 对于矢 ...

在回归模型中，线性回归表示为 ，逻辑回归表示为 ……为了使这形式不同的回归模型得到统一，引入了广义线性模型（GLM） GLM 的定义 GLM 基于三项定义： 线性预测算子： 链接函数：将响应变量的期望与线性预测算子联系，定义为 ，其中 函数的输入域是分布允许的范围，例如 Bernoulli 分布的期望 ；函数的输出是线性预测器，数值范围通常是整个实数域 响应变量服从指数族分布 ，如二项分布、泊松分布、正态分布 线性预测算子 其中 . 期望估计 将回归理解为求条件分布 的过程，得到分布后，用期望作为预测值 ，用方差作为预测值的不确定性。 指数分布族 注： 起着归一化常数的作用，确保 在 上的积分为 1. 以高斯分布为例，为了简化推导，令 ，则有 则 以 Bernoulli 分布为例，将均值为 的 Bernoulli 分布记作 ，使得 ，现将 Bernoulli 分布写成 则 ，求逆函数可以得到 ，其余项 典型模型 线性回归 响应变量的分布： 链接函数： 预测： 逻辑回归 响应变量的分布： 链接函数： 对应的 预测： 泊松回归 响应变量的 ...

设 AD 满量程输入范围为 ，其中 是峰值电压，ADC 每次采样输出的二进制位数为 ，有效量化等级数为 则量化步长为 量化误差假设为均匀分布在 之间，均值为零，则方差（量化噪声的功率）为 附：均匀分布 的方差为 . 满幅的正弦信号 则理想的 SNR 为 物理上， 越大，表示量化步长 越精细，量化误差（噪声）越小，SNR 越高。由于器件噪声、非线性失真等因素，真实有效位数可能小于标称的位数，可以根据实际测得的 SNR 反推出真实的有效位数 .

核心思想 基于已知数据构造概率模型，反过来再运用概率模型对未知数据进行预测与分析。 频率学派与统计学习 频率学派所说的概率表示的是 事件发生频率的极限值，在无限次独立重复实验下才准确。 频率统计理论的核心在于认定待估计的参数是固定不变的常量（比如硬币出现正面的概率），讨论参数的概率分布是没有意义的；而用来估计参数的数据是随机的变量（比如某次实验正面还是反面），每个数据都是参数支配下一次独立重复试验的结果。由于参数本身是确定的，那频率的波动就并非来源于参数本身的不确定性，而是由有限次观察造成的干扰而导致。 有限次的实验得到的数据是关于参数的不完全信息，所以从样本估计整体必然产生误差。 极大似然估计：在参数固定的前提下，使数据出现的条件概率最大化。 统计机器学习 参数确定，数据随机 通过对给定的指标优化（比如极大似然函数），估计模型中参数的取值，和参数有关的信息全来自数据。受噪声的影响，观测数据并不是未知参数的准确反映，损失函数定义了模型性能的度量方式，其期望称为风险，风险最小化是参数估计的准则。 贝叶斯学派 概率表示的是客观上 事件的可信程度。 其中 是先验概率， 是似然概率 ...

1234567891011121314151617181920212223/** * @brief This function provides minimum delay (in milliseconds) based * on variable incremented. * @note In the default implementation , SysTick timer is the source of time * base. It is used to generate interrupts at regular time intervals where * uwTick is incremented. * @note This function is declared as __weak to be overwritten in case of other * implementations in user file. * @param Delay specifies the delay time length, in milliseconds ...

Pwn IDA Pro 版本号：v9.1 x64，点击此处 获取安装包（访问码：3j1b） 运行安装包 ida-pro_91_x64win.exe，按提示完成安装，然后复制 keygen_patch 目录中的文件 keygen.py 和 idapro.hexlic 文件到 IDA Pro 主目录下（自定义修改 keygen.py 中的 name、email 字段），保存修改并运行 keygen.py 脚本。 运行 keygen.py 后会生成 patch 后的文件 ida.dll.patched 与 ida32.dll.patched。将原先的文件 ida.dll 和 ida32.dll 删除，然后将补丁文件 ida.dll.patched 与 ida32.dll.patched 分别重新命名为 ida.dll 和 ida32.dll。 然后运行下面脚本指定 Python 版本 12idapyswitch --force-path C:\Software\Anaconda\python3.dllidapyswitch # 再次运行，选择0即可 打开 IDA Pro 软件，[Hel ...

复数与二维旋转 设复数 ，则 将这个结果写成矩阵相乘的形式， 说明 矩阵 表示的几何变换与是复数乘法运算等价的。 一般地，向量 在二维平面中对应一个直角三角形，两个直角边长度为 和 ，斜边长为 ，即向量的模长，矩阵 的每个元素同时除以模长，得到 设向量 与 轴夹角为 ，则 . 与该矩阵相乘在二维平面上实现的效果是 被乘的向量绕原点逆时针旋转 . 由此可以发现，复数能够表示二维平面上的旋转，假设旋转角度为 ，定义单位复数旋转因子为 被旋转的向量 ，相乘得到被旋转 后的复数为 对应向量 在二维平面 中绕原点逆时针旋转了 . 四元数与三维旋转 本文仅使用右手坐标系。 在三维空间中，向量 绕某个旋转轴 旋转，可以将向量 分解为平行于 的分量 和垂直于 的分量 ，然后分别旋转这两个向量，再合并得到最后结果。 其中 始终与 重合，旋转 后的 ； 始终与 垂直，它的旋转可以看作二维平面内的旋转，如下图所示， 向量 绕旋转轴 ， 旋转的结果 为了用“复数”形式表示类似的旋转，最简单的想法是在复数域再加一个维度，即在复数的基础上增加一 ...