SSH隧道端口转发访问服务器Jupyter
SSH 隧道端口转发访问服务器
Jupyter
本文省略 Jupyter 安装流程,配置流程如下:
12jupyter notebook --generate-configvim .jupyter/jupyter_notebook_config.py
修改下面内容:
12345c.ServerApp.allow_remote_access = Falsec.ServerApp.ip = '127.0.0.1'c.ServerApp.notebook_dir = '<custom_path>'c.ServerApp.open_browser = Falsec.ServerApp.port = <custom_port>
经过上述配置后,Jupyter 只能在服务器本机的环回网卡开一个 TCP 监听端口
<custom_port>,只有服务器自己能访问,外界扫描不到端口,降低被爆破的风险。SSH
连接建立后,会形成一个加密的双向通道,全程加密并且能在通道中复用多路数据流,当然也包括端口转发。
服务器不开放公网端口,本地使用 SSH 建隧道,把服务器的 ...
Visual Studio 配置 GPU
Visual Studio 配置 GPU
运行环境:
操作系统:Windows 11 Pro
开发工具:Visual Studio 2022 v17.14.24
CUDA
Visual Studio 在新建的工程中,右键 → [Build Custemization Files],添加下面目录中的 .targets 文件
1C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration\MSBuildExtensions
然后
[Properties] → [VC++ Directories] → [Include Directories] 填入 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\include
[Properties] → [VC++ Directories] → [Library Directories] 填入 C:\Program Files\NVI ...
《阵列信号处理》学习笔记
《阵列信号处理》学习笔记
假设一个 M 元阵列天线,信号形式为
其中 是 的信号矢量, 是 的导向矢量矩阵
协方差矩阵描述阵列接收数据各个通道之间相关性,定义为
如果信号与噪声互不相关,且噪声均匀独立同分布,那么
其中 为信号源协方差矩阵, 为噪声方差。对角元素表示阵元接收信号的平均功率,非对角元素表示不同阵元信号的互相关性。
实际上,只能采用采样数据近似计算协方差矩阵,
通过时间平均估计阵列数据的统计特性,其中 为快拍数,即采样点数。
MUSIC 算法
一种基于子空间分解的高分辨率波达方向(DOA)估计方法,由 Schmidt 等人于 1986 年提出。
R. Schmidt, "Multiple emitter location and signal parameter estimation," in IEEE Transactions on Antennas and Propagation, vol. 34, no. 3, pp. 276-280, March 1986, doi: 10.1109/TAP.1986.1143830 ...
《统计信号处理》学习笔记
估计理论
数学基础
用概率密度函数(Probability Density Function, PDF)描述一组随机数据,即 ,PDF 以未知量 为参数,以 , 表示均值为例,数据的 PDF 为
然后就可以根据 的观测值推断 的值。
估计量性能评估
将数据建模为
其中 为加性高斯白噪声(Additive Gaussian White Noise, AWGN),即 表示均值为 ,方差为 的高斯分布,并且所有样本是互不相关的。利用下式即数据的样本均值估计
满足
最小方差无偏估计
无偏估计量
无偏估计意味着估计量的平均值为未知参数 的真值,如果
说明估计量是无偏的,其中 表示 可能的取值范围。
对于同一个参数有多个估计可用的情况,即 ,对这些组合求平均,即
假设每个估计量都是无偏的,方差相同且互不相关,则
因此,求平均的估计值越多,方差越小,当 时,。
最小方差准则
均方误差定义为
衡量估计值偏离真值的平方偏差的统计平均值。
其中第一部分是估计量围绕其数学期望的随机波动,第二部分是估计量的期望围绕真 ...
主成分分析
主成分分析
假设有一组二维数据点,对应的数据矩阵为
数据矩阵中心化
质心的位置为
将数据中心化(去均值)
协方差矩阵
如果不同特征的标准差差异过大,需要先对数据标准化,不再依赖原本的度量单位。
经过标准化处理后,数据均值变为 ,标准差变为 .
协方差矩阵的主对角线为方差 ,非对角线元素为协方差
线性相关系数为
线性相关性系数矩阵为
每个元素表示两个特征之间的相关性 ,对角线上恒为 1,表示和自身完全正相关。
从正交投影的角度看, 在 方向的投影 的方差为
的协方差为
将线性相关性系数矩阵进行特征分解,得到
在特征向量 方向的投影为
则 的方差为
朝 正交投影得到 ,
特征值越大,表示该方向上数据的方差越大,信息越丰富(椭圆/球越长)。
把数据看作一个旋转的椭圆,主成分分析就是找到合适的方向将椭圆摆正。
近似还原
如果仅用第一主元信息还原 ,对应的运算为
误差为
然后用 近似还原 ,进一步缩放和平移
类似地, ...
矩阵的特征分解
矩阵的特征分解
实对称矩阵的谱分解
实对称矩阵的特征值分解成为谱分解。给定一个 的实对称矩阵 ,其特征值分解可以写成
其中 为正交矩阵,每一列对应一个特征向量, 为对角矩阵,对角元素为特征值。
将矩阵 作用于二维向量 ,对应运算
将其拆解为三个连续变换
用 参考资料 中的例子,
对两个标准正交基做几何变换
首先 先做旋转变换,
做缩放,
$$
$$
最后 做旋转变换,
$$
$$
矩阵 的特征向量为
变换 对特征向量 的作用为
$$
$$
可视化的 Python 程序见附录。
瑞利商
给定实数矩阵 ,定义其瑞利商为
当向量 为矩阵特征向量时, 为对应的特征值
对于实对称矩阵 ,瑞利商的最大值为最大特征值,最小值为最小特征值,驻点对应所有特征向量。
圆锥曲线——椭圆
设椭圆半长轴的长度为 ,半短轴的长度为 ,椭圆的解析式为
写成矩阵乘法的形式
设单位向量 ,满足 ,
矩阵 作用与 后得到椭圆上的向量 ,,则
则
令 ,则
即
...
Cramér–Rao界的推导
Cramér–Rao 界的推导
本文的推导基于以下假设:
信号到达方向对于各个阵元是一致的;信号扫过阵列的过程中只考虑相移,忽略包络的变化。
设阵元数为 ,快拍数为 ,观测数据为
其中
,表示信号矢量;
,复加性高斯白噪声,各个阵元的噪声独立,且时间上互不相关,满足分布 ;
,表示含噪声的接收数据矢量,满足分布 .
复高斯随机变量概率密度函数的推导
设复随机变量
其中 与 均为实值随机变量,若 是一个复原对称高斯随机变量,则
与 相互独立;
与 满足
的均值表示为 ;
下面推导其概率密度函数(PDF),本质上是其 实部与虚部的二维联合 PDF。
因为 与 独立,则联合密度为
其中
因此
利用
得到
则
得到了一维 圆对称复高斯分布 的概率密度函数。
对于 维独立的复高斯随机变量,其联合概率密度函数为
对数似然函数的推导
观测数据 满足分布 ,均值向量为 ,带入上式,得到单个快拍的 PDF 为
由于 个快拍在时间上相互独立,则似然函数为各快拍 PD ...
广义线性模型
广义线性模型
在回归模型中,线性回归表示为 ,逻辑回归表示为 ……为了使这形式不同的回归模型得到统一,引入了广义线性模型(GLM)
GLM 的定义
GLM 基于三项定义:
线性预测算子:
链接函数:将响应变量的期望与线性预测算子联系,定义为 ,其中
函数的输入域是分布允许的范围,例如 Bernoulli 分布的期望 ;函数的输出是线性预测器,数值范围通常是整个实数域
响应变量服从指数族分布 ,如二项分布、泊松分布、正态分布
线性预测算子
其中 .
期望估计
将回归理解为求条件分布 的过程,得到分布后,用期望作为预测值 ,用方差作为预测值的不确定性。
指数分布族
注: 起着归一化常数的作用,确保 在 上的积分为 1.
以高斯分布为例,为了简化推导,令 ,则有
则
以 Bernoulli 分布为例,将均值为 的 Bernoulli 分布记作 ,使得 ,现将 Bernoulli 分布写成
则 ,求逆函数可以得到 ,其余项
典型模型
线性回归
响应变量的分布:
链接函数:
预测:
逻 ...
理想AD的量化信噪比
理想 AD 的量化信噪比
设 AD 满量程输入范围为 ,其中 是峰值电压,ADC 每次采样输出的二进制位数为 ,有效量化等级数为 则量化步长为
量化误差假设为均匀分布在 之间,均值为零,则方差(量化噪声的功率)为
附:均匀分布 的方差为 .
满幅的正弦信号
则理想的 SNR 为
物理上, 越大,表示量化步长 越精细,量化误差(噪声)越小,SNR 越高。由于器件噪声、非线性失真等因素,真实有效位数可能小于标称的位数,可以根据实际测得的 SNR 反推出真实的有效位数 .
人工智能基础
人工智能基础
核心思想
基于已知数据构造概率模型,反过来再运用概率模型对未知数据进行预测与分析。
频率学派与统计学习
频率学派所说的概率表示的是 事件发生频率的极限值,在无限次独立重复实验下才准确。
频率统计理论的核心在于认定待估计的参数是固定不变的常量(比如硬币出现正面的概率),讨论参数的概率分布是没有意义的;而用来估计参数的数据是随机的变量(比如某次实验正面还是反面),每个数据都是参数支配下一次独立重复试验的结果。由于参数本身是确定的,那频率的波动就并非来源于参数本身的不确定性,而是由有限次观察造成的干扰而导致。
有限次的实验得到的数据是关于参数的不完全信息,所以从样本估计整体必然产生误差。
极大似然估计:在参数固定的前提下,使数据出现的条件概率最大化。
统计机器学习
参数确定,数据随机
通过对给定的指标优化(比如极大似然函数),估计模型中参数的取值,和参数有关的信息全来自数据。受噪声的影响,观测数据并不是未知参数的准确反映,损失函数定义了模型性能的度量方式,其期望称为风险,风险最小化是参数估计的准则。
贝叶斯学派
概率表示的是客观上 事件的 ...