关于DNN，DP，EKF，Fourier Operator，Koopman Operator

英文缩写解释

英文缩写	英文解释	中文解释
DNN	Deep Neural Network	深度神经网络
DP	Deep Learning	深度学习
EKF	Extended Kalman Filter	扩展卡尔曼滤波器
FO	Fourier Operator	傅里叶算子
KO	Koopman Operator	库普曼算子

卡尔曼滤波器

自适应滤波器的概念

滤波器在实现滤波、平滑或者预测等任务时，能够自动跟踪和适应系统或环境的动态变化，就需要滤波器的参数可以随着时间做简单的变化或更新，用地推的方式实现，这样的滤波器称为自适应滤波器。

匹配滤波与Wiener滤波

连续时间的滤波器有两种最优设计准则： - 匹配滤波：滤波器的输出达到最大的信噪比 - Wiener滤波：输出滤波器的均方估计误差最小

匹配滤波

理论推导

考虑观测信号： 为已知信号，为零均值的加性平稳噪声（白色或有色）

• 白噪声（white noise）是指功率谱密度在整个频域内是常数的噪声。 所有频率具有相同能量密度的随机噪声称为白噪声。
• 有色噪声（ coloured noise）是指功率谱密度函数不平坦的噪声。大多数的噪声的频谱主要都是非白色频谱，通过信道的白噪声受信道频率的影响而变为有色的。

令为滤波器的时不变冲激响应函数，目标就是设计滤波器，使得滤波器的输出信号的信噪比最大化。 滤波器的输出信号为： 、分别为滤波器的输出信号分量和噪声信号分量。 在时刻，滤波器的输出信噪比定义为 利用傅里叶变换的卷积特性，有

式中， = 为滤波器的频率响应函数（传递函数）， = 为信号的频谱密度函数。 时刻，输出信号的瞬时功率为

时刻，输出噪声的平均功率为

---

补一些功率谱密度的知识： 若某一个功率信号的功率为，则有 其功率谱密度函数为 若以f为自变量，则可以写成 (其中为的傅里叶变换, 为在上的截断信号) 根据Parseval定理 总功率为： ***

令为加性噪声的功率谱密度函数，则输出噪声的功率谱密度函数为 输出噪声的平均功率可以写作(以频率作为量度) 代入信噪比定义式，可以得出 分子凑了一个, 因为要用到Cauchy-Schwartz不等式： 等号在当且仅当, c是任意复常数时成立。取c = 1： 取最大值，即为等式成立条件。将式中等号成立时的滤波器传递函数记作, 利用Cauchy-Schwartz不等式等号成立条件： 可以得到最大信噪比： 由此，最优线性滤波器理论推导完成。

适用条件

上面推导过程显示出，接收机必须已知并存储信号的精确结构/功率谱，积分区间还必须与信号取非零值区间（截断区间）同步。

Wiener滤波

理论推导

依然用观测信号：, 使用滤波器（传递函数为）,对信号进行参数估计： 由参数估计理论可知（推导略过也不是很重要），估计误差是随机变量，不适合作为滤波器的性能评价标准。而另一个量：均方误差则是一个确定量，是滤波器的主要测度之一。考虑均方误差： 取值最小，这就是最小均方误差（Minimum Mean Square Error，MMSE）准则。于是，线性最优滤波器的冲激响应可以表示为 其FT就是线性最优滤波器的频率响应： 代表输入信号和输出信号之间的交叉功率谱密度/互功率谱密度(CPSD)，它是衡量两个信号在频率下的相关性。 代表输出信号的自功率谱密度（APSD），它是对输出信号在频率下的功率或能量的衡量。

此为非因果Wiener滤波器，因为在内取值，而非因果滤波器不可能实现。 任何一个非因果线性系统可以看作因果部分与反因果部分组合，因果部分是物理层面可以实现的，反因果部分在物理层面不可能实现。由此联想到将非因果Wiener滤波器的因果部分提取出来，就可以得到可实现的Wiener滤波器。

很多情况下，信号和噪声，即与是独立的，这时候Wiener滤波器的频率响应可以表示为： 其中代表输入信号的自功率谱密度（APSD），代表噪声信号的自功率谱密度（APSD）。

基于状态空间模型的线性最优滤波——Kalman滤波

理论推导

考虑一个离散时间线性动态系统，它由描述「状态向量」的过程方程和描述「观测向量」的观测方程共同表示。

• 为一个 的列向量，,表示系统在离散时间域中n时刻的状态，是不可观测的
• 是一个的状态转移矩阵，它描述了系统在离散时间域中n时刻的状态与n+1时刻的状态之间的关系，是已知的；
• 是一个 的列向量，描述状态转移中间的加性噪声或者误差。

• 为一个 的列向量，表示系统在离散时间域中n时刻的观测 向量，是可观测的；
• 是一个观测矩阵，它描述了系统在离散时间域中n时刻的状态与n时刻的观测之间的关系，是已知的；
• 是一个 的列向量，描述观测噪声。

Kalman滤波问题描述为：利用观测数据向量, 对求状态向量的各个分量的最小二乘估计值。根据和的不同取值，Kalman滤波问题可以分为三类： - 滤波问题：，使用时刻以前的测量数据，抽取n时刻的信息 - 平滑问题：,待抽取的信息不一定是n时刻的，有可能是n之前的任意时刻。即得到感兴趣的结果的时间通常滞后于获得测量数据的时间。 - 预测问题：，使用n时刻以及以前时刻的测量数据，提前抽取时刻的信息。

新息过程(innovation process，这个翻译也是没谁了)

给定观测值, 求的最小二乘估计值。记为.

新息过程的定义

对于的新息过程定义为： 式中，的列向量表i是观测数据的新的信息，简称新息。

新息的性质

1. n时刻的新息与过去所有的观测数据正交。即：

2. 新息过程由彼此正交的随机向量序列构成，即：

3. 表示观测数据的随机向量序列与表示新息过程的随机向量序列是一一对应的。

以上性质表明：新息过程具有白噪声性质，但它却能够提供有关观测数据的信息。

新息过程理论推导

分析新息过程的相关矩阵： 在卡尔曼滤波中，并不直接估计, 而是先计算状态向量的一步预测： 再得到