EWC: Elastic Weight Consolidation

一、前置知识 §

1. 得分函数 score / informant §

score / informant 定义为对数似然函数关于参数的梯度：

$$s(\theta )\equiv \frac{\partial \log \mathcal{L}(\theta )}{\partial \theta }$$

其中$\mathcal{L}(\theta )$即为似然函数，可扩写为$\mathcal{L}(\theta |x)$，其中$x$为观测到的数据，$x$从采样域$\mathcal{X}$中产生

在某一特定点的 $s$ 函数指明了该点处对数似然函数的陡峭程度（steepness），或者是函数值对参数发生无穷小量变化的敏感性。

如果对数似然函数定义在连续实数值的参数空间中，那么它的函数值将在（局部）极大值与极小值点消失。这一性质通常用于极大似然估计中（maximum likelihood estimation, MLE），来寻找使得似然函数值极大的参数值。

---

注意$\mathcal{L}(\theta |x)$中竖线前后的字母$\theta |x$，$x$为随机变量，在这里则是一个定值，意为采样后的观测值，而$\theta$则为自变量，意为参数模型中的参数

当（假设）$\theta$位于正确值时，我们可以通过$\theta$推导$x$，也就是$f(x|\theta )$ ，为一概率密度函数，意为当模型参数为$\theta$时，采样到$x$的概率

从两个角度得到了对同一事实的论证，因此可写作$f(x|\theta )=\mathcal{L}(\theta |x)$

---

首先，来分析$s$的数学期望，这里讨论的问题是：当参数取值为$\theta$时，$s|\theta$的数学期望

从直观上分析，当参数位于真实（最佳）参数点时，似然函数有其极大值（考虑极大似然估计的定义），因此为一极值点，所以该点梯度为$0$，即$\mathbb{E}[s|\theta ]=0$

下面进行公式分析：

首先要明确，该期望是$s$函数关于什么随机变量的期望。从上面的讨论中可以得到，该问题中唯一的随机变量是采样观测值$x$，它的采样概率是$f(x|\theta )$

我们有

$$f(x)\frac{\partial \log f(x)}{\partial x}=f(x)\frac{1}{f(x)}\frac{\partial f(x)}{\partial x}=\frac{\partial f(x)}{\partial x}$$

因此

$$\begin{array}{rl}\mathbb{E}[s|\theta ]& ={\int }_{\mathcal{X}}f(x|\theta )\cdot s\cdot \mathrm{d}x\\ & ={\int }_{\mathcal{X}}f(x|\theta )\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\mathrm{d}x\\ & ={\int }_{\mathcal{X}}f(x|\theta )\frac{\partial \log f(x|\theta )}{\partial \theta }\mathrm{d}x\\ & ={\int }_{\mathcal{X}}\frac{\partial f(x|\theta )}{\partial \theta }\mathrm{d}x\\ & =\frac{\partial }{\partial x}{\int }_{\mathcal{X}}f(x|\theta )\mathrm{d}x\\ & =\frac{\partial }{\partial x}1\\ & =0■\end{array}$$

因此得证：$\mathbb{E}[s|\theta ]=0$

2. Fisher信息矩阵 §

Fisher信息（Fisher information），或简称为信息（information）是一种衡量信息量的指标

假设我们想要建模一个随机变量 $x$ 的分布，用于建模的参数是 $\theta$，那么Fisher信息测量了$x$ 携带的对于 $\theta$ 的信息量

所以，当我们固定 $\theta$ 值，以 $x$ 为自变量，Fisher 信息应当指出这一 $x$ 值可贡献给 $\theta$ 多少信息量

比如说，某一 $\theta$ 点附近的函数平面非常陡峭（有一极值峰值），那么我们不需要采样多少 $x$ 即可做出比较好的估计，也就是采样点 $x$ 的Fisher 信息量较高。反之，若某一 $\theta$ 附近的函数平面连续且平缓，那么我们需要采样很多点才能做出比较好的估计，也就是 Fisher 信息量较低。

从这一直观定义出发，我们可以联想到随机变量的方差，因此对于一个（假设的）真实参数 $\theta$， $s$ 函数的 Fisher 信息定义为 $s$ 函数的方差

$$\begin{array}{rl}\mathcal{I}(\theta )& =\mathbb{E}\left[{\left(\frac{\partial \log f(x|\theta )}{\partial \theta }\right)}^2|\theta \right]\\ & =\int {\left(\frac{\partial \log f(x|\theta )}{\partial \theta }\right)}^{2}f(x;\theta )\mathrm{d}x\end{array}$$

此外，如果 $\log f(x|\theta )$ 对于 $\theta$ 二次可微，那么 Fisher 信息还可以写作

$$\mathcal{I}(\theta )=-\mathbb{E}\left[\frac{{\partial }^2\log f(x|\theta )}{{\partial }^2\theta }|\theta \right]$$

证明如下：

$$\begin{array}{rl}\because 0& =\mathbb{E}[s|\theta ]\\ & \\ \therefore 0& =\frac{\partial }{\partial \theta }\mathbb{E}[s|\theta ]\\ & =\frac{\partial }{\partial \theta }{\int }_{\mathcal{X}}f(x|\theta )\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\mathrm{d}x\\ & ={\int }_{\mathcal{X}}\frac{\partial }{\partial \theta }\boxed{\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }f(x|\theta )}\mathrm{d}x▹\text{use chain rule}\\ & ={\int }_{\mathcal{X}}\left\{\frac{{\partial }^2\log \mathcal{L}(\theta |x)}{{\partial }^2\theta }f(x|\theta )+\frac{\partial f(x|\theta )}{\partial \theta }\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\right\}\mathrm{d}x\\ & =\underset{\mathbf{A}}{\underbrace{{\int }_{\mathcal{X}}\frac{{\partial }^2\log \mathcal{L}(\theta |x)}{{\partial }^2\theta }f(x|\theta )\mathrm{d}x}}+\underset{\mathbf{B}}{\underbrace{{\int }_{\mathcal{X}}\frac{\partial \mathcal{L}(\theta |x)}{\partial \theta }\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\mathrm{d}x}}\\ & \\ \mathbf{A}& =\mathbb{E}\left[\frac{{\partial }^2\log \mathcal{L}(\theta |x)}{{\partial }^2\theta }|\theta \right]\\ \mathbf{B}& ={\int }_{\mathcal{X}}\boxed{\frac{\partial \mathcal{L}(\theta |x)}{\partial \theta }}\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\mathrm{d}x\\ & ={\int }_{\mathcal{X}}\boxed{\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\mathcal{L}(\theta |x)}\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\mathrm{d}x\\ & ={\int }_{\mathcal{X}}{\left(\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\right)}^{2}f(x|\theta )\mathrm{d}x\\ & =\mathbb{E}\left[{\left(\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\right)}^2|\theta \right]\\ & \\ & \because \mathbf{A}+\mathbf{B}=0\\ & \therefore \mathbb{E}\left[\frac{{\partial }^2\log \mathcal{L}(\theta |x)}{{\partial }^2\theta }|\theta \right]+\mathbb{E}\left[{\left(\frac{\partial \log \mathcal{L}(\theta |x)}{\partial \theta }\right)}^2|\theta \right]=0\end{array}$$

二、EWC §

1. 数学推导 §

假设数据集被划分为两个任务$\Sigma =\{\mathcal{A},\mathcal{B}\}$，网络参数为$\theta$

学习任务为最大化后验概率

$$\begin{array}{rl}& \arg \underset{\theta }{\max }P(\theta |\Sigma )\\ =& \arg \underset{\theta }{\max }\log P(\theta |\Sigma )\\ =& \arg \underset{\theta }{\min }l(\theta )\end{array}$$

其中$l(\theta )$定义为训练 loss

考虑任务训练顺序 $\mathcal{A}\Rightarrow \mathcal{B}$

$$\begin{array}{rl}& \log P(\theta |\Sigma )\\ & =\log P(\theta |A,B)\\ & =\log P(\theta ,A,B)-\log P(A,B)\\ & =\log P(B|\theta ,A)+\log P(\theta ,A)-\log P(B|A)-\log P(A)\\ & =\log P(B|\theta )+\log P(\theta |A)+\log P(A)-\log P(B)-\log P(A)▹\text{A, B i.i.d }\\ & =\underset{\mathrm{loss}\mathrm{on}\mathcal{B}}{\underbrace{\log P(B|\theta )}}+\underset{\text{unknown}}{\underbrace{\log P(\theta |A)}}-\underset{\text{constant}}{\underbrace{\log P(B)}}\end{array}$$

其中后验概率 $\log P(\theta |A)$ 不易得到，因此使用拉普拉斯近似进行分析

在训练任务 $\mathcal{B}$ 之前，网络已经在任务 $\mathcal{A}$ 上收敛，设网络此时的参数为 ${\theta }_A^{\ast }$，为在任务 $\mathcal{A}$ 上拟合得到的参数，设函数 $f(\theta )=\log P(\theta |A)$

对 $f(\theta )$ 在 $\theta ={\theta }_A^{\ast }$ 做泰勒展开：

$$\begin{array}{rl}f(\theta )& =f({\theta }_A^{\ast })+\underset{=0}{\underbrace{{\frac{\partial f(\theta )}{\partial \theta }|}_{{\theta }_A^{\ast }}}}(\theta -{\theta }_A^{\ast })+\frac{1}{2}(\theta -{\theta }_A^{\ast }{)}^T{\frac{{\partial }^{2}f(\theta )}{{\partial }^2\theta }|}_{{\theta }_A^{\ast }}(\theta -{\theta }_A^{\ast })+\cdots \\ & \approx f({\theta }_A^{\ast })+\frac{1}{2}(\theta -{\theta }_A^{\ast }{)}^T{\frac{{\partial }^{2}f(\theta )}{{\partial }^2\theta }|}_{{\theta }_A^{\ast }}(\theta -{\theta }_A^{\ast })\end{array}$$

将 $f(\theta )=\log P(\theta |A)$ 代入：

$$\begin{array}{rl}\log P(\theta |A)& =\log P({\theta }_A^{\ast }|A)+\frac{1}{2}(\theta -{\theta }_A^{\ast }{)}^T{\frac{{\partial }^2\log P(\theta |A)}{{\partial }^2\theta }|}_{{\theta }_A^{\ast }}(\theta -{\theta }_A^{\ast })\\ & =\log P({\theta }_A^{\ast }|A)+\frac{1}{2}(\theta -{\theta }_A^{\ast }{)}^T{\left\{-{\left[-{\frac{{\partial }^2\log P(\theta |A)}{{\partial }^2\theta }|}_{{\theta }_A^{\ast }}\right]}^{-1}\right\}}^{-1}(\theta -{\theta }_A^{\ast })\\ P(\theta |A)& =\exp \left[\Delta +\frac{1}{2}(\theta -{\theta }_A^{\ast }{)}^T{\left\{-{\left[-{\frac{{\partial }^2\log P(\theta |A)}{{\partial }^2\theta }|}_{{\theta }_A^{\ast }}\right]}^{-1}\right\}}^{-1}(\theta -{\theta }_A^{\ast })\right]\\ & =ϵ\exp \left[-\frac{1}{2}(\theta -{\theta }_A^{\ast }{)}^T\underset{{\Sigma }^{-1}}{\underbrace{{\left\{{\left[-{\frac{{\partial }^2\log P(\theta |A)}{{\partial }^2\theta }|}_{{\theta }_A^{\ast }}\right]}^{-1}\right\}}^{-1}}}(\theta -{\theta }_A^{\ast })\right]\\ \text{where:}& \\ \Delta & =\log P({\theta }_A^{\ast }|A)\\ ϵ& =\exp \Delta \end{array}$$

观察形式可得：

$$P(\theta |\mathcal{A})\sim \mathcal{N}\left({\theta }_{\mathcal{A}}^{\ast },{\left(-{\frac{{\partial }^2\log P(\theta |A)}{{\partial }^2\theta }|}_{{\theta }_A^{\ast }}\right)}^{-1}\right)$$

其中协方差矩阵项正是第一部分讨论的Fisher信息矩阵，记做${\mathbf{I}}_{\mathcal{A}}$，则有

$$P(\theta |\mathcal{A})\sim \mathcal{N}\left({\theta }_{\mathcal{A}}^{\ast },{\left[{\mathbf{I}}_{\mathcal{A}}\right]}^{-1}\right)$$

另外，EWC是以一个参数的视角出发的，因此Fisher信息矩阵只需要对角线元素，其余计算出来的结果可以置0，所以有：

$$\begin{array}{rl}P(\theta |A)& =\frac{1}{\sqrt{(2\pi {)}^k|\Sigma |}}\exp \{-\frac{1}{2}(\theta -{\theta }_A^{\ast }{)}^T{\Sigma }^{-1}(\theta -{\theta }_A^{\ast })\}\\ & \\ \log P({\theta }_i|A)& =-\frac{1}{2}({\theta }_i-[{\theta }_i{]}_A^{\ast }{)}^2\ast [{\Sigma }^{-1}{]}_{ii}\\ & =-{\left[{\mathbf{I}}_{\mathcal{A}}\right]}_{ii}\frac{({\theta }_i-[{\theta }_i{]}_A^{\ast }{)}^2}{2}\end{array}$$

所以，所有参数的EWC Loss可定义为：

$$\begin{array}{r}{l}_{\text{EWC}}=-\sum _{i=1}^{\text{\#Params}}{\left[{\mathbf{I}}_{\mathcal{A}}\right]}_{ii}\frac{({\theta }_i-[{\theta }_i{]}_A^{\ast }{)}^2}{2}\end{array}$$

将上述内容代入总优化目标：

$$\begin{array}{rl}l(\theta )& =\log P(\theta |\Sigma )\\ & =\log P(B|\theta )+\log P(\theta |A)-\log P(B)\\ & \Rightarrow l_{\text{CE}}(\theta |\mathcal{B})+l_{\text{EWC}}(\theta |\mathcal{A})\end{array}$$

定义超参数 $\lambda$ 进行稳定性-可塑性权衡

$$\begin{array}{rl}l(\theta )& =l_{\text{CE}}(\theta |\mathcal{B})+\lambda \cdot l_{\text{EWC}}(\theta |\mathcal{A})\end{array}$$

因此优化目标为：

$$\begin{array}{rl}\arg \underset{\theta }{\min }l(\theta )& =\arg \underset{\theta }{\min }\left\{l_{\text{CE}}(\theta |\mathcal{B})+\lambda \cdot l_{\text{EWC}}(\theta |\mathcal{A})\right\}\\ & =\arg \underset{\theta }{\min }\left\{l_{\text{CE}}(\theta |\mathcal{B})-\frac{\lambda }{2}\sum _{i=1}^{\text{\#Params}}{\left[{\mathbf{I}}_{\mathcal{A}}\right]}_{ii}\frac{({\theta }_i-[{\theta }_i{]}_A^{\ast }{)}^2}{2}\right\}\end{array}$$

2. 如何计算 Fisher 信息矩阵 §

将训练过程进行划分：

1. 使用数据集 $\mathcal{A}$ 与 $l_{\text{CE}}(\theta |\mathcal{A})$ 训练模型
2. 保存此时的参数，即${\theta }_{\mathcal{A}}^{\ast }$ ，并计算 Fisher 信息矩阵 ${\mathbf{I}}_{\mathcal{A}}$
3. 使用数据集 $\mathcal{B}$、$l_{\text{CE}}(\theta |\mathcal{B})$ 与 $l_{\text{EWC}}(\theta |\mathcal{A})$ 训练模型
4. 多任务$\{\mathcal{A},\mathcal{B},\mathcal{C},\dots \}$同理

最后一个问题，如何使用 $\mathcal{A}$ 计算 ${\mathbf{I}}_{\mathcal{A}}$

考虑定义

$$\mathcal{I}(\theta )=\mathbb{E}\left[{\left(\frac{\partial }{\partial \theta }\log f(x|\theta )\right)}^2|\theta \right]$$

可以通过计算梯度的平方来获得每一个参数的 Fisher 信息矩阵项：

$$\mathcal{I}(\theta )=\frac{1}{N}\sum _{(x,y{)}_i\in \mathcal{A}}{\left(\underset{\text{Gradient}}{\underbrace{\frac{\partial l_{\text{LL}}(\theta |(x,y{)}_i)}{\partial \theta }}}\right)}^2$$

具体来说，可以向模型逐个喂入样本，并计算损失函数，使用神经网络框架自动计算梯度。对于每个参数，累加所有的梯度，最后除以样本数量，即可得到对应参数的 Fisher 信息矩阵项

需要注意的是，当使用 nn.CrossEntrypyLoss 或 nn.NLLLoss时，由于其中对于 $\text{Log-Likelihood}$使用了相反数处理，使用该类损失函数得到的矩阵是真实 Fisher 信息矩阵的相反数，即$\hat{\mathcal{I}}(\theta )=-\mathcal{I}(\theta )$，在计算 loss 时要记得将减号改成加号，即

$$\arg \underset{\theta }{\min }l(\theta )=\arg \underset{\theta }{\min }\left\{l_{\text{CE}}(\theta |\mathcal{B})+\frac{\lambda }{2}\sum _{i=1}^{\text{\#Params}}{\widehat{\left[{\mathbf{I}}_{\mathcal{A}}\right]}}_{ii}\frac{({\theta }_i-[{\theta }_i{]}_A^{\ast }{)}^2}{2}\right\}$$