主题：【原创】如何提高多帧图像的分辨率（上） -- 驿路梨花

【声明】

1、关于如何提高多帧图像的分辨率的简易解释参见潜了又潜的回复。

2、偶隐隐感觉偶可能说不清楚。。。而且写的不怎么好看，感觉在写论文。。。

如何提高多帧图像的分辨率（中）

（上）说到要提高图像的分辨率的原理，就是要从一大堆频率中找出那个超出一定频率的高频信号，这就涉及一个反混叠的问题。图像的反混叠大致遵循这样一个原则：在大量的样本中寻找那个混在平民百姓中的皇帝（也就是潜了又潜说的因为采样频率而漏掉的那个部分）。

而大量的样本如何构建的呢？有两种途径，第一，我们手上只有一张照片，那么就想办法把这张照片扩展到N张；第二，我们本来就有N张照片，也就是这篇文章的题目 —— 关于多帧图像的超分辨率。

先说第一种途径。比如我们看到一张极其模糊的人脸照片的时候，我们的第一反应是什么？啊，那是个人的脸！对了，但为什么不是别的东西呢？因为偶们看到了人的眼睛、鼻子、嘴，还有脸型。。。根据偶们脑子里的常识知道，那是人脸！这里头就有两个概念，第一是脑子里的常识，一般称之为先验模型；因为有这个模型，我们会去找眼睛、鼻子、嘴和脸型，这就构成一个函数F{眼睛，鼻子，嘴，脸型，其他特征}，这把F称之为插值函数。

第一眼看完后，那么如果再看一眼，会看什么？我们会把这个F函数去比对一下这张模糊不清的图片，看是不是真的人脸，能够确认了的时候，那么实际上F函数就成了这张照片的一个近似，F函数中的各个项会有自己的数值。然后，我们再换一个人看这张照片，因为感观不同，就会产生一个新的函数G。。。依此类推，我们就有了一个足够的样本。这其中，F可能把眼睛看的比较清楚，G可能把鼻子看的比较清楚。。。这样一凑起来，这张照片就比原来清楚些。这就是单帧图片经常采用的帧内插值， 双线性插值、三次样条插值等。。。

但很显然，这样合在一起的照片较之原照片是放大的，实际上也就是说，在这个处理过程中采样频率通过插入函数的近似代替被人为的放大了，这就存在一个插值失真的问题。当如果偶们要还原成原图片的采样频率的时候，这时，那张人脸就仍会是模糊不清的。。。

从理论上说，如果只有一幅低分辨率的图像的信息，要精确地获得高分辨率图像是不可能的，因为人们无法恢复因低采样率而丢失掉的高频信息，进而不能真正地提高分辨率（只是通过放大来提高了采样频率，并且用插值法估测了丢失的高频信号）。而这一途径又是有研究意义的，因为在很多情况下，我们能获得照片数量只有有限的一些，比如近地卫星的遥感图片等。

而对于第二种途径，也就是我们手上已经有无穷多的的照片的时候 —— 当然，这些照片的分辨率并不令人满意，但数量是绝对足够的。比如挂在天上的两颗北斗一代卫星，它们属于地球静止卫星，每天都挂在离我们35860公里固定地方，理论上可以对同一目标进行无穷多的扫描。偶们把通过多帧图片来实现提高分辨率的方法，称之为图片数据的融合。

做这样一个比喻，桌子上有个苹果，那么如果我还知道相机参数，那么我一定能拍到一组低分辨率的苹果画面（虽然每张看起来并不一定就能认出是苹果）。而图片融合的实质是一个上述过程的求逆问题。也就是：如果已经得到了一组低分辨率的观测图像，并已知成像参数，如何去估计出真实物体 —— 这到底是苹果还是梨子？如果有足够多的PP，那么偶们能否准确的知道呢？答案是肯定的。

从数学原理上是容易解释的：因为光学成象的孔径有限制，就是说这所成的像的光谱是空域有界的，在边界之外都是0，这就构成了一个解析函数。而对于解析函数来说，根据某个定理（名字偶忘了），如果这个解析函数在某一有限区闭上为已知，那么一定就会处处已知，当然是要有足够条件 —— 也就是老崔家的小关说的：从理论上来说，对同一物体以不高的分辨率拍足够多的照片，通过某种算法的设计可使分辨率提高到一定水平。

但对于图像处理来说，应该如何实现呢？