视频图像灰度信号直方图均衡的视频图像灰度信号直方图均衡的 FPGA 实现实现直方图均衡作为一种基础的图像处理方法在很多领域得到应用，但大多是通过DSP或者 CPU 编程实现，其优点是灵活性比较高，调试方便，最大的缺点是很难做到实时或者准实 时处理，这在某些领域是不可接受的。而使用 FPGA 实现可以很好地解决实时处理的难题， 而且目前的 FPGA 资源容量已经很丰富，片内的 SRAM/PLL/逻辑资源已经足以应对一般图 像处理算法的需要，同时随着价格的不断下降，客观上使得 FPGA 成为图像处理算法实现 不错的选择。 本文主要介绍在 FPGA 上实现直方图均衡算法的总体结构和最重要的两个子模块的实现细节，以及最终的实现结果。1 1 直方图均衡的理论基础直方图均衡的理论基础原始图像灰度值 r 归一化在01之间，p(r)为原始图像灰度分布的概率密度函数。直方图均衡化处理实际上就是寻找一个灰度变换函数 T，使得变化后的灰度值 s=T(r), 其中，s 归一化为01,即建立 r 与 s之间的映射关系，要求处理后图像灰度分布的概率密度函数 p(s)=1，期望所有灰度级出现概率相同。对于数字图像离散情况，其直方图均衡化处理的计算步骤如下：(1)统计原始图像的直方图式中，rk 是归一化的输入图像灰度；nk 是输入图像中归一化灰度等于 rk 的像素个数；n 是输入图像的像素总数。(2)计算直方图累积分布曲线(3)用累积分布函数作变换函数进行图像灰度变换根据计算得到的累积分布函数，建立输入图像与输出图像灰度之间的对应关系，最后要将变换后的灰度恢复成原先范围。2 2 FPGAFPGA 实现的总体结构实现的总体结构从上面对直方图均衡算法的描述可知，在进行直方图均衡以前，首先必须对图像灰度进行统计，然后再计算输出。而要统计一幅图像的全局灰度信息，就不得不把整幅图像先写入缓存。虽然 FPGA 内部的SRAM 资源丰富，但是仍然无法满足整幅图像存储的需要。因此，需要以 SDRAM 作为图像缓存，存储前后两场视频图像，然后再计算输出。SDRAM 的容量、速度都能满足直方图均衡算法的要求，唯一的缺点是必须有相应的 SDRAM 控制器控制 SDRAM 的读写和刷新操作。下面简要介绍总体实现的方案，其实现框图如图1所示。从图1中可以看出，在输入端，模拟复合视频数据经过视频图像解码进入 FPGA，在 FPGA 里先对数据进行简单处理，产生内部使用的行同步信号/场同步信号/数据有效信号和16bit YUV4:2:2格式的视频信号。然后，灰度信息进入灰度直方图统计模块对当前灰度信息出现的频率加以统计，将统计信息以乒乓的方式存入 SRAM,与此同时所有视频数据通过“写”控制模块和 SDRAM 控制器存入 SDRAM；在输出端，在“读”控制单元的控制下通过 SDRAM 控制模块从 SDRAM 读出上一场的数据进入灰度变换模块，根据存储的上一场的灰度统计信息，对数据进行灰度变换。这样就完成了完整的灰度直方图均衡变换。如果需要在显示设备（如 PC 显示器）上显示，还必须要有时序产生/图像数据格式变换等模块。另外，由于需要对某些内部参数进行调整（如 SDRAM 的 Latency 等） ，必须有一个控制接口和外部相连，在这里使用了一个 I2C 协议接口。在所有模块中最主要的实现单元主要有两大部分，一个是直方图统计和灰度变换模块，另一个是SDRAM 控制器和读写控制单元。下面将详细介绍这两部分。3 3 直方图统计的实现结构直方图统计的实现结构直方图统计是通过 FPGA 内部两块双端口 SRAM 的乒乓操作实现的。其中每块 SRAM 的地址反映了灰度值的大小，而 SRAM 每个单元的数据宽度必须相应于每场图像的像素数量。例如，对于我国 PAL 制的电视图像来说，根据 ITU-R BT.601/656数字视频标准规定每一场数字化后的视频图像，它的有效数据是每行720个有效点，每场288个有效行，每场总共207360个有效像素点，平均每个点16bit 的数据量，其中有8bit 灰度数据。所以在选取 SRAM 的大小时，应该选择容量为256（2的8次方） 、数据宽度为18位（207 360大于2的17次方）的 SRAM。但是为了扩展的方便，实际使用中使用了容量为256、数据宽度为22位的SRAM，这样可以对数据量更大的图像加以处理。每当一个新的图像数据进入统计模块，就将 SRAM 内相应地址的统计数据读出，累加后再存入该地址。由于前后数据可能是一样的，会造成对同一个 SRAM 地址同时读写而引起错误。这就需要一个模块对整个过程加以控制。基本的思路是：对前后数据进行比较，若前后数据相等就将计数器累加，直到发现数据不等才将统计数据写入 SRAM，这样就从根本上避免了读写同一个地址的可能性。直方图统计状态机实现框图如图2所示。由于使用了乒乓模式（一块 SRAM 用于当前场的统计，另一块用于前一场灰度均衡的计算） ，状态机在上电复位后首先需要将用于统计的 SRAM 清空，这可以利用视频的场消隐时间加以处理(相应的状态机状态是 CLEAR SRAM 状态)，然后等待有效数据进入(对应于 STBY 状态)，一旦有效灰度数据进入，状态机就进入统计状态0（CALCULATION HISTOGRAM STEP0） 。此时，首先读出 SRAM 相应于该灰度值的数据，同时将数据延迟并观察前后数据是否相同，如相同则继续停留在该状态，将计数器加1；否则进入统计状态1（CALCULATION HISTOGRAM STEP1） 。进入状态1后，计算上一个灰度值的统计数据（将从 SRAM 中读出的值加上计数器的值再加1）存入 SRAM，同时还要读出 SRAM 里相应于当前灰度值的数据。此后的工作与状态0相似。以此类推，状态不断在状态0和状态1之间切换，直到有效数据结束后进入统计状态2（CALCULATION HISTOGRAM STEP2） ，状态2 的作用是将这一行的最后一个灰度数据的统计信息写入SRAM。随后回到 STBY 状态，等待下一行数据。当所有有效行都统计完后，进入状态机的统计状态3（CALCULATION HISTOGRAM STEP3） ，重新将灰度统计数据累计后存入 SRAM。4SDRAM4SDRAM 控制器的实现结构控制器的实现结构输入输出视频图像的速度(13.5MHz)远低于 SDRAM 的最高速度(143MHz),假如以单个数据对 SDRAM 读写（Single Write/Single Read） ，根本无法发挥 SDRAM 高速的优势，所以必须使用 SDRAM 的突发模式（BURST MODE）,即一次读出或者写入多个数据。以美光公司（MICRON）MT48LC1M16A1S SDRAM 为例，它支持1、2、4、8个字或者整页（256个字）的读写。由于属于两个时钟域，所以必须对写入或者读出SDRAM 的数据缓存。在这里，读写模块分别使用两个深度为64、宽度为16bit 的双口 SRAM 以乒乓的方式加以实现。一次突发模式读写的数据量都是64个字，因此选择深度为64的 SRAM 是一种折衷的办法，数据过少无法发挥突发模式的优势，数据过大则需要更多的 SRAM 作为缓存，使开销过高。实践证明一次读写64个数据比较合适。由于 SDRAM 结构的特殊性，它的读写刷新操作需要满足一定的时序要求，所以需要专门的控制器来维护对 SDRAM 的操作。图3是 Hynix Electronics 公司 HY5DV641622AT 的 SDRAM 的状态机框图，该框图包含SDRAM 上电时序、模式寄存器的设置、读写控制、预充电和定时刷新等多个环节。控制器的具体实现可以参考 Xillinx 或者 Altera 公司相关文档和各家 DRAM 厂商的资料。需要说明的是对 SDRAM 的地址划分问题。由于采用了乒乓模式，SDRAM 也自然被划分为两个部分，一部分用于当前场的存储，另一部分用于前一场的读取，也就是说在存储/统计当前场的同时，将前一场读出并且计算灰度后输出。至于地址的具体划分则要考虑到 SDRAM 容量大小和输入视频大小。以MT48LC1M16A1S SDRAM 为例，该 SDRAM 的结构是512K162，每块 SDRAM 被分为两个 BANK，每个 BANK有2 048行，每行256个16bit 的字，总计1M 字。而 PAL 制电视以 ITU656数字化后的单场数据大约是202K字，NTSC 大约是170K 字，480P（YUV4:2:2格式）每帧大约是337K 字，所以可以考虑将 SDRAM 以 BANK 划分，每个 BANK 存储一场/一帧。另外一个问题牵涉到逻辑地址到物理地址的映射问题，即由于 PAL 制每行有720个点，而 SDRAM 每行只有256个存储单元，所以一行图像需要占据稍小于三行的 SDRAM 空间，三行中的最后一行的最后一点空间不加利用。SDRAM 读写控制单元的地址产生模块需要注意这一点。SDRAM 的具体划分图如图4所示。5 5 实验结果与说明实验结果与说明实验结果如图5、图6所示。从实验结果可以看出，直方图均衡后的图像对比度得到了明显的提高。但是，直方图均衡算法的缺点同样明显，噪声对直方图均衡的影响非常大。从对原图的处理结果就可以看到，原图的背景噪声并不明显，但是经过直方图均衡后变得非常突出。这就需要对算法进行改进，例如对局部图像进行统计，然后和全局图像统计数据进行比较，最后决定是否对该区域进行均衡。但这超出了本文的论述范围。