FPGA大赛【八】具体模块设计--图像旋转方案

【注】该项目是我们团队参加2019届全国大学生FPGA大赛的作品，系统主要实现视频任意角度旋转。该项目最终晋级决赛，并获得紫光同创企业特别奖。该系列文章介绍我们团队的作品。关注公众号“数字积木”对话框回复 FPGA2019 ，即可获得该项目的工程源代码，详细的文档说明，MATLAB仿真代码。

4.6图像旋转方案

4.6.1总体方案

标准模式下，从摄像头获取到图像数据，将该图像数据缓存到DDR中，再通过显示驱动模块将图像读取出来，在显示屏上进行显示。

图像数据通过AXI接口写入到DDR中，通过AXI总线从DDR中读取。这期间要跨三个时钟域。分别是 摄像头数据输出时钟，AXI读写时钟，显示屏驱动时钟。在跨时钟域传输数据时，数据都要经过fifo缓存。

在图像旋转设计中，插入一个图像旋转模块。将从摄像头缓存的图像先读取出来，组合成一帧旋转的图像后再写入ddr中，再由显示驱动模块读取进行显示。

4.6.2数据传输方案

ddr中数据的读取采用AXI协议。数据从摄像头写入ddr，从ddr读出传输到显示模块，均采用axi的突发传输。因为数据都是按照相同的顺序进行储存和读取，故只需要按照顺序进行数据的突发写入和读取即可正确的显示一张图片。

而在进行旋转操作中，由于旋转后的图片和原图的坐标不是顺序对应的，旋转输出图像数据由若干个不是顺序排列的原图像数据决定的，故对于原图像数据的读取，利用突发传输反而浪费时间，且突发读取到的数据中可用的数据占比较少。

对原图像的数据读取拟采用突发长度为1的传输。根据旋转图像的所需要的原始图像的数据来读取所需地址的数据，用于重建旋转后的图像。

旋转后的图像数据也经过突发长度为1的方式写入进ddr中。

旋转图像的重建模块的始终频率设置为和axi的时钟频率一致，一来可以不使用fifo来数据缓存，二来，该时钟频率为100MHz，运行速度也更快。

4.6.3图像帧处理

在读取原图时，如果原图像在不停地储存更新，那么重建的旋转是由多帧图像组合而成的，该图像便会出错。如果在旋转图像储存过程中便读取该图像进行显示，显示图像的帧率大于旋转图像重建的帧率，显示的图像也会出错。

该方案采用了降帧的方案。在图像储存时，不对输入的每一帧图像都进行储存。当储存完了一张图后，停止储存下一帧的图片，然后旋转控制模块便开始读取这一帧图片，进行旋转重建，待到这一帧图片旋转重建完成后，才开始接受下一帧的图片。这样便保障了读取时原图的完整性。

在将图片重建后，需要进行储存，利用乒乓操作，将重建的图像利用两个空间进行储存。当向空间1写入重建的图像数据时，不断读取空间2的图像数据进行显示。直到空间1的一帧图像数据写入完成，且该帧显示结束，交换读写地址，将重建的图像数据写入到空间2，同时读取空间1的数据进行显示。由于重建的帧率小于显示的帧率，一个空间的图像数据需要重复显示多次。

如上所述，在该方案中，原图的输入，旋转图像的重建都进行了降帧处理。但图像显示没有做降帧处理，但在没有交换读写地址时，会重复显示储存在该空间的一帧图片，呈现出动态刷新，静态显示的效果。

4.7图像旋转计算

4.7.1图像旋转原理

图像旋转的本质利用的是向量的旋转，而在MATLAB等算法工具中向量的计算往往转换成相应矩阵的计算，向量是几何中的概念，因此在算法的编译中常常不直接进行向量的运算，而是将其转换成在极坐标中的对应坐标矩阵来进行算法的构建。

矩阵乘法的实质是进行线性变换，因此对一个向量进行旋转操作也可以，通过矩阵和向量所对应的特征矩阵相乘的方式进行，而这在大多数的计算机语言中是通用的方法。正是因为这一点，在图像旋转的这个模块中，采用了构建特征矩阵进行坐标转化这个思路。

具体思路如下。假设有二维向量v = [x ; y]，其中x,y是原图的像素点的横轴和纵轴坐标。若要进行逆时针旋转角度a。则旋转矩阵R为：

旋转后的向量 Ro = R * v。Ro =[Xo,Yo]; 其中Xo, Yo 是输出图像的坐标值。

在正式处理过程中可以这么表示，原像素位置记为p，中心点记为c，旋转后像素位置记为pp。则有(pp - c) = R*(p - c)，即:

pp = R*(p-c) + c

4.7.2输入输出图像坐标的方案选择

方案一：

在此方案中，实现代码的方式是正向的思路，将原图中的像素点的坐标进行坐标的旋转，然后直接幅值到输出的图像中，此方案旨在找到输入坐标与输出坐标之间的代数对应关系，以此来进行Verilog代码的编写。

但在实际的分析的过程中，先采用极坐标系进行分析，得到了对应的坐标对应关系，如下图所示：

在该方法中，首先将原始坐标以及目标坐标放入了极坐标中，并且通过在极坐标中的关系，找到了同时满足X0,Y0,X1,Y1四个参量的方程组，以此来解出对应的坐标关系，并以此为基础得到了输入与输出之间的矩阵运算关系如下：

这样就解决了坐标的代数关系。但在实际的测试中发现，这种方法所旋转得到的图像有着较为严重的失真现象，具体情况如下图所示：

很明显可以看到，在旋转之后这两张图片出现了较大的差别，首先是原图像被裁减了，其次是目标图像中有较多的瑕点(杂点)。究其原因在于，从原图旋转后得到的目标图像的像素位置在原图中找不到。另外就是边缘被裁剪的问题，由于在这个方案中约束了显示区域，因此在旋转的过程中，部分像素点就会由于超出边界而被裁剪。针对以上的两个问题，进行了如下改进。

方案二：

由于在之前的方案中出现了杂点以及图像边缘裁剪的问题，因此在本方案中，我们采用了逆向思维，用目标图像的坐标去与原图的坐标进行坐标匹配，若在原图像中能找到匹配的图像，就显示该点旋转后的点坐标，若在原图中找不到该点，则不显示该点，通过这样就解决了杂点的问题，具体所限定的原图的查找区域代码如图所示：

其中，pp为旋转在后的坐标对应矩阵，在if语句中限定了原图的区域，用此区域则可以到原图中的坐标点，以此来排除不在区域中的坐标点，这样就可以解决杂点的问题。(以上是前期在MATLAB中的仿真代码截取)

在这种方案下，坐标的对应关系如下：

这样，该旋转后的图像就有了较好的还原度，达到了相应的题目要求，具体的方案的效果如下图所示：

如图所示，相对方案一而言，图像的效果就好了很多，但图像边缘仍然存在边缘被切割的现象，因此在第三种方案中，对代码进一步进行优化。

方案三：

考虑到未对旋转后的图像进行显示区域的划分，因此此类旋转只是对单一像素点的旋转，然后在原图像的显示区域上进行坐标点的重新组合，得到显示的图像。在解决的方法的思路上，采用目标显示区域的重新划分来解决该问题。

具体思路是，采用原图像的长宽作为基准，再用坐标转换的关系，将长和宽转换到旋转后的坐标系中，得到目标图像在旋转后坐标系中的显示区域，具体如下：

这样，就解决了图像边缘被裁剪的问题，是整个图像得以完整的显示，实际的效果如下：

从图示的效果可以看出，边缘区域被裁剪的问题被解决了，但问题是图片加阴影的区域面积比原图大很多。

但在实际的操作中，采用这一类的图像点坐标的对应关系，产生的结果与预期有着较大的误差，图像的效果较差，因此为了更好的进行图像的处理，我们又在网络上寻找了CORDIC算法，以此来得到更好的处理效果。

4.7.3旋转坐标计算

在该设计中，要求图像拥有0到360的任意角度的旋转，坐标变换需要角度的正弦和余弦值。

利用matlab生成正余弦表，并将其扩大256倍，打印到文件中。利用得到的正余弦表数值，将其写入verilog代码中，生成正余弦查找表。通过输入角度值来索引其正余弦数值。Matlab生成正余弦列表的代码如下;

该正弦，余弦通过MATLAB计算得到，并预先储存到FPGA的片上储存空间中，在进行坐标变换时，读取对应角度的正弦，余弦值，进行坐标变换。由于计算得到的正弦和余弦值为浮点数，而FPGA擅长于进行整数运算。故要进行浮点数到整数的转换，具体的实现方法是，将计算得到的浮点正弦，余弦值乘上 256 后再取整，计算得到的结果于原结果相比被扩大了256倍，而在数字电路中，除法操作可以用移位来进行。结果右移8位即等效于除于256 。

坐标变换的核心代码如下：

将坐标变换计算模块封装为一个子模块，输入输出图像的坐标和旋转角度后，即可计算出对应的输入图像对应的像素的坐标。然后读取该坐标的像素值，写入到旋转重建的图像对应的坐标位置即可。