前言

CFA(Color Filter Array,色彩滤波阵列)也就是我们常说的CMOS色彩滤镜,应该说是一个挺重要,厂商在宣传的时候也会偶尔提及一下的东西。但是对于这个东西如何起作用,不同的排列又有什么样的优缺点,可能很多人就不太清楚了。今天我们就来讨论一下这个问题。

本次讨论基于相机中用到的几种传感器CFA排列方式,电影机当中用到的Q67之类,更多的是一种针对性设计(Q67其实就是旋转45度的拜耳阵列,菱形像素排列更紧凑,布线长度可以短,刷起速度来更容易,可以认为是电影机的针对性架构,用在相机上其实意义不大)。

 


基础模型——采样像素与输出像素

 


在之前我们简单提过采样像素与输出像素的概念,图像传感器的空间采样就是把连续的空间图像信号转化为离散的一个一个像素,而像素密度代表的就是空间采样频率。空间采样频率越高,我们便可以获取更多的原始图像高频细节,从而提升整个画面的细节表现。

当然,如果你看图的方式是看100%,在同样的显示器尺寸和分辨率下,图像表现还会受到输出像素的限制。同样的采样像素下,输出像素越高,则图像的100%查看细节表现越差。


其实采样像素和输出像素不同的设计在摄影当中可能不多,但是在视频当中很常见——因为视频的输出像素都是固定规格(例如4k就是829万),而采样像素可以比较灵活——例如索尼A6300,在视频拍摄模式下就是2000万像素采样,800万像素输出。

不过对于不同的CFA排列方式来说,其实际的采样和输出像素差别也比较大——尤其是CFA是为了色彩输出而设计,在平面上要放置3种颜色的滤色片,每一种颜色必然都存在空间欠采样的现象。至于影响如何,我们接下来对每一种CFA来进行一下简单分析。

 


最简单的——无色彩滤镜


只能输出黑白图像,最典型的比如徕卡的法师机Leica M Monochrome~


 

无色彩滤镜的情形分析起来也是相当简单,没有CFA造成的采样频率损失,采样像素就等于输出像素。缺点就是这种结构只能拍摄黑白图片,无法显示色彩。


最常用的——拜耳阵列

 


拜耳阵列一般被俗称为“马赛克传感器”,因为这种排列方式看起来的确有点像花花绿绿的马赛克晶格:

 


 


很明显可以看到拜耳阵列是由一行RGRGRG……和一行BGBGBG……交错排列而成,每一个像素点只能读取单独的颜色信息。其中绿色像素的采样频率是输出像素的1/2,红、蓝色像素的采样频率是输出像素的1/4,故有拜耳阵列传感器的分辨率是由绿色像素决定的这一说法。

 

拜耳阵列传感器采样生成的图像要输出我们常见的全色彩图像必须经过反马赛克运算——但这跟我们平时俗称的名字“猜色”的字面意义不同,拜耳阵列的颜色并不是猜的,而是每个2×2方块经过9次矩阵运算计算出来的,也就是说不存在猜这回事,每个像素的颜色其实是一个确定值(矩阵运算是线性运算,这并不是一个混沌系统)。但没有争议的是拜耳阵列确实存在欠采样问题,这也使得它会出现摩尔纹和伪色(摩尔纹出现的原因就是输入信号的最高频率成分超过了传感器的奈奎斯特极限,也就是说传感器的高频采样能力存在一些不足),100%查看时的画质也不是特别理想。

但是,看一个结构或者说架构是否强势,一个很重要的东西其实是成熟度与可扩增性——有时候一些暴力美学解决起问题来反而十分优雅。

拜耳阵列就是这么一个典型,简单的结构与成熟的工艺让它堆起像素来十分容易,只要底下的光电管能跟得上,分分钟3000万、4000万、5000万……接下来感觉应该就得上亿了(135画幅)。虽然结构本身存在欠采样问题,但毕竟架不住拥兵十万坐粮成山…理论上来说,当拜耳阵列传感器的实际像素数超越无CFA,或者X3这种传感器的输出像素2.8倍的时候,在输出同样大小的图片时便可以获取超越全色传感器的分辨率和100%查看画质。所以在我看来,暴力堆砌像素用超采换画质的拜耳阵列应该是接下来很长一段时间内图像传感器的发展思路——这种架构劣势但是由于易于扩充因此可以堆规模取胜的例子在各种电子产品上应该说屡见不鲜,客官,您还记得八年前AMD的RV770 GPU吗?

 


异形拜耳阵列——X-Trans

 


接下来我们就来说一下备受争议的X-Trans CMOS。其色彩滤镜的排列方式如下图:

 



左为传统的拜耳阵列传感器,右为X-Trans Sensor。乍一看右边的X-Trans阵列确实如它宣传的一般很“无序”,乱七八糟的。不过不要紧,我们还是从采样率的角度来进行分析,看看这种排列的传感器究竟会有什么样的特点。

 



每一组(6×6为一组)子像素中都包含4个这样的2×2纯绿色方块(上图中最上面、下面、左面、右面的8个绿色像素和邻近的6×6子像素的对应部分都可以拼成一个2×2绿色像素组,每个角上的绿色像素也可以和邻近的3个子像素阵列拼成2×2,,平均算下来就是每6×6像素当中有4个2×2的这种绿色方块)。需要注意的是,这2×2的方块可以看做是全采样的——其采样频率和输出像素相同,在高频的采样能力上优于传统的拜耳阵列。这也是X-Trans CMOS能在不用低通的前提下规避摩尔纹的真正原因,而不是什么所谓的‘无序性”。

然后接下来看其他像素。

 


接下来就是每个6×6子像素当中会有分布较离散的4个绿色子像素,这部分的采样频率低于传统的拜耳阵列。采样:输出只有1:9,低于传统拜耳阵列的1:2。

 

而蓝色和红色像素的排列方式较为特殊,计算下来红蓝像素的等效采样频率是输出像素的2/9,相对于传统拜耳阵列(1/4)来说差别不大。

这种排列方式更类似一种“大小核”的思路——采用2×2的高频采样模块来处理高频信息,1/9的低频模块来处理中低频信息,同时保证红蓝像素的采样率基本不变。但是1和1/9两种采样频率之间的差异实在是太大,中高频的信息势必会有一些损失。也有很多人反映同品牌同像素的两款产品,用了X-Trans CMOS的那款细节表现反而不如没用的,应该也有这方面的原因。

X-Trans还有一个问题就是解码算法远比拜耳阵列来得复杂,当然这个属于Adobe之类的厂商在意的问题,消费者在使用的时候,通常不会察觉到这个所带来的影响。

顺便胶片没有摩尔纹的原因其实也无关什么无序性,胶片是全色采样,类似我们下面说的X3,采样:输出也是1:1,而且胶片的颗粒大小不一,密度在小尺度上也不均匀,小颗粒的银盐也承担了高频区信号采样的作用,避免了欠采样导致出现摩尔纹的问题。

从这个角度来说,把X-Trans叫“仿生胶片传感器”,倒也不是没有道理。只不过这个排列,真的是优势和缺点一样明显。

至于X-Trans排列能不能提高高ISO表现?你说呢?


全色采样——Foveon X3


 

一种既保证了1:1的采样:输出频率,又能做到全色彩采集的传感器结构。优势很明确,就是完爆各种拜耳阵列以及变种拜耳阵列的采样频率——2倍的绿色,4倍的红、蓝色,在拍摄色彩丰富的纹理图案时细节表现相当出色。

但缺点也是明显得很,首先三层之间的距离其实并不小,信号通路也不可能用TSV(硅片上穿孔)而只能引出布线,数字输出(内置ADC)则是更不可能(放不开),所以这种结构的CMOS传输噪声高得惊人,佳能的祖传Sensor在他面前都是吊打完爆的水平。可能是因为挤得连程控电压放大器都放不下吧,Foveon还作死的在这块传感器上用了ISOless设计——和索尼的On-Chip ADC一样,采用ISP数字放大的方式来调ISO,直接导致这块传感器的高感连着它的动态一起跌进深渊。电路层的设计才是这种传感器性能堪忧的真实原因,至于材料的透光率,只是起到了推波助澜的作用。

更何况不可能存在能够100%吸收单一频率的光而对其他波段完全透明的材料,现实中材料的吸收曲线都是这样的:

 

 


后来Sigma/Foveon自己都妥协了,DP Q系列相机采用了新的4:1:1 Quattro X3传感器:

我想了半天也没想出来这种结构传感器的等效采样频率应该怎么算,看来还是需要学习一个。。在我想明白之前,还是暂时闷声好了。