CCD（ChargeCoupledDevice，電荷耦合組件）使用一種高感光度的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成數(shù)字信號，數(shù)字信號經(jīng)過壓縮以后由相機(jī)內(nèi)部的閃速存儲器或內(nèi)置硬盤卡保存，因而可以輕而易舉地把數(shù)據(jù)傳輸給計(jì)算機(jī)，并借助于計(jì)算機(jī)的處理手段，根據(jù)需要和想像來修改圖像。CCD由許多感光單位組成，當(dāng)CCD表面受到光線照射時(shí)，每個(gè)感光單位會將電荷反映在組件上，所有的感光單位所產(chǎn)生的信號加在一起，就構(gòu)成了一幅完整的畫面。它就像傳統(tǒng)相機(jī)的底片一樣的感光系統(tǒng)，是感應(yīng)光線的電路裝置，你可以將它想象成一顆顆微小的感應(yīng)粒子，鋪滿在光學(xué)鏡頭后方，當(dāng)光線與圖像從鏡頭透過、投射到CCD表面時(shí)，CCD就會產(chǎn)生電流，將感應(yīng)到的內(nèi)容轉(zhuǎn)換成數(shù)碼資料儲存起來。CCD像素?cái)?shù)目越多、單一像素尺寸越大，收集到的圖像就會越清晰。因此，盡管CCD數(shù)目并不是決定圖像品質(zhì)的唯一重點(diǎn)，我們?nèi)匀豢梢园阉?dāng)成相機(jī)等級的重要判準(zhǔn)之一。目前掃描機(jī)、攝錄放一體機(jī)、數(shù)碼照相機(jī)多數(shù)配備CCD。

CCD經(jīng)過長達(dá)35年的發(fā)展，大致的形狀和運(yùn)作方式都已經(jīng)定型。CCD的組成主要是由一個(gè)類似馬賽克的網(wǎng)格、聚光鏡片以及墊于最底下的電子線路矩陣所組成。目前有能力生產(chǎn)CCD的公司分別為：SONY、Philps、Kodak、Matsushita、Fuji和Sharp，大半是日本廠商。

CMOS（Complementaryetal-OxideSemiconductor，附加金屬氧化物半導(dǎo)體組件）和CCD一樣同為在數(shù)碼相機(jī)中可記錄光線變化的半導(dǎo)體。CMOS的制造技術(shù)和一般計(jì)算機(jī)芯片沒什么差別，主要是利用硅和鍺這兩種元素所做成的半導(dǎo)體，使其在CMOS上共存著帶N（帶–電）和P（帶+電）級的半導(dǎo)體，這兩個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流即可被處理芯片紀(jì)錄和解讀成影像。然而，CMOS的缺點(diǎn)就是太容易出現(xiàn)雜點(diǎn)，這主要是因?yàn)樵缙诘脑O(shè)計(jì)使CMOS在處理快速變化的影像時(shí)，由于電流變化過于頻繁而會產(chǎn)生過熱的現(xiàn)象。

CCD和CMOS各自的利弊，我們可以從技術(shù)的角度來比較兩者主要存在的區(qū)別：

信息讀取方式不同。CCD傳感器存儲的電荷信息需在同步信號控制下一位一位的實(shí)施轉(zhuǎn)移后讀取，電荷信息轉(zhuǎn)移和讀取輸出需要有時(shí)鐘控制電路和三組不同的電源相配合，整個(gè)電路較為復(fù)雜。CMOS傳感器經(jīng)光電轉(zhuǎn)換后直接產(chǎn)生電流（或電壓）信號，信號讀取十分簡單。

速度有所差別。CCD傳感器需在同步時(shí)鐘的控制下以行為單位一位一位的輸出信息，速度較慢；而CMOS傳感器采集光信號的同時(shí)就可以取出電信號，還能同時(shí)處理各單元的圖象信息，速度比CCD快很多。

電源及耗電量。CCD傳感器電荷耦合器大多需要三組電源供電，耗電量較大；CMOS傳感器只需使用一個(gè)電源，耗電量非常小，僅為CCD電荷耦合器的1/8到1/10，CMOS光電傳感器在節(jié)能方面具有很大優(yōu)勢。

成像質(zhì)量。CCD傳感器制作技術(shù)起步較早，技術(shù)相對成熟，采用PN結(jié)合二氧化硅隔離層隔離噪聲，成像質(zhì)量相對CMOS傳感器有一定優(yōu)勢。由于CMOS傳感器集成度高，光電傳感元件與電路之間距離很近，相互之間的光、電、磁干擾較為嚴(yán)重，噪聲對圖象質(zhì)量影響很大。在相同分辨率下，CMOS價(jià)格比CCD便宜，但是CMOS器件產(chǎn)生的圖像質(zhì)量相比CCD來說要低一些。到目前為止，市面上絕大多數(shù)的消費(fèi)級別以及高端數(shù)碼相機(jī)都使用CCD作為感應(yīng)器；CMOS感應(yīng)器則作為低端產(chǎn)品應(yīng)用于一些攝像頭上。是否具有CCD感應(yīng)器一度成為人們判斷數(shù)碼相機(jī)檔次的標(biāo)準(zhǔn)之一。而由于CMOS的制造成本和功耗都要低于CCD不少，所以很多手機(jī)生產(chǎn)廠商采用的都是CMOS鏡頭。現(xiàn)在，市面上大多數(shù)手機(jī)都采用的是CMOS攝像頭，少數(shù)也采用了CCD攝像頭。

光學(xué)變焦和數(shù)碼變焦原理

光學(xué)變焦（OpticalZoom）是通過鏡頭、物體和焦點(diǎn)三方的位置發(fā)生變化而產(chǎn)生的。當(dāng)成像面在水平方向運(yùn)動的時(shí)候，如下圖，視覺和焦距就會發(fā)生變化，更遠(yuǎn)的景物變得更清晰，讓人感覺像物體遞進(jìn)的感覺。

顯而易見，要改變視角必然有兩種辦法，一種是改變鏡頭的焦距。用攝影的話來說，這就是光學(xué)變焦。通過改變變焦鏡頭中的各鏡片的相對位置來改變鏡頭的焦距。另一種就是改變成像面的大小，即成像面的對角線長短在目前的數(shù)碼攝影中，這就叫做數(shù)碼變焦。實(shí)際上數(shù)碼變焦并沒有改變鏡頭的焦距，只是通過改變成像面對角線的角度來改變視角，從而產(chǎn)生了“相當(dāng)于”鏡頭焦距變化的效果。

所以我們看到，一些鏡頭越長的數(shù)碼相機(jī)，內(nèi)部的鏡片和感光器移動空間更大，所以變焦倍數(shù)也更大。我們看到市面上的一些超薄型數(shù)碼相機(jī)，一般沒有光學(xué)變焦功能，因?yàn)槠錂C(jī)身內(nèi)根部不允許感光器件的移動，而像索尼F828、富士S7000這些“長鏡頭”的數(shù)碼相機(jī)，光學(xué)變焦功能達(dá)到5、6倍。

數(shù)碼變焦（DigitalZoom）也稱為數(shù)字變焦，數(shù)碼變焦是通過數(shù)碼相機(jī)內(nèi)的處理器，把圖片內(nèi)的每個(gè)象素面積增大，從而達(dá)到放大目的。這種手法如同用圖像處理軟件把圖片的面積改大，不過程序在數(shù)碼相機(jī)內(nèi)進(jìn)行，把原來影像感應(yīng)器上的一部份像素使用“插值”處理手段做放大，將影像感應(yīng)器上的像素用插值算法將畫面放大到整個(gè)畫面。

與光學(xué)變焦不同，數(shù)碼變焦是在感光器件垂直方向向上的變化，而給人以變焦效果的。在感光器件上的面積越小，那么視覺上就會讓用戶只看見景物的局部。但是由于焦距沒有變化，所以，圖像質(zhì)量是相對于正常情況下較差。

通過數(shù)碼變焦，拍攝的景物放大了，但它的清晰度會有一定程度的下降，所以數(shù)碼變焦并沒有太大的實(shí)際意義。因?yàn)樘蟮臄?shù)碼變焦會使圖像嚴(yán)重受損，有時(shí)候甚至因?yàn)榉糯蟊稊?shù)太高，而分不清所拍攝的畫面。

Sensor內(nèi)部工作原理

外部光線穿過lens后，經(jīng)過colorfilter濾波后照射到Sensor面上，Sensor將從lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。如果Sensor沒有集成DSP，則通過DVP的方式傳輸?shù)絙aseband，此時(shí)的數(shù)據(jù)格式是RAWRGB。

Camera Sensor 圖像處理原理及實(shí)例分析

1、色彩感應(yīng)及校正

1.1 原理

人眼對色彩的識別，是基于人眼對光線存在三種不同的感應(yīng)單元，不同的感應(yīng)單元對不同波段的光有不同的響應(yīng)曲線的原理，通過大腦的合成得到色彩的感知。 一般來說，我們可以通俗的用RGB三基色的概念來理解顏色的分解和合成。

理論上，如果人眼和sensor對光譜的色光的響應(yīng)，在光譜上的體現(xiàn)如下的話，基本上對三色光的響應(yīng)，相互之間不會發(fā)生影響，沒有所謂的交叉效應(yīng)。

但是，實(shí)際情況并沒有如此理想，下圖表示了人眼的三色感應(yīng)系統(tǒng)對光譜的響應(yīng)情況?？梢奟GB的響應(yīng)并不是完全獨(dú)立的。

下圖則表示了某Kodak相機(jī)光譜的響應(yīng)?？梢娖渑c人眼的響應(yīng)曲線有較大的區(qū)別。

1.2、 對sensor的色彩感應(yīng)的校正

既然我們已經(jīng)看到sensor對光譜的響應(yīng)，在RGB各分量上與人眼對光譜的響應(yīng)通常是有偏差的，當(dāng)然就需要對其進(jìn)行校正。不光是在交叉效應(yīng)上，同樣對色彩各分量的響應(yīng)強(qiáng)度也需要校正。通常的做法是通過一個(gè)色彩校正矩陣對顏色進(jìn)行一次校正。

該色彩校正的運(yùn)算通常是由sensor模塊集成或后端的ISP完成，軟件通過修改相關(guān)寄存器得到正確的校正結(jié)果。值得注意的一點(diǎn)是，由于RGB -》 YUV的轉(zhuǎn)換也是通過一個(gè)3*3的變換矩陣來實(shí)現(xiàn)的，所以有時(shí)候這兩個(gè)矩陣在ISP處理的過程中會合并在一起，通過一次矩陣運(yùn)算操作完成色彩的校正和顏色 空間的轉(zhuǎn)換。

2、 顏色空間

2.1 、分類

實(shí)際上顏色的描述是非常復(fù)雜的，比如RGB三基色加光系統(tǒng)就不能涵蓋所有可能的顏色，出于各種色彩表達(dá)，以及色彩變換和軟硬件應(yīng)用的需求，存在各種各樣的顏色模型及色彩空間的表達(dá)方式。這些顏色模型，根據(jù)不同的劃分標(biāo)準(zhǔn)，可以按不同的原則劃分為不同的類別。

匹配任意可見光所需的三原色光比例曲線

對于sensor來說，我們經(jīng)常接觸到的色彩空間的概念，主要是RGB ， YUV這兩種（實(shí)際上，這兩種體系包含了許多種不同的顏色表達(dá)方式和模型，如sRGB， Adobe RGB， YUV422， YUV420 …）， RGB如前所述就是按三基色加光系統(tǒng)的原理來描述顏色，而YUV則是按照 亮度，色差的原理來描述顏色。

2.1.1 RGB 《-》 YUV的轉(zhuǎn)換

不比其它顏色空間的轉(zhuǎn)換有一個(gè)標(biāo)準(zhǔn)的轉(zhuǎn)換公式，因?yàn)閅UV在很大程度上是與硬件相關(guān)的，所以RGB與YUV的轉(zhuǎn)換公式通常會多個(gè)版本，略有不同。

常見的公式如下：

Y=0.30R+0.59G+0.11B

U=0.493（B－Y） = －0.15R－0.29G+0.44B

V=0.877（R－Y） = 0.62R－0.52G－0.10B

但是這樣獲得的YUV值存在著負(fù)值以及取值范圍上下限之差不為255等等問題，不利于計(jì)算機(jī)處理，所以根據(jù)不同的理解和需求，通常在軟件處理中會用到各種不同的變形的公式，這里就不列舉了。

體現(xiàn)在Sensor上，我們也會發(fā)現(xiàn)有些Sensor可以設(shè)置YUV的輸出取值范圍。原因就在于此。

從公式中，我們關(guān)鍵要理解的一點(diǎn)是，UV 信號實(shí)際上就是藍(lán)色差信號和紅色差信號，進(jìn)而言之，實(shí)際上一定程度上間接的代表了藍(lán)色和紅色的強(qiáng)度，理解這一點(diǎn)對于我們理解各種顏色變換處理的過程會有很大的幫助。

3.1、 白平衡

3.1.1、 色溫

色溫的定義：將黑體從絕對零度開始加溫，溫度每升高一度稱為1開氏度（用字母K來表示），當(dāng)溫度升高到一定程度時(shí)候，黑體便輻射出可見光，其光譜成份以及給人的感覺也會著溫度的不斷升高發(fā)生相應(yīng)的變化。于是，就把黑體輻射一定色光的溫度定為發(fā)射相同色光光源的色溫。

常見光源色溫：

光源 色溫（K）

鎢絲燈（白熾燈） 2500-3200k

碳棒燈 4000-5500k

熒光燈（日光燈，節(jié)能燈） 4500-6500k

氙燈 5600 k

炭精燈 5500～6500k

日光平均 5400k

有云天氣下的日光 6500-7000k

陰天日光 12000-18000k

隨著色溫的升高，光源的顏色由暖色向冷色過渡，光源中的能量分布也由紅光端向藍(lán)光端偏移。

值得注意的是，實(shí)際光源的光譜分布各不相同，而色溫只是代表了能量的偏重程度，并不反映具體的光譜分布，所以即使相同色溫的光源，也可能引起不同的色彩反應(yīng)。

人眼及大腦對色溫有一定的生理和心理的自適應(yīng)性，所以看到的顏色受色溫偏移的影響較小，而camera的sersor沒有這種能力，所以拍出來的照片不經(jīng)過白平衡處理的話，和人眼看到的顏色會有較大的偏差（雖然人眼看到的和白光下真實(shí)的色彩也有偏差）。

太陽光色溫隨天氣和時(shí)間變化的原因，與不同頻率光的折射率有關(guān)：

波長長的光線，折射率小，透射能力強(qiáng)，波長短的光線，折射率大，容易被散射，折射率低，這也就是為什么交通燈用紅色，防霧燈通常是黃色，天空為什么是藍(lán)色的等等現(xiàn)象的原因。

知道了這一點(diǎn)，太陽光色溫變化的規(guī)律和原因也就可以理解和分析了，留給大家自己思考。

3.1.1 色溫變化時(shí)的色彩校正

所以從理論上可以看出，隨著色溫的升高，要對色溫進(jìn)行較正，否則，物體在這樣的光線條件下所表現(xiàn)出來的顏色就會偏離其正常的顏色，因此需要降低 sensor對紅色的增益，增加sersor對藍(lán)光的增益。同時(shí)在調(diào)整參數(shù)時(shí)一定程度上要考慮到整體亮度的要保持大致的不變，即以YUV來衡量時(shí)，Y值要 基本保持不變，理論上認(rèn)為可以參考RGB-》YUV變換公式中，RGB三分量對Y值的貢獻(xiàn)，從而確定RGAIN和BGAIN的變化的比例關(guān)系。但實(shí) 際情況比這還要復(fù)雜一些，要考慮到不同sensor對R，B的感光的交叉影響和非線性，所以最佳值可能和理論值會有一些偏差。

3.1.2 自動白平衡原理

3.1.2.1 原理

自動白平衡是基于假設(shè)場景的色彩的平均值落在一個(gè)特定的范圍內(nèi)，如果測量得到結(jié)果偏離該范圍，則調(diào)整對應(yīng)參數(shù)，校正直到其均值落入指定范圍。該 處理過程可能基于YUV空間，也可能基于RGB空間來進(jìn)行。對于Sensor來說，通常的處理方式是通過校正R/B增益，使得UV值落在一個(gè)指定的范圍 內(nèi)。從而實(shí)現(xiàn)自動白平衡。

3.1.2.2 特殊情況的處理

在自動白平衡中，容易遇到的問題是，如果拍攝的場景，排除光線色溫的影響，其本身顏色就是偏離平均顏色值的，比如大面積的偏向某種顏色的圖案如：草地，紅旗，藍(lán)天等等，這時(shí)候，強(qiáng)制白平衡將其平均顏色調(diào)整到灰色附近，圖像顏色就會嚴(yán)重失真。

因此，通常的做法是：在處理自動白平衡時(shí)，除了做為目標(biāo)結(jié)果的預(yù)期顏色范圍外，另外再設(shè)置一對源圖像的顏色范圍闕值，如果未經(jīng)處理的圖像其顏色均值超出了該闕值的話，根本就不對其做自動白平衡處理。由此保證了上述特殊情況的正確處理。

可見，這兩對闕值的確定對于自動白平衡的效果起著關(guān)鍵性的作用。

3.1.3 某平臺的例子

英文代碼 中文界面 色溫 色溫 RGAIN， GGAIN， BGAIN

cloud 陰天 7500k 0x1D4C， 0x00CD， 0x0085， 0x0080

daylight 日光 6500k 0x1964， 0x00A3， 0x0080， 0x0088

INCANDESCENCE 白熱光 5000k 0x1388， 0x00A5， 0x0080， 0x0088

FLUORESCENT 日光燈 4400k 0x1130， 0x0098， 0x0080， 0x00A8

TUNGSTEN 鎢絲燈 2800k 0x0AF0， 0x0080， 0x0081， 0x00A4

可以看到隨著色溫的升高，其變化規(guī)律基本符合上節(jié)中的理論分析。不過這里多數(shù)參數(shù)與理論值都有一些偏差，其中日光燈的色溫參數(shù)設(shè)置與理論值有較 大的偏差，實(shí)際效果也證明該日光燈的參數(shù)設(shè)置使得在家用日光燈環(huán)境下拍攝得到的照片顏色偏藍(lán)。修改其參數(shù)后實(shí)拍效果明顯改善。（再查一些資料可以看到通常 會有兩種熒光燈色溫 4000 和 5000K，目前我所接觸到的應(yīng)該是5000K居多）

3.1.4 調(diào)試和驗(yàn)證

具體參數(shù)的調(diào)整，應(yīng)該在燈箱環(huán)境下，使用各種已知色溫的標(biāo)準(zhǔn)光源對標(biāo)準(zhǔn)色卡拍攝，在Pc機(jī)上由取色工具測量得到其與標(biāo)準(zhǔn)色板的RGB分量上的色彩偏差，相應(yīng)的調(diào)整各分量增益的比例關(guān)系。為了更精確的得到結(jié)果，曝光量增益的設(shè)置在此之前應(yīng)該相對準(zhǔn)確的校正過

4、顏色相關(guān)特效處理

4.1 grayscale （灰階）

灰階圖的效果就是將彩色圖片轉(zhuǎn)換為黑白圖片。

4.2 理論

理論上，在YUV空間，將UV分量丟棄，只保留Y分量，這樣就可以得到黑白圖像，這也是彩色電式機(jī)信號能兼容黑白電視機(jī)的原理。如下圖理論上Y值一樣的顏色（右邊是用acdsee轉(zhuǎn)成灰度圖的效果），在grayscale模式下看應(yīng)該是一樣的顏色。

算法上的操作，理論上應(yīng)該把UV值改成灰色對應(yīng)數(shù)值就可以了。不過根據(jù)軟件算法和硬件結(jié)構(gòu)的不同，具體代碼也會有不同。

4.3 以某平臺為例

核心的兩行代碼如下：

SET_HUE_U_GAIN（0）;

SET_HUE_V_GAIN（0）;

這里設(shè)置UV GAIN為0，如果UV offset設(shè)置為128的話，最終得到的UV就是128，這就和理論是相符合的。

4.4 sepia / sepiagreen / sepiablue

所謂的復(fù)古（綠，藍(lán)）就是在灰階的基礎(chǔ)上，對UV值額外再做了一個(gè)offset，將灰度圖轉(zhuǎn)換成某種顏色的梯度圖。理論上為了獲得藍(lán)色效果，應(yīng)該增加藍(lán)色差信號，減小紅色差信號。即增大U，減小V。

以sepiablue效果為例，這里的字節(jié)的MSB表示符號位：所以88為88，158為-30。

SET_HUE_U_GAIN（0）;

SET_HUE_V_GAIN（0）;

SET_HUE_U_OFFSET（88）;

SET_HUE_V_OFFSET（158）;

4.5 negative

所謂負(fù)片效果，就是將圖像的顏色反轉(zhuǎn)，看起來就像是在看膠片底片時(shí)的效果。這從理論上也很容易理解和處理，就是在RGB空間，取其補(bǔ)色，具體的操作就是用255分別減去RGB得到新的RGB值。通常會在ISP中實(shí)現(xiàn)該功能。