發布時間:2024-04-15 文章來源:深度系統下載 瀏覽:
自然界的顏色千變萬化,為了給顏色一個量化的衡量標準,就需要建立色彩空間模型來描述各種各樣的顏色,由于人對色彩的感知是一個復雜的生理和心理聯合作用的過程,所以在不同的應用領域中為了更好更準確的滿足各自的需求,就出現了各種各樣的色彩空間模型來量化的描述顏色。我們比較常接觸到的就包括 RGB / CMYK / YIQ / YUV / HSI等等。 對于數字電子多媒體領域來說,我們經常接觸到的色彩空間的概念,主要是RGB , YUV這兩種(實際上,這兩種體系包含了許多種具體的顏色表達方式和模型,如sRGB, Adobe RGB, YUV422, YUV420 …), RGB是按三基色加光系統的原理來描述顏色,而YUV則是按照 亮度,色差的原理來描述顏色。 即使只是RGB YUV這兩大類色彩空間,所涉及到的知識也是十分豐富復雜的,自知不具備足夠的相關專業知識,所以本文主要針對工程領域的應用及算法進行討論。 2 YUV相關色彩空間模型 實際上,YUV模型用于PAL制式的電視系統,Y表示亮度,UV并非任何單詞的縮寫。 YIQ模型與YUV模型類似,用于NTSC制式的電視系統。YIQ顏色空間中的I和Q分量相當于將YUV空間中的UV分量做了一個33度的旋轉。 YCbCr顏色空間是由YUV顏色空間派生的一種顏色空間,主要用于數字電視系統中。從RGB到YCbCr的轉換中,輸入、輸出都是8位二進制格式。 三者與RGB的轉換方程如下: RGB -> YUV: 實際上也就是: Y=0.30R+0.59G+0.11B , U=0.493(B-Y) , V=0.877(R-Y) RGB -> YIQ: RGB -> YCrCb: 從公式中,我們關鍵要理解的一點是,UV / CbCr信號實際上就是藍色差信號和紅色差信號,進而言之,實際上一定程度上間接的代表了藍色和紅色的強度,理解這一點對于我們理解各種顏色變換處理的過程會有很大的幫助。 我們在數字電子多媒體領域所談到的YUV格式,實際上準確的說,是以YcrCb色彩空間模型為基礎的具有多種存儲格式的一類顏色模型的家族(包括YUV444 / YUV422 / YUV420 / YUV420P等等)。并不是傳統意義上用于PAL制模擬電視的YUV模型。這些YUV模型的區別主要在于UV數據的采樣方式和存儲方式,這里就不詳述。 而在Camera Sensor中,最常用的YUV模型是 YUV422格式,因為它采用4個字節描述兩個像素,能和RGB565模型比較好的兼容。有利于Camera Sensor和Camera controller的軟硬件接口設計。 3 YUV2RGB快速算法分析 R = Y + 1.4075 *(V-128) 3.1 整型算法 u = YUVdata[UPOS] – 128; rdif = v + ((v * 103) >> 8); r = YUVdata[YPOS] + rdif; 為了防止出現溢出,還需要判錯計算的結果是否在0-255范圍內,做類似下面的判斷。 if (r>255) 要從RGB24轉換成RGB565數據還要做移位和或運算: RGBdata[1] =( (r & 0xF8) | ( g >> 5) ); 3.2 部分查表法 rdif = fac_1_4075[u]; 這里一共需要4個1維數組,下標從0開始到255,表格共占用約1K的內存空間。uv可以不需要做減128的操作了。在事先計算對應的數組元素的值的時候計算在內就好了。 對于每個像素,部分查表法用查表替代了2次減法運算和4次乘法運算,4次移位運算。但是,依然需要多次加法運算和6次比較運算和可能存在的賦值操作,相對第一種方法運算速度提高并不明顯。 3.3 完全查表法 但是,如果我們仔細分析就可以發現,對于G我們實際上完全沒有必要采用三維數組,因為Y只與UV運算的結果相關,與UV的個體無關,所以我們可以采用二次查表的方法將G的運算簡化為對兩個二維數組的查表操作,如下: G = yig2g_table[ y ][ uv2ig_table[ u ][ v ] ]; 而RB本身就只和YU或YV相關,所以這樣我們一共需要4個8*8的二維表格,需要占用4乘2的16次方共256K內存。基本可以接受。但是對于手機這樣的嵌入式運用來說,還是略有些大了。 進一步分析,我們可以看到,因為在手機等嵌入式運用上我們最終是要把數據轉換成RGB565格式送到LCD屏上顯示的,所以,對于RGB三分量來說,我們根本不需要8bit這么高的精度,為了簡單和運算的統一起見,對每個分量我們其實只需要高6bit的數據就足夠了,所以我們可以進一步把表格改為4個6*6的二維表格,這樣一共只需要占用16K內存!在計算表格元素值的時候還可以把最終的溢出判斷也事先做完。最后的算法如下: y = (YUVdata[Y1POS] >> 2); r = yv2r_table[ y ][ v ]; RGBdata[1] =( (r & 0xF8) | ( g >> 5) ); 這樣相對部分查表法,我們增加了3次移位運算,而進一步減少了4次加法運算和6次比較賦值操作。 在計算表格元素數值的時候,要考慮舍入和偏移等因數使得計算的中間結果滿足數組下標非負的要求,需要一定的技巧。 采用完全查表法,相對于第一種算法,最終運算速度可以有比較明顯的提高,具體性能能提高多少,要看所在平臺的CPU運算速度和內存存取速度的相對比例。內存存取速度越快,用查表法帶來的性能改善越明顯。在我的PC上測試的結果性能大約能提高35%。而在某ARM平臺上測試只提高了約15%。 3.4 進一步的思考 RGBdata[1] =( (r & 0xF8) | ( g >> 5) ); 中的 (r & 0xF8) 和 ( b >> 3) 等運算也完全可以在表格中事先計算出來。另外,YU / YV的取值實際上不可能覆蓋滿6*6的范圍,中間有些點是永遠取不到的無輸入,RB的運算也可以考慮用5*5的表格。這些都可能進一步提高運算的速度,減小表格的尺寸。 另外,在嵌入式運用中,如果可能盡量將表格放在高速內存如SRAM中應該比放在SDRAM中更加能發揮查表法的優勢。 4 RGB2YUV ? 另外,多數情況下,我們需要的還是YUV2RGB的轉換,因為從Sensor得到的數據通常我們會用YUV數據,此外JPG和MPEG實際上也是基于YUV格式編碼的,所以要顯示解碼后的數據需要的也是YUV2RGB的運算。 F = r [ R ] + g [ G ] + b [ B ] 其中,r、g、b分別為三基色參與混合的系數。當三基色分量都為0(最弱)時混合為黑色光;而當三基色分量都為k(最強)時混合為白色光。調整r、g、b三個系數的值,可以混合出介于黑色光和白色光之間的各種各樣的色光。 Y = 0.299R + 0.587G + 0.114B R = Y + 1.14V 在DirectShow中,常見的RGB格式有RGB1、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32、ARGB32等;常見的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等。作為視頻媒體類型的輔助說明類型(Subtype),它們對應的GUID見表2.3。 表2.3 常見的RGB和YUV格式 GUID 格式描述 下面分別介紹各種RGB格式。 ¨ RGB1、RGB4、RGB8都是調色板類型的RGB格式,在描述這些媒體類型的格式細節時,通常會在BITMAPINFOHEADER數據結構后面跟著一個調色板(定義一系列顏色)。它們的圖像數據并不是真正的顏色值,而是當前像素顏色值在調色板中的索引。以RGB1(2色位圖)為例,比如它的調色板中定義的兩種顏色值依次為0x000000(黑色)和0xFFFFFF(白色),那么圖像數據001101010111…(每個像素用1位表示)表示對應各像素的顏色為:黑黑白白黑白黑白黑白白白…。 ¨ RGB565使用16位表示一個像素,這16位中的5位用于R,6位用于G,5位用于B。程序中通常使用一個字(WORD,一個字等于兩個字節)來操作一個像素。當讀出一個像素后,這個字的各個位意義如下: #define RGB565_MASK_RED 0xF800 ¨ RGB555是另一種16位的RGB格式,RGB分量都用5位表示(剩下的1位不用)。使用一個字讀出一個像素后,這個字的各個位意義如下: #define RGB555_MASK_RED 0x7C00 ¨ RGB24使用24位來表示一個像素,RGB分量都用8位表示,取值范圍為0-255。注意在內存中RGB各分量的排列順序為:BGR BGR BGR…。通常可以使用RGBTRIPLE數據結構來操作一個像素,它的定義為: typedef struct tagRGBTRIPLE { ¨ RGB32使用32位來表示一個像素,RGB分量各用去8位,剩下的8位用作Alpha通道或者不用。(ARGB32就是帶Alpha通道的RGB32。)注意在內存中RGB各分量的排列順序為:BGRA BGRA BGRA…。通?梢允褂肦GBQUAD數據結構來操作一個像素,它的定義為: typedef struct tagRGBQUAD { 下面介紹各種YUV格式。YUV格式通常有兩大類:打包(packed)格式和平面(planar)格式。前者將YUV分量存放在同一個數組中,通常是幾個相鄰的像素組成一個宏像素(macro-pixel);而后者使用三個數組分開存放YUV三個分量,就像是一個三維平面一樣。表2.3中的YUY2到Y211都是打包格式,而IF09到YVU9都是平面格式。(注意:在介紹各種具體格式時,YUV各分量都會帶有下標,如Y0、U0、V0表示第一個像素的YUV分量,Y1、U1、V1表示第二個像素的YUV分量,以此類推。) YUY2(和YUYV)格式為每個像素保留Y分量,而UV分量在水平方向上每兩個像素采樣一次。一個宏像素為4個字節,實際表示2個像素。(4:2:2的意思為一個宏像素中有4個Y分量、2個U分量和2個V分量。)圖像數據中YUV分量排列順序如下: YVYU格式跟YUY2類似,只是圖像數據中YUV分量的排列順序有所不同: UYVY格式跟YUY2類似,只是圖像數據中YUV分量的排列順序有所不同: AYUV格式帶有一個Alpha通道,并且為每個像素都提取YUV分量,圖像數據格式如下: Y41P(和Y411)格式為每個像素保留Y分量,而UV分量在水平方向上每4個像素采樣一次。一個宏像素為12個字節,實際表示8個像素。圖像數據中YUV分量排列順序如下: Y211格式在水平方向上Y分量每2個像素采樣一次,而UV分量每4個像素采樣一次。一個宏像素為4個字節,實際表示4個像素。圖像數據中YUV分量排列順序如下: YVU9格式為每個像素都提取Y分量,而在UV分量的提取時,首先將圖像分成若干個4 x 4的宏塊,然后每個宏塊提取一個U分量和一個V分量。圖像數據存儲時,首先是整幅圖像的Y分量數組,然后就跟著U分量數組,以及V分量數組。IF09格式與YVU9類似。 IYUV格式為每個像素都提取Y分量,而在UV分量的提取時,首先將圖像分成若干個2 x 2的宏塊,然后每個宏塊提取一個U分量和一個V分量。YV12格式與IYUV類似。 YUV411、YUV420格式多見于DV數據中,前者用于NTSC制,后者用于PAL制。YUV411為每個像素都提取Y分量,而UV分量在水平方向上每4個像素采樣一次。YUV420并非V分量采樣為0,而是跟YUV411相比,在水平方向上提高一倍色差采樣頻率,在垂直方向上以U/V間隔的方式減小一半色差采樣,如圖2.12所示。 |
上一篇: