簡介

光柵化是一個將模擬圖像轉換為數字圖像的過程。數字圖像由一個個稱為像素的小點組成，而模擬圖像則是由連續的色調和亮度組成的。光柵化過程將模擬圖像的連續數據轉換為數字像素數據，以便計算機處理和顯示。

光柵化在數字攝影、圖形設計、游戲開發和其他需要處理圖像的領域中至關重要。

光柵化過程

光柵化過程通常包括以下步驟：

1. 采樣：將模擬圖像分解為一個個小區域，稱為像素。每個像素代表圖像中特定點的顏色和亮度。
2. 量化：將每個像素的顏色和亮度值轉換為有限的離散值集合。這通常通過位深度來決定，例如 8 位或 16 位顏色深度。
3. 存儲：將量化的像素數據存儲在數字文件中。該文件通常包含有關圖像大小、顏色深度和像素格式等信息。

采樣

采樣決定了光柵化圖像的質量。采樣率越高，圖像中的像素越多，圖像質量就越好。但是，更高的采樣率也會導致文件大小更大。因此，重要的是在圖像質量和文件大小之間取得平衡。

采樣有兩種主要方法：

• 均勻采樣：將圖像均勻地分解為像素網格。
• 非均勻采樣：重點采樣圖像中細節較多的區域。這可以產生更高質量的圖像，同時保持較小的文件大小。

量化

量化通過將每個像素的顏色和亮度值轉換為有限的離散值集合來減少光柵化圖像的數據量。這可以通過舍入、截斷或使用調色板等技術來實現。

量化水平由位深度決定。較高的位深度（例如 16 位）允許更多的顏色和亮度值，從而產生更逼真的圖像。但是，較高的位深度也會導致文件大小更大。

存儲

光柵化圖像通常存儲在以下文件格式中：

• Bitmap (BMP)：一種未壓縮的格式，產生大文件。
• JPEG (JPG)：一種有損壓縮格式，可以顯著減少文件大小，同時保持良好的圖像質量。
• PNG：一種無損壓縮格式，產生比 JPEG 更大的文件，但圖像質量更高。
• GIF：一種有損壓縮格式，特別適用于具有有限顏色的圖像。

光柵化圖像的優點和缺點

優點廣泛的應用范圍相對容易處理和顯示較小的文件大小（與模擬圖像相比）缺點隨著圖像放大的尺寸越大，圖像質量下降（像素化）文本和其他基于矢量的元素可能顯得粗糙需要大量存儲空間（對于高分辨率圖像）

結論

光柵化是將模擬圖像轉換為數字圖像的關鍵過程。通過采樣、量化和存儲，光柵化能夠以數字格式表示連續的圖像數據，以便計算機處理和顯示。

光柵化圖像具有廣泛的應用范圍，但也有其局限性，例如隨著尺寸放大時的圖像質量下降。在選擇光柵化圖像時，理解其優點和缺點非常重要，以便做出明智的決定以滿足特定需求。

---

圖形學 光柵化詳解（Rasterization）

計算機的屏幕是二維的平面坐標，以左上角為原點，x軸向右增加，y軸向下增加。

在3D圖形學中，物體是3維的，擁有X, Y, Z三個坐標，并且擁有R, G, B三種顏色，alpha透明度，U, V貼圖坐標，N法線。 三維物體在二維屏幕上的顯示，大致分為以下幾步：

在第二步中，我們計算出了3D模型每個頂點的顏色，這個是基于3維坐標的，頂點的三維坐標可以是 小數 。 但在屏幕渲染時，屏幕是只有X,Y二維的，并且其像素點坐標都是 整數 。 1920×1080的屏幕只有1920×1080=個像素點。 所以光柵化的連點描邊是一個近似過程。

光柵化主要有以下幾步：

那么，假設我們已經得到了3個頂點的坐標，并且已知這個三角形是紅色。 v1 (-1.5,1.5, 1.5) v2 (1.5,1.5, 1.5) v3 (0.2,0.2, 0.2) 如何判斷屏幕的哪些像素點在該三角形內部？ 主流的算法有兩種： （Linear Expression Evaluation） Line 本期只講LEE，因為scan Line我沒有親自搞過。 LEE大致原理如下：

需要注意的地方：

如何定義左邊和上邊? 由于重畫這個問題只出現在邊上，對于三角形內部的像素點，都是只畫一次的，所以不用考慮內部點，只考慮三條邊上的點。

如圖所示： 1）假定三角形v1v2v3是這樣的，我們當前要上色的像素點為P1（紅色），落到了v1v3這條邊上，那么就取不在這條邊上的頂點v2，計算過v2的水平線與v1v3的交點R1，如果R1在v2的右側，即R1.x > v2.x，那么說明P1是落在了 右側 的邊，所以 不畫

2）假定我們當前要上色的像素點為P2（綠色），落到了v2v3這條邊上，那么就取不在這條邊上的頂點v1，計算過v1的水平線與v2v3的交點R2，如果R2在v1的右側，即R2.x > v1.x，那么說明P2是落在了 右側 的邊，所以 不畫

3）假定我們當前要上色的像素點為P3（藍色），落到了v1v2這條邊上，那么就取不在這條邊上的頂點v3，計算過v3的水平線與v1v2的交點R3，如果R3在v3的右側，即R3.x > v3.x，那么說明P3是落在了右側的邊，但圖中是R3.x < v3.x，所以P3落在了 左側 邊， 要畫

4） 如果存在垂直邊或者水平邊，怎么判斷左右？ 垂直邊和上面是一種情況，不用單獨拿出來考慮。 水平邊的畫，只畫上方，即只畫 左邊和上邊 還是看上圖，假定邊v2v3是水平的，那么我們取v1，發現v1的y比較小，即v1在v2v3上方，那么邊v2v3就是 下邊 ，所以 不畫 ，反之則畫。

可以參考的論文

關于離屏渲染

我們先來看看常規渲染和離屏渲染的流程，如下圖：

如上圖，GPU 屏幕渲染有兩種方式：

常規渲染流程中的GPU 渲染機制為：CPU 計算好顯示內容提交到 GPU，GPU 渲染完成后將渲染結果放入幀緩沖區，隨后視頻控制器會按照 VSync 信號逐行讀取幀緩沖區的數據，經過可能的數模轉換傳遞給顯示器顯示。

我們可以看到上圖中有一個離屏緩沖區，離屏渲染 主要有這些用處 ： 1、為了能夠直接復用一些常用的圖層數據，將其緩存在離屏緩存中。 2、為了將一些常規渲染流程無法完成的特殊效果如圓角、陰影和遮罩、高斯模糊、半透明圖層混合等正常的渲染流程采用油畫算法由遠及近的渲染圖層進行處理并緩存，當該圖層顯示到屏幕上后，幀緩沖區再來刪除這一圖層的數據，過程參照下圖：

但是如果給圖層設置了特殊效果則有可能需要觸發離屏渲染，以圓角為例，此時是不走常規渲染的，為什么，如下圖所示：

以上，就解答了第一個問題，什么是離屏渲染。

1、如上圖所示相比于正常的渲染流程，離屏渲染需要額外創建一個離屏緩沖區，需要 多耗費一些空間 ； 2、觸發離屏渲染后，需要先從Frame Buffer切換到Off-Screen Buffer，渲染完畢后再切換回Frame Buffer ，這一過程需是比較 耗費性能的，因為要來回切換上下文； 3、數據由Off-Screen Buffer取出，再存入Frame Buffer也需要 耗費時間，這樣增加了 掉幀的可能性；由于垂直同步的機制，如果在一個VSync時間內， CPU或者GPU沒有完成內容提交，則那一幀就會被丟棄，等待下一次機會再顯示，而這時顯示屏會保留之前的內容不變。 這就是界面卡頓的原因 。 4、 離屏緩沖區存在 空間限制，即屏幕像素的 2.5倍 ，當大于這一值時便不會觸發離屏渲染。 （有待擴展相關知識面，當需要離屏渲染時又超出離屏渲染的空間限制后，對應超出部分會產生什么問題？）

如上文所述，實現一些特殊效果例如圓角、陰影和遮罩、抗鋸齒、高斯模糊、半透明圖層混合等會觸發離屏渲染。

重點說說 光柵化 ，當設置 為 true時，也會觸發離屏渲染。 光柵化概念 ：將圖轉化為一個個柵格組成的圖象。 光柵化特點：每個元素對應幀緩沖區中的一像素。 shouldRasterize = YES在其他屬性觸發離屏渲染的同時，會將光柵化后的內容緩存起來，如果對應的layer及其sublayers沒有發生改變，在下一幀的時候可以直接復用。 shouldRasterize = YES這將 隱式的創建一個位圖 ，各種陰影遮罩等效果也會保存到位圖中并緩存起來，從而減少渲染的頻度。 相當于光柵化是把GPU 的操作轉到CPU上了，生成位圖緩存，直接讀取復用。 當你使用光柵化時，你可以開啟Color Hits Green and Misses Red來檢查該場景下光柵化操作是否是一個好的選擇。 綠色表示緩存被復用，紅色表示緩存在被重復創建。 如果光柵化的層變紅得太頻繁那么光柵化對優化可能沒有多少用處。 位圖緩存從內存中刪除又重新創建得太過頻繁，紅色表明緩存重建得太遲。 可以針對性的選擇某個較小而較深的層結構進行光柵化，來嘗試減少渲染時間。 對于經常變動的內容，這個時候不要開啟，否則會造成性能的浪費 。 例如經常打交道的TableViewCell ，因為TableViewCell的重繪是很頻繁的（因為Cell的復用），如果Cell的內容不斷變化，則Cell需要不斷重繪，如果此時設置了可光柵化，則會造成大量的離屏渲染，降低圖形性能。

因此對于是否開啟shouldRasterize有以下建議：

1、iOS圖形渲染流程分為 正常渲染流程和 離屏渲染流程； 2、離屏渲染是在幀緩沖區之外開辟了一個臨時的緩沖區，用于保存一些暫時沒有用到的數據，之后會從離屏緩沖區取出，渲染后再放入幀緩沖區； 3、離屏渲染 會有一定的性能問題 ，但是我們 依然會有使用到的地方 ； 4、離屏緩沖區最大為 屏幕像素的2.5倍，超出不會觸發離屏渲染； 5、設置圓角不一定會觸發離屏渲染，但是如果有 多個圖層，則 會觸發離屏渲染 。

Instruments 監測離屏渲染：

iOS版本上的優化：

光柵化的介紹

光柵化是一種將二維圖像轉化為位圖圖像的技術。

詳細解釋如下：

光柵化是一種圖形處理技術，主要應用于計算機圖形學和游戲開發中。 它通過特定的算法將二維圖像或者三維模型的渲染結果轉化為位圖圖像。 這一過程涉及到像素級別的處理，即將連續的圖像信號離散化，以便于在計算機屏幕上顯示。 在光柵化的過程中，圖像中的各種元素如線條、形狀和色彩等都會被轉換為像素的排列組合，從而形成了可以在屏幕上顯示的圖像。

光柵化的主要目的是提高圖像的清晰度和逼真度。 通過光柵化，可以將矢量圖形轉換為位圖圖像，使得圖形的細節更加豐富多彩。 此外，光柵化還能夠優化圖像的顯示效果，使其更加符合人眼的視覺感知。 在計算機游戲領域，光柵化的技術對于實現高質量的游戲畫面和流暢的游戲體驗至關重要。

光柵化的過程涉及到多個步驟，包括渲染管線中的頂點處理、圖元裝配、光照計算等。 在頂點處理階段，圖形的頂點坐標會被轉換為屏幕上的像素坐標。 接下來，圖元裝配階段會將頂點連接起來形成圖形元素。 然后，在光照計算階段，根據光照模型計算每個像素的光照信息。 最后，通過紋理映射和像素著色等步驟，完成最終的光柵化過程，生成可以在屏幕上顯示的位圖圖像。

總之，光柵化是一種將二維圖像或三維模型轉化為位圖圖像的技術，廣泛應用于計算機圖形學和游戲開發中。 它通過特定的算法和步驟，將連續的圖像信號離散化為像素的排列組合，從而實現了高質量的游戲畫面和逼真的圖像效果。

計算機圖形學-Computer Graphics（1）

計算機圖形學是利用計算機合成和操作視覺信息的學科。 它的應用領域廣泛，包括游戲、電影、虛擬現實(VR)、增強現實(AR)、用戶界面(GUI)、數字照片、地圖繪制、3D打印、建筑設計等。 在計算機圖形學中，涉及到的知識多而復雜。 首先，要解決的是如何建模，例如繪制一個立方體。 假設立方體長寬高為2*2*2，中心在三維坐標軸中心（0,0,0）。 立方體的八個頂點坐標分別為：A(1,1,1)，B(-1,1,1)，C(1,-1,1)，D(-1,-1,1)，E(1,1,-1)，F(-1,1,-1)，G(1,-1,-1)，H(-1,-1,-1)。 接下來，需要解決的是如何將三維空間中的立方體投影到二維平面上，即用數字描述在屏幕上顯示立方體的過程。 投影的基本策略包括將三維頂點投影成二維平面上的點，然后將這些點連接起來。 透視投影是基于“近大遠小”的原理，通過小孔成像原理，將三維物體顯示在二維平面上。 具體公式為：v = y/z, u = x/z，其中x, y, z指的是頂點到相機小孔C的水平、豎直和橫向距離，而不是頂點在三維空間中的坐標。 接著，我們需要了解像素（Pixel）的概念。 一個像素由紅綠藍三原色和色彩空間（透明度）信息組成，以32位（相當于一個浮點數）存儲，每個值范圍為0-255。 顯示屏由許多像素組成，1920*1080分辨率表示橫向1080個點，縱向1920個點，共約200萬個點。 顯示像素的方法有LCD和DMD等。 光柵化是指將連續的物體（如線、多邊形）用像素網格表示。 對于線段的光柵化，可以采用Diamond Rule，即只在直線穿過正方形中間的菱形區域時點亮整個正方形像素。 通過求解線段的斜率，可以簡化光柵化過程。 通過建模和光柵化，我們可以在屏幕上顯示3D物體。 下一節將學習如何繪制更復雜的平面圖形，以及處理鋸齒問題。 理解3D物體的建模和光柵化過程是計算機圖形學的基礎，為后續學習更復雜的表面描繪、光照模擬、材質屬性和物體運動做好準備。 學習計算機圖形學是一個循序漸進的過程，從簡單的二維繪圖到復雜的三維渲染，涵蓋了數學、幾何、計算機視覺等多個領域。 通過不斷實踐和學習，可以逐步掌握這一領域的知識和技能。

對多重采樣（MSAA）原理的一些疑問？

深入探討多重采樣（MSAA）的神秘世界，讓我們從Khronos和微軟的官方文檔出發，理解這個抗鋸齒技術的運作原理。 OpenGL和DX中的MSAA，其核心是每個像素的覆蓋掩碼（4-bit）和樣本（4個深度值），它們的協同工作確保了圖像的平滑性。

光柵化、片段著色與裁剪

在渲染流程中，先經歷光柵化，將幾何形狀轉換為像素。 接著，片段著色器單獨處理每個像素，但它并未考慮覆蓋情況，只計算單個樣本的顏色。 裁剪階段則是關鍵，因為我們需要考慮scissor區域，以確定哪些樣本是有效的。 在此之后，MSAA的合成過程在片段著色器之后進行，以便利用裁剪信息。

4x MSAA的執行策略

關于4x MSAA的執行，有兩種可能的解釋：一種是逐個樣本執行，即一次處理四個樣本；另一種是整體一次性處理。 樣本顏色的來源可能各異，可以是每個位置獨立采樣或所有樣本共享中心顏色，這取決于具體實現的技術細節。

默認情況下，每個像素僅進行一次采樣，中心顏色會被復制到四個樣本中。 這可能源于像素中心或內部樣本，以避免Outerpolate現象。 提升Pixel Frequency雖能提高效率，但可能影響視覺效果，這時Sample Frequency提供了選擇，讓每個像素的樣本獨立由片段著色器處理。

MSAA的深度與透明度處理

MSAA（如4x）的默認操作是對樣本顏色進行加權平均，深度和模板值通常是四個獨立值。 如果深度測試失敗，相應的樣本會被忽略。 Alpha to Coverage通過改變覆蓋掩碼，實現了順序無關的透明度處理。 盡管Alpha Test在某些情況下效果不佳，Alpha Blend則提供了更佳的邊緣融合，但需要遵循特定順序。 Alpha to Coverage類似于基于樣本的Alpha Test，提供了更靈活的解決方案。

在處理方式上，MSAA與Supersampling的主要區別在于，MSAA對所有位置進行處理，而不僅僅是邊緣。 最終，MSAA輸出的圖像以100x100分辨率的像素為單位，每個像素包含四個樣本的均值，這個過程通常通過雙線性插值（Bilinear resolve）來實現。 值得注意的是，樣本顏色可能來自不同的三角形，取Z測試通過的三角形顏色作為最終結果。

通過深入了解MSAA的這些細節，我們能夠更好地欣賞到它在消除鋸齒、提升圖像質量方面的獨特貢獻，以及在實際應用中的靈活調整選項。

---

---

相關標簽： 光柵化過程、 揭開光柵化的奧秘、 從模擬到數字的轉換、

上一篇：光柵化技術點亮數字顯示的像素畫布光柵化技

下一篇：光柵化數字化世界的像素化藝術光柵化算法