GPU經常與人工智能同時提及，其中一個重要原因在于AI與3D圖形處理本質上屬于同一類問題——它們都適用極易并行計算。

什么是極易并行計算？

極易并行計算指的是符合以下特征的計算任務：

任務獨立性：

子任務不依賴于其他任務的中間結果。

數據耦合需求低：

并行任務在執(zhí)行過程中幾乎不需要數據交換。

可分解性：

處理過程可以拆分為一組許多相同的任務。

或者…

包含多層任務結構，每個任務又包含許多子任務。

這些計算任務通過利用多個處理器能夠獲得顯著的性能提升，因此非常適合部署在高度并行或分布式計算平臺上，如GPU。常見的例子包括：

3D?渲染：每一幀或每個像素都可以獨立處理，GPU實現(xiàn)高效渲染。

蒙特卡羅模擬：用于統(tǒng)計建模和風險分析。

密碼學：暴力破解和密碼破解。

圖像處理：對大規(guī)模圖像數據集應用濾鏡或調整大小。

機器學習：例如隨機森林樹的增長步驟或在 GPU上進行卷積神經網絡（CNN）推理。

極易并行計算面臨的挑戰(zhàn)

盡管本質上較為簡單，極易并行計算在實際應用中仍面臨諸多挑戰(zhàn)：

過度并行化：線程創(chuàng)建過多會帶來額外開銷，導致收益遞減；

資源管理：對內存等資源的競爭可能降低整體效率；

負載均衡：任務在處理器間分配不均容易造成性能瓶頸；

硬件限制：若忽視平臺特有的約束條件（如可用核心數或內存帶寬），可能無法充分發(fā)揮硬件潛力；

同步開銷：盡管通常較小，不當的同步機制仍可能引入額外延遲。

在應對這類問題時，一個重要挑戰(zhàn)是保持性能一致性，這對于確保工作負載能夠高效運行在不同硬件架構上而不需大量修改至關重要。過度優(yōu)化可能會犧牲性能一致性，導致對某一特定GPU廠商的依賴。在如NPU這類面向特定領域的加速器時，這一問題尤為突出。

在CUDA、OpenCL和Vulkan等主流API上的實現(xiàn)提供了一定程度的軟件可移植性，但通常仍需針對特定平臺進行高度優(yōu)化。由于各類API及其實現(xiàn)之間在內存模型、同步原語和執(zhí)行范式上的差異，在優(yōu)化極易并行的應用時常常會引入低效問題。因此，急需一個更高層次的、統(tǒng)一的、與硬件無關的抽象層，以避免開發(fā)者不得不為不同平臺編寫多套代碼路徑。此外，SYCL等框架正在逐步彌合這一差距。

極易并行計算的邊緣處理解決方案

對設備端圖形性能和高性能邊緣?AI?推理的需求，催生了對高效、可擴展的并行處理解決方案的需求。

常見的挑戰(zhàn)來自于邊緣設備典型的資源限制。有限的功率預算、有限的內存以及對實時性能的需求，都要求進行精心優(yōu)化。算法必須簡化以適應邊緣處理系統(tǒng)較低的計算和較少的內存空間。同時，為了支持跨多種硬件的不同推理任務的增長陣列，可擴展性和靈活性仍然至關重要。

深度學習的進展，特別是Transformer架構的引入，以及計算機視覺技術的突破，包括零樣本學習和自監(jiān)督模型，顯著提升了計算復雜性，并推動了硬件需求的轉變。極易并行的工作負載算法正快速演進，在邊緣側展現(xiàn)出卓越性能，但同時也為硬件投資帶來了獨特挑戰(zhàn)。這凸顯了對具備自適應性和多樣化能力的硬件的迫切需求，以跟上算法快速迭代的發(fā)展步伐。

新模型和新方法的出現(xiàn)速度往往快于傳統(tǒng)神經網絡處理單元（NPU）的適應能力，使得對這類硬件的投資天然存在較高風險。NPUs通常針對特定任務進行了優(yōu)化，在當前的推理工作負載中效率極高，但在面對計算需求發(fā)生重大轉變（如Transformer模型的興起或新型計算機視覺技術的應用）時，其通用性和靈活性則相對不足。

這種不匹配凸顯了在硬件系統(tǒng)中實現(xiàn)專用性與通用性平衡的重要性。在此背景下，通用性指的是可編程能力、更廣泛的工作負載支持能力，以及對快速演進的算法需求的適應能力。能夠支持多樣化推理任務的硬件不僅有助于延長其生命周期，還能在計算需求變化時降低被淘汰的風險。以GPU為例，其具備更高的可編程性，使其能夠靈活應對快速變化的算法發(fā)展。

Imagination在GPU設計方面擁有深厚的技術積累，并在面向極易并行工作負載的高效、可擴展硬件解決方案開發(fā)上具備成熟的實踐經驗。我們專注于在效率優(yōu)化、開放生態(tài)系統(tǒng)、先進工具鏈，以及極易并行處理方面的持續(xù)創(chuàng)新，不僅使我們的產品具備差異化優(yōu)勢，也賦能開發(fā)者在性能與易用性之間實現(xiàn)最優(yōu)平衡。

我們的核心技術包括：面向邊緣和嵌入式設備的高性能計算架構

采用更合適顆粒度SIMD執(zhí)行以及高效內存層次結構，實現(xiàn)低功耗的并行計算；

處理器單元間的數據傳輸最小化；

針對不同工作負載提供高效的專用硬件加速路徑，包括支持混合精度算術。

開放且跨平臺的API和軟件生態(tài)系統(tǒng)

對Vulkan和SYCL的優(yōu)先支持

通過優(yōu)化后端支持主流AI框架

低延遲、實時計算API支持

先進的編譯和優(yōu)化工具

跨平臺編譯器工具鏈

開發(fā)者友好的調試和分析工具

我們的GPU歷經多代發(fā)展，始終致力于高效處理極易并行的工作負載，并在應對AI實現(xiàn)中的各類挑戰(zhàn)方面積累了豐富的機制和經驗。例如，在應對線程分歧（Thread Divergence）時，我們采用了多種優(yōu)化策略：

控制流簡化：Imagination的GPU在可行的情況下用算子替代條件語句以簡化執(zhí)行流。對于短序列，我們使用預測指令執(zhí)行而非分支。

協(xié)調執(zhí)行：利用增強同步和執(zhí)行線程之間集體決策的原語或API，確保更好的資源利用率。

Warp級原語：我們在GPU Warp中使用等效的subgtoup功能來高效地做出集體決策。這些原語增強了同步性，允許執(zhí)行組協(xié)調任務，確保更好的資源利用并減少低效情況。

結語

在現(xiàn)代計算中，特別是在邊緣推理領域，極易并行計算凸顯了可擴展性和資源效率的重要性。通過深入理解這類任務的獨特特性，并利用適當的硬件架構，開發(fā)者可以充分釋放這些任務的潛力。然而，隨著硬件創(chuàng)新因物理限制而放緩，軟件和算法的改進將成為突破現(xiàn)有瓶頸、挖掘并行計算新機遇的關鍵。