快訊

行政院政委鄧振中傳確診 台美倡議首次談判時間恐延後

雲林2952戶停電預計中午才復電 事故原因待釐清

影/為了2萬債務?新莊火鍋店8砍2 7嫌狼狽被逮跪地求饒

異質架構與AI正加速雲端邊緣運算的發展

圖三 : 500強的超級電腦前5強中,就有3台是採用異質架構。(source:Top500.org)
圖三 : 500強的超級電腦前5強中,就有3台是採用異質架構。(source:Top500.org)

【作者: 盧傑瑞】

雖然邊緣計算有無數種定義,但今天的邊緣運算大多是指透過這項技術,將運算、儲存和網路等功能的子集(subset)工作,被分散到位於網絡中最遠端的一層或多層邊緣節點。今天的邊緣節點通常利用同質運算基礎,也就是所有處理都在同一類型的CPU上運行。

CISC/RISC處理器是迄今為止最主要的解決方案,較小的邊緣節點只需要使用單核心CPU就有足夠的處理能力,通常使用X86或ARM架構。而更大的邊緣節點則採用多核處理器的方案,內建2個~32個不等的X86、ARM或RISC-V內核,或者包括多個相同類型的CPU處理器。

雲端數據中心的多處理單元異質架構

在雲端平台方面的計算資源,是由傳統的複雜指令集計算/精簡指令集計算 (CISC/RISC) 伺服器所組成,或許也有部分平台還包括了,圖形處理單元 (GPU) 加速器、張量處理單元 (TPU)、場域可程式閘陣列( FPGA)和其他一些處理器,來幫助加速部分的工作。

圖一 : 一個先進通用的異質運算系統。(source:Mohamed Zahran)
圖一 : 一個先進通用的異質運算系統。(source:Mohamed Zahran)

雖然這樣的雲端平台方面有強大的運算能力,但隨著邊緣節點的增加,大量的運算需求,開始大量消耗著雲端平台的資源,導致整體效率大幅滑落。

因此異質運算的概念就被提出,並且正被實現中。異質運算是一種將不同數據路徑架構下的不同類型處理器,以優化特定計算工作負載的執行技術。所以,在決定如何在雲端數據中心,和邊緣運算節點之間劃分工作負載時,需要考慮許多權衡,來對每一層設計中面為不同應用程序時,進行優化的處理器數據路徑架構就變得相重要。

在這樣的架構下,雲端數據中心可以將許多工作負擔,分散到邊緣節點的異質運算架構中。包括用於多種處理器類型的模組,包括 CISC/RISC CPU、GPU、TPU 和 FPGA等。而運算工作負載不僅可以分散在邊緣和雲之間進行,更可以在兩個相異級別的異質處理資源之間分區進行。

例如圖二中節的點F2和F3,可以並行地處理從F1傳送的數據。而F4則是可以獨立地處理來自F2和F3的數據,或者處於等待狀態,直到來自兩個節點的數據出現,這取決於所需的行為。

圖二 : 多種處理器流程圖的圖示例。(資source:Institute for Information Transmission Problems, RAS;作者整理)
圖二 : 多種處理器流程圖的圖示例。(資source:Institute for Information Transmission Problems, RAS;作者整理)

同時許多流程節點可以並行執行,其中也會一些不能,因為它們的功能無執行緒安全,尤其是對於神經網絡節點,情況更是如此。

在軟體方面,則有多種平台可以選擇,例如Microsoft的Azure Edge、Amazon的Greengrass、VMware Edge,以及 Eclipse、EdgeX Foundry和Linux等。透過這些軟體來管理邊緣節點中CISC/RISC的基礎架構、配置、安全性、編排、管理等。

加速器與CPU協同使用 提高系統效能

隨著人工智慧/機器學習開始佔據優先地位,新出現的各種應用陸續對處理單元提出了獨特的服務需求,包括了可以執行乘積累加運算(Multiply Accumulate, MAC)、極高並行化和大量數據存取等運算任務等。

因此,這樣的背景下,期望能滿足效率提高且不增加功耗,又可以支援人工智慧/機器學習下,最好的方法就是建立一個全新的運算架構,而這個架構可以由多個協同工作的專用運算模組所組成。每個模組都能高速的執行單一任務,並且在低功耗下,呈現出的是更高的效能和更低的整體功耗。

異質系統是可以提供更高效率的運算能力,就如上述,需要跨主機CPU和加速器來分配工作。因此就需要一些方法來對參數的分析與AI的規劃,在機器學習模型最佳化後,讓系統達到接近最優秀的配置。

從歷史上看,運算處理是一項通用任務,利用CPU可以順利地執行許多不同的任務,但以今天的觀點來看,這並不太聰明,因為一次只能執行單一任務。

直到圖形化使用者介面(GUI)的出現,使得操作和運算處理變得越來越複雜,因此GPU就被開發出來作為個專門的、高度並行運算的處理器。

加速器通常會與CPU協同使用,來提高整體系統的效能。例如,前500強的超級電腦名單裡,功能最強大的5台電腦中,就有3台是採用GPU作為加速器的異質電腦(圖三)。因此可以透過不同的架構特性和大量的系統參數配置(例如執行緒數、執行緒親和性、主機多核處理器與加速設備之間的工作負載劃分),設計出最佳的工作負載分配,來實現最優異質系統的性能和耗電效率。

不過必須注意的是,能夠產生最高吞吐量的最佳系統配置未必是最省電的。此外,最佳系統配置也有可能需要因應不同類型的應用運算、輸入問題大小和可用資源而進行調整改變。

異質節點的效益衡量標準

在優化經濟效率方面,工業物聯網聯盟CTO助理Charles Byers曾經提出2個計算方法:一些吞吐量/一些成本來作為衡量標準(Some throughput measure/Some cost measure)。

隨著更開放的軟體和硬體生態系統,硬體的成本將會持續降低,而使得更龐大終端客戶採用多邊緣運算。每一美元所購買的系統能擁有更多吞吐量下,是優化邊緣系統總生命週期的一種重要成本方法。因此一美元購買的吞吐量,在很大程度上取決於系統架構、處理器的能力、基礎設施的效率,以及被要求的軟體平台和演算法。

邊緣節點運轉所需的電力是一個極其重要的考量部分,無論電力是由電池供電,還是直接從電纜供電,耗電率通常是佔營運成本的最大比例。另一方面,進入處理器的電能幾乎完全轉化為熱量,而這些散熱設施,也會是建置和運營成本的重點之一。因此,電源和散熱是相當大程度決定了邊緣運算單元的吞吐量。<待續>

【欲閱讀更豐富的內容,請參閱CTIMES雜誌 2022 年第 366 期5 月號】

2022.5月(第366期)雲端運算的五道金牌
2022.5月(第366期)雲端運算的五道金牌

相關新聞

5G專網的三大部署攻略

新一代的製造模式,例如工業自動化,通常伴隨著嚴苛的服務品質(QoS)要求,不論是工廠的製造流程,或是廠房內部使用的通訊系統,都要遵守業界規範。因此,製造商對無線通訊業者寄予厚望,亟需具備超高可靠性、網路備援、進階安全功能與全年高效運轉的網路服務。

斷鏈疑慮浮升 俄烏戰火引爆產業供應瓶頸

砲火、坦克、斷壁殘垣、傷亡畫面….,俄烏戰爭緊緊吸引全球目光,全世界都能感受到戰爭帶來的影響,且影響的程度取決於戰爭持續多久。 俄羅斯境內擁有豐富天然資源,是許多與能源、農產品和稀貴金屬等相關大宗商品的生產及出口大國。俄羅斯入侵烏克蘭,美歐國家傾向祭出各類制裁,包括阻斷許多大宗商品自俄出口,造成供應中斷的危機出現。斷鏈危機引發商品成本上揚的壓力,恐引爆後續一連串漲價效應,使得近來全球關注的通膨問題將更趨嚴重。

開啟任意門 發現元宇宙新商機

自從社群媒體龍頭Facebook執行長祖克柏(Mark Zuckerberg)將Facebook更名為Meta,正式宣告元宇宙(Metaverse)時代來臨。研究機構Gartner預測:2026年全球約有25%的消費人口每日投入一小時在元宇宙平台,完成購物、工作、社交、學習等生活大小事。元宇宙結合虛實融合、數位經濟與數位科技三元素,催生各種新的應用模式及新商模。搶攻元宇宙商機,現在就得提早佈局!

無線連結重要性日增 5G部署規模持續擴大

回顧2021年,世局多變化,外在影響包括了疫情蔓延以及國際間的大國對抗,這些對於台灣來說,帶來了對產業的實際影響,然而卻也伴隨著利益。例如轉單的部分,台灣不論是在封測與被動元件等方面都有受益。而經歷了原物料與晶片短缺等挑戰,許多原先的規劃都被迫延後,我們也可以發現到在這一波的物料短缺中,成熟製程多半受到了影響,而先進製程卻相對未受到大幅度的衝擊。

企業創新契機 永續經營與數位轉型並行

近期由於疫情急遽升溫,不少企業陸續啟動異地辦公與分流上班,這不僅使得企業管理成為了當務之急,也使得企業面臨更多資安挑戰。企業所具備的資安防護能力,儼然已成為在後疫情時代中,保有競爭力、業務能穩定運轉及成長的重要關鍵。根據勤業眾信Deloitte《2021年網路資安大調查》報告指出,過半數企業認為近年資安風險持續增加,近七成受訪企業表示,今年遭受的網路攻擊較往年有顯著增加之趨勢,也促使企業開始轉型至新一代零信任(Zero Trust)安全模式,並強化資安意識及防護機制的應變能力。

14道安全鎖 強化雲端運算資訊安全

數位轉型浪潮席捲多年,越來越多企業採用或移轉各種複雜的雲端技術與服務。雲端安全包含所有雲端部署模型,如公有雲、私有雲、混合雲、多雲等,以及以雲端為基礎的各種服務及解決方案,如IaaS、PaaS、SaaS。當企業導入雲端運算後,資訊管理問題就從企業內部延伸到外部利害關係人,存取使用者越多,衍生的資訊安全問題也越多。

商品推薦

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。