人工智慧推動神經網路技術開發熱潮

【作者： 盧傑瑞】

神經網路幾乎成了人工智慧的代名詞，正在被應用於各種領域，包括影像識別、語音辨識、自然語言處理、自動駕駛、訊號分析、大數據分析和遊戲。

這是一個瞬息萬變的世界，每年都有新的神經網路模型被更新，大量的開放原始碼到處流傳，專用人工智慧晶片開發企業更是如雨後春筍般湧現。

因此全球研究人員正透過模仿人類大腦組織方式，積極開發類神經網路技術，雖然一直有突破性的進展，但是現階段的神經網路，還是缺乏即時變化的靈活性，以及難以快速適應陌生的狀況，使得神經網路技術普及實用化的進程還是相當遙遠。

根據不同應用開發出的神經網路模型

神經網路是模仿人類神經細胞網路的模型，由輸入層、中間層(隱藏層)和輸出層的神經元，以及連接它們的突觸組成。而機器學習就是在大量資料的基礎上，自動構建連接和它們的權重。

深度學習是指，使用具有多個中間層的神經網路的機器學習。深度學習使電腦能夠提取自己的特徵量，作為發現模式和規則時應該注意些什麼，同時也能進行識別和其他作業，因此促進了人工智慧熱潮。

模型根據應用的不同，又分為影像識別的深度神經網路（DNN）、卷積神經網路（CNN）、語音辨識的迴圈神經網路（RNN）和自然語言處理的Transformer。模型可以在不同的應用中進行整合，也可為每個應用開發出新模型

深度神經網路（DNN）處

DNN的隱藏層由一個卷積層和一個池化層組成。卷積層利用過濾上一層附近的節點，而可得到一個特徵圖。池化層進一步縮小卷積層輸出的特徵圖，得到新的特徵圖，同時可在保持影像特性的同時，可以極大地壓縮影像中的資訊量。例如，在2012年ILSVRC影像識別比賽中，以壓倒性的優勢獲勝，採用八層結構的AlexNet就引發了深度學習的熱潮，隨後經過改進而來的ResNet，其層數就達到了152層。因此，透過導入簡化處理塊的Residual模組，即使是在高層數的結構下，也能達到高效學習。

迴圈神經網路（RNN）

具有自我回饋的遞迴網路RNN，是一個適合處理包括語音波形、視訊和文字檔(字串)等等時間序列資料的神經網路。例如神經網絡中為了處理如語音等，可變長時間序列數據，將隱藏層的值再次回饋輸入到隱藏層。當存取很久以前的數據，或出現運算量爆炸等問題時，可透過應用於自然語言處理的LSTM(長短時記憶)來解決。

Transformer

在自然語言處理方面，既不是透過RNN，也不是CNN，而是據由深度學習的Transformer取得了重大進展：這是一個只使用Attention(表示要注意句子中哪些單詞的分數)的Encoder-Decoder模型，也可透過並行化來減少學習時間。在後續的技術改進下也相繼開發出的BERT、GPT-2、T5等，甚至已超過了人類的語言處理能力。

而Conformer是一個結合CNN的模型，可被應用於語音辨識，其能力已經超過RNN的最高準確性。Conformer結合了善於提取長時空依賴關係的Transformer，和善於提取局部關係的CNN。此外，一個新的影像識別模型-Vision Transformer也被開發出來，在進行影像識別時，所需要的運算資源比CNN少更少。

大型數據處理業者相爭投入開發AI晶片

神經網路中的訊號處理，相當於將神經元乘以權重的數值加在一起，再透過高速運算乘積之和的操作來模仿大腦行為(高速積和加速器)。最近的主流配置是盡可能多鋪設必要數量的圖磚(Tile)來進行AI運算，例如，一個圖磚被用於終端感測器控制，4-16個圖磚用於中等規模的邊緣處理，64個或更多圖磚用於資料中心等伺服器。

人工智慧晶片的功能大致可分為推理和學習。兩者都需要相同的高速乘積運算，但與推理相比，學習需要進行大量的乘積和運算，因此各大數據處理業者正積極投入這方面的研發，例如，Google目前正積極開發TPU來作為本身資料中心的AI晶片。第一代(2017年)有8位元定點操作，只能用於推理，但第二代有16位浮點運算，則可以應用在學習。接下來第三代的性能則是120Tops @ 250W，最新的第四代載板設計了4顆TPU，且採用液體冷卻，運算速度更是上一代的2.7倍。這些電路板被安裝在一個個機櫃內，然後通過高速傳輸線相互連接。

用於推理的人工智慧晶片要求體積小、功耗低和即時處理。例如，Gyrfalco銷售一種形狀像USB隨身碟的AI棒。採用的AI晶片是一款具有矩陣處理引擎，利用PIM(記憶體中處理器)技術來進行神經網路模型的計算處理，這個架構可降低與記憶體和計算電路之間的資料存取的功耗，晶片內部有大約28000個節點和10M bytes的記憶體，據稱能夠將通用模型所需的所有性能都能整合到晶片中。

【欲閱讀更豐富的內容，請參閱2023.3月(第376期)神經網路－為晶片加速!CTIMES雜誌】