快訊

NBA/重磅交易!湖人向巫師盤來衛少組成三巨頭

貨櫃股反彈吸金 航運股早盤占大盤成交比重衝上4成

深度學習神經網路之運作

【芮嘉瑋╱工研院 技術移轉與法律中心】

※如欲轉載本文,請與北美智權報聯絡

第三次AI浪潮所興起的機器學習有許多種手法,最受矚目的就是深度學習。然而,深度學習只是由監督式學習下的類神經網路 (Neural Network, NN) 所演化出來的,經過這幾年不斷的演化,已從只能處理監督式學習問題擴展到非監督式和強化學習,人工智慧、機器學習和深度學習彼此間之關係及其演進如圖1所示。

圖1. 人工智慧、機器學習和深度學習之關係及其演進 (圖片來源:芮嘉瑋改編繪製)
圖1. 人工智慧、機器學習和深度學習之關係及其演進 (圖片來源:芮嘉瑋改編繪製)

因此,類神經網路(NN)是深度學習的基礎,簡言之,它是一種模仿人腦神經組織(又稱神經元)數學模型化的機制。目前AI晶片的發展則多半在處理深度學習類型的問題,而非處理傳統機器學習及真正人工智慧的問題。為了了解深度學習晶片或神經網路(NN)晶片的運作,得先了解組成「神經網路 (NN)」之神經元結構及其工作原理。

神經元 (neuron),又名神經細胞 (nerve cell),是神經系統的結構與功能單位之一,其結構如圖2所示。人腦的活體神經細胞包括突觸 (Synapses)、樹突 (Dendrites)、細胞體 (Cell Body) 和軸突 (Axon)等四個主要功能組成,其相互運作關係及功能簡述如下:

  • 細胞體 (cell body):由細胞質基質、細胞器和細胞核組成,故細胞核位於其中。細胞體是神經元蛋白質合成的主要場所,其運作係由此發出突起,樹突 (dendrites) 伸展到周圍的神經組織,從突觸中收集脈衝,並將脈衝傳回神經元的心臟,此即細胞體運作功能。
  • 樹突 (Dendrites):是一群由細胞體發出多分支的樹狀突起,它可以是神經元的輸入通道,其功能是將自其他神經元所接收的動作電位 (電信號) 傳送至細胞本體;樹突也可以是神經元的訊息接收站,因與其他神經元的軸突 (Axon) 連接而把傳入的訊息送至神經元的本體。
  • 突觸 (Synapses):訊號權重神經元和神經元相接處即稱為突觸 (synapse),因此是神經元之間通信的特異性接頭 (junction),其分散在樹突樹根狀纖維的表面上,依訊號傳遞的方向則可將神經元分為「突觸前神經元 (presynaptic neuron)」與「突觸後神經元 (postsynaptic neuron)」。神經元之間的突觸可以分為化學突觸 (chemical synapse)和電突觸 (electrical synapse)兩大類。
  • 軸突 (Axon):即神經細胞之細胞體長出突起。大量軸突牽連一起,以其外型類似而稱為神經纖維。於神經系統中,軸突是主要神經信號傳遞的渠道,功能為將細胞體之動作電位 (電信號或稱輸出脈衝) 傳導到神經組織,最終傳導至在其他細胞之樹突上末端的突觸 (synapse)。

圖2. 典型神經元的結構 (照片來源:《解析目前六款類腦芯片,如何顛覆傳統架構》,Chang, Hung-Yang,Oct 4, 2018)
圖2. 典型神經元的結構 (照片來源:《解析目前六款類腦芯片,如何顛覆傳統架構》,Chang, Hung-Yang,Oct 4, 2018)

類神經網路的工作原理即模擬人腦的神經突觸傳遞結構,透過脈衝傳遞訊息。神經元之間的每個連接可將信號傳遞給另一個神經元,處理信號的方式係透過樹突向連接到它的下游神經元發出信號,突觸具有隨學習進行而變化的權重,這可增加或減小它發送到下游的信號的強度。此外,它們可具有閾值 (threshold),使得只有在總信號低於或高於該閾值門檻時才發送信號到下游。每個神經元都與各種輸入相連,一些輸入在神經元中產生激發,而另一些輸入則抑制它,如人工神經網路中的正負權重。如圖3所示,每個神經元有n個輸入值,例如X0, X1, ……., Xn-1, Xn,而每個輸入值有一個權重(Weight)值,例如W0, W1, ……..Wn-1, Wn,把所有(輸入值Xi)乘以(權重值Wi)加總起來,有時會另外加上一個偏置值(bi)來調整,將得到的值再經過一個激發函數 (Activation function) 即可產生新的輸出值Yi,並以Yi = f (∑Xi•Wi+bi)的式子表示。以圖3為例,由左至右為推論 (Inference),可獲得輸出結果,過程中需要n個權重值Wi加上1個偏置值bi,而這些值是需要經由訓練 (Training) 取得的。訓練前須取得許多(越多越好)已知答案或稱為標籤 (Label) 的訓練資料,如果第一組輸入資料已知答案為(1.0),但經過推論後只得到0.7,則表示權重及偏置值不理想而需要調整,此時根據差值 (1.0 – 0.7 = 0.3)由右至左調整每個權重Wi及偏置值bi。同樣的步驟再輸入第二組資料進行調整,直到所有訓練資料都做過一輪。

圖3. 神經網路:神經元工作原理 (圖片來源:芮嘉瑋繪製)
圖3. 神經網路:神經元工作原理 (圖片來源:芮嘉瑋繪製)

為了能處理更複雜的問題,一個神經元可擴展成一組簡單 (單層) 神經網路,如圖4所示,會有輸入層、隱藏層 (Hidden Layer) 及輸出層,推論和訓練的概念與一個神經元大致相同。

圖4. 簡單(單層)神經網路 (圖片來源:https://makerpro.cc/2018/04/ai-chip-meets-maker-creativity-part-one/)
圖4. 簡單(單層)神經網路 (圖片來源:https://makerpro.cc/2018/04/ai-chip-meets-maker-creativity-part-one/)

再者,待解決的問題如果更加困難,如圖5所示,則可增加每一層的神經元或隱藏層數來解決,而形成複雜深層的神經網路,稱之類神經網路模型,即所謂的深度學習。類神經網路模型,係由輸入層 (Input layer)、隱藏層 (Hidden layer) 及輸出層 (Output layer) 等三層所構成。類似於人腦內部會有大量稱為「神經元」的神經細胞彼此相連。神經元按層組織,信號經歷逐層傳送從第一層 (即輸入) 行進到最後層 (即輸出)。類神經網路利用電腦模仿人類神經細胞接收訊息的結構和功能對訊息進行處理,然後將其發送給其他神經。神經網路中數以千計的處理節點負責定位圖像、文本和語音等資料中的模式。這些模式協助演算法確定下一步如何做,並教導自己如何透過每次成功執行任務做得更好。當一個神經元從其他神經元那裡接收的電氣信號量達某一定值以上,就會神經衝動(興奮);在某一定值以下,就不會興奮。興奮起來的神經元,會將電器信號傳送給下一個相連的神經元。下一個神經元同樣會因此興奮或不興奮。也就是,彼此相連的神經元,會形成聯合傳遞行為,透過將這種相連的結構來數學模型化,便形成了「類神經網路」。因此,深度學習是一種以類似人類神經網路 (簡稱「類神經網路 (Neural Network)」) 的方式建構「多層神經網路」,讓人工智慧可以一層一層逐層學習,並進化到可以自我學習的階段,且只要有充分的學習資料輸入類神經網路,不需要人為的幫助它就能自行分析資料找出特徵值。

圖5. 深度學習:類神經網路模型 (圖片來源:https://meet.bnext.com.tw/blog/view/3220)
圖5. 深度學習:類神經網路模型 (圖片來源:https://meet.bnext.com.tw/blog/view/3220)

由於深度學習是透過模仿人腦的「類神經網路」建構多層神經網路來逐層學習大量資料,並將其應用於解決問題的手法。神經網路模型可用於處理各種類型之資料。學習資料則是由輸入資料以及相對應的正確解答所組成,而訓練及機器學習可用以判定待藉由模型用於處理輸入資料之一係數集,即神經網路模型之神經元之間的權重。以影像辨識為例,神經網路模型可經訓練以辨識經接收輸入影像內是否存在某些類型之物件,為了讓AI學習類神經網路的模型,首先必須先將影像學習資料分割成像素資料,然後將各像素值輸進輸入層。接受了資料的輸入層,將像素值乘上「權重」後,便傳送給後方隱藏層的神經元。隱藏層的各個神經元會累加前一層所接收到的值,並將其結果再乘上「權重」後,傳送給後方的神經元。最後,經由輸出層的神經元的輸出,便可得到影像辨識的預測結果。為了讓輸出層的值跟各個輸入資料所對應的正解資料相等,會對各個神經元的輸入計算出適當的「權重」值。這個權重的計算,一般是使用「誤差倒傳遞演算法」(Error Back Propagation),使用與正解資料之間的誤差,從輸出層逆推回去。透過各「權重」的調整,來縮小輸出層的值與正解資料的值之間的誤差,以建立出完成學習的模型。

2006年辛頓 (Geoffrey Hinton) 開發出自動編碼器 (Autoencoder,簡稱自編碼),利用以自動編碼器所獲得的類神經網路權重參數值進行初始化,應用在「誤差倒傳遞演算法」以提高多層類神經網路的學習準確度。即在類神經網路的輸入層和輸出層使用相同資料,並將隱藏層設置於二者之間,藉此用來調整類神經網路之間的權重參數,從而使深度學習成為一種只要將資料輸入類神經網路便能自行抽出特徵的人工智慧,稱之為「特徵學習」(feature learning)。

與機器學習不同,深度學習分類不容易根據學習方法或目標進行分類。Asoh等人將深度學習分為確定性模型 (deterministic model) 和概率模型 (probabilistic model)。確定性模型中的代表性演算法至少包括深度神經網路 (deep neural network)、遞歸神經網路 (recurrent neural network,RNN)、卷積神經網路 (convolution neural network,CNN)以及自動編碼器 (autoencoder)。至於概率模型,通常使用受限玻爾茲曼機 (restricted boltzmann machine,RBM)、深度玻爾茲曼機 (Deep Boltzmann Machines,DBM) 和深度置信網 (deep belief network,DBN)。表1整理出AI機器學習和深度學習中常見之演算法。

表1. 機器學習和深度學習常見的演算法 (整理製表:芮嘉瑋)
表1. 機器學習和深度學習常見的演算法 (整理製表:芮嘉瑋)


【詳細內容請見《北美智權報》285期;歡迎訂閱《北美智權報》電子報

相關新聞

加速控制疫情、大力提振消費 — 除了奧運 日本政府現在最該做的事

本文刊出時,東京奧運應該正在熱烈進行中。雖然延後了一年才舉辦,但日本政府仍然將奧運視為扭轉經濟頹勢的機會。既然現在日本是全球最不用擔心通貨膨脹的國家,日本政府除了辦好奧運會外,現在最該做的應該是努力控制疫情,並且鼓勵國民多花錢消費,企業也才會增加僱用,讓日本經濟提早復甦。

2021美國專利訴訟調查:新冠疫情帶來了什麼影響?

LexisNexis旗下的Lex Machina於2021年3月分發表了2021年美國專利訴訟報告 (下稱報告),著眼於美國聯邦地方法院以及專利審判和上訴委員會 (PTAB) 的趨勢;並鑒於受COVID-19新冠病毒全球疫情所帶來的變化,報告同時將2020年度與其他年份進行了對比。

人工智慧AI人才何處覓?Google、Microsoft搜括最多

最近幾年,不管是媒體報導、市場調研、產業報告、創投焦點,都不約而同的指向了AI人工智慧產業,看來AI已經在不知不覺間滲透百工百業,就像是半導體一樣,在未來幾乎每個產業都少不了AI。但與半導體不一樣的是,除了最高階的先進製程外,半導體的技術可以說是相對的成熟,所以基本上人才的獲得難度不算太高,只要薪酬符合市場行情,員工的招募應該不難,但能否留住人才,特別是頂尖的人才,則是另外一個議題。

5G設備建置成本龐大 帶動開放架構新商機

本刊在前文(從骨幹架構到終端應用,5G商機在哪裡?)曾經報導過,5G的設備和應用商機將會百花齊放。如今,受到網通設備去中化、設備建置成本龐大還有企業專網需求等趨勢的帶動,愈來愈多通訊營運商開始採用非傳統的開放架構(Open RAN)網路。這也將是台灣廠商在5G時代不可錯過的機會。

人工智慧AI領域「後起之秀」:百度智財權策略解密

如果從人工智慧AI的技術發展史來看,中國的百度公司可以說是後起之秀;如果從專利申請的角度來看,與IBM、Toshiba、Samsung和Microsoft這些老鳥相比,也可以說是相對的「菜」。然而,百度這個「後起之秀」已成為中國市場人工智慧領域的霸主,據《2020人工智慧中國專利技術分析報告》的數據顯示,截至2020年11月為止,百度於中國國家知識產權局(CNIPA)所申請的AI相關專利達9,364件,專利授權數為2,682件,高據榜首。此外,在2018年3月發表的WIPO Technology Trends 2019 Artificial Intelligence報告中,百度是唯一一家入列前30大的中國企業。不同於Microsoft和IBM這些擅長辦公室文書資料數據處理的傳統IT公司,身為提供多樣化服務的互聯網龍頭企業,百度在AI領域的智財權策略值得探討。

縱使台灣未列入匯率操縱觀察名單 台幣升值也無可避免

對科技業者來說,五月份出現的兩記重拳,注定讓下半年會特別難受。第一記重拳是在月初母親節後急劇升溫的新冠肺炎疫情,使得企業內部行政管理面臨了巨大的員工居家上班、生產排程大亂的挑戰;第二季重拳則是漲勢兇猛的新台幣匯率,讓出口廠商——尤其是以美國為終端市場的業者——的價格競爭力與成本控管能力,也必須審慎因應。

商品推薦

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。