要欺騙AI判讀影像很簡單 只要「寫張紙條」告訴你是誰就行

圖擷自OpenAI
圖擷自OpenAI

擁有機器學習能力的 AI 產品越來越常見,但有時 Bug 居然會出在人類想不到的地方。

近日,OpenAI 的研究人員發現一件不太尋常又帶點趣味的事情,那就是用以照片內容辨識的圖像視覺 AI,居然會對人類的手寫標籤產生誤會,將讀到的「字串」直接覆蓋掉原本 AI 所辨識正確的「物體」,因此產生了錯誤的結果。

舉例來說,原本 AI 判定圖片所呈現的東西,為一顆新鮮的澳洲青蘋果,但若人類在水果表面貼上了寫著「iPod」的紙條,AI 最終會告訴你,這東西不是青蘋果而是一台 iPod。這種明擺著「指鹿為馬」的行為,被研究人員定名為「印刷攻擊」(typographic attacks)。

圖擷自OpenAI
圖擷自OpenAI

OpenAI 研究人員指出,「印刷攻擊」的成因事實上源於 AI 強大的視覺辨識技術,也就是人工智慧讀取文本的能力,尤其擁有手寫文字的照片,經常成功「欺騙」AI 以產出錯誤的結果。

這種看似有趣的 Bug,事實上對依賴視覺辨識系統的各種科技,產生了顯而易見的高度風險。

比方說,假設特斯拉(Tesla)的自動駕駛 AI,讀取到了路牌上刻意被人為竄改的錯誤標籤,就有機會成功欺騙 AI,因而做出錯誤的駕駛行為與判斷。印刷攻擊對於從醫學到軍事,各種 AI 應用來說都是相當嚴重的威脅。

當在鏈鋸照片上壓入幾個金錢符號,AI 就會判斷出「撲滿」的錯誤結果。 圖擷自OpenAI
當在鏈鋸照片上壓入幾個金錢符號,AI 就會判斷出「撲滿」的錯誤結果。 圖擷自OpenAI

在 OpenAI 中出問題的部分,是個被稱為 CLIP 的實驗系統,目前尚未在任何商業產品中部署。研究人員指出,導致 CLIP 遭受印刷攻擊的另一項因素,其實來自於 AI 的訓練方法。

研究人員對 CLIP 採取極度放任的學習策略,在沒有嚴格監督跟過濾的狀況下,它在網路上收集了高達 4 億張圖文,藉此成為識別物品內容的基礎。因此,CLIP 幾乎可以辨認「任何東西」,從字串、草圖、卡通化圖片到實際照片,都能給出結果並歸類成同一項內容,這代表 AI 也可以像人類一樣,將學習到的知識進行內部化。

圖擷自OpenAI
圖擷自OpenAI

人類可以清楚明白「青蘋果」與「寫著 iPod 紙條」之間的區別,但如 CLIP 這類的 AI,在沒有限定條件的狀況下卻辦不到,OpenAI 研究人員覺得這就是一種「抽象化謬誤」(fallacy of abstraction)。

透過網路上的無限制內容訓練 AI 的結果,也使得 CLIP 出現了人類也會具備的偏見。在 CLIP 的神經網路邏輯中,「中東」跟「恐怖主義」互相關聯,「黑人」可能會被誤認成「大猩猩」,這些都說明了「人工智慧」與「人類」之間依然還有著相當大的不同。

來源:The Verge

《原文刊登於合作媒體T客邦,聯合新聞網獲授權轉載。》

AI

相關新聞

全線上形式舉辦的E3 2021官網、App正式上線,預計6月12日正式開展

E3 2021主辦單位美國娛樂軟體協會 (ESA)稍早公布此次以全線上形式呈現的展會活動網站,同時也推出官方活動App,讓使用者能直接透過連網裝置、手機參與此次展會活動。

真的不環保?還是在下另一盤棋?深入剖析特斯拉為什麼取消比特幣買車

特斯拉為什麼現在才要打著「不環保」的理由,不讓大家用比特幣買車?其實可能跟最大碳權買主飛了有關。

就怕「人與人的連結」!「臺灣社交距離」APP 下載量衝雙平台No.1

12日國內新增16起新冠肺炎本土病例,疫情升溫,衛福部長陳時中日前表示「近日可能會升級第三級(疫情警戒)」,再次喚醒民眾防疫危機意識。而衛福部推出的「臺灣社交距離」APP馬上變成雙平台熱門下載排行No.1。

LINE台灣辦公室搬新家 4公尺熊大、專業攝影棚太夢幻

LINE上線10周年功能越來越強大,各種數位創新服務幕後的推手們每天上班的地方當然也不能太遜色!LINE台灣全新辦公空間...

老司機的勝利!接受檢察官條件加強審核後 SWAG「宣告復活」

台灣知名成人影音直播平台 SWAG 四月初曾遭警方查緝,網站也遭下架,不過昨天晚上宣告正式「復活」重新開張!

LINE傳大當機!訊息和圖都傳不出 用戶哀號:以為被封鎖

今天下午14點左右網友在PTT發問LINE是不是壞了,訊息和圖片傳出去,對方都收不到,也不能收回,急問怎麼辦?

商品推薦

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。