TensorRT 8版本更新 讓自然語言理解互動反應時間縮減至個位數毫秒內

除了將人工智慧技術應用在圖像處理、自駕車運作或超算加速,包含語音識別、電商服務、自動化生產等也是NVIDIA持續佈局應用領域。而隨著TensorRT 8版本的深度學習推論平台更新,同時更藉由A100 GPU讓BERT自然語言理解互動反應時間縮減至個位數毫秒內,意味能讓各類以自然語言為基礎的人工智慧推論速度更快。

人工智慧推論運算背後通常涵蓋複雜運算流程,為了能讓推論結果能有更快運算反應,NVIDIA先前就藉由TensorRT對應深度學習推論,而此次更新TensorRT 8版本,則是採用A100 GPU進行加速,相比先前透過V100 GPU進行加速的TensorRT 7版本,幾乎提升2倍推論運算效能,同時在INT8精度推論也是TensorRT 7版本的2倍以上。

同時整體在BERT自然語言理解反應速度更降低至1.2毫秒,相比的TensorRT 7版本所需推論時間更快上2.5倍,藉此對應更多元的語言分析理解應用,以及包含搜尋、聊天機器人與廣告推薦等,另外在學習推論超過1萬組模型時,TensorRT 8版本在推論效能表現更是早期TensorRT版本的100倍以上。

另外,NVIDIA也強調TensorRT已經成為相當多人使用的深度學習推論平台,不僅在2020年的開發者人數相比2019年成長3倍,至今更累積超過35萬名以上開發者加入使用,並且用在2萬7500家企業服務,其中包含美國運通、字節跳動、AMP Ronotics、福特、LG、SK TELECOM、美國郵局、NAVER、微信、Verizon等業者,更協助奇異醫療每年分析超過1.45億筆心臟病例數據。

目前人工智慧已經廣泛應用在線上隨選影音內容推薦、電商購物行銷、社群平台內容串接,或是數位廣告內容媒合,這些領域也成為NVIDIA人工智慧技術持續佈局應用項目,同時也強調秉持讓人工智慧推論結果維持公正,避免產生歧視、不公等問題。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

語言 電商 廣告 NVIDIA

延伸閱讀

NVIDIA展示在Arm架構平台上執行GeForce RTX的即時光影追跡與DLSS顯示效果

Qualcomm認為人工智慧大幅改變智慧型手機發展

91APP看優勢/電商 + 超商 減碳新模式

英國境內最快的超級電腦Cambridge-1正式上線 協助推動藥物研發、人工智慧與量子運算發展

相關新聞

他看台灣YouTuber排行前5名只知1個 網:過氣的竟是我自己

因應數位潮流,不少人成為影音創作者,那你知道現在台灣當紅的YouTuber是哪幾位嗎?一名網友查詢台灣YouTube頻道排行,前5名只認識排行第4的「這群人」,讓他滿頭問號地表示「世界已經變成我不認識的樣子。」

勇者登錄習近平「身分證」破解未成年禁令 結果曝光鄉民驚:命都不要了

中國大陸自9月1日起,嚴管未成年接觸網路遊戲的時間,並要求以實名制作為驗證。不過上有政策下有對策,有網友使用先前遭外洩的中國國家主席習近平個資登錄,驗證成功順利進入遊戲,被網友虧說為了玩「連命都不要了」。

微軟硬體發表會9/22登場 傳Surface新品現身

微軟宣布將於美東時間9月22日上午(台北時間22日晚間)舉辦線上硬體發表會,預計推出Surface系列新產品,並公布10...

Type-C接頭9月一統天下?充電器規格標準化 蘋果最傷

一名知情人士周四透露,歐盟執委會將於下個月提案立法,在有27個成員國的歐盟境內,統一手機和其他電子裝置的充電器規格。

全球第一座 3D 列印鋼橋在荷蘭運河上啟用 橋身內建感測器可監測結構安全與行走人數

全球第一座 3D 列印鋼橋在 2018 年完工,經過 2 年的測試,這座大橋終於在日前成功安裝在荷蘭阿姆斯特丹紅燈區的 Oudezijds Achterburgwal 運河上,並開放讓行人通行。特別的是,這座鋼橋上內建許多的感測器,不僅可以監控鋼橋結構安全,也能統計行走的人數與次數。

PTT站方公告「解禁」全面開放註冊 新增手機認證

國內知名BBS社群平台批踢踢實業坊(PTT)先前曾因帳號註冊浮濫,站方一度暫停受理新帳號申請。今天站方公告即日起全面開放...

商品推薦

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。