快訊

新婚不到1年...搖滾歌手擁抱「濕身歌迷」下秒觸電身亡 享年35歲

微軟全球當機 台大醫院證實系統遭波及:半小時內恢復運作

微軟當機波及日本!大阪環球影城無法結帳 JR西日本和捷星航空也遭殃

淺談全球人工智慧熱潮如何推動資料管理市場

※如欲轉載本文,請與北美智權報聯絡

蘇翰揚╱產業分析師

對於人工智慧使用者而言,資料管理對於人工智慧專案是否成功扮演著重要角色,因此,企業如何建立出色的數據管理並決定與那些公司合作非常重要。

2024 年第一季度,近 1/3 的公司執行長在財報會議中提及人工智慧,但只有極小部分(占所有財報會議的 1%)討論資料管理的應用。事實上,資料管理對於人工智慧的成功至關重要,調研機構指出,從2023 年到2030 年,整體成長率預計為每年16%,到2030 年底,市場預計將達到5,130 億美元。若進一步觀察,人工智慧模型大幅依賴資料進行訓練和操作,而為了訓練專門設計用於特定業務流程和環境的模型,公司必須評估其資料管理技術堆疊的 7 個關鍵要素。

要素一:資料來源

資料來源包括來自多個儲存庫的多種資料格式,可能包括企業資源規劃 (ERP) 或客戶關係管理(CRM) 等企業系統、來自可程式邏輯控制器 (PLC) 或感測器等裝置的物聯網數據,或其他外部資料(例如社群媒體或政府數據)數據等。資料來源為人工智慧訓練奠定了基礎,因為複雜的人工智慧通常需要來自不同來源的大量資料組合。連接的資料來源越多,人工智慧模型就越強大、越通用。因此,確定需要那些數據、從那裡獲取數據以及如何收集數據是關鍵,例如生成式人工智慧主要處理非結構化數據,即無法完全適合關聯式資料庫的訊息,例如文字或圖像,這些非結構化資料必須被識別、整合並整合到資料儲存系統中,以最大限度來發揮人工智慧的潛力。

要素二:資料擷取

資料擷取主要來源(ERP、CRM、PLC 或外部來源)收集數據,並使用連接器將其統一到儲存系統中,以確保相容性和正確的格式處理,企業必須持續收集各種來源的數據並將其輸入人工智慧演算法,為了確保人工智慧模型發揮作用,避免可能導致資料缺口的連接問題至關重要,連續資料流對於需要即時資料的應用程式尤其重要,延遲可能會導致錯失機會或增加風險。一個例子是,美國非營利組織Apache的 Kafka(分散式事件流平台)等技術可以以高吞吐量和低延遲促進即時資料收集和處理,這使業者能夠數據生成時採取行動,從而提高回應能力和營運效率。例如,線上串流服務Netflix運用Kafka 管理超過 7,000 億個日常事件,確保資料流與即時處理,以維持超過 2.6 億訂閱者的高品質用戶體驗。

要素三:資料儲存

儲存使用技術和架構來保護、組織和儲存資料。有兩個主要組成部分,分別是(1)儲存技術,包括用於資料儲存的硬體(HDD 或 SSD)和軟體(資料庫管理系統 (DBMS));(2)資料架構,包括資料倉儲、資料湖或雲,用作資料架構和資料存取的藍圖。資料儲存可確保有效存取所需資料。儲存至關重要,因為它提供了必要的基礎設施來集中組織和管理人工智慧模型所需的大量資料。儲存技術確保資料的快速訪問,直接影響人工智慧應用的效能。此外,隨著人工智慧專案的擴展和發展,可擴展的儲存系統支援不斷增長的資料需求。

資料儲存市場是由資料架構細分市場的成長所推動的,隨著資料量持續成長,多家機構預測,到 2030 年資料架構細分市場的年複合成長率將達到 18%,這顯示出企業資料以產生有價值的見解的重要性日益增加。相較之下,儲存技術同期複合年增長率預計將低於平均 8%;過去十年,硬體儲存成本大幅下降,例如,2016 年,記憶體成本為每 TB 203 美元,此後固態儲存成本已降至每 TB 49.50 美元,預計該趨勢將導致儲存技術細分市場的成長率低於平均值。另外,向量資料庫在產生人工智慧用例中越來越受歡迎,這些資料庫對於索引和搜尋用於相似性搜尋,及模式匹配的高維向量至關重要,該趨勢表示特定人工智慧應用正在轉向新的、先進的資料管理系統。

要素四:資料轉換

資料轉換為將資料細化並重組為適合詳細分析的格式,堆疊的這一部分涉及清理、整合和修改數據,以確保品質以及與分析工具和儲存結構的兼容性,提取數據,將其轉換為標準化格式,並將其加載到目標儲存中,此流程可確保資料乾淨、結構化並可供分析。資料轉換對於人工智慧至關重要,因為它將原始資料轉換為乾淨的結構化格式,使其易於人工智慧訓練和操作,此過程包括檔案格式轉換、資料清理、保護敏感資料(對於生成式人工智慧尤其重要)以及巨集資料以支援查詢,預測人工智慧和產生人工智慧都將需要預處理資料以保持資料品質和有用性。

此外,反向 ETL 對於將 AI 產生的見解整合到業務流程中非常重要。與將資料移至集中式儲存系統(例如集中式資料倉儲、資料湖或雲端)進行分析的傳統 ETL 不同,反向 ETL 從這些系統中提取資料並將其同步回營運應用程式。透過將 AI 產生的見解轉移到 ERP 等系統,反向 ETL 使組織能夠將 AI 結果整合到業務流程中,確保這些見解能夠及時應用以增強業務營運、決策等。

要素五:資料分析

分析將資料轉換為有意義且可操作的資訊,這部分堆疊包括商業智慧工具,將數據轉換為視覺化報告、儀表板和指標,使理解和交流見解變得更加容易。第二是數據科學工具,透過識別傳統方法可能無法立即看到的更深層的模式、趨勢和相關性來增強分析。資料分析對於人工智慧至關重要,它提供開發和完善人工智慧模型所需的工具,業者透過利用資料探勘、統計分析和機器學習等技術,分析有助於發現模式和趨勢,從結構化和非結構化資料中提取洞見。到2030 年,分析細分市場的年複合成長率(CAGR) 為20%,而商業智慧細分市場預計將成長最快,年複合成長率為27%,這些預測強調數據驅動決策的重要性和投資日益增加。

舉例而言,Airbnb利用人工智慧來改進其主人-客人匹配流程,透過使用A/B 測試、圖像辨識和預測建模等技術來增強用戶體驗和增加預訂,公司的模型根據用戶搜尋來預測預訂機率,並且他們的價格提示功能可以為房東提供最佳定價建議,此外,為了解決某些亞洲遊客的高跳出率問題,Airbnb 對網站進行修改,使將轉換率提高10%。

要素六:資料治理與安全

資料治理和安全性透過策略、流程和角色確保組織資料的完整性、可用性和一致性,確保其對業務營運的可信度,且在近期歐盟人工智慧法案通過下,資料治理的重要性又更上層樓,資料治理和安全性對於人工智慧至關重要,因為它們可以保護資料和人工智慧模型,這對於開發準確、符合道德的人工智慧模型以及保護投資這些模型的智慧財產權至關重要,資料管理不善可能會導致專有和私人資訊洩露,從而可能導致罰款和負面宣傳;此外,強有力的措施可確保所使用的數據準確且不受影響,從而提高人工智慧模型的品質,它們還能防止資訊外洩以及對人工智慧及其底層模型程式碼的未經授權的存取。資料治理大概可以分成三種模式,第一種為集中式模型,意即單一資料治理實體監督並標準化組織內所有主題領域的活動;第二是複製模型,指各業務單位獨立採用並實施相同的資料治理模型與標準;最後則是聯合模型,資料治理機構與多個業務部門協調,以確保整個組織的定義和標準的統一。

要素七:資料編排

資料編排是對不同系統和服務之間的資料流進行系統化管理和協調,它牽涉到自動化資料移動,以確保以適當的格式和位置提供分析和決策的可用性,資料編排確保資料在各個系統之間的無縫整合、協調和流動,並促進人工智慧模型的訓練、部署和細化。

AWS、微軟和Google這三大超大型企業將在 2023 年佔據資料管理市場的總計 52% 的市場份額,並在上述每個細分市場提供領先的服務。值得注意的是,這些公司並未提供最複雜和最受好評的解決方案,但他們提供經濟高效且高度整合的服務,這些服務易於為客戶擴展,使用者面臨著一個重要的選擇:他們可以選擇來自小型專業公司的多種最佳資料管理解決方案,或者他們可以利用一兩個超大規模的便利性和全面的產品,將這些解決方案統一在一個解決方案下提供所有必要的服務。

作者:蘇翰揚
學歷:國立中正大學企研所
經歷:產業分析師
專長:產業分析與市場研究

延伸閱讀&電子報訂閱連結:

【詳細內容請見《北美智權報》358期;歡迎訂閱《北美智權報》電子報

延伸閱讀

文化大傳系與華視合作 AI、元宇宙融入課程

晶片需求將只增不減 G7擬設立半導體小組協調供應鏈

台積電囊括61.7%全球晶圓代工市占 擴大領先三星

美擬緊縮對陸晶片限制 陸外交部嗆:阻止不了科技進步

相關新聞

「川普太小」商標命運逆轉?美國最高法院2024年Vidal v. Elster案

美國律師Steve Elster在2018年向美國專利商標局(USPTO)申請「川普太小」商標,專利商標局認為使用到川普姓名卻沒有得到他同意,而駁回申請。但聯邦巡迴上訴法院卻一度判決,姓名條款違反言論自由保障而違憲。美國最高法院2024年6月作出判決,全體一致同意,商標法中的姓名條款合憲,沒有侵害言論自由。但對商標法與言論自由的關係,大法官們沒有共識。

《IP小辭典》智權警告函

當權利人認為其專利權、商標權、著作權受到侵害時,為了請求排除侵害,可採取寄發警告函給競爭對手的行動。寄發警告函是權利人為保護自身權利的正當行為,但寄發警告函本身也有可能成為觸法行為。為了避免權利人濫用權利,不當散發警告函給交易相對人或潛在交易相對人,因而造成競爭對手權益的損害,公平交易委員會特訂有《公平交易委員會對於事業發侵害著作權、商標權或專利權警告函案件之處理原則》,在寄發警告函前必須充分了解。

淺談全球設計法發展與保護數位與虛擬設計的政策–1: 澳洲與美國

全球工業設計保護制度正在發生輪廓變化,每年至少在一些主要國家/地區都會帶來重大更新。整體而言,這些變化走向更大程度的協調和國際規範的出現。2023 年,全球採用部分設計的實務已接近完成(中國和巴西已實現,澳洲也接近完成)。這也強化了目前顯而易見的全球趨勢,即保護設計的下一個前沿:獨立於顯示器的數位和虛擬設計,這種趨勢幾乎在美國之外的世界各地佔據主導地位。本文將分為兩期刊登,重點介紹 2023 年設計法的更新、數位及虛擬設計保護的一些重要發展,以及 2024 年值得關注的內容。

AI在藥物發現中的應用趨勢

藥物發現(Drug Discovery)迄今仍是一個困難、耗時、昂貴、且低成效的過程,若要縮短藥物開發時間,可以透過人工智慧(AI)工具加快速度,同時處理並簡化多個複雜的工作流程,使龐大的資料數據能轉化成真正的治療方法。因此,全球製藥和生物技術產業都在設法導入人工智慧技術,以加快市場發展。

亞洲最大生技盛會BIO Asia-Taiwan 7/24南港登場 規模再創高峰

生技業年度焦點2024 BIO Asia-Taiwan 亞洲生技大會將於7 月24 日至28 日於台北南港展覽館1館及2館盛大開幕。包含大會論壇、亞洲生技大展、一對一商機媒合會、公司展望說明會、主題研討會等五大活動,產官學研醫協力積極參與。其中亞洲生技大展之展館以產業上中下游區段劃分21個展區,共計20個參展國家地區、超過900家參展商、2,200個攤位,不僅再度突破去年規模,創造歷屆之最,更是全球三大指標性的生技盛會!

談多媒體著作的分散式創作過程而生之著作權議題

多媒體著作可由文字、圖畫、照片、音樂、影片、影像、程式軟體等元素所構成,而通常由數個人就不同類型的著作為創作,再由製作單位集結與編輯而成。涉及數個創作者的問題在於著作財產權歸屬的釐清不易。本文藉由智慧財產及商業法院111年度民著上更一字第3號民事判決所涉及的電腦遊戲著作,來討論相關的著作權議題。

商品推薦

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。