CPU算力有多缺？傳亞馬遜管到EC2 下令自家工程師別浪費

The Information報導，亞馬遜網路服務（AWS）正限縮旗下工程師使用自家虛擬伺服器租用平台EC2，5月就召集他們，要求減少對中央處理器（CPU）資源的浪費，確保AWS有足夠CPU算力提供給客戶。此時正值資料中心對CPU的需求大增，繪圖處理器（GPU）和CPU的需求比，已從傳統的八比一或四比一漸趨平衡。

EC2的執行個體（instance，虛擬伺服器）構成現代網路的很大一部分。傳統上，AWS工程師可用啟動自己的執行個體來進行開發，利用網路基礎架構相對較低的CPU使用率，在同樣的資源上運行更多虛擬機。但該公司工程師向The Information表示，他們現在需要等待數天才能取得使用權限，相較先前只需數小時。

亞馬遜在EC2執行個體中部署了多種不同類型的CPU，包括超微、英特爾，以及亞馬遜自研的Graviton5晶片。Graviton5是亞馬遜至今最強大的CPU，使用Arm架構，類似輝達的Vera CPU和安謀自己的AGI晶片。

AI代理的興起推動了CPU需求成長，就連像亞馬遜這樣的大公司都難以應付。舉例來說，亞馬遜上個月的一個編碼代理，就耗費了該公司180萬美元的詞元（token）成本，比開發預算超出860%。

雖然目前大部分的AI基礎設施都是圍繞著推理設計，這項作業可透過GPU加速。但代理作業卻比這樣複雜許多，經常牽涉到對在CPU上運作的工具呼叫，和在GPU上推理的更複雜協調。也正是這一點讓CPU在AI代理時代成為了注目焦點。

雖然亞馬遜正設法解決內部工程師和外部客戶間的CPU資源短缺問題，但據The Information報導，資源短缺主要影響的是競價型執行個體（Spot Instances）。一名顧問向該媒體表示，已簽約租借的資源並未出現短缺。

AWS發言人回應表示，「報導關於EC2的說法並不準確。做為我們日常營運的一部分，以及秉持著節儉的領導原則，我們始終致力於提升資源效率，以確保團隊能最適化資源利用」。