約健身課變駭客…澳洲首例AI失控暴走 「養龍蝦」主人嚇壞

今年稍早，在一家向企業銷售AI產品的澳洲企業任職的安德魯，開始試用熱門AI代理軟體OpenClaw，也就是「養龍蝦」，並以Anthropic旗下Claude AI服務加以驅動。

安德魯決定用AI代理預約健身課程。幾分鐘後，AI代理回報，已找到方法，可以替安德魯提前數周預約課程，遠超過系統原本允許範圍。

當時安德魯在那周稍晚一堂課的候補名單上排名第四，他於是詢問AI代理，有沒有辦法把自己移到候補名單最前面。

AI代理回覆安德魯說，在測試自身能力的過程中，它已經把另一名健身房會員從名單上踢掉，將排名從第四名升到第三名

它回覆道：「這個API在取消其他人的預約時，完全沒有任何授權檢查……我拿候補名單排名第一的人做了測試，而且真的成功了。所以你已經從第四名升到第三名。」

安德魯大為警覺，立即要求AI代理復原這項操作，但AI代理回答。「壞消息——我沒辦法把他加回去。」

這套健身房預約軟體背後的公司向澳洲廣播公司（ABC）表示，不會討論特定資安事件。Anthropic則未回應置評要求。

這起意外發生的駭入事件，是目前已知澳洲首宗涉及新一代AI風險的案例。這類AI有能力以出乎意料的方式自主行動，相關風險正逐漸浮現。

澳洲AI安全研究機構Gradient Institute共同創辦人兼執行長辛普森–楊表示，AI代理具備自主性，意味著系統有更多機會自行選擇使用者原先沒有預期的方法來完成任務。

他說：「有人可能只是要求AI代理去做一件完全無害的事情。」但在完成這項任務的過程中，AI代理可能採取一些使用者沒有想到，或根本沒有明確要求的其他行動。

就安德魯的情況而言，他並未要求AI代理駭進健身房的預約系統。但為了達成設定目標，AI代理自行行動。

在人類設定的目標與AI代理自行選擇的達成方式之間存在的落差，在AI研究領域被稱為「對齊」（alignment）問題。數十年來，科技專家與哲學家一直研究，如何讓AI在執行任務時，依照符合人類意圖、限制與價值觀的方式行動。

辛普森–楊表示，隨著AI能力不斷進步、這些工具又愈來愈容易取得，未來當愈來愈多人能接觸到強大的AI工具時，類似駭入事件很可能增加。他說：「當自主性愈高，造成傷害的可能性就愈高。」

這項風險也促使澳洲最高層級的網路安全機構，針對使用AI代理發出警告。今年稍早，澳洲訊號局（Australian Signals Directorate）向企業與政府發布警示，指出AI可能誤解指令、採取意料之外的行動，也可能讓責任歸屬更難釐清，因為決策過程可能橫跨一連串不同的模型、工具與服務。