安全政策再遭質(zhì)疑！OpenAI解散AGI籌備團(tuán)隊(duì)，主管離職

快訊 2024年10月25日 01:45 2 admin

　　來(lái)源：華爾街見(jiàn)聞　

　　媒體報(bào)道，AI領(lǐng)頭羊OpenAI正在解散其“AGI（通用人工智能）籌備”團(tuán)隊(duì)，團(tuán)隊(duì)主管將離職，希望在外部繼續(xù)該領(lǐng)域的研究。

　　OpenAI的AGI籌備團(tuán)隊(duì)負(fù)責(zé)建議公司如何處理越來(lái)越強(qiáng)大的AI技術(shù)，以及當(dāng)今世界是否準(zhǔn)備好管理這些技術(shù)。CNBC報(bào)道，OpenAI的AGI籌備團(tuán)隊(duì)負(fù)責(zé)人Miles Brundage在周三通過(guò)Substack發(fā)布的帖子中宣布了這一消息，并表示他將離職。

　　Brundage表示，他離職的主要原因是機(jī)會(huì)成本變得太高，他認(rèn)為在外部進(jìn)行研究會(huì)更具影響力，并且他希望減少偏見(jiàn)。他還表示，OpenAI及世界在AGI籌備方面“尚未準(zhǔn)備好”。而B(niǎo)rundage計(jì)劃創(chuàng)建自己的非營(yíng)利組織，或者加入現(xiàn)有的組織，專注于AI政策研究和倡導(dǎo)。他補(bǔ)充說(shuō)，

“AI不太可能在沒(méi)有共同努力確保其安全和有益的情況下達(dá)到最佳狀態(tài)。”

　　根據(jù)帖子內(nèi)容，原AGI準(zhǔn)備團(tuán)隊(duì)的成員將被重新分配到其他團(tuán)隊(duì)。

　　OpenAI發(fā)言人向媒體表示：

“我們完全支持Brundage決定在業(yè)界之外繼續(xù)他的政策研究，并對(duì)他所做的貢獻(xiàn)深表感謝。他全身心投入AI政策獨(dú)立研究的計(jì)劃，讓他有機(jī)會(huì)在更大范圍內(nèi)產(chǎn)生影響，我們期待從他的工作中學(xué)習(xí)并看到其影響。在他的新角色中，我們相信他將繼續(xù)提升行業(yè)和政府制定政策的質(zhì)量?！?/p>

　　今年5月，OpenAI決定解散其剛剛成立一年的“超級(jí)對(duì)齊”團(tuán)隊(duì)（Superalignment team），該團(tuán)隊(duì)專注于AI的長(zhǎng)期風(fēng)險(xiǎn)。

　　正值公司改組、高層動(dòng)蕩之際

　　AGI準(zhǔn)備團(tuán)隊(duì)的解散消息也正值OpenAI董事會(huì)可能計(jì)劃將公司重組為營(yíng)利性企業(yè)之際。上個(gè)月，包括該公司首席技術(shù)官M(fèi)ira Murati、研究主管Bob McGrew和研究副總裁Barret Zoph在內(nèi)的三位高管宣布同日離職。

　　今年10月初，OpenAI完成了一輪估值1570億美元的融資，其中包括從多家投資公司和大科技公司籌集的66億美元。公司還獲得了一筆40億美元的循環(huán)信貸額度，使其總流動(dòng)資金超過(guò)100億美元。公司預(yù)計(jì)今年的收入將達(dá)到37億美元，但虧損約為50億美元。

　　今年9月，OpenAI宣布，該公司在5月份成立的“安全與安保委員會(huì)”（Safety and Security Committee）將成為一個(gè)獨(dú)立的董事會(huì)監(jiān)督委員會(huì)。該委員會(huì)最近結(jié)束了為期90天的審查，評(píng)估了OpenAI的流程和保障措施，并向董事會(huì)提出了建議，這些建議還在公司博客中公開(kāi)發(fā)布。

安全政策再遭質(zhì)疑！OpenAI解散AGI籌備團(tuán)隊(duì)，主管離職

　　AI安全問(wèn)題的處理遭質(zhì)疑

　　目前，有關(guān)OpenAI安全問(wèn)題以及相關(guān)爭(zhēng)議的關(guān)注度越來(lái)越高。今年夏天，OpenAI、谷歌、微軟、Meta等公司在生成式AI領(lǐng)域激烈競(jìng)爭(zhēng)，目前預(yù)計(jì)這一市場(chǎng)在未來(lái)十年內(nèi)將產(chǎn)生超過(guò)1萬(wàn)億美元的收入。

　　今年7月，OpenAI將其頂級(jí)安全高管之一Aleksander Madry調(diào)整崗位，讓他專注于AI推理的工作。Madry曾是OpenAI的“AI風(fēng)險(xiǎn)預(yù)防小組”籌備團(tuán)隊(duì)負(fù)責(zé)人，該團(tuán)隊(duì)的任務(wù)是“跟蹤、評(píng)估、預(yù)測(cè)并幫助防范與前沿AI模型相關(guān)的災(zāi)難性風(fēng)險(xiǎn)”。

　　而在6月，一名民主黨聯(lián)邦參議員致信OpenAI首席執(zhí)行官Sam Altman發(fā)送信函，詢問(wèn)OpenAI如何應(yīng)對(duì)新出現(xiàn)的安全問(wèn)題。信中提到：

“我們希望了解更多關(guān)于OpenAI為履行其在安全方面的公開(kāi)承諾所采取的步驟，公司如何在內(nèi)部評(píng)估其對(duì)這些承諾的進(jìn)展情況，以及公司如何識(shí)別和減輕網(wǎng)絡(luò)安全威脅的額外信息?！?/p>

　　微軟于7月放棄了其在OpenAI董事會(huì)的觀察席位，并對(duì)媒體表示，由于對(duì)OpenAI的董事會(huì)構(gòu)成感到滿意，微軟決定退位。此前，OpenAI董事會(huì)經(jīng)歷了一次重組，這次變動(dòng)導(dǎo)致Altman短暫被罷免，同時(shí)也威脅到了微軟對(duì)OpenAI的大量投資。

　　但在今年6月，一群現(xiàn)任和前任OpenAI員工發(fā)布了一封公開(kāi)信，表達(dá)了對(duì)人工智能行業(yè)快速發(fā)展的擔(dān)憂，特別是在缺乏有效監(jiān)督和沒(méi)有“吹哨人”保護(hù)機(jī)制的情況下。信中寫(xiě)道：

“AI公司有強(qiáng)大的財(cái)務(wù)動(dòng)機(jī)來(lái)避免有效的監(jiān)督，我們不相信為此更改的公司治理結(jié)構(gòu)足以改變現(xiàn)狀?！?/p>

　　而在信件發(fā)布幾天后，一位知情人士向媒體證實(shí)，美國(guó)聯(lián)邦貿(mào)易委員會(huì)（FTC）和司法部正準(zhǔn)備對(duì)OpenAI、微軟和英偉達(dá)展開(kāi)反壟斷調(diào)查，重點(diǎn)關(guān)注這些公司的行為。

　　內(nèi)部人士批評(píng)：過(guò)于追求產(chǎn)品對(duì)AI風(fēng)險(xiǎn)披露不足

　　這些員工在6月的信件中還寫(xiě)道，AI公司擁有大量非公開(kāi)的信息，了解其技術(shù)的能力、已采取的安全措施的程度，以及這些技術(shù)在不同層面帶來(lái)的潛在風(fēng)險(xiǎn)。

“我們也意識(shí)到這些技術(shù)帶來(lái)的嚴(yán)重風(fēng)險(xiǎn)，但AI公司目前僅對(duì)政府有微弱的分享義務(wù)，幾乎沒(méi)有義務(wù)與公眾分享這些信息。我們不認(rèn)為AI公司能夠自愿分享這些信息。”

　　OpenAI于去年成立的“超級(jí)對(duì)齊”團(tuán)隊(duì)，專注于“科學(xué)和技術(shù)突破，以引導(dǎo)和控制比人類更智能的AI系統(tǒng)”。該團(tuán)隊(duì)在5月份被解散，領(lǐng)導(dǎo)人Ilya Sutskever和Jan Leike宣布離職。Leike在X上發(fā)帖稱，OpenAI的“安全文化和流程，已經(jīng)讓位于光鮮的產(chǎn)品”。

　　Altman當(dāng)時(shí)在X上表示，看到Leike離開(kāi)感到難過(guò)，并承認(rèn)OpenAI還有很多工作要做。不久之后，OpenAI聯(lián)合創(chuàng)始人Greg Brockman在X上發(fā)表了一份聲明，強(qiáng)調(diào)公司已經(jīng)“提高了對(duì)AGI風(fēng)險(xiǎn)和機(jī)遇的認(rèn)識(shí)，以便世界能夠更好地為此做好準(zhǔn)備”。

　　Leike當(dāng)時(shí)在X上寫(xiě)道：“我加入OpenAI，是因?yàn)槲艺J(rèn)為OpenAI是世界上進(jìn)行這類研究的最佳場(chǎng)所。”然而，他表示自己與公司領(lǐng)導(dǎo)層在核心優(yōu)先事項(xiàng)上存在分歧，最終不得不分道揚(yáng)鑣。Leike認(rèn)為，公司應(yīng)該更多地關(guān)注安全、監(jiān)控、風(fēng)險(xiǎn)應(yīng)對(duì)工作以及對(duì)社會(huì)的影響。

　　他表示：

　　AI教父：Altman更關(guān)心利潤(rùn)，而不是安全

　　質(zhì)疑OpenAI安全政策的不只是政府和內(nèi)部人士。華爾街見(jiàn)聞此前文章稱，2024諾貝爾物理學(xué)獎(jiǎng)獲得者、“AI教父”Geoffrey Hinton在獲獎(jiǎng)后接受多倫多大學(xué)校長(zhǎng)Meric Gertler采訪時(shí)表示，Altman更關(guān)心利潤(rùn)，而不是安全，AI技術(shù)如果不加以控制可能會(huì)帶來(lái)災(zāi)難性的后果。馬斯克此前也表示，不希望世界上最強(qiáng)大的AI被不值得信賴的人控制。

　　作為“AI教父”，Hinton最廣為人知的學(xué)生之一是前OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever，他于去年11月領(lǐng)導(dǎo)公司董事會(huì)解雇了Altman，但隨后又迅速重新聘用Altman成為公司CEO。Hinton表示：

“我的學(xué)生之一，Ilya Sutskever曾是OpenAI的首席科學(xué)家。隨著時(shí)間的推移，事實(shí)證明，Altman更關(guān)心利潤(rùn)，而不是安全?！?/p>

“我非常幸運(yùn)，有很多非常聰明的學(xué)生，他們比我優(yōu)秀得多。他們后來(lái)都做了偉大的事情。我特別為我的一個(gè)學(xué)生解雇了Sam Altman而感到自豪?！?/p>

　　近年來(lái)，Hinton一直在警告，如果不加以控制，AI系統(tǒng)可能會(huì)帶來(lái)災(zāi)難性的后果。

　　事實(shí)上，不止是Hinton，越來(lái)越的人也開(kāi)始表達(dá)對(duì)Altman行為的不滿。近日，馬斯克也表示，他“不希望世界上最強(qiáng)大的AI被不值得信賴的人控制?！?/p>

　　馬斯克在接受媒體人Tucker Carlson采訪時(shí)表示，他不信任OpenAI或Sam Altman。

“OpenAI原本是一個(gè)開(kāi)源公司，但現(xiàn)在不是了，并且正在實(shí)現(xiàn)利潤(rùn)最大化。

顯然Sam Altman會(huì)得到100億美元股票或類似的東西，所以我不信任他，我認(rèn)為我們不想讓世界上最強(qiáng)大的AI被一個(gè)不值得信任的人控制?！?/p>

標(biāo)簽：解散離職籌備