《科創(chuàng)板日報(bào)》9月6日訊（編輯 邱思雨）?據(jù)The Information報(bào)道，消息人士表示，Meta參與LLaMA項(xiàng)目的人員大半都已辭職，原因是Meta另一研究團(tuán)隊(duì)（OPT團(tuán)隊(duì)）與LLaMA團(tuán)隊(duì)就算力資源展開了一場內(nèi)部斗爭。

LLaMA是Meta在今年2月發(fā)布的一款開源的人工智能大型語言模型。在今年7月，Meta發(fā)布了其最新版本LLaMA 2。相較上一代，LLaMA 2訓(xùn)練所用的token翻了一倍至2萬億。

而在2月發(fā)布的初代LLaMA模型的14位核心原作者中，已有超過一半的人全部離職，包括Timothée Lacroix、Guillaume Lample、Marie-Anne Lachaux、Gautier Izacard等。

論文地址：https://arxiv.org/pdf/2302.13971.pdf

另一OPT團(tuán)隊(duì)則在2022年5月發(fā)布了開源大模型OPT-175B，并在幾個月后著手開發(fā)與谷歌PaLM競爭的競品，準(zhǔn)備開發(fā)出第二個更大的模型。

而LLaMA團(tuán)隊(duì)開發(fā)的模型則比OPT要小。知情人士透露，LLaMA研究團(tuán)隊(duì)認(rèn)為較小的模型在推理時會高效。但由于LLaMA模型小，因此獲取的算力資源比OPT團(tuán)隊(duì)要少，這或許讓LLaMA團(tuán)隊(duì)的研究人員感受到不被重視。

Meta AI相關(guān)負(fù)責(zé)人Joelle Pineau也在采訪中承認(rèn)，LLaMA和OPT團(tuán)隊(duì)之間在算力分配上有些緊張。

另外，算力資源內(nèi)斗不僅導(dǎo)致了LLaMA團(tuán)隊(duì)半數(shù)研究人員的出走，OPT團(tuán)隊(duì)同樣也面臨人員流失的問題。OPT模型的19位原作者中，也有半數(shù)已離職Meta。

論文地址：https://arxiv.org/pdf/2205.01068.pdf

原因主要系OPT團(tuán)隊(duì)正在開發(fā)的與谷歌PaLM競爭的競品，已被Meta放棄。Pineau無奈地表示：“所有研究團(tuán)隊(duì)都想升級自己的模型，這時要么選擇其中一個，要么讓他們合作。”Meta AI的一些高管也表達(dá)過質(zhì)疑稱，OPT和LLaMA兩個團(tuán)隊(duì)項(xiàng)目的相似度過高，卻要競爭有限的算力資源。

最終，Meta AI的領(lǐng)導(dǎo)人決定進(jìn)行團(tuán)隊(duì)重組，將LLaMA和OPT團(tuán)隊(duì)的部分研究成員聚集起來，成立了生成式AI團(tuán)隊(duì)。

在AI算力競賽中，科技巨頭往往擁有比大多數(shù)公司更加充裕的算力資源。而Meta大模型研究人員因算力斗爭而相繼離職愈發(fā)印證了，目前業(yè)內(nèi)算力緊缺程度比想象中還要嚴(yán)重，科技巨頭或許也不例外。