1月24日，Meta發(fā)布博文介紹正在建設(shè)的AI超級(jí)計(jì)算機(jī)AI Research SuperCluster（RSC）。Meta表示，這是目前世界上最快的AI超級(jí)計(jì)算機(jī)之一，每秒可進(jìn)行50億次運(yùn)算，它將加速M(fèi)eta的AI研究并幫助Meta構(gòu)建元宇宙。 RSC目前已完成第一階段建設(shè)，開(kāi)始運(yùn)用于訓(xùn)練具有數(shù)十億參數(shù)的大型AI模型。RSC可以幫助Meta的AI研究人員構(gòu)建更好的AI模型，可以從數(shù)萬(wàn)億個(gè)示例中學(xué)習(xí)；跨數(shù)百種不同語(yǔ)言工作；無(wú)縫分析文本、圖像和視頻；開(kāi)發(fā)新的增強(qiáng)現(xiàn)實(shí)工具等。借助RSC，Meta可以更快地訓(xùn)練使用多模態(tài)信號(hào)的模型來(lái)確定動(dòng)作、聲音或圖像是有害還是良性。
這項(xiàng)研究將為Meta的元宇宙計(jì)劃奠定基礎(chǔ)。 人工智能超級(jí)計(jì)算機(jī)是通過(guò)將多個(gè)GPU組合成計(jì)算節(jié)點(diǎn)來(lái)構(gòu)建的，然后通過(guò)高性能網(wǎng)絡(luò)結(jié)構(gòu)連接這些節(jié)點(diǎn)，以實(shí)現(xiàn)這些GPU之間的快速通信。
目前，RSC共有760個(gè)NVIDIA DGX A100系統(tǒng)作為其計(jì)算節(jié)點(diǎn)，總共有6，080個(gè)GPU。Meta聲稱(chēng)這應(yīng)該可以與勞倫斯伯克利國(guó)家實(shí)驗(yàn)室的Perlmutter競(jìng)爭(zhēng)。根據(jù)排名網(wǎng)站Top 500的數(shù)據(jù)，Perlmutter是目前運(yùn)行中的第五強(qiáng)大的超級(jí)計(jì)算機(jī)。目前排名第一的是日本的Fugaku。隨著Meta繼續(xù)構(gòu)建和升級(jí)系統(tǒng)， RSC的威力預(yù)計(jì)將提高三倍左右，理論上這將使RSC可以在未來(lái)爭(zhēng)奪排名第三。
Meta長(zhǎng)期以來(lái)一直是人工智能研究領(lǐng)域的雄心勃勃的參與者。該公司認(rèn)為人工智能在元宇宙的發(fā)展中發(fā)揮著重要作用。“我們希望RSC能夠幫助我們構(gòu)建全新的AI系統(tǒng)，例如，可以為一大群人提供實(shí)時(shí)語(yǔ)音翻譯，每個(gè)人都說(shuō)不同的語(yǔ)言，這樣他們就可以在研究項(xiàng)目上無(wú)縫協(xié)作或玩AR游戲一起，”Meta AI研究人員Kevin Lee和Shubho Sengupta在一篇博文中寫(xiě)道。“最終，RSC所做的工作將為構(gòu)建下一個(gè)主要計(jì)算平臺(tái)的技術(shù)鋪平道路——元宇宙，人工智能驅(qū)動(dòng)的應(yīng)用程序和產(chǎn)品將在其中發(fā)揮重要作用。” Meta的研究人員解釋說(shuō)，公司最近在自我監(jiān)督學(xué)習(xí)（Self－Supervised Learning）領(lǐng)域取得了長(zhǎng)足的進(jìn)步，這是算法從大量未標(biāo)記示例中學(xué)習(xí)的領(lǐng)域。
它還引領(lǐng)了基于轉(zhuǎn)換器的模型（Transformers）的進(jìn)步，這使得人工智能可以通過(guò)專(zhuān)注于其輸入的某些領(lǐng)域來(lái)更有效地推理。Meta總結(jié)說(shuō)，為了實(shí)現(xiàn)自我監(jiān)督學(xué)習(xí)和基于轉(zhuǎn)換器的模型的全部好處，它需要訓(xùn)練越來(lái)越復(fù)雜和適應(yīng)性更強(qiáng)的AI模型，這意味著它需要處理大量的數(shù)據(jù)。例如，要開(kāi)發(fā)更高級(jí)的計(jì)算機(jī)視覺(jué)模型，需要以更高的數(shù)據(jù)采樣率處理更大、更長(zhǎng)的視頻。
同時(shí)，語(yǔ)音識(shí)別需要在具有大量背景噪音的最具挑戰(zhàn)性的場(chǎng)景中工作，自然語(yǔ)言處理必須理解不同的語(yǔ)言、口音和方言。所以Meta決定它需要一臺(tái)比目前可用的更強(qiáng)大的計(jì)算機(jī)。 “與Meta的傳統(tǒng)生產(chǎn)和研究基礎(chǔ)設(shè)施相比，RSC的早期基準(zhǔn)測(cè)試表明，它運(yùn)行計(jì)算機(jī)視覺(jué)工作流程的速度高達(dá)20倍，運(yùn)行Nvidia NCCL Collectives的速度超過(guò)9倍，訓(xùn)練大規(guī)模NLP模型快三倍，”Meta AI的研究人員說(shuō)。“這意味著一個(gè)擁有數(shù)百億參數(shù)的模型可以在三周內(nèi)完成訓(xùn)練，而之前是九周。”
除了專(zhuān)注于速度和功率之外，RSC的構(gòu)建還考慮到了安全性。“RSC的設(shè)計(jì)從一開(kāi)始就考慮到了隱私和安全性，因此Meta的研究人員可以使用加密的用戶(hù)生成數(shù)據(jù)安全地訓(xùn)練模型，這些數(shù)據(jù)直到訓(xùn)練前才被解密，”Lee和Sengupta寫(xiě)道。這些保護(hù)措施包括確保RSC與公共互聯(lián)網(wǎng)隔離，沒(méi)有直接的入站或出站連接。同時(shí)，從 Meta 的存儲(chǔ)系統(tǒng)到GPU的整個(gè)路徑都是加密的，只有在使用之前，在GPU端點(diǎn)，內(nèi)存中的數(shù)據(jù)才被解密。 Meta透露，RSC的第二階段建設(shè)將在2022年底之前完成，性能將有大幅的提升。RSC將成為世界上最快的AI超級(jí)計(jì)算機(jī)，其混合精度計(jì)算性能接近5 exaflops。
到2022年，GPU的數(shù)量將從6，080個(gè)增加到16，000個(gè)，這將使AI訓(xùn)練性能提高2．5倍以上。InfiniBand結(jié)構(gòu)將擴(kuò)展為支持16，000個(gè)端口，采用兩層拓?fù)浣Y(jié)構(gòu)，不會(huì)出現(xiàn)超額訂閱。該存儲(chǔ)系統(tǒng)將具16TB／s的目標(biāo)交付帶寬和EB級(jí)容量，以滿(mǎn)足不斷增長(zhǎng)的需求。 Meta表示，“我們預(yù)計(jì)計(jì)算能力的這種階躍函數(shù)變化不僅使我們能夠?yàn)槲覀儸F(xiàn)有的服務(wù)創(chuàng)建更準(zhǔn)確的人工智能模型，而且還能夠?qū)崿F(xiàn)全新的用戶(hù)體驗(yàn)，尤其是在元宇宙中。”“我們?cè)谧晕冶O(jiān)督學(xué)習(xí)和使用RSC構(gòu)建下一代AI基礎(chǔ)設(shè)施方面的長(zhǎng)期投資正在幫助我們創(chuàng)建基礎(chǔ)技術(shù)，這些技術(shù)將為元界提供動(dòng)力并推動(dòng)更廣泛的AI社區(qū)發(fā)展。”
