Meta Platforms今天開放了NLLB-200的系統(tǒng)代碼，NLLB-200是Meta內部開發(fā)的一個人工智能系統(tǒng)，可以翻譯200種語言的文本。

Meta還公布了一套工具，旨在幫助研究人員更輕松地將NLLB-200應用于軟件項目。

根據Meta的說法，NLLB-200可以理解的200種語言中，許多語言都沒有得到其他AI翻譯系統(tǒng)的良好支持。目前被廣泛使用的翻譯工具支持的非洲語言不到25種，而NLLB-200 支持多達55種非洲語言。

Meta表示，翻譯準確性是NLLB-200優(yōu)于其他工具的另一個方面。Meta采用的是BLEU評估系統(tǒng)的準確性標準，BLEU是一種用于衡量機器翻譯文本質量的算法。Meta稱，NLLB-200的BLEU評分比之前平均高出44%。

Meta首席執(zhí)行官Mark Zuckerberg表示：“我們剛剛開源了一個自主開發(fā)的AI模型，該模型可以翻譯200種不同的語言——其中許多語言未得到當前翻譯系統(tǒng)的支持。我們把這個項目稱之為No Language Left Behind，我們使用的人工智能建模技術正在為全球數十億人所使用的語言進行高質量的翻譯?！?/p>

NLLB-200有超過500億個參數，這些配置決定了AI系統(tǒng)處理數據的方式。人工智能系統(tǒng)參數越多，準確性就越高。

NLLB-200具有如此大量的參數，并不是它能夠以高精度支持200種語言的唯一因素，因為NLLB-200系統(tǒng)還借鑒了Meta工程師開發(fā)的很多其他AI創(chuàng)新。

Meta使用內部開發(fā)的LASER工具包為機器學習相關研究提供支持。研究人員使用該工具包可以對神經網絡進行訓練，以一種語言執(zhí)行某個特定的任務，然后相對輕松地使神經網絡適應其他語言，這對于翻譯這一用途來說是很有用處的。Meta開發(fā)了新的NLLB-200系統(tǒng)，支持改進版LASER——LASER3。

LASER的原始版本包括一個名為LSTM的神經網絡，這是一個將文本轉換為AI系統(tǒng)可以理解的、以數學方式表示的專用組件。這種數學表示有助于生成更準確的翻譯結果。在LASER3中，Meta用Transformer代替了LSTM神經網絡，前者是一種高級自然語言處理模型，可以更有效地執(zhí)行相同的任務。

Meta還使用了其他幾種方法來改進NLLB-200的功能，例如Meta升級了用于收集訓練數據的系統(tǒng)，并對AI訓練工作流程進行了更改。

Meta使用內部開發(fā)的Research SuperCluster超級計算機（如圖）來訓練NLLB-200。今年1月Meta首次介紹Research SuperCluster的時候稱，該系統(tǒng)配備了6080個Nvidia最新的A100數據中心GPU，最終將升級到配置16000個GPU。

Meta計劃使用NLLB-200在Facebook、Instagram和其他平臺上提供更好的自動翻譯功能，預計該系統(tǒng)每天將支持超過250億次翻譯。

Meta在內部努力推廣NLLB-200的同時，還計劃幫助其他企業(yè)組織將該系統(tǒng)應用到他們自己的軟件項目中。

除了NLLB-200之外，Meta還開源了可用于訓練AI的代碼，以及一個名為FLORES-200的數據集，用于評估翻譯的準確性。Meta將提供高達200000美元的資金，以幫助非營利組織采用NLLB-200。除此之外，Meta還將與Wikimedia Foundation展開合作，將自動翻譯技術應用于維基百科文章。

更多資訊，點擊資訊活動 – 航天云網，國家工業(yè)互聯網平臺