智東西（公眾號：zhidxcom）

編輯 | 心緣

智東西4月19日報道，今日，阿里巴巴達摩院釋出中文社群最大規模預訓練語言模型PLUG，其引數規模達270億。接下來，PLUG將擴大引數規模至2000億級，並進一步提升文字生成質量。

與PLUG釋出同步，達摩院宣佈近期將開源阿里巴巴深度語言模型體系大部分重要模型。

PLUG全名為Pre-training for Language Understanding and Generation，集語言理解與生成能力於一身，在小說創作、詩歌生成、智慧問答等長文字生成領域表現突出。

該語言模型的目標是透過超大模型的能力，大幅提升中文NLP各類任務的表現，取得超越人類表現的效能。

釋出後，PLUG重新整理了中文語言理解評測基準CLUE分類榜單歷史紀錄。

自去年OpenAI釋出超大規模預訓練語言模型GPT-3引發全球熱議後，中文領域同類模型的訓練程序備受關注。

與GPT-3類似，阿里達摩院本次釋出的PLUG有望廣泛應用於文字生成領域，成為“萬能寫作神器”。

更重要的是，此類超大模型擁有極強的通用性，被認為或將成為AI時代的新型基礎設施之一。

相較GPT-3的改進之處在於，PLUG設計了一個簡潔的模型框架，集成了達摩院自研的語言理解及語言生成雙模型，並透過構建輸入文字雙向理解能力，顯著提升了輸出文字的相關性。

在語言理解任務上，PLUG以80。614分重新整理了CLUE分類榜單紀錄；在語言生成任務上，PLUG多項應用資料較業內最優水平提升了8%以上。

▲4月19日，PLUG重新整理CLUE分類榜單紀錄，排名僅次於“人類”

據悉，PLUG採用了1TB以上高質量中文文字訓練資料，涵蓋新聞、小說、詩歌、問答等廣泛型別及領域，其模型訓練依託了阿里雲EFLOPS高效能AI計算叢集。

在超大規模預訓練模型領域，除釋出以中文為核心的PLUG外，阿里達摩院、阿里雲計算平臺團隊還聯合智源研究院、清華大學釋出了面向認知的超大規模新型預訓練模型“文匯”，以及聯合清華大學釋出了超大規模多模態預訓練模型“M6”。

阿里達摩院語言技術實驗室負責人司羅稱：“達摩院NLP團隊將進一步攻克自然語言處理領域科研難題，完善中文及跨語言人工智慧基礎設施，讓AI沒有難懂的語言，並探索通用人工智慧之路。”

14