1、基礎的生成算法模型是驅動AI的關鍵

2014年，伊恩·古德費洛(lanGoodfellow)提出的生成對抗網絡(GenerativeAdversarialNetwork,GAN)成為早期最為著名的生成模型。GAN使用合作的零和博弈框架來學習，被廣泛用于生成圖像、視頻、語音和三維物體模型。隨后，Transformer、基于流的生成模型(Flow-basedmodels)、擴散模型(DiffusionModel)等深度學習的生成算法相繼涌現(xiàn)。

Transformer模型是一種采用自注意力機制的深度學習模型，這一機制可按輸入數據各部分的重要性分配權重，可用于自然語言處理(NLP)、計算機視覺(CV)領域應用，后來出現(xiàn)的BERT、GPT-3、laMDA等預訓練模型都是基于Transformer模型建立的。

通過梳理全球主流大語言模型(LLM)的發(fā)展脈絡，2018年以來的GPT系列、LLaMA系列、BERT系列、Claude系列等多款大模型均發(fā)源于Transformer架構。

2、預訓練模型引發(fā)了AI技術能力的質變

預訓練模型是為了完成特定任務基于大型數據集訓練的深度學習模型，讓AI模型的開發(fā)從手工作坊走向工廠模式，加速AI技術落地。

2017年，Google顛覆性地提出了基于自注意力機制的神經網絡結構——Transformer架構，奠定了大模型預訓練算法架構的基礎。

2018年，OpenAI和Google分別發(fā)布了GPT-1與BERT大模型，意味著預訓練大模型成為自然語言處理領域的主流。

3、預訓練數據直接決定AI大模型性能

ScalingLaws：模型容量、數據量、訓練成本共同構成了大模型訓練的不可能三角。大模型訓練的目標是最大化模型性能，模型訓練成本（GPU的數量和訓練時間等）是受限的，因此一般通過增加數據集大小和增加模型中的參數量兩種途徑來提升模型性能。

附件：生成式人工智能行業(yè)專題研究：海外大模型篇，生成式AI加速創(chuàng)新，行業(yè)迎歷史性機遇