大规模语言模型:从理论到实践
绪论 基本概念 假设词汇表 \(\Bbb{V}\) 上的语言模型,由函数 \(P(w_1, w_2…w_m)\) 表示,可以构建为词序列\(w_1,w_2…w_m\) 的概率分布,表示词序列做作为一个句子出现的可能性大小,即\(P(w_1,w_2…w_m)=P(w_1)P(w_2|w_1)…P(w_
绪论 基本概念 假设词汇表 \(\Bbb{V}\) 上的语言模型,由函数 \(P(w_1, w_2…w_m)\) 表示,可以构建为词序列\(w_1,w_2…w_m\) 的概率分布,表示词序列做作为一个句子出现的可能性大小,即\(P(w_1,w_2…w_m)=P(w_1)P(w_2|w_1)…P(w_