言語モデル

言語モデルは、長さがm個の単語列が与えられたとき、その単語列全体に対しての確率 ${\displaystyle P(w_{1},\ldots ,w_{m})}$ を与える。この確率分布は、1つまたは複数の言語のテキストコーパスを使用して、言語モデルを訓練することによって得られる。しかし、言語は無限に有効な文を表現することができるため^{[注釈 1]}、言語モデリングは、訓練データでは遭遇しないような言語的に有効な単語列にゼロでない確率を割り当てることが課題となる。この問題を克服するために、マルコフ仮定や、回帰型ニューラルネットワークあるいはトランスフォーマー（transformer）などのニューラルアーキテクチャなど、さまざまなモデリング方法が考案されている。

言語モデルは、計算言語学におけるさまざまな問題に役立っている。当初は、低確率で無意味な単語列を予測を防ぐために音声認識^[2]での使用から始まった。現在では、機械翻訳（翻訳候補の順位付け）^[3]や、より人間に近いテキストを生成する自然言語生成、品詞タグ付け（英語版）、構文解析^[3]、光学文字認識、手書き文字認識^[4]、文法誘導（英語版）^[5]、情報検索^[6][7]など、幅広い用途に利用されている。

情報検索においては、クエリ尤度モデル（英語版）において言語モデルが用いられる。この方法では、コレクション内のすべての文書に、個別の言語モデルが関連付けられている。そして各文書は、その文書の言語モデル ${\displaystyle M_{d}}$ に対するクエリ ${\displaystyle Q}$ の確率 ${\displaystyle P(Q\mid M_{d})}$ に基づいて順位付けされる。この目的のため一般に、ユニグラム（unigram）（英語版）言語モデルが利用される。

2018年以降、大規模言語モデル（LLM）が登場し、大きな発展がみられた。これらのモデルは、数十億個の学習可能なパラメータを持つディープ・ニューラルネットワークで構成され、ラベルなしテキストの膨大なデータセットで訓練される。LLMは、さまざまな自然言語処理タスクで目覚ましい成果を示し、研究の焦点が汎用的なLLMの使用へと移り変わっている^[8]。

n-gramモデル

n-gram言語モデルは、マルコフ過程に基づいて単語列をモデル化するものである。このモデルでは、単語列内の次の単語の確率が、先行する単語の固定サイズのウィンドウにのみ依存すると仮定することで単純化する。たとえば、bigramモデル先行するは1つの単語のみを考慮し、trigramモデルは先行する2つの単語を考慮し、n-gramモデルは先行するn-1単語を文脈として考慮する^[9]。

たとえば、bigram言語モデルは、「I saw the red house（赤い家が見えた）」という文の確率を次のようにモデル化する。

$${\displaystyle P({\text{I, saw, the, red, house}})\approx P({\text{I}}\mid \langle s\rangle )P({\text{saw}}\mid {\text{I}})P({\text{the}}\mid {\text{saw}})P({\text{red}}\mid {\text{the}})P({\text{house}}\mid {\text{red}})P(\langle /s\rangle \mid {\text{house}})}$$

${\displaystyle \langle s\rangle }$

${\displaystyle \langle /s\rangle }$

これらの条件付き確率は、テキストコーパスの一部分の頻度カウントに基づいて推定することができる。たとえば、${\displaystyle P({\text{saw}}\mid {\text{I}})}$ は、コーパス内での単語「I」に続いて「saw」が出現する割合として単純に推定できる。スパース性の問題（たとえば、コーパス内で「red house」というbigramの出現数がゼロの場合）は、特に大きなコンテキストウィンドウを使用する場合に、平滑化（英語版）手法によって基本的なマルコフモデルを修正する必要がある^[9]。

n-gramモデルは、最新のディープラーニング手法、特に最近では大規模言語モデルに取って代わられたため、自然言語処理の研究やアプリケーションで一般的に使用されることはなくなった^[要出典]。

指数関数モデル

最大エントロピー言語モデルでは、単語とn-gramの履歴との関係を符号化する特徴関数を使用する。言語モデルは次の式で表される。

$${\displaystyle P(w_{m}\mid w_{1},\ldots ,w_{m-1})={\frac {1}{Z(w_{1},\ldots ,w_{m-1})}}\exp(a^{T}f(w_{1},\ldots ,w_{m}))}$$

${\displaystyle Z(w_{1},\ldots ,w_{m-1})}$

${\displaystyle a}$

${\displaystyle f(w_{1},\ldots ,w_{m})}$

${\displaystyle a}$

ニューラルネットワーク

ニューラル言語モデルは、連続空間言語モデル（continuous space language models）とも呼ばれ、単語の連続的な表現または埋め込みを使用して予測を行う^[10]。これらのモデルでは、ニューラルネットワークが使用されている。

連続空間の埋め込みは、言語モデリングにおける「次元の呪い」^{[注釈 2]}を軽減するために有効な手法である。訓練に用いるテキストの大きさ応じて語彙に含まれる固有の単語数も増える。このため、単語列の可能な組みわせ数が指数関数的に増加することにより、データ疎性の問題が発生する。そのため、確率を適切に推定するためには統計が必要となる。この問題を回避するため、ニューラルネットワークでは単語の表現を分散させる手法をとり、ネットワーク内の重みの非線形な組み合わせとして表現する^[11]。また、ニューラルネットは言語関数を近似していると捉えることもできる。この目的に使用できるニューラルネットのアーキテクチャには、順伝播型と回帰型の2種類がある。前者は単純であるが、後者の方がより一般的である^{[要解説][要出典]}。

ニューラルネット言語モデルは一般に、語彙 ${\displaystyle V}$ のすべての単語 ${\displaystyle t}$ について確率分布

$${\displaystyle P(w_{t}\mid \mathrm {context} )\,\forall t\in V}$$

$${\displaystyle P(w_{t}\mid w_{t-k},\dots ,w_{t-1})}$$

$${\displaystyle P(w_{t}\mid w_{t-k},\dots ,w_{t-1},w_{t+1},\dots ,w_{t+k}).}$$

第3の選択肢は、skip-gram（英語版）と呼ばれる言語モデルである^[14]。これは先の問題を逆にして、与えられた単語から、文脈を出力するようにニューラルネットワークを訓練させるもので、CBOWよりも訓練に時間がかかるが、わずかに良い性能を得ることができる^[13]。その目標は、訓練用の単語列 ${\displaystyle w_{1},w_{2},w_{3},\dots ,w_{T}}$ が与えられたとき、平均対数確率

$${\displaystyle {\frac {1}{T}}\sum _{t=1}^{T}\sum _{-k\leq j\leq k,j\neq 0}\log P(w_{t+j}\mid w_{t})}$$

${\displaystyle w_{t}}$

$${\displaystyle v(\mathrm {king} )-v(\mathrm {male} )+v(\mathrm {female} )\approx v(\mathrm {queen} )}$$

その他

位置言語モデル（positional language model）は^[16]、テキスト内で特定の単語が、すぐに隣接していなくても、近くに出現する確率を評価するものである。同様に、bag-of-conceptsモデルは^[17]、「今日、私はとても素敵なクリスマスプレゼントをたくさん買った」のような情報量の多い文章でも、buy_christmas_present のような複数単語表現に関連付けて、そのセマンティクス（意味）を利用するものである。

手話のモデリングにおいては、ニューラルネットワークで一定の成功をあげているが^[18]、他の技術が必要であることを研究者は認識している。

Generative Spoken Language Model (GSLM) は音声を入力とした言語モデルである^{[19][20][21][22]}。文字列を入力として一切利用しない。音声は言語情報以外にパラ言語情報・非言語情報を含んでいるため、音声を入力とするGSLMが獲得する表現にはこれらの情報もコードされていると期待される^[23]。

言語モデルの品質は、通常、典型的な言語指向タスクを反映した、人間が作成したサンプルベンチマークとの比較によって評価される。あまり確立されていないが、言語モデルに固有の特性を調べたり、2つのモデルを比較する品質テストの方法もある。言語モデルは通常は動的であり、訓練で遭遇したデータから学習することを目的としているため、提案されたモデルの中には、学習曲線を調べることによって、学習速度を評価するものもある^[24]。

言語処理システムを評価するために、いくつかのデータセットが開発されており、次のようなものがある^[12]。

• 言語学的許容性コーパス（Corpus of Linguistic Acceptability、CoLA）^[25]
• GLUEベンチマーク（GLUE benchmark）^[26]
• マイクロソフトリサーチ・パラフレーズコーパス（Microsoft Research Paraphrase Corpus、MRPC）^[27]
• 多ジャンル自然言語推論（Multi-Genre Natural Language Inference、MultiNLI）
• 質問自然言語推論（Question Natural Language Inference、QNLI）
• Quora質問ペア（Quora Question Pairs、QQP）^[28]
• テキスト含意認識（Recognizing Textual Entailment、RTE）^[29]
• テキスト意味的類似度ベンチマーク（Semantic Textual Similarity Benchmark、STS）
• スタンフォード質問応答データセット（Stanford Question Answering Dataset、SQuAD）^[30]
• スタンフォードセンチメントツリーバンク（Stanford Sentiment Treebank、SST^[31]）
• Winograd NLI（WNLI）
• BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, MMLU (Measuring Massive Multitask Language Understanding), BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender, CrowS-Pairs.^[32] (LLaMa Benchmark)

GPT（Generative pre-trained transformer）のような現代の言語モデルは、特定のタスクにおいて人間に匹敵する能力を発揮するが、認知モデルとしての妥当性は不確かになっている。たとえば、回帰型ニューラルネットワークの場合、人間が学習しないパターンを学習したり、人間が学習するパターンを学習できずに失敗することが知られている^[33]。