ビームサーチ デコーディング is a ヒューリスティック探索 algorithm commonly used in 自然言語処理 (NLP) and 機械翻訳 to generate sequences of outputs, such as sentences or translations. Unlike exhaustive search methods that explore all possible sequences, beam search balances efficiency and accuracy by maintaining a fixed number of the best candidates at each step, known as the ‘beam width’.
アルゴリズムは初期状態から始まります 初期状態 and iteratively expands candidates by considering possible next steps. At each iteration, it evaluates all potential continuations of the current sequences and keeps only the top ‘k’ sequences based on their likelihood scores, where ‘k’ is the beam width. This process continues until a stopping criterion is met, such as generating a specific token denoting the end of the sequence.
ビームサーチの主な利点は、完全探索法に比べて計算負荷を軽減しながらも、堅牢で関連性の高い出力シーケンスを提供できる点です。ただし、いくつかの制限もあります。ビーム幅が狭すぎると最適なシーケンスを見逃す可能性があり、逆に広すぎると計算量が増加し、出力の質に大きな改善が見られないこともあります。したがって、パフォーマンスと効率のバランスを取るために適切なビーム幅の選択が重要です。
ビームサーチは、さまざまなAIアプリケーションで広く利用されています。例えば 音声認識, text generation, and machine translation, where generating coherent and contextually relevant sequences is critical.