サンプリング手法も処理速度が向上している。従来のLLMは1トークンずつ順番に生成する「自己回帰型の逐次サンプリング」を採用するので、トークン数に比例してレイテンシが増加する。一方、Jevは出力構造が事前に確定している「並列サンプラー」を採用し、1回のクエリで全ての出力を並列に一括生成する。
Worker move goods for despatch in a redistribution centre of US online retail giant Amazon in Horn-Bad Meinberg, western Germany, on December 9, 2024. INA FASSBENDER/AFP via Getty Images Cloudflare's ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する