AIを最大9.64倍高速化する投機的デコーディング手法「JetSpec」が開発される

カリフォルニア大学サンディエゴ校のAIラボであるHao AI Labが「JetSpec」と呼ばれる投機的デコーディング手法を開発しました。