今、これが推論においてどのように意味を持つかというと、私たちはH200上で量子化されたQ8 Qwen Coder 3とKimi K2インスタンスをかろうじて収めました。Kimi K2 @ Q8はコンテキストのためのkvキャッシュの余地を全く残しませんでした。これらのモデルは単一の8xB200インスタンスに収まるでしょうか？おそらく、今週試してみます。