Итак, теперь, где это будет иметь смысл для вывода, мы едва помещаем количественно квантованные Q8 Qwen Coder 3 и Kimi K2 на наши H200. Kimi K2 @ Q8 не оставил места для кеша kv для контекста. Могут ли эти модели поместиться на одном экземпляре 8xB200? Вероятно, мы попробуем на этой неделе.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
16 Лайков
Награда
16
4
Поделиться
комментарий
0/400
NonFungibleDegen
· 3ч назад
ngmi с этой спецификацией fr fr
Посмотреть ОригиналОтветить0
FlippedSignal
· 3ч назад
Этот Q8 слишком плохой.
Посмотреть ОригиналОтветить0
NotGonnaMakeIt
· 3ч назад
Эта оптимизация не работает, она вообще не может справиться.
Итак, теперь, где это будет иметь смысл для вывода, мы едва помещаем количественно квантованные Q8 Qwen Coder 3 и Kimi K2 на наши H200. Kimi K2 @ Q8 не оставил места для кеша kv для контекста. Могут ли эти модели поместиться на одном экземпляре 8xB200? Вероятно, мы попробуем на этой неделе.