Así que ahora, donde esto tendrá sentido para la inferencia, apenas encajamos los codificadores Q8 Qwen Coder 3 y Kimi K2 en nuestros H200. Kimi K2 @ Q8 no dejó espacio para un caché kv para el contexto. ¿Podrían estos modelos caber en una sola instancia de 8xB200? Probablemente, lo intentaremos esta semana.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
16 me gusta
Recompensa
16
4
Compartir
Comentar
0/400
NonFungibleDegen
· hace3h
ngmi con estas especificaciones fr fr
Ver originalesResponder0
FlippedSignal
· hace3h
Este Q8 es una basura total.
Ver originalesResponder0
NotGonnaMakeIt
· hace3h
Esta optimización no funciona, no puede llevarlo en absoluto.
Así que ahora, donde esto tendrá sentido para la inferencia, apenas encajamos los codificadores Q8 Qwen Coder 3 y Kimi K2 en nuestros H200. Kimi K2 @ Q8 no dejó espacio para un caché kv para el contexto. ¿Podrían estos modelos caber en una sola instancia de 8xB200? Probablemente, lo intentaremos esta semana.