Vậy bây giờ điều này sẽ có ý nghĩa cho suy luận, chúng tôi hầu như không thể vừa đủ cho các instance Q8 Qwen Coder 3 và Kimi K2 trên H200s của chúng tôi. Kimi K2 @ Q8 không để lại không gian cho một kv cache cho ngữ cảnh. Liệu những mô hình này có vừa trên một instance 8xB200 không? Có lẽ, chúng tôi sẽ thử trong tuần này.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
16 thích
Phần thưởng
16
4
Chia sẻ
Bình luận
0/400
NonFungibleDegen
· 3giờ trước
ngmi với những thông số này fr fr
Xem bản gốcTrả lời0
FlippedSignal
· 3giờ trước
Cái Q8 này quá tệ rồi.
Xem bản gốcTrả lời0
NotGonnaMakeIt
· 3giờ trước
Tối ưu hóa này không được, hoàn toàn không kéo nổi.
Vậy bây giờ điều này sẽ có ý nghĩa cho suy luận, chúng tôi hầu như không thể vừa đủ cho các instance Q8 Qwen Coder 3 và Kimi K2 trên H200s của chúng tôi. Kimi K2 @ Q8 không để lại không gian cho một kv cache cho ngữ cảnh. Liệu những mô hình này có vừa trên một instance 8xB200 không? Có lẽ, chúng tôi sẽ thử trong tuần này.