所以现在这将对推断有意义,我们在 H200s 上几乎无法适应量化的 Q8 Qwen Coder 3 和 Kimi K2 实例。Kimi K2 @ Q8 甚至没有为上下文留出 kv 缓存的空间。这些模型能否适应一个单独的 8xB200 实例?可能,我们这周会尝试。

LL-1.36%
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 6
  • 分享
评论
0/400
ResearchChadButBrokevip
· 07-30 07:23
谁懂kv缓存真是烦死了
回复0
DeFi老韭菜vip
· 07-28 15:52
量化炼丹挺费事儿
回复0
NonFungibleDegenvip
· 07-27 12:20
这些配置真的不行 fr fr
查看原文回复0
FlippedSignalvip
· 07-27 12:18
这 Q8 也太垃圾了吧
回复0
NotGonnaMakeItvip
· 07-27 12:06
这优化不行啊根本带不动
回复0
钱包自毁专家vip
· 07-27 11:56
内存爆了吧兄弟
回复0
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)