9月1日，腾讯研究院发布AI速递，宣布混元Hy4 preview量化轻量版正式开源。将原1.5TB权重压缩至214GB，大幅降低运行这一AI大模型的硬件门槛。
采用腾讯自研Sherry稀疏三值量化技术，四个权重一组编码为5比特，平均1.25比特，并以混合精度逐层分配，主流评测与BF16原版差距在一两分以内。
在4090笔记本加四卡A4000的异构联合推理下可达1.02 token/s，适配英伟达、华为、海光等平台。
一句话总结：国产AI大模型开源再提速，端侧部署门槛大幅降低。
AI 生成 | 搜索综合