提出统一评估量化模型效率的新指标，解决压缩-精度-延迟的权衡难题。
QuIDE: Mastering the Quantized Intelligence Trade-off via Active Optimization
- 用智能指数 I=(C×P)/log₂(T+1) 统一衡量量化模型的压缩、精度和延迟表现。
- 4比特适合简单任务和大语言模型，8比特是复杂卷积网络最优选择。
- 新增精度门控版本 I' 可识别不可行配置，避免误导搜索优化方向。
当前缺乏统一指标来评估量化神经网络的效率。本文提出 QuIDE，基于智能指数 I = (C × P)/log₂(T+1)，将压缩-精度-延迟的权衡转化为单一评分。在六种设置下（SimpleCNN 在 MNIST、CIFAR；ResNet-18 在 ImageNet-1K；Llama-3-8B）的实验表明存在任务依赖的帕累托最优拐点。4比特量化对 MNIST 和大型 LLM 表现最佳，而复杂 CNN 任务（如 ResNet-18 on ImageNet）中，4比特微调量化（PTQ）导致精度灾难性下降，此时 8比特为最优。精度门控变体 I' 能正确识别这些不可行配置，而原始指标 I 会错误奖励它们。QuIDE 提供可复现的评估协议和可用于混合精度搜索的即用型适应度函数。
原文摘要 · Abstract (English)
There is currently no unified metric for evaluating the efficiency of quantized neural networks. We propose QuIDE, built around the Intelligence Index I = (C x P)/log_2(T+1), which collapses the compression-accuracy-latency trade-off into a single score. Experiments across six settings -- SimpleCNN (MNIST, CIFAR), ResNet-18 (ImageNet-1K), and Llama-3-8B -- show a task-dependent Pareto Knee. 4-bit quantization is optimal for MNIST and large LLMs, while 8-bit is the sweet spot for complex CNN tasks (ResNet-18 on ImageNet), where 4-bit PTQ collapses accuracy catastrophically. The accuracy-gated variant I' correctly flags these non-viable configurations that the raw I would reward. QuIDE provides a reproducible evaluation protocol and a ready-to-use fitness function for mixed-precision search.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。