代理目标优化可能误导决策，需警惕其潜在危害

Against Proxy Optimization

• 分析代理效用最大化导致错误决策的条件
• 指出该问题对决策理论应用构成挑战
• 适合关注决策可靠性与模型对齐的研究者

本文探讨在何种条件下最大化代理效用函数会带来负面影响，并指出这为决策理论的应用带来了问题。当代理目标与真实目标不一致时，优化过程可能产生有害结果，尤其在高阶决策场景中风险更高。研究强调需谨慎评估代理目标的有效性，避免因局部优化而忽视全局后果。该讨论对强化学习、人工智能对齐等领域具有警示意义。

原文摘要 · Abstract (English)

I discuss conditions under which maximizing a proxy utility function is harmful and suggest this poses problems for applying decision theory.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。