用狄利克雷过程建模奖励分布，实现更灵活的强化学习决策。
Leveraging priors on distribution functions for multi-arm bandits
- 基于狄利克雷过程直接建模每条臂的奖励分布，无需预设参数形式。
- 在合成与真实场景中表现优异，且在非信息极限下退化为经典非参数算法。
- 理论证明其贝叶斯后悔率具有非渐近最优性，适合追求理论保障的研究者。
我们提出狄利克雷过程后验采样（DPPS），一种基于狄利克雷过程（DP）先验的贝叶斯非参数多臂老虎机算法。与汤普森采样类似，DPPS 是一种概率匹配算法，根据各臂成为最优臂的后验概率进行选择。不同于传统方法对奖励分布参数施加先验，DPPS 直接使用狄利克雷过程对每条臂的奖励生成分布建模。该方法提供了一种合理融入对老虎机环境先验信念的框架，在狄利克雷过程后验的非信息极限下（即贝叶斯自助法），可恢复为流行的非参数汤普森采样（NPTS）作为特例。我们采用狄利克雷过程的棒破表示，并在具有挑战性的合成和真实世界老虎机环境中展示了 DPPS 的出色实证性能。最后，通过信息论分析，证明了 DPPS 在贝叶斯后悔设定下的非渐近最优性。
原文摘要 · Abstract (English)
We introduce Dirichlet Process Posterior Sampling (DPPS), a Bayesian non-parametric algorithm for multi-arm bandits based on Dirichlet Process (DP) priors. Like Thompson-sampling, DPPS is a probability-matching algorithm, i.e., it plays an arm based on its posterior-probability of being optimal. Instead of assuming a parametric class for the reward generating distribution of each arm, and then putting a prior on the parameters, in DPPS the reward generating distribution is directly modeled using DP priors. DPPS provides a principled approach to incorporate prior belief about the bandit environment, and in the noninformative limit of the DP posteriors (i.e. Bayesian Bootstrap), we recover Non Parametric Thompson Sampling (NPTS), a popular non-parametric bandit algorithm, as a special case of DPPS. We employ stick-breaking representation of the DP priors, and show excellent empirical performance of DPPS in challenging synthetic and real world bandit environments. Finally, using an information-theoretic analysis, we show non-asymptotic optimality of DPPS in the Bayesian regret setup.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。