从贝叶斯视角评估大模型函数拟合能力，发现其依赖先验知识而非原始数据模式。
On Evaluating LLMs' Capabilities as Functional Approximators: A Bayesian Perspective
- 基于贝叶斯函数建模框架，系统评估大模型的函数拟合能力。
- 大模型在原始数据模式识别上表现较弱，但擅长利用领域先验知识。
- 适用于理解大模型在函数建模中的优势与局限，适合研究者参考。
近期研究已成功将大型语言模型（LLMs）应用于函数建模任务。然而，这种成功的内在原因仍不明确。本文提出一种新的评估框架，全面衡量LLMs的函数建模能力。通过采用函数建模的贝叶斯视角，我们发现LLMs在理解原始数据中的模式方面相对薄弱，但在利用领域先验知识以构建对底层函数的强理解方面表现出色。这些发现为理解LLMs在函数建模中的优势与局限提供了新视角。
原文摘要 · Abstract (English)
Recent works have successfully applied Large Language Models (LLMs) to function modeling tasks. However, the reasons behind this success remain unclear. In this work, we propose a new evaluation framework to comprehensively assess LLMs' function modeling abilities. By adopting a Bayesian perspective of function modeling, we discover that LLMs are relatively weak in understanding patterns in raw data, but excel at utilizing prior knowledge about the domain to develop a strong understanding of the underlying function. Our findings offer new insights about the strengths and limitations of LLMs in the context of function modeling.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。