测试大模型能否像人一样破译音符编码的隐秘语言

CyrillicQA: The Influence of Phonetically Encoded Secret Language on LLM Performance

• 用音符编码模拟隐秘语言，测试LLM的解码能力
• 模型在音符转写任务中准确率低于人类水平
• 适合对语言保护与模型认知能力感兴趣的读者

由于训练数据的选择，大型语言模型（LLMs）在使用拉丁字母且使用者众多的标准语言输入上表现最佳，而对其他语言变体则存在劣势。然而，它们也可成为保护这些濒危语言的有力工具。但它们是否具备足够的创造力和抽象能力，像人类一样解码音符编码的语言？本研究通过构建音符编码的隐秘语言，评估LLM在解码任务中的表现，结果表明其解码能力虽有一定潜力，但整体准确率仍显著低于人类水平，提示当前模型在语义抽象与符号转换方面仍有局限。

原文摘要 · Abstract (English)

Due to the selection of their training data, large language models (LLMs) perform best on standard-language inputs from languages using the Latin alphabet with large speaker populations, while disadvantaging other language varieties. Nevertheless, they can also be a versatile tool for preserving precisely such endangered languages. But do they also possess the necessary creativity and capacity for abstraction to decode phonetically encoded language the same way humans do?

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。