用数学方法提升Transformer对有限自动机的模拟效率

Partial Answer of How Transformers Learn Automata

• 基于群论的半直积与傅里叶模块构建新框架
• 实现更高效的Transformer自动机模拟
• 适合研究模型表征与形式语言的学者

我们提出一种利用表示论中的半直积和傅里叶模块模拟有限自动机的新框架，实现了更高效的基于Transformer的自动机实现。该方法通过代数结构建模状态转移，显著提升了模型在处理形式语言任务时的计算效率与表达能力。

原文摘要 · Abstract (English)

We introduce a novel framework for simulating finite automata using representation-theoretic semidirect products and Fourier modules, achieving more efficient Transformer-based implementations.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。