提出无需依赖输入长度的三层统一Transformer，识别奇偶语言

A completely uniform transformer for parity

• 设计不依赖输入长度的参数矩阵与位置编码的三层数变换器
• 在奇偶语言识别任务中实现2层结构的改进，保持常数维度
• 适合关注模型泛化与架构简洁性的研究人员

我们构建了一个三层常数维度的Transformer，用于识别奇偶语言，其中参数矩阵和位置编码均不依赖于输入长度。这一构造优于Chiang和Cholak提出的两层结构，后者虽有较简架构但使用了依赖输入长度的位置编码。

原文摘要 · Abstract (English)

We construct a 3-layer constant-dimension transformer, recognizing the parity language, where neither parameter matrices nor the positional encoding depend on the input length. This improves upon a construction of Chiang and Cholak who use a positional encoding, depending on the input length (but their construction has 2 layers).

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。