arXiv:2504.20049cs.CL2025-04被引 4

测试大模型对西班牙语七种方言的辨识能力,发现只有GPT-4o能真正区分差异。

It's the same but not the same: Do LLMs distinguish Spanish varieties?

  • 用多选题测试九个大模型对七种西班牙语方言的识别能力
  • 所有模型中,西班牙本土变体识别准确率最高,达92%
  • GPT-4o是唯一能有效区分方言差异的模型

近年来,大型语言模型(LLMs)在理解和生成西班牙语文本方面表现出色。然而,西班牙语拥有五亿母语者,其方言在跨大西洋地区存在显著的地域差异。为此,本研究通过多选题测试评估了九个语言模型对七种西班牙语变体(安第斯、加勒比、大陆加勒比、智利、半岛、墨西哥、中美洲和里奥普拉塔诺)的形态句法与词汇特征的识别能力。结果表明,所有模型中,半岛西班牙语的识别准确率最高,而其中仅GPT-4o能够有效识别西班牙语的多样性差异。

原文摘要 · Abstract (English)

In recent years, large language models (LLMs) have demonstrated a high capacity for understanding and generating text in Spanish. However, with five hundred million native speakers, Spanish is not a homogeneous language but rather one rich in diatopic variations spanning both sides of the Atlantic. For this reason, in this study, we evaluate the ability of nine language models to identify and distinguish the morphosyntactic and lexical peculiarities of seven varieties of Spanish (Andean, Antillean, Continental Caribbean, Chilean, Peninsular, Mexican and Central American and Rioplatense) through a multiple-choice test. The results indicate that the Peninsular Spanish variety is the best identified by all models and that, among them, GPT-4o is the only model capable of recognizing the variability of the Spanish language. -- En los últimos años, los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) han demostrado una alta capacidad para comprender y generar texto en español. Sin embargo, con quinientos millones de hablantes nativos, la española no es una lengua homogénea, sino rica en variedades diatópicas que se extienden a ambos lados del Atlántico. Por todo ello, evaluamos en este trabajo la capacidad de nueve modelos de lenguaje de identificar y discernir las peculiaridades morfosintácticas y léxicas de siete variedades de español (andino, antillano, caribeño continental, chileno, español peninsular, mexicano y centroamericano y rioplatense) mediante un test de respuesta múltiple. Los resultados obtenidos indican que la variedad de español peninsular es la mejor identificada por todos los modelos y que, de entre todos, GPT-4o es el único modelo capaz de identificar la variabilidad de la lengua española.

大模型西班牙语方言识别NLP

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。