开发首个自动评估巴斯克语写作是否达到C1水平的工具
Euskarazko lehen C1 ebaluatzaile automatikoa
- 基于1万份转录作文数据，结合EDA、SCL等技术缓解数据不足和过拟合
- 测试多种语言模型表现，验证系统在不同场景下的稳定性与准确性
- 适合语言评估研究者及多语种教育技术开发者参考
本项目旨在开发一个自动评估巴斯克语写作是否达到C1水平的系统。为实现目标，通过HABE与HiTZ的合作协议获取了10,000份转录作文用于训练。为应对数据稀缺和模型过拟合问题，采用了EDA、SCL及正则化等多种技术。同时，对多种语言模型进行了测试以分析其行为表现。最后，还对不同系统的运行特性进行了分析，用以衡量模型校准效果及人工制品的影响。
原文摘要 · Abstract (English)
Throughout this project, we have attempted to develop an automatic evaluator that determines whether Basque language compositions meet the C1 level. To achieve our goal, we obtained 10,000 transcribed compositions through an agreement between HABE and HiTZ to train our system. We have developed different techniques to avoid data scarcity and system overfitting: EDA, SCL and regulation; We have also conducted tests with different Language Models to analyze their behavior. Finally, we have also performed analyses of different system behaviors to measure model calibration and the impact of artifacts. -- Proiektu honetan zehar euskarazko idazlanek C1 maila duten edo ez zehazten duen ebaluatzaile automatiko bat garatzen saiatu gara. Gure helburua betetzeko HABE eta HiTZ arteko hitzarmenaren bitartez 10.000 transkribatutako idazlan eskuratu ditugu gure sistema entrenatzeko. Datu eskasia eta sistemaren gaindoitzea ekiditeko teknika ezberdinak landu ditugu: EDA, SCL eta erregulazioa; Hizkuntza Eredu ezberdinekin ere probak egin ditugu duten portaera aztertzeko. Azkenik, sistema ezberdinen portaeren analisiak ere egin ditugu, ereduen kalibrazioa eta artefaktuen eragina neurtzeko.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。