首个专精拉丁美洲网络安全的10亿级多模态模型，支持西班牙语推理与工具调用。
VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use
- 采用冻结视觉编码器+10亿参数西班牙语解码器，通过MLP连接实现跨模态理解。
- 在14,596个问答对上测试，工具识别准确率仅0.08（原始版），但支持结构化推理与本地部署。
- 首次引入三类位置编码变体实验，开源完整代码与权重，推动该方向研究进展。
我们提出VectraYX-Vision-1B，一个子20亿参数的视觉语言模型（VLM），专用于西班牙语/拉美地区网络安全图像，将冻结的SigLIP-so400m编码器与1.04B参数的西班牙语安全解码器通过MLP连接。据我们所知，它是首个针对网络界面（IDA、Ghidra、Wireshark、Nmap、Metasploit、Volatility）的子20亿级VLM，能以西班牙语回答问题，通过原生<|think|>标记输出结构化推理，利用模型上下文协议<|tool_call|>调用工具，并导出为llama.cpp的LLaVA mmproj格式，支持离线部署。初步视觉定位结果显示：尽管管道功能正常，当前视觉微调（400-1900步，约1600万词元）导致工具识别得分接近零（0.08），忽略图像内容。我们提出改进方案（更长微调、≥60%重播、更低学习率），并揭示一个检查点加载器缺陷（未剥离llm前缀）伪装成训练崩溃。关键的是，我们引入三类消融实验矩阵（V0: 每4层无位置编码，V1: 全RoPE，V2: 无位置编码+学习型2D位置），探究周期性无位置编码（NoPE）层对729词元视觉块注意力的影响。代码、配置与权重已发布，以确立该架构问题的研究优先权。提供文本骨干模型的B1-B5评估、文本控制分析、初步的B6/B7得分、耗时数据、CPU上的GGUF效率，以及覆盖10个领域的14,596个问答对语料库。所有模型和训练轨迹均开源：jsantillana/vectrayx-1b、jsantillana/vectrayx-vision-1b、jsantillana/vectrayx-vision-1b-checks。
原文摘要 · Abstract (English)
We present VectraYX-Vision-1B, a sub-2B vision-language model (VLM) for Spanish/LATAM cybersecurity imagery, coupling a frozen SigLIP-so400m encoder to a 1.04B Spanish/LATAM security decoder via an MLP. To our knowledge, it is the first sub-2B VLM specialized for cyber UI (IDA, Ghidra, Wireshark, Nmap, Metasploit, Volatility) that answers in Spanish, emits structured reasoning via native <|think|> tokens, invokes tools via Model Context Protocol (<|tool_call|>), and exports to llama.cpp's LLaVA mmproj format for air-gapped deployment. We report a negative preliminary visual-grounding result: despite fully functional pipelines, the current vision SFT (400-1900 steps, ~16M tokens) yields near-zero B6 scores (0.08 tool-identification), ignoring image content. We specify remediation (longer SFT, >=60% replay, lower LR) and expose a checkpoint-loader bug (unstripped llm. prefix) masquerading as training collapse. Crucially, we introduce a 3-variant ablation matrix (V0: NoPE-every-4, V1: all-RoPE, V2: NoPE+learned 2D) to study if periodic no-positional-encoding (NoPE) layers help or hurt attention over the 729-token visual block. Code, configs, and weights are released to establish priority on this architectural question. We provide B1-B5 for the text backbone, text controls, preliminary B6/B7 scores, wall times, GGUF efficiency on CPU, and a corpus of 14,596 QA pairs across 10 domains. We open-source all models and trajectories: jsantillana/vectrayx-1b, jsantillana/vectrayx-vision-1b, and jsantillana/vectrayx-vision-1b-checks.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。