英伟达推出Llama Nemotron Nano VL视觉 – 语言模型，适用于文档级理解任务

6月4日，英伟达推出Llama Nemotron Nano VL视觉-语言模型，专为高效精准处理文档级理解任务打造。该模型基于Llama 3.1架构，融合多种技术，训练过程严谨，在相关基准测试中表现出色，部署方式灵活多样，为企业应用提供了实用解决方案。

模型架构与特性

Llama Nemotron Nano VL基于Llama 3.1架构，融合了CRadioV2-H视觉编码器和Llama 3.1 8B指令微调语言模型。它具备同时处理多页文档中视觉和文本元素的能力，支持最长16K的上下文长度，覆盖图像和文本序列。通过投影层和旋转位置编码实现视觉-文本对齐，优化了token效率，尤其适合长篇多模态任务，无论是多图像输入还是复杂文本解析都能应对自如。

模型训练过程

该模型的训练分为三个阶段。首先，利用商业图像和视频数据集进行交错式图文预训练；其次，通过多模态指令微调提升交互式提示能力；最后，重新混合纯文本指令数据以优化在标准语言模型基准上的表现。训练采用英伟达的Megatron-LLM框架和Energon数据加载器，依托A100和H100 GPU集群完成。

模型性能表现

在OCRBench v2基准测试中，Llama Nemotron Nano VL在OCR、表格解析和图表推理等任务上取得领先精度。尤其在结构化数据提取（如表格和键值对）及布局相关问题解答中表现突出，媲美更大规模模型。

模型部署方式

Llama Nemotron Nano VL设计灵活，支持服务器和边缘推理场景。英伟达提供了4-bit量化版本（AWQ），结合TinyChat和TensorRT-LLM实现高效推理，兼容Jetson Orin等受限环境。模型还支持Modular NIM（NVIDIA推理微服务）、ONNX和TensorRT导出，此外英伟达通过预计算视觉嵌入选项，进一步降低静态图像文档处理的延迟，为企业应用提供了实用解决方案。