LocateAnything – 英伟达推出的视觉语言定位模型

1. LocateAnything是什么

LocateAnything是英伟达（NVIDIA）推出的视觉语言定位模型，基于并行框解码（PBD）技术，用户输入自然语言即可在图像中精准框选目标。该模型以3B参数量实现了多目标检测、GUI元素定位、OCR文本检测和点级指向等多样化任务，在单张H100 GPU上推理速度达到12.7 BPS（边界框每秒），较Qwen3-VL快约10倍，在LVIS、M6Doc、ScreenSpot-Pro、DocLayNet等多个基准上取得最佳性能（SOTA），适用于机器人、文档智能与自动驾驶等场景。

技术定位与领域： LocateAnything属于视觉语言定位（Visual Grounding）与开放词汇目标检测的交叉领域。其独特之处在于将传统的序列化坐标生成（逐token解码）彻底重构为并行框解码（PBD），每个边界框或点被视为原子单元，在单次前向传播中同时预测所有坐标，从而在保持高精度的同时将推理速度提升一个数量级。该模型定位为通用视觉定位基座，单一权重即可覆盖指代表达定位、密集检测、OCR、布局分析、GUI交互等多种任务，无需为不同场景切换专用模型。

研发背景： 该模型由英伟达研究实验室（NVIDIA Research）开发，团队在视觉-语言模型、高效推理架构方面有深厚积累。研发动机源于现有视觉定位模型推理速度慢、任务覆盖窄的痛点：传统方法如Rex-Omni、Qwen3-VL采用串行或混合解码，在密集检测场景下延迟过高，难以满足机器人实时感知、自动驾驶等对低延迟的苛刻要求。LocateAnything通过并行解码架构从根本上突破了这一瓶颈。

核心价值： LocateAnything解决了视觉定位领域“精度与速度不可兼得”的长期矛盾。在LVIS基准上F1@Mean达到50.7，COCO上54.7，Dense200上58.7，均超越现有模型；同时推理速度比Qwen3-VL快10倍、比Rex-Omni快2.5倍。此外，单一模型统一检测、定位、OCR、GUI、布局等任务，显著降低了部署和维护成本。通过la_flash运行时优化，显存峰值可从35GB降至11GB，使A100等消费级GPU也能高效运行。

技术特点： 核心创新是并行框解码（PBD），将每个边界框视为原子单元并行预测，保留框内坐标的几何耦合关系，避免串行生成导致的结构畸形。模型采用Moon-ViT视觉编码器提取原生分辨率特征，经双层MLP投影器映射后输入Qwen2.5语言解码器，输出结构化结果。混合推理模式默认使用快速并行模式（MTP），遇到格式异常或空间歧义时自动无缝回退到稳定串行模式（NTP），并支持纠正性重解码，确保鲁棒性。

2. 主要功能

• 指代表达定位： 用户输入自然语言描述（如“红色汽车”），模型在图像中精准框选对应目标。基于并行框解码，模型可在单次前向传播中同时输出多个候选框，并通过语义匹配筛选最优结果，适用于人机交互、视觉问答等场景。

• 多目标密集检测： 支持同时检测图像中的多个物体类别，输出密集的边界框集合。在Dense200基准上F1@Mean达58.7，显著优于同类模型。该能力对自动驾驶（同时检测车辆、行人、交通标志）和零售场景（货架商品识别）至关重要。

• GUI元素定位： 可识别并定位界面中的按钮、输入框、图标等交互元素，支持点级输出（设置output_type="point"）。在ScreenSpot-Pro基准上达到SOTA，可用于自动化测试、RPA流程和UI智能代理，减少人工标注工作量。

• 文本检测与OCR： 定位图像中的文字区域，支持文档、场景文字和表格结构识别。在TotalText基准上F1达43.3，M6Doc上70.1，DocLayNet上76.8。该功能可无缝集成到文档智能处理流水线中，自动提取标题、段落、表格等结构化元素。

• 点级定位： 支持输出精确的单点坐标（x, y）用于细粒度指向任务，如机器人抓取点定位、界面元素点击坐标。通过point()方法调用，模型根据语言描述直接输出像素级坐标，精度满足工业级需求。

• 混合推理模式： 默认使用快速并行模式最大化吞吐量，当并行解码检测到框结构畸形或坐标冲突时，自动丢弃问题块并回退到已验证前缀，通过串行模式重新生成修正。该机制在保证速度的同时避免了坐标错乱，使模型在复杂场景下依然可靠。

3. 如何使用

1. 环境准备： 从GitHub克隆Eagle仓库（（链接待官方发布后更新） install -e .完成依赖安装。推荐使用Python 3.10+，PyTorch 2.0+，CUDA 11.8以上环境。硬件方面，建议至少16GB显存的GPU（如RTX 4090、A100、H100），低显存配置可通过la_flash`运行时优化。

2. 模型加载： 导入LocateAnythingWorker类并实例化，从Hugging Face加载预训练权重nvidia/LocateAnything-3B。示例代码：

   from LocateAnything import LocateAnythingWorker
   model = LocateAnythingWorker.from_pretrained("nvidia/LocateAnything-3B")
   

   首次加载会自动下载约6GB的模型权重。

3. 目标检测： 调用detect()方法，传入图像（PIL或numpy数组）和类别名称列表（如["person", "car"]），模型返回所有匹配目标的边界框坐标（格式为[x1, y1, x2, y2]，范围0-1000）。适用于标准开放词汇检测任务。

4. 短语定位： 使用ground_multi()方法输入图像和描述文本（如"people wearing red shirts"），定位符合语义描述的特定目标。可同时传入多个描述，模型并行处理。结果通过<box>标签返回整数坐标，需除以1000映射到原始图像像素。

5. 文本检测： 调用detect_text()方法，模型自动识别图像中的文字区域并输出对应的边界框集合。无需额外配置即可处理文档、场景文字和表格结构。

6. GUI定位： 通过ground_gui()方法定位界面元素，设置output_type="point"可输出点坐标而非边界框。适用于UI自动化测试和RPA流程中的元素点击操作。

7. 点级指向： 使用point()方法输入图像和描述，获取指定目标的精确单点坐标用于细粒度指向任务。返回的坐标可直接用于机器人抓取或界面交互。

8. 批量推理： 配置la_flash运行时并将batch_utils/加入PYTHONPATH，调用detect_batch()同时处理多组图像-查询对。显存优化后可同时处理数十组数据，吞吐量进一步提升。

9. 结果解析： 提取输出中<box>标签内的整数坐标（范围0-1000），除以1000后映射到原始图像的宽高像素值。注意坐标遵循[x1, y1, x2, y2]格式，原点为图像左上角。

10. 微调适配： 准备JSONL数据配方（每行包含图像路径、描述和标注框），使用torchrun启动全量微调脚本，或运行LoRA脚本冻结主干仅训练投影器与低秩适配层。LoRA训练可在单卡RTX 4090上完成，显存需求约12GB。

4. 优缺点分析

5. 同类工具对比

选型建议： 若追求极致推理速度和多任务统一能力，且硬件条件允许（A100/H100），LocateAnything是当前最优选择，尤其适合机器人实时感知、自动驾驶和文档智能流水线。若硬件资源有限（如RTX 4090），但需兼顾中文场景和VQA能力，Qwen3-VL因其7B参数和中文优化更具优势，但速度较慢。若仅需开放词汇检测且对速度要求不高，Grounding DINO凭借轻量级架构和成熟社区仍是可靠选择。对于GUI自动化测试场景，LocateAnything的点级输出和ScreenSpot-Pro SOTA表现使其成为首选。

6. 编辑点评

LocateAnything在视觉语言定位领域实现了架构级别的突破。其并行框解码（PBD）从根本上改变了传统模型逐token生成坐标的低效模式，将每个边界框视为独立原子并行预测，不仅大幅提升推理速度（12.7 BPS），还通过保留框内坐标的几何耦合关系避免了串行生成常见的结构畸形。这种设计思路类似于NLP中从RNN到Transformer的范式转变，对实时性要求高的应用场景（机器人、自动驾驶）具有里程碑意义。

从实用价值看，单一模型覆盖检测、定位、GUI、OCR、布局等多任务，显著降低了部署复杂度和运维成本。在LVIS、DocLayNet等基准上的全面SOTA表现，证明了其精度并未因追求速度而妥协。显存优化技术（la_flash）使A100等数据中心GPU也能高效运行，进一步降低了硬件门槛。

然而，模型对NVIDIA GPU的强依赖限制了其跨平台应用，中文场景的弱项也需要用户额外微调。3B参数量在边缘设备部署上仍有挑战。总体而言，LocateAnything是当前视觉定位领域速度与精度的最佳平衡点，特别适合需要高吞吐量、低延迟的工业级应用。

适用人群： 机器人工程师、自动驾驶感知团队、文档智能开发者、UI自动化测试工程师、AI研究学者。

发展潜力： 未来若支持更多硬件平台（AMD、Apple Silicon）、扩展中文支持、推出更小蒸馏版本（1B以下），有望成为视觉定位领域的通用基座模型。

7. 应用场景

• 具身智能与机器人： 机器人通过自然语言指令定位操作目标（如“拿起蓝色杯子”），LocateAnything以12.7 BPS的推理速度实时输出边界框或抓取点坐标，满足机械臂抓取、移动机器人导航等低延迟需求。点级定位功能可直接输出精确抓取点，减少后处理步骤。

• 文档智能处理： 自动识别并框选文档中的标题、表格、段落、印章、签名等结构化元素。在DocLayNet上76.8的F1精度可支撑发票识别、合同分析、档案数字化等业务，配合OCR文本检测实现完整文档理解流水线。

• GUI自动化测试： 定位界面中的按钮、输入框、图标，支持点级输出坐标，用于自动化测试脚本和RPA流程。例如，输入“点击登录按钮”，模型返回按钮坐标，测试框架直接执行点击操作，无需依赖传统UI树解析。

• 自动驾驶感知： 在街景图像中密集检测车辆、行人、交通标志，输出精准边界框。多目标密集检测能力（Dense200 F1 58.7）可同时处理数十个目标，结合12.7 BPS的推理速度，满足实时感知系统的帧率要求。

• 零售与仓储： 通过描述（如“第二层货架上的红色包装薯片”）快速定位货架上的特定商品或仓库中的目标包裹。模型可处理密集堆叠场景，输出边界框供机械臂或分拣系统使用，提升自动化效率。

8. 常见问题FAQ

Q：LocateAnything需要多大的显存才能运行？
A：未优化时峰值显存约35GB（单张图像+密集检测），通过la_flash运行时优化可降至约11GB。推荐使用至少16GB显存的GPU（如RTX 4090、A100、H100）。若显存不足，可尝试降低输入图像分辨率或减少同时检测的类别数。

Q：模型支持中文输入吗？
A：语言解码器基于Qwen2.5，理论上支持中文，但训练数据以英文为主，中文短语定位的准确率可能低于英文。建议用户使用中文数据对投影器和低秩适配层进行LoRA微调，以提升中文场景表现。

Q：如何微调模型以适应特定领域？
A：准备JSONL格式数据集（每行包含图像路径、描述文本和标注框坐标），使用torchrun启动全量微调脚本，或运行LoRA脚本冻结视觉编码器和语言解码器主干，仅训练投影器与低秩适配层。LoRA训练可在单卡RTX 4090上完成，显存需求约12GB。

Q：LocateAnything与Grounding DINO相比有什么优势？
A：LocateAnything在推理速度上快约6倍（12.7 BPS vs ~2.0 BPS），任务覆盖更广（除检测外还支持GUI定位、OCR、点级指向），且精度在多个基准上领先。但Grounding DINO模型更轻量（1.2B），对硬件要求更低，适合资源受限场景。

Q：能否在非NVIDIA GPU上运行？
A：目前仅支持NVIDIA GPU（需CUDA），依赖特定优化库（如la_flash）。在AMD GPU或Apple Silicon上无法直接运行，需等待官方跨平台支持或通过ONNX转换（但精度和速度可能下降）。

Q：模型的输出坐标如何映射到原始图像？
A：模型输出坐标范围为0-1000，表示相对坐标。将坐标除以1000后乘以原始图像的宽高像素值即可得到实际像素坐标。例如，输出[200, 300, 500, 600]，若图像宽1920高1080，则实际框为(384, 324)到(960, 648)。

Q：批量推理时如何配置显存优化？
A：设置la_flash运行时环境变量，并将batch_utils/目录加入PYTHONPATH。调用detect_batch()时传入图像列表和查询列表，模型自动管理显存分配。推荐单次批量大小不超过8（取决于GPU显存）。

9. 项目地址

• 项目官网： https://research.nvidia.com/labs/lpr/locate-anything/
• GitHub仓库： https://github.com/NVlabs/Eagle/tree/main/Embodied
• HuggingFace模型库： https://huggingface.co/nvidia/LocateAnything-3B
• 技术论文： https://research.nvidia.com/labs/lpr/locate-anything/LocateAnything.pdf