返回模型列表

ABot-Earth0.5 – 高德推出的全球首个3D原生城市世界模型

AI科技编辑部
RSS 订阅
ABot-Earth0.5 – 高德推出的全球首个3D原生城市世界模型 官方截图
(图片来源官方截图)

导读摘要:

ABot-Earth0.5是阿里巴巴集团旗下高德地图推出的全球首个3D原生城市世界模型,定位为自动化3D城市工厂。用户仅需输入单张卫星图像或一段文字描述,系统即可在消费级GPU上约10分钟内生成公里级高精度3D城市场景,输出可编辑的3D Gaussian Splatting(3DGS)格式素材,并直接导入Unity、Unreal Engine等主流引擎使用。该模型通过生成式AI端到端重建管线,将传...

1. ABot-Earth0.5是什么

ABot-Earth0.5是阿里巴巴集团旗下高德地图推出的全球首个3D原生城市世界模型,定位为自动化3D城市工厂。用户仅需输入单张卫星图像或一段文字描述,系统即可在消费级GPU上约10分钟内生成公里级高精度3D城市场景,输出可编辑的3D Gaussian Splatting(3DGS)格式素材,并直接导入Unity、Unreal Engine等主流引擎使用。该模型通过生成式AI端到端重建管线,将传统需要数天甚至数周的人工建模流程压缩至分钟级,成本降至传统方式的1%,效率提升约1000倍,标志着城市级3D内容生产从“重资产”模式向“轻工具”模式的范式转变。

abot-earth0-5-3d 官网截图
(图片来源官方截图)

技术定位与领域: ABot-Earth0.5属于计算机视觉与计算机图形学交叉领域,具体聚焦于大规模三维场景的生成式重建与自动化建模。它不同于传统的基于多视角摄影测量或手工建模的方法,而是采用3D Gaussian Splatting(3DGS)作为核心表征,结合生成式AI实现从单张2D图像或文本到完整3D城市资产的端到端映射。其独特定位在于:它是首个将3DGS与生成式AI深度融合、并专为城市级场景设计的自动化3D工厂,在效率、成本和可编辑性上实现了对传统方案的全面超越。

研发背景: 该模型由高德地图技术团队研发,依托阿里巴巴集团在云计算、AI、地图数据领域的深厚积累。高德拥有覆盖190多个国家和地区的3D地图数据,这为模型训练提供了海量、高质量的地理影像与语义标注数据。研发动机源于传统城市3D建模的高昂成本(专业摄影测量设备、人工修模、渲染农场)与缓慢周期,无法满足游戏、自动驾驶、低空经济等场景对大规模、低成本、快速迭代的3D城市资产的需求。ABot-Earth0.5正是为解决这一行业痛点而生。

核心价值: ABot-Earth0.5解决了城市级3D内容生产中“成本高、效率低、门槛高”三大难题。其核心价值体现在三个方面:一是成本颠覆,将3D城市制图成本降至传统方式的1%,使得中小团队甚至个人开发者也能负担得起高精度3D城市资产;二是效率革命,单张消费级GPU上10分钟生成公里级场景,将建模周期从周级压缩到分钟级,极大加速了数字孪生、游戏开发等工作流;三是易用性突破,用户无需专业建模技能,仅需一张卫星图或一段文字即可生成可编辑的3D资产,且输出格式兼容主流引擎,实现了“即写即用”。

技术特点: ABot-Earth0.5的核心技术特点包括:采用3D Gaussian Splatting作为场景表征,兼具高渲染质量、可编辑性和实时渲染能力;基于大规模城市卫星影像训练生成式AI模型,实现从2D到3D的端到端推断;构建全自动化数据处理管线,从输入到输出无需人工干预;针对消费级GPU进行模型压缩与推理优化,将算力门槛从专业渲染农场降至单张消费级显卡,实现千倍加速。

2. 主要功能

  • 单图/文本生成3D城市: 用户输入单张卫星图像或一段文字描述(如“东京新宿区”),系统自动解析地理与建筑语义信息,推断三维结构、建筑高度、地表纹理和语义标签,直接生成公里级高精度3D城市场景。这一功能将传统依赖多视角图像或激光点云的重建流程简化为单张输入,极大降低了数据采集成本。

  • 分钟级高效重建: 在消费级GPU(如NVIDIA RTX 4090)上,仅需约10分钟即可完成城市级场景的生成与渲染。相比传统摄影测量需要数天至数周的人工修模流程,效率提升约1000倍。这一速度得益于模型压缩、并行计算优化和轻量化推理引擎的设计。

  • 3DGS格式输出: 模型原生输出3D Gaussian Splatting格式素材,该格式用数百万个带颜色、透明度和协方差参数的3D高斯椭球体拟合城市几何与外观,保留场景的几何、纹理和语义信息。与传统网格(Mesh)或NeRF相比,3DGS支持实时渲染、可编辑(如移动、删除单个高斯体)、且易于导入游戏引擎。

  • 引擎无缝对接: 生成的3DGS资产可直接导入Unity、Unreal Engine等主流游戏引擎和可视化平台,无需格式转换或后处理。开发者可立即在引擎中对场景进行二次开发,如添加交互逻辑、光照调整、物理碰撞等,实现“即生成即使用”。

  • 全球覆盖: 模型已建成覆盖190多个国家和地区的3D地图数据集,支持全球任意地貌的3D城市生成。这意味着用户无需担心地域限制,无论是纽约曼哈顿还是东京涩谷,均可通过单张卫星图或地名描述快速生成对应城市场景。

  • 自动化3D工厂管线: 从用户输入到最终3D资产输出,整个流程完全自动化,无需人工干预。系统内部包含图像解析、三维结构推断、纹理生成、语义标签嵌入、3DGS参数优化等多个模块,形成端到端的无人干预式生产管线,大幅降低了人力成本和时间成本。

3. 如何使用

  1. 申请内测资格: 访问模型官网 https://abot-earth.amap.com/,点击页面右上角的「申请内测」按钮。在弹出的表单中填写姓名、邮箱、所属机构及使用场景描述,提交后等待审核。审核周期通常为1-3个工作日,通过后将以邮件形式通知登录方式。

  2. 登录并创建项目: 审核通过后,使用注册邮箱登录ABot-Earth Studio控制台。进入控制台后,点击「新建场景」按钮,选择生成模式:若已有卫星图像,选择「图片生成」;若仅有文字描述,选择「文本生成」。建议首次使用选择「图片生成」,以便直观验证模型效果。

  3. 输入数据并提交: 对于图片生成模式,上传一张清晰的卫星图像(建议分辨率不低于1024×1024,覆盖区域不小于1平方公里)。对于文本生成模式,在文本框中输入目标城市的详细描述,例如“日本东京新宿区,高层商业建筑密集,街道宽度约15米,有公园绿地”。输入完成后点击「提交」按钮,系统将自动解析并开始生成。

  4. 等待生成与下载: 提交后,模型将在云端运行,生成过程通常耗时约10分钟(视场景复杂度而定)。控制台会显示实时进度条。生成完成后,页面会出现「下载资产」按钮,点击即可下载标准3DGS格式文件(.ply或.splat格式)。下载后可直接导入Unity、Unreal Engine等引擎,或使用3DGS查看器预览。

关键配置说明: 目前模型仅在云端运行,用户无需配置本地环境。但若需在本地进行二次开发,建议使用NVIDIA RTX 3090/4090及以上显卡,并安装CUDA 11.8+、Python 3.10+环境,配合官方提供的SDK进行模型调用。注意:本地推理版本尚未公开,当前仅支持云端内测。

注意事项与最佳实践: 卫星图像需避免云层遮挡,建议使用晴朗天气下的影像。文字描述越详细,生成场景的语义准确度越高。生成的3DGS文件较大(公里级场景约500MB-2GB),下载时需确保网络稳定。若需编辑场景,建议在Unity中使用官方提供的3DGS导入插件,或使用开源工具如gsplat.js进行可视化调整。

4. 优缺点分析

优点
成本颠覆: 3D城市制图成本仅为传统人工建模方式的1%,将高精度3D生成从“重资产”变为“轻工具”,中小团队也能负担得起。
效率千倍: 单张消费级GPU上10分钟即可生成公里级场景,整体效率较传统流程提升约1000倍,极大加速了数字孪生和游戏开发周期。
门槛极低: 无需专业渲染农场或工作站,普通消费级显卡即可运行,大幅降低硬件投入;用户无需掌握3D建模技能,仅需卫星图或文字描述。
全球覆盖: 已建成遍及190多个国家和地区的3D地图,是目前全球覆盖面积最广的3D城市数据集,支持任意地貌的快速生成。

5. 同类工具对比

对比维度 ABot-Earth0.5 Google Earth Studio CityEngine (Esri)
核心架构 生成式AI + 3DGS端到端重建 基于现有卫星影像的3D浏览与动画制作 基于规则(CGA文法)的程序化建模
生成方式 单张卫星图像/文本 → 3D城市 无生成能力,仅浏览现有3D数据 用户编写规则脚本 → 程序化生成建筑
生成速度 10分钟/公里级场景 实时浏览(非生成) 数小时至数天(复杂规则)
硬件要求 消费级GPU(云端运行) 浏览器即可 专业工作站(需GPU加速)
输出格式 3DGS(可编辑、实时渲染) 不可导出/仅截图 专有格式(.cej)可导出FBX/OBJ
覆盖范围 190+国家(全球数据集) 全球(基于谷歌地图数据) 需手动构建或导入地理数据
成本 传统1%(内测免费) 免费浏览,高级API付费 高授权费(企业版数万美元/年)
易用性 极低门槛(上传即用) 需学习动画制作界面 需掌握CGA脚本语言

选型建议: 对于需要快速、低成本生成特定城市3D场景的游戏开发团队或影视制作公司,ABot-Earth0.5是最佳选择,其10分钟生成速度和1%成本具有压倒性优势。对于需要高精度、可定制化城市建模的智慧城市或城市规划项目,CityEngine的规则驱动方式更适合,但需投入较高的人力和时间成本。对于需要大规模合成数据用于自动驾驶或机器人训练的研发团队,NVIDIA Omniverse Replicator提供了更完整的仿真与标注管线,但硬件门槛较高。Google Earth Studio则更适合用于视频预览和演示,不具备生成能力。

6. 编辑点评

ABot-Earth0.5的发布标志着城市级3D内容生产进入了一个全新的阶段。从技术创新角度看,该模型首次将3D Gaussian Splatting与生成式AI深度结合,实现了从单张2D图像到可编辑3D城市资产的端到端映射,这一技术路线在行业内具有开创性。相比传统的基于NeRF的重建方法,3DGS在渲染速度、可编辑性、引擎兼容性上具有显著优势;相比程序化建模(如CityEngine),其自动化程度和效率提升了数个数量级。更值得关注的是,模型在消费级GPU上即可运行,将算力门槛从专业渲染农场降至普通显卡,这为技术普及提供了硬件基础。

从实用价值来看,ABot-Earth0.5解决了游戏开发、具身智能、低空经济等多个高增长领域的核心痛点——对大规模、低成本、快速迭代的3D城市资产的迫切需求。例如,自动驾驶仿真需要大量不同城市的高精度3D场景进行训练,传统方式成本极高,而ABot-Earth0.5可以在短时间内生成全球任意城市的数字孪生,大幅降低仿真数据获取成本。此外,其全球覆盖190多个国家/地区的数据集,使得用户无需自行采集数据,即开即用。

适用人群包括:游戏开发者(快速构建开放世界底图)、自动驾驶/机器人算法工程师(获取高精度仿真训练环境)、影视特效师(生成数字城市背景)、城市规划师(快速建立城市数字孪生原型)、低空经济从业者(无人机航线规划的三维底图)。目前模型处于内测阶段,功能仍在完善中,但其核心能力已展现出巨大的商业潜力。

7. 应用场景

  • 游戏开发: 开放世界游戏需要大量城市底图作为场景基础。开发者只需上传目标城市的卫星图,10分钟后即可获得可编辑的3D城市资产,直接导入Unity或Unreal Engine进行二次开发(添加交互、NPC、天气系统等),将美术资产制作成本降低90%以上。

  • 具身智能与自动驾驶仿真: 机器人或自动驾驶算法需要在不同城市环境中进行大量训练。ABot-Earth0.5可快速生成全球任意城市的高精度3D场景,配合仿真引擎生成合成数据(如摄像头图像、激光雷达点云、语义标签),为算法提供低成本、大规模的训练数据。

  • 低空经济: 无人机航线规划、空域管理需要精确的三维数字底图。通过ABot-Earth0.5生成城市级3D场景,可快速构建包含建筑高度、地形起伏、障碍物分布的三维地图,支撑无人机自主导航与避障算法验证。

  • 应急救援: 灾害发生后,救援指挥中心需要快速了解现场三维环境。利用灾前卫星图像或灾后航拍图,ABot-Earth0.5可在10分钟内生成受灾区域的3D场景,辅助救援力量部署、疏散路线规划与物资投放模拟。

  • 影视制作与数字孪生: 电影或广告拍摄需要城市背景,传统方式需实景拍摄或手工建模。ABot-Earth0.5可快速生成任意城市的数字孪生场景,作为虚拟拍摄背景或预览参考,大幅缩短前期制作周期。

8. 常见问题FAQ

Q:ABot-Earth0.5需要什么样的硬件配置?
A:目前模型在云端运行,用户无需本地硬件。若后续发布本地版本,推荐使用NVIDIA RTX 3090/4090及以上显卡(显存≥24GB),操作系统建议为Windows 10/11或Ubuntu 20.04,并安装CUDA 11.8+、Python 3.10+环境。

Q:生成的3D城市精度如何?能用于自动驾驶仿真吗?
A:模型生成的场景包含建筑几何、纹理和语义标签,精度足以支持自动驾驶仿真中的感知算法验证(如目标检测、语义分割)。但对于需要毫米级精度的工程应用(如桥梁检测),建议结合高精度激光雷达数据进行后处理修正。

Q:3DGS格式能否导入Blender或Maya?
A:目前3DGS格式在Blender中需通过插件(如gsplat-blender)导入,Maya尚未有原生支持。官方推荐使用Unity或Unreal Engine,这两个引擎已提供官方3DGS导入工具。社区也有开源工具(如gsplat.js、gsplat-viewer)支持预览和基本编辑。

Q:生成场景的版权归谁?能否用于商业项目?
A:根据内测协议,用户生成的场景版权归用户所有,可用于商业项目(如游戏、影视、仿真)。但注意:使用卫星图像作为输入时,需确保图像来源的合法性(如使用公开的卫星影像或自有数据)。

Q:模型是否支持中文输入?
A:文本生成模式支持中文输入,系统可解析中文城市名称和建筑描述(如“北京国贸CBD,高层写字楼密集”)。但建议使用简洁、结构化的描述,避免模糊或歧义词汇,以获得更准确的生成结果。

Q:生成一个1公里×1公里的场景大约需要多少计算资源?
A:在云端运行,消耗约10分钟和约8GB显存(消费级GPU)。本地版本预计需要类似资源。生成的3DGS文件大小约为0.5-2GB,取决于场景复杂度(建筑密度、纹理细节)。

9. 项目地址

相关 AI 模型文章

VoxMem – 墨尔本大学等开源的音频大模型记忆基准

VoxMem – 墨尔本大学等开源的音频大模型记忆基准

VoxMem是由墨尔本大学与新南威尔士大学研究团队联合推出的音频大模型记忆基准(Benchmark)。该基准首创"4类声学证据×4种记忆操作"的二维评测框架,将语音语义、说话人身份、副语言线索与环境声四类信息维度,同信息抽取、跨会话推理、时序追踪与拒答四种记忆操作深度交叉,构建覆盖8K至64K token多会话历史的标准化评测体系。对15个主流模型的系统性测试显示,在32K上下文长度下,没有任何模...

Startlux-Decision – StartLux Labs 开源的决策模型家族深度评测

StartLux-Decision 是 StartLux Labs 推出的开源决策模型家族,涵盖从 0.8B 至 27B 的五个稠密模型以及 35B-A3B 混合专家模型,专为类型化决策任务设计。该模型家族接收文本、JSON 或图片形式的状态输入,针对选择、是非、评分等结构化问题,通过单次前向推理直接返回每个选项的概率分布,天然可作为置信度使用。模型原生支持 256K token 超长上下文,具备...

SemIf – 开源的 AI 决策模型,复现 Jev 语义决策模式

SemIf – 开源的 AI 决策模型,复现 Jev 语义决策模式

SemIf(原 OpenJev)是一个开源的 AI 决策模型,旨在通过开源手段复现 TypeSafe 闭源服务 Jev 的语义决策接口模式。该模型采用单次前向传播机制,直接读取候选选项对应的 logits 进行打分,由服务端构造结构化结果,从而规避了传统自回归生成后再解析文本的复杂流程。在多个问题共享相同状态时,SemIf 还可复用前缀计算,吞吐量提升近一个数量级。该模型在单张 RTX 3090 ...

MAI-Transcribe-2-Streaming:微软实时流式语音转写模型深度评测

MAI-Transcribe-2-Streaming 是微软推出的首个实时流式语音转写模型,能够在讲话进行时持续输出文字,覆盖 60 种语言并自动检测语言切换。该模型在 Artificial Analysis 流式转写榜单中以 2.50% 的词错误率和 0.13 秒的最终转录延迟双双登顶,首批文本延迟低至数百毫秒,文字最快在语音后 320 毫秒显示。其核心价值在于将传统语音转写从"说完再识别"的批...

版权声明:本文部分内容由 AI 辅助生成并经人工校准,版权归本站所有,未经允许禁止任何形式的转载。