ForgeStencil – 面壁智能推出的 Stencil 全自动研究部署系统
导读摘要:
ForgeStencil是由面壁智能联合OpenBMB开源社区推出的全自动Stencil研究部署系统。该系统基于Kernel Agent与App Agent双智能体闭环架构,能够从优化策略发现到真实生产软件集成实现全流程零人工介入。在一周内,ForgeStencil完成了100余个工业与科学计算软件的端到端优化,中位加速比达到1.41倍,覆盖油气勘探、电磁仿真、医学影像等8大工业领域与5大科学领域...
1. ForgeStencil是什么
ForgeStencil是由面壁智能联合OpenBMB开源社区推出的全自动Stencil研究部署系统。该系统基于Kernel Agent与App Agent双智能体闭环架构,能够从优化策略发现到真实生产软件集成实现全流程零人工介入。在一周内,ForgeStencil完成了100余个工业与科学计算软件的端到端优化,中位加速比达到1.41倍,覆盖油气勘探、电磁仿真、医学影像等8大工业领域与5大科学领域。
技术定位与领域: ForgeStencil属于高性能计算(HPC)与AI系统优化交叉领域,专注于Stencil计算模式的自动优化与部署。Stencil计算是科学计算和工业仿真中的核心模式,广泛应用于差分方程求解、图像处理等场景。与传统的基于专家经验的手动调优或固定模板的自动调优不同,ForgeStencil通过AI Agent自主探索优化空间,实现了从策略发现到工程部署的全链路自动化,是该领域较早实现端到端零人工介入的系统。
研发背景: 由面壁智能与OpenBMB开源社区联合研发。面壁智能在AI系统优化与模型压缩方面有深厚积累,曾推出多个有影响力的开源项目;OpenBMB是知名的开源大模型社区,长期致力于推动大模型技术的开放与共享。研发动机直接源于Stencil优化高度依赖人类HPC专家、单应用优化周期长达数月且经验难以复用的行业痛点。团队希望通过引入AI Agent技术,将优化效率提升一个数量级,使非专家团队也能获得接近硬件极限的性能。
核心价值: ForgeStencil的核心价值在于将Stencil优化的门槛大幅降低,解决了传统优化方法周期长、成本高、难以复用的关键问题。通过自动化Agent闭环,单应用优化周期从数月缩短至一天内,一周即可完成上百个应用的优化,等效节省约20-30人年研发投入。同时,其可审计测量协议确保了优化结果的真实可信,直接面向生产级软件优化,使优化成果可直接应用于实际工业场景,避免了实验室性能与真实性能之间的鸿沟。
技术特点: 采用双Agent协同架构,Kernel Agent负责理论发现与算子合成,App Agent负责工程集成与验证;内置可审计测量协议,通过单一环境开关实现原始路径与优化路径的交错对比,确保加速比真实可信;支持多代NVIDIA GPU(A100/H100/B200)架构自动适配,硬件升级时可自动重锻Kernel以捕获新硬件特性;采用Patch模式与零源码捆绑,保证许可证清洁与结果可复现。
2. 主要功能
双Agent闭环优化: Kernel Agent自主研究并合成高性能CUDA Kernel,通过Plan→Code→Profile循环逼近硬件物理极限;App Agent完成热点定位、算子锻造、正确性验证与应用集成。两者形成从理论发现到工程落地的完整闭环,实现全流程自动化,无需人类专家介入决策。
自动策略发现: Agent自主探索分块、融合、布局、占用率及主机端重构等优化策略,而非在固定空间内搜索。这使得系统能够发现人类专家可能忽略的优化组合,突破传统自动调优依赖于预设策略模板的局限性,从而获得更优的性能。
真实应用部署: 直接面向生产级软件优化,以应用自身GPU代码为基线进行端到端验证,而非使用简化版Benchmark。确保优化成果可直接应用于实际工业场景,避免实验室性能与真实性能的差距,42%的优化对象为真实工业生产软件。
可审计测量协议: 通过单一环境开关(USE_OURS)在原始路径与优化路径间交错切换,使用程序自带正确性检查和计时器,在多轮交错运行后取中位数。从系统层面杜绝了测量造假的可能性,确保加速比数据真实可信。
跨代GPU适配: 支持A100/H100/B200等运行时架构分发,同一代码库按架构自动选择最优Kernel路径。当硬件升级时,系统可自动重锻Kernel以捕获新硬件特性,保证性能可持续,无需手动调整代码。
算子矩阵与知识库进化: Kernel Agent在优化过程中持续构建算子矩阵作为知识库,后续App Agent可复用已有技术;多并行Agent共享该知识库,实现经验的实时共享与集体进化,突破人类专家经验难以规模化传递的瓶颈。
Patch模式与零源码捆绑: 不捆绑任何第三方源码,每个应用仅提供上游出处记录、获取脚本和集成补丁,通过vendor.sh自动拉取指定版本上游代码。确保许可证清洁与结果可复现,对于商业应用和学术研究都至关重要。
3. 如何使用
环境准备: 克隆GitHub仓库(
git clone https://github.com/OpenBMB/ForgeStencil),确保系统配备NVIDIA GPU(推荐A100或更高)、CUDA 12.x、支持C++17的编译器(如GCC 9+)以及Python 3.9或更高版本。按照仓库README安装依赖项,包括PyTorch、OpenAI API库等。建议在Linux环境下运行。快速体验算子: 运行命令
python tools/run.py --stencil star_1 --shape 256 --gpu 0,即可在约1分钟内测量单个Stencil算子的性能,并与Halide基线进行对比。此步骤适合快速了解ForgeStencil的优化能力,无需配置完整应用环境。端到端复现: 进入目标应用目录(如
apps/下的某个应用),执行./vendor.sh自动拉取指定版本的上游源代码。然后应用集成补丁,运行python ../../harness/run_e2e.py --app <name> --gpu auto完成真实应用的端到端验证。系统将输出加速比和正确性检查结果,可复现已发布的加速比数据。驱动Agent工作: 参考
agents/README.md配置Kernel Agent与App Agent。需要设置OpenAI API密钥(用于Agent的决策推理),并根据需要调整Agent参数(如并行数、搜索深度等)。启动后,Agent将自主进行优化循环,生成新的Kernel并集成到应用中。建议从简单的应用开始测试Agent流程。查阅结果注册表: 通过查看
results/integration_registry.json文件,可以获取已验证的100个应用的审计加速比数据。该文件包含每个应用的具体加速比、硬件平台、验证状态等信息,可作为筛选感兴趣应用进行复现或二次开发的参考。
4. 优缺点分析
| 优点 |
|---|
| 全流程自动化: 从应用分析、热点定位到Kernel锻造与集成验证,全流程无需HPC专家介入,大幅降低人力成本,提升研发效率。 |
| 真实场景验证: 直接以生产级软件自身GPU代码为基线进行端到端优化,确保优化成果具有实际工业价值,避免简化基准测试带来的偏差。 |
| 研发效率显著提升: 单应用优化从数月缩短至一天内,一周完成100+应用,等效节省约20-30人年研发投入,加速比数据经过严格审计。 |
| 性能加速可观: 端到端中位加速1.41倍,43%应用达到1.5倍以上,算子级几何平均2.16倍领先最优开源基线,优化效果显著。 |
5. 同类工具对比
| 维度 | ForgeStencil | Halide |
|---|---|---|
| 优化策略来源 | Agent自主发现新策略,非固定空间搜索 | 人类设计DSL与调度策略,自动化受限于预设规则 |
| 部署范围 | 支持真实应用端到端集成与验证 | 主要面向单算子/图像处理管线,缺乏应用级自动部署 |
| 基线对比 | 以应用自身生产GPU代码为基准 | 通常以简化参考实现或CPU版本为基准 |
| 正确性验证 | 使用程序自带检查,交错测量确保可信 | 依赖框架内置测试,无系统级防造假协议 |
| 知识积累 | 多Agent共享算子矩阵知识库,经验可复用 | 优化经验分散于各专家,难以规模化传递 |
对于需要端到端自动化优化且追求真实应用加速的工业用户,ForgeStencil是更合适的选择。它能够直接优化生产级软件,无需手动编写Kernel或调度策略,且加速比数据经过严格审计,可信度高。但需要注意其硬件依赖(NVIDIA GPU)和外部API依赖(OpenAI)。
对于希望灵活控制算子调度、进行算法研究的开发者,Halide提供了强大的DSL和调度原语,允许精细调优。但Halide缺乏应用级自动部署能力,优化成果需要手动集成到目标应用中,且优化经验难以系统化复用。
对于习惯使用Python编写GPU算子的研究人员,Triton提供了简洁的编程模型和自动调优能力,适合快速原型开发。但Triton同样需要手动集成到应用中,且优化策略的发现能力不如ForgeStencil的Agent系统,知识积累机制也较弱。
6. 编辑总结
ForgeStencil在技术创新性上表现出色,其双Agent协同架构将AI决策引入传统HPC优化领域,实现了从策略发现到工程部署的全自动化。与现有的Halide、Triton等工具相比,ForgeStencil最大的突破在于“零人工介入”和“真实应用验证”,这直接解决了工业界长期面临的优化效率瓶颈。可审计测量协议的设计也体现了对结果可信度的重视,这在学术研究和工业应用中都具有重要意义,能够有效避免性能数据造假的问题。
从实用价值来看,ForgeStencil已经在8大工业领域和5大科学领域验证了其有效性,中位加速1.41倍、43%应用超过1.5倍的成绩表明其优化能力扎实。单应用优化周期从数月缩短至一天内,大幅降低了高性能计算优化的门槛,使得非专业团队也能获得接近硬件极限的性能。对于油气勘探、电磁仿真、医学影像等计算密集型行业,ForgeStencil能够显著缩短研发周期,降低计算成本。同时,其开源Apache 2.0许可证和Patch模式确保了商业使用的合规性。
ForgeStencil主要适用于以下人群:需要优化Stencil密集型应用的工业软件工程师、科学计算研究人员、HPC系统管理员,以及对AI自动优化感兴趣的机器学习工程师。其开源特性也使得学术研究者可以在此基础上进行二次开发或对比实验。对于希望快速提升应用性能但缺乏HPC专家的团队,ForgeStencil提供了一条切实可行的自动化路径。
未来发展潜力方面,ForgeStencil目前聚焦于Stencil计算模式,其双Agent架构和知识库机制具备扩展到更多计算模式(如稀疏矩阵、卷积等)的基础。同时,对非NVIDIA GPU的支持以及减少对外部API的依赖将是重要的演进方向,这将进一步扩大其适用范围。随着Agent系统的不断进化和知识库的持续积累,其优化效率有望进一步提升。总体而言,ForgeStencil是AI与HPC交叉领域的一次重要实践,为自动化性能优化开辟了新的方向。
7. 应用场景
油气地震勘探: 优化逆时偏移(RTM)等核心算法,加速石油勘探数据处理流程。ForgeStencil可自动优化地震波传播模拟中的Stencil计算,提升成像效率,缩短勘探周期,降低计算成本。
电磁仿真设计: 提升gprMax/FDTD等Yee网格Maxwell方程求解效率,服务于雷达与芯片电磁分析。通过自动化Kernel优化,仿真时间可缩短40%以上,支持更精细的电磁模型计算。
医学影像重建: 加速非笛卡尔MRI重建、数字乳腺断层成像反投影等医疗影像计算负载。ForgeStencil能够在不牺牲精度的前提下显著减少重建时间,支持临床实时诊断流程。
气候与天体物理: 优化大气动力学、宇宙学模拟等Stencil密集型科学计算应用。这些领域通常需要大规模并行计算,ForgeStencil的自动优化可提升模拟分辨率与速度,推动科学研究进展。
量化金融计算: 为QuantLib等金融机构定价库提供Stencil热点自动优化,降低交易计算时延。金融衍生品定价中涉及大量偏微分方程求解,ForgeStencil可显著提升计算效率,支持更高频的交易策略。
8. 常见问题FAQ
Q:ForgeStencil是否只支持NVIDIA GPU?
A:目前ForgeStencil主要针对NVIDIA GPU(A100/H100/B200)进行验证和优化,需要CUDA 12.x环境。对AMD GPU或其他厂商硬件的支持尚未正式提供,社区反馈和后续迭代可能会扩展平台兼容性。
Q:使用ForgeStencil需要具备HPC专业知识吗?
A:不需要。ForgeStencil的设计目标就是实现零人工介入,用户无需了解底层硬件细节或优化策略。只需提供应用代码,系统会自动完成热点定位、Kernel合成与集成验证。
Q:ForgeStencil的加速比结果是否可信?
A:ForgeStencil内置可审计测量协议,通过单一环境开关在原始路径与优化路径间交错切换,使用程序自带检查与计时器,确保加速比真实可信。所有结果均可在相同环境下复现,且代码开源可供验证。
Q:ForgeStencil与Triton有何区别?
A:Triton是一个用于编写GPU算子的编程语言和编译器,开发者需要手动编写Kernel并集成;而ForgeStencil是一个全自动优化系统,能够自动发现优化策略并完成端到端部署,无需手动编写代码。两者定位不同,可以互补使用。
Q:ForgeStencil是否支持自定义Stencil模式?
A:支持。用户可以通过配置文件定义新的Stencil模式,ForgeStencil的Agent系统能够根据模式自动探索优化策略。算子矩阵知识库会持续扩展以覆盖更多模式,但需要一定的配置工作。
Q:ForgeStencil的开源许可证是什么?
A:ForgeStencil采用Apache 2.0许可证,代码完全开源,支持商业和学术用途。但需注意,其依赖的OpenAI API等外部服务需单独获取授权,且部分数据集可能具有不同的许可证。
9. 项目地址
- GitHub仓库:https://github.com/OpenBMB/ForgeStencil
- OpenBMB组织主页:https://github.com/OpenBMB
版权声明:本文部分内容由 AI 辅助生成并经人工校准,版权归本站所有,未经允许禁止任何形式的转载。


