ComAct团队 投稿量子位 | 公众号 QbitAI🦄九游下载中心_九游游戏中心官网

当大模子驱动“使用电脑”，咱们似乎离着实的AI自动化又近了一步。

昔日一年，从浏览器操作、表格填写，到办公软件自动实行任务，Computer-Use Agent正在成为大模子落地的要害标的。

但一朝参加着实的专科软件，这条道路很快碰到了瓶颈。

比如，让Agent在SolidWorks中完成3D建模与安装，在AutoCAD里画图一张带尺寸标注的工程图，大约在Photoshop、Premiere里完成一套完好的修图、编著历程等，这些专科东谈主员的日常职责，现存的Computer-use agent仍难自如完成。

原因很浅易：一方面，专科软件的界面远比日常软件愈加复杂、密集，对Agent的视觉感知与定位智力惨酷了更高条目；另一方面，专科级任务时时不是几步点击就能完成，而是包含数十致使上百个一语气操作。一次轻微的交互偏差，可能会在长链路中不停积蓄，最终影响系数任务效果。

近日，上海AI Lab等团队惨酷了一种面向专科软件智能体的新范式——ComAct（COM-as-Action）。

它的中枢念念想在于：不再把鼠标点击和键盘输入动作Agent的action，而是让Agent平直生成COM代码，通过软件底层对象模子旁边果然专科软件。

专科软件Agent的中枢瓶颈：不是不会缠绵，而是操作时势太脆弱

现时GUI Agent存在显贵短板。以CAD软件为例，一个完好任务可能包括创建草图、建设照拂、拉伸实体、编著特征、安装零件、查验干预、生成工程图、导出文献等多个阶段。每个阶段都触及多半细粒度操作，况且强依赖前一步效果。

在这么的场景里，Agent不仅要理撤职务，还要抓续完成高精度视觉定位和低层交互。一朝选错器用、点错对象、输入错参数，后续方法就可能一王人偏离。

另一条道路是API/MCP-based Agent。它通过结构化接口调用完成任务，实行更自如。但在果然专科软件中，公开API时时并不完好，不同软件之转折口相反普遍，好多买卖软件也并不具有开源的API。

因此，专科软件Agent濒临的并不是浅易的“模子不够智谋”，而是GUI动作action space还不够合适这些任务，具体原因是：

GUI操作鼠标和键盘充足通用，但长程任务中容易受视觉定位错误影响；平直调用软件API更自如，但时时受限于商用专科接口碎屑化和功能掩盖不及，很难在工业软件中使用。

ComAct试图从另一个角度切入：既然好多重型桌面软件本人就知道了系统级对象接口，为什么不让Agent平直使用这些接口？

△GUI as Action依赖视觉定位，API/MCP as Action濒临接口碎屑化，而COM as Action将专科软件操作休养为调处的代码实行。

COM：让Agent用“软件我方的谈话”操作软件

COM，全称Component Object Model，是Windows生态中永久存在的一套组件对象模子尺度。

大多数传统、重型专科软件都通过COM知道里面对象和功能。

关于Agent来说，COM更接近软件里面语义。Agent不再需要在屏幕上寻找按钮，而是可以平直操作软件对象，举例CAD中的草图、零件、安装体，或Office中的文档、表格、幻灯片。其二，COM提供了更笃定的实行时势。比较一语气GUI点击，COM代码一朝生成正确，就可以平直调用软件功能，减少长程操作中的视觉定位错误积蓄。其三，COM具备跨软件彭胀后劲。Office、Adobe、Autodesk、SolidWorks等多半Windows专科软件都不同进度撑抓COM，这为跨软件职责流提供了调处进口。

也等于说，ComAct把专科软件操作从：

看屏幕→找按钮→点鼠标

酿成了：

理撤职务→生成代码→实行软件对象操作

这偶合匹配大模子最强的智力之一：代码生成。

在ComAct中，Agent每一步会看到现时软件截图和上一轮代码实行后的terminal输出。要是代码报错，它可以证实traceback建造；要是任务还没完成，它赓续生成新的COM剧本；要是最终效果知足条目，它输出DONE。

这使得Agent不再是一个低层GUI操作家，而更像一个会写自动化剧本的工程师。

ComCADBench：让Agent着实参加CAD工程现场

为了考据这一范式，商榷团队构建了ComCADBench，一个面向果然CAD软件旁边的benchmark。

△ComCADBench掩盖3个CAD平台、7类工程行为，并撑抓长程多任务职责流。

它掩盖三款主流CAD软件：SolidWorks、Inventor、AutoCAD，以及七类中枢工程任务：2D草图、3D建模、编著、安装、工程图生成、质料属性分析和干预查验。系数benchmark包含400条单任务与600条多任务历程，模拟果然工程场景中常见的任务组合，比如建模后分析物理属性、安装后作念干预查验等。ComCADBench平直基于最终CAD artifact进行评价，也更接近果然工程任务的评估时势。

ComForge：面向果然专科软件的大规模并行考试平台

着实考试一个能自如旁边专科软件的Agent，需要让它在多半果然环境中反复试错、赢得反映。为此，团队搭建了ComForge。每个环境都是一个容器化的Windows捏造机，里面预装SolidWorks、Inventor、AutoCAD等软件，Agent生成的代码会在其中果然实行，软件会果然复返截图和报错信息。一个异行为度器认真把任务分发到优游的捏造机上，让成百上千个环境同期跑起来，从而撑抓大规模评测与强化考试。

基于ComForge，团队考试出了智能体ComActor，通过采集监督微调与强化学习的考试历程，让模子从”能写出语法正确的COM代码”冉冉进化到”能证实报错自我修正”，并进一步对王人最终CAD居品的工程条目。

△ComAct主框架。包括数据构建、ComActor闭环实行，以及ComForge并行果然软件环境。

GUI Agent受限，COM范式掀开新地方

在ComCADBench果然CAD长程任务中，现时GUI Agent的发挥非凡有限。复杂界面、清雅定位和多方法依赖，使得GUI Agent简直全线0分。但当action space从GUI切换到COM后，一样的模子在零样本建设下就能拿到非零、致使可不雅的收着力。这评释大模子本人具备完成这些任务所需的推聪敏力，仅仅被传统GUI交互时势甘休住了。

最终，考试后的ComActor在ComCADBench上全面匹敌GPT-5、Claude-Sonnet-4.6等参数目更大的模子，在需要多方法尽力完成的长历程任务上上风尤为明显；在两个外部通用CAD基准上，也展现出了可以的泛化智力。

写在终末

这项职责提供了一个值得柔和的念念路：当GUI操作太脆弱、专科软件又莫得公开API时，COM这类系统级原生接口，可能是AI旁边专科软件更现实的一条路。论文也指出了现神色限——现在的考据仍局限于CAD规模和Windows平台，商用软件授权等现实问题也有待处分。但琢磨到Office、Adobe等多半专科软件一样原生撑抓COM，这一范式具备向更闲居场景搬动的后劲。

论文勾搭：https://arxiv.org/abs/2606.13239名堂主页：https://KnowledgeXLab.github.io/ComAct第一作家：Jiaxin Ai(Shanghai AI Lab/武汉大学)

一键三连「点赞」「转发」「欺压心」

接待在评述区留住你的目标！

—完—

【学术投稿】请在职责日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉咱们：你是谁，从哪来，投稿推行附上名堂/主页勾搭，以及策动时势。

🎓咱们会 (尽量) 实时修起你 :)

🌟 点亮星标 🌟

科技前沿进展逐日见🦄九游下载中心_九游游戏中心官网