这项由明灯科技（Mininglamp Technology）DeepMiner-Mano团队完成的推敲发表于2025年9月，论文编号为arXiv:2509.17336v1。推敲团队包括付天宇、苏安阳、赵晨旭、王汉宁、吴明辉等多位推敲东说念主员，有酷爱深入了解的读者不错通过该编号查询完好论文。

设想一下，如果你的电脑助手不仅能听懂你的话，还能像东说念主一样"看懂"屏幕上的内容，况兼自动帮你完成各式复杂的操作任务，那会是什么样的体验？明灯科技的推敲团队就执政着这个办法力争，他们开拓了一个名为Mano的智能助手系统。

这个系统就像是给电脑装上了一对"灵巧的眼睛"和一对"灵巧的手"。当你告诉它"帮我在亚马逊上找一个4星以上、15好意思元以下的夜灯，然后买两个放到购物车里"时，Mano或者自动开放浏览器，在复杂的网页界面中准确找到搜索框，输入要害词，筛选商品，判断评分和价钱，临了完成购买操作。所有这个词过程就像有一个相配熟练的助手在帮你操作电脑一样。

传统的电脑自动化圭表时常需要圭表员事前编写好每一个身手的代码，就像给机器东说念主编写详备的操作手册一样。但履行中的网页和软件界面变化多端，今天的网页布局和未来的可能王人备不同，这就让传统秩序显牛逼不从心。Mano的翻新之处在于，它或者像东说念主一样通过"看"屏幕截图来解析刻下的界面景色，然后自主决定下一步应该若何作念。

推敲团队面对的最大挑战是如何让东说念主工智能果真解析图形用户界面。这就好比教一个从未见过当代电子建树的东说念主如何使用智高手机一样清贫。界面上的按钮、文本框、图标、菜单等元素对东说念主类来说一目了然，但对机器来说却是复杂的像素组合。更清贫的是，不同网站和软件的界面遐想作风迥异，一样的功能可能以王人备不同的神志呈现。

为了贬责这些问题，推敲团队遐想了一套三阶段的历练秩序，就像培养一个优秀的助手需要经验学徒、熟练工、众人三个阶段一样。

一、第一阶段：基础手段培训

在第一个阶段，推敲团队让Mano通过大都的示例学习基础操作手段。这个过程类似于让一个新职工不雅察资深职工的职责进程，学习如何识别界面元素和履行基本操作。

推敲团队鸠合了大都真实的操作数据，包括各式网站和操作系统上的用户操作纪录。这些数据就像是一册详备的操作手册，纪录了在不痛惜况下应该如何点击、输入、滚动等。但与传统的编程不同，这些数据保合手了原始的高差别率截图，因为界面中的细节信息至关重要。一个小小的按钮或者微辞的笔墨可能等于完成任务的要害。

在这个阶段，Mano学会了基本的"视觉解析"才调。它或者识别屏幕上的各式元素，知说念哪些是不错点击的按钮，哪些是不错输入笔墨的文本框，哪些是不错滚动的区域。这就像教育一个东说念主意志各式器具的用途一样，为后续的复杂操作打下基础。

推敲团队超越在意到，在历练数据的组织方式上作念了重要改进。他们发现，让系统在每一步操作时不仅要"念念考"下一步该作念什么，还要或者"回想"刻下的操作意图，这么或者显耀提高操作的准确性。这就好比一个好的助手不仅知说念要作念什么，还能明晰地抒发我方的想法和规划。

二、第二阶段：战略优化历练

只是学会单步操作是不够的，就像学会了使用各式厨具并不料味着就能作念出所有这个词完好的菜一样。Mano需要学会如何将多个操作身手组合起来，完成复杂的任务序列。

在第二阶段，推敲团队继承了一种叫作念"离线强化学习"的秩序。这个过程不错比作让一个厨师通过分析大都奏效和失败的菜谱来改进我方的烹调技巧。系统会分析大都完好的操作序列，学习哪些操作组合或者奏效完成任务，哪些会导致失败。

推敲团队遐想了一套小巧的奖励机制来蛊惑学习过程。这套机制包含三个方面的评价圭臬：领先是步地正确性，确保系统的输出允洽预期的步地；其次是操作类型的合感性，确保在刻下情况下选拔了合适的操作类型；临了是最终断绝的准确性，确保操作达到了预期的办法。

这种多维度的评价体系就像是一个严格的导师，不仅关怀学生的最终成绩，还关怀学习过程中的每一个细节。通过这种方式，Mano迟缓学会了如何制定合理的操作规划，如安在碰到不测情况时调度战略，以及如何确保所有这个词任务序列的奏效完成。

三、第三阶段：实战环境安妥

第三阶段是让Mano在真实的模拟环境中进行实战历练，这就像让一个学徒在真实的职责环境中接受隆重一样。推敲团队构建了一个复杂的模拟环境，包含多个并行的浏览器实例和桌面环境，让Mano或者同期处理多个任务。

在这个阶段，Mano不再只是学习已有的操作纪录，而是要自主探索和尝试新的操作战略。系统会尝试各式不同的操作秩序，通过试错来发现最有用的贬责有操办。这个过程充满了挑战，因为真实环境中充满了省略情味：网页可能加载幽闲，按钮位置可能发生变化，或者出现出东说念主猜度的弹窗。

为了疏漏这些挑战，推敲团队遐想了一套动态的学习机制。当Mano在探索过程中发现新的有用操作秩序时，这些涵养会被纪录下来，并反应到历练数据中，用于进一步改进系统性能。这造成了一个合手续学习和改进的轮回，让Mano或者握住安妥新的环境和挑战。

四、智能数据采集系统

为了让Mano或者处理各式复杂的数据索要任务，推敲团队还开拓了一个名为Mano-parking的智能数据采集系统。这个系统就像是一个相配明智的网页信息鸠合助手，或者根据用户的天然说话描述自动从网页中索要所需的信息。

当用户说"帮我搜索抖音上对于手合手电扇的视频，要最近一个月发布的，我需要视频标题、联接和点赞数"时，Mano-parking或者自动解析这个需求，生成相应的数据索要圭表，并履行索要任务。更令东说念主惊喜的是，这个系统具有自我学习和安妥才调，当网站结构发生变化时，它或者自动调度索要战略，确保数据采集的合手续有用性。

Mano-parking的职责进程就像是一个涵养丰富的推敲助理的职责方式。领先，它会搜检是否还是有现成的数据索要有操办不错使用。如果莫得，它会仔细分析办法网页的结构，解析用户的需求，然青年景一个定制化的索要圭表。在履行索要任务时，它还会进行多档次的质地搜检，确保索要的数据完好、准确、允洽条目。

五、智能考证系统

为了确保每一步操作都准确无误，推敲团队还开拓了一个名为Mano-verify的智能考证系统。这个系统就像是一个堤防的质检员，会仔细搜检每一步操作是否按照预期履行。

Mano-verify的职责旨趣是通过对比操作前后的屏幕截图，联贯操作描述和历史纪录，来判断操作是否奏效。当发现操作出现误差时，它会立即发出告诫，并触发误差规复机制。这种及时监控和纠错才调大大提高了所有这个词系统的可靠性和平定性。

这个考证系统的历练过程也很风趣。推敲团队不仅鸠合了大都正确操作的示例，还专诚鸠合了好多失败操作的案例。通过学习这些正面和负面的例子，Mano-verify或者准确识别各式可能的误差情况，并提供相应的会诊信息。

六、身份考证助手

在本色诈欺中，好多网站和系统都需要用户登录考证，包括各式复杂的考证码挑战。为此，推敲团队开拓了Mano-cipher身份考证助手，专门处理登录和考证码联系的任务。

Mano-cipher就像是一个相配有涵养的鸠合操作员，或者处理各式类型的考证码挑战，包括数字字母组合、图片滑动拼图、图片旋转、内容识别，致使是需要逻辑推理的复杂考证码。当碰到需要登录的系统时，Mano会申请用户提供把柄，然后由Mano-cipher自动完成所有这个词登录进程，包括填写用户名密码和处理各式考证码挑战。

这个系统的历练过程继承了翻新的合成数据生成秩序。推敲团队使用了2000张征象图片行动布景，生成了大都不同类型的考证码历练样本。通过先进行基础历练，再进行在线强化学习，Mano-cipher或者在真实环境中准确识别和处理各式考证码挑战。

七、数据轮回优化系统

所有这个词Mano系统的一个重要特质是其合手续学习和自我改进的才调。推敲团队遐想了一套数据轮回系统，让Mano或者从本色使用中握住学习和优化。

这个轮回系统的职责旨趣类似于一个涵养丰富的师父带门徒的过程。当Mano在本色操作中碰到新的情况或者犯误差时，这些涵养会被纪录下来。对于奏效的操作序列，系统会获胜将其加入历练数据；对于包含误差但最终奏效的操作序列，推敲团队融会过东说念主工智能缓助和东说念主工改进的方式，将其转化为高质地的历练样本。

这种合手续学习机制确保了Mano或者握住安妥新的环境和挑战。跟着使用时刻的增长，系统的性能会越来越好，就像一个涵养丰富的助手会跟着职责时刻的增长而变得愈加熟练一样。

八、性能推崇与本色诈欺

在本色测试中，Mano展现出了令东说念主印象深化的性能推崇。在Mind2Web基准测试中，这是一个包含100多个网站、1000多个操作轨迹、7000多个操作身手的玄虚测试平台，Mano在各项操办上都获取了显耀的改进。

具体来说，在跨任务测试中，Mano的元素准确率达到了80.8%，操作F1得分为91.5%，身手奏着力为73.9%。这些数字意味着什么呢？简单来说，等于Mano或者在大部分情况下准确识别界面元素，正确履行操作，并奏效完成任务序列。

在OSWorld-Verified测试中，这是一个愈加靠拢真实使用场景的测试平台，包含369个评估任务，涵盖10个不同的诈欺圭表，Mano的平均得分达到了41.6分。天然这个数字看起来不是很高，但要知说念这是在真实的操作系统环境中进行的端到端测试，难度超越大。

推敲团队通过详备的对比实验发现，三阶段历练秩序的每个阶段都对最终性能有重要孝敬。基础手段培训阶段带来了7.6分的进步，战略优化历练阶段带来了1分的进步，而实战环境安妥阶段带来了7.9分的显耀进步。这证据在真实环境中的实战历练对于提高系统性能具关系键作用。

九、期间翻新与窒碍

Mano系统的奏效成绩于多个方面的期间翻新。领先是在数据处理方面，推敲团队保合手了原生的动态图像差别率，幸免了传统秩序中因为图像压缩而丢失重要细节的问题。这就像是给系统配备了高清录像头，或者看清界面上的每一个细节。

在模子历练方面，推敲团队继承了全参数微调的秩序，而不是常见的参数高效微调秩序。这种选拔基于一个重要的意志：要让模子果真安妥图形用户界面这个很是范畴，需要对模子的中枢组件进行深度调度，超越是视觉编码器和跨模态在意力层。

在强化学习的诈欺方面，推敲团队继承了GRPO（Group Relative Policy Optimization）算法，这是一种相对较新的强化学习秩序。通过在离线和在线阶段遐想不同的奖励函数，系统或者在保合手战略平定性的同期，断绝面向办法的优化。

在数据组织方面，推敲团队发现了一个看似简单但本色很重要的改进：在每个操作身手中加多一个精真金不怕火的回想要道。这个改进天然简单，但带来了2.8分的性能进步。通过在意力机制的可视化分析，推敲团队发现模子在生成操作时如实更多地关怀这个回想部分，这考证了改进的有用性。

十、来日发展出路

Mano系统的奏效为智能GUI助手的发伸开辟了新的说念路。这项期间的潜在诈欺场景相配泛泛，从个东说念主用户的日常任务自动化，到企业级的业务进程自动化，都有着弘大的诈欺后劲。

对于普通用户来说，Mano不错匡助自动化好多肖似性的磋磨机操作任务，比如按时的数据鸠合、表单填写、文献整理等。这不仅或者省俭大都时刻，还能减少因为肖似操作而产生的误差。

对于企业用户来说，Mano不错用于自动化各式业务进程，比如客户奇迹、数据录入、讲解生成等。这种自动化不仅或者提高工违法果，还能确保操作的一致性和准确性。

从期间发展的角度来看，Mano系统展示了多模态东说念主工智能在本色诈欺中的弘大后劲。通过联贯视觉解析、天然说话处理和强化学习等期间，系统或者在复杂的真实环境中断绝智能化的任务履行。

推敲团队也意志到刻下系统还存在一些适度和改进空间。比如在处理一些超越复杂或者生僻的界面时，系统的推崇还不够平定；在面对快速变化的网页结构时，安妥才调还需要进一步进步。然则，通过合手续的期间改进和数据积攒，这些问题都有望得到贬责。

说到底，Mano系统代表了东说念主工智能期间在图形用户界面自动化范畴的一个重要窒碍。它不仅展示了刻下期间的可能性，也为来日的发展指明了办法。跟着期间的握住逾越和诈欺场景的握住扩张，咱们有益义服气，智能GUI助手将会成为咱们日常生涯和职责中不行或缺的重要器具。

这项推敲的风趣不仅在于期间自身的逾越，更在于它为东说念主机交互开辟了新的可能性。当磋磨机或者像东说念主一样"看懂"界面并自主操作时，咱们与数字天下的交互方式将会发生根人性的改换。这种改换不仅会提高咱们的工违法果，还会让更多的东说念主或者更容易地使用复杂的磋磨机系统，从而缩少量字规模，让期间果真为通盘东说念主奇迹。

Q&A

Q1：Mano系统是如何"看懂"电脑界面的？

A：Mano使用高差别率屏幕截图行动输入，通过深度学习模子识别界面上的各式元素，比如按钮、文本框、菜单等。它就像给电脑装了一对灵巧的眼睛，或者解析这些视觉元素的含义和功能，然后根据任务需求决定如何操作。

Q2：Mano的三阶段历练秩序具体是若何职责的？

A：第一阶段是基础手段培训，让Mano学会识别界面元素和履行基本操作；第二阶段是战略优化历练，通过离线强化学习让系统学会组合多个操作完成复杂任务；第三阶段是实战环境安妥，在真实模拟环境中进行实战历练，提高系统的安妥才谐和平定性。

Q3：普通用户不错使用Mano系统吗？它有什么本色诈欺？

A：当今Mano还主如果推敲阶段的系统开yun体育网，但它展示了弘大的诈欺后劲。来日不错用于自动化各式肖似性的电脑操作，比如网页数据鸠合、表单填写、文献整理等。对企业来说，还不错用于客户奇迹、数据录入、讲解生成等业务进程自动化。