微软开源 Skill Recorder，录一遍屏幕 AI 就学会干活，但没那么神——智能体基建系列

前几天刷 GitHub Trending，有个叫 skill-recorder 的东西窜得飞快，微软开源的。它干的事很勾人，你正常操作一遍屏幕，它把过程录下来，交给 Copilot 反推成一份能复用的 Skill，以后你动动嘴，AI 就把这活干了的。

1.00

GitHub 自动生成的仓库卡片，截至 2026-09-20 星数已经到 4k。来源 github.com/microsoft/skill-recorder

我当时就愣了一下。这不就是我一直觉得该有人做、但一直没人做漂亮的事吗。

但是。

我盯着它看了一阵，扒了仓库源码，又去翻了几个真机跑过的人写的反馈，结论没那么简单。它确实有点东西，但也确实没宣传里那么神。今天就把我看下来的东西，好的坏的，摊开讲。

先说它到底是什么。

skill-recorder 是个桌面 App，Electron 做的，MIT 开源。流程四步，Record、Control、Analyze、Create。你按快捷键开始录，正常干活，它后台记屏幕、记窗口切换、记浏览器地址、记剪贴板，还能开麦克风让你边做边解说；需要时还可以录下这次会话里的终端。录完点 Analyze，它把这一堆发给 GitHub Copilot，Copilot 把它重构成一句话意图加一串有序步骤。你审一遍改改，确认了就生成两种东西，一个叫 Skill，是一份 SKILL.md 文件，Agent 按需调用，一个叫 Automation，挂在定时或者触发条件上自动跑。
The screenshot shows a Skill Recorder interface with options to record audio, including language and microphone settings, where the microphone service is currently unavailable.

最关键的一句设计原则，README 里写得明明白白，它不把鼠标点击原样回放，而是优先让目标 Agent 使用自己的原生工具。你录的时候用了 gh 命令行，生成的 Skill 就优先调 gh；你做的是网页抓取，就优先用 web_fetch。录一次提交某个表单，目标是让它学会处理同类表单，但具体能不能泛化，还得看目标系统有没有可调用的工具。

这块和传统宏录制、RPA 的思路不一样。它的主要思路不是重放像素，而是把一次操作整理成意图和步骤，再交给 Agent 重跑。只要目标 Agent 有合适的原生工具，界面变化的影响会小一些；可一旦仍依赖浏览器操作，界面改版后就不能保证照样可用。

但是，理解这步，是它整个设计里最该被盯死的地方。

我电脑上没有 Copilot 订阅，于是我让AI把仓库扒了一遍，有几个点值得说。

第一个，录制本身不等于理解。Electron 用 desktopCapturer 加 MediaRecorder 录低帧率屏幕视频，同时记录窗口切换、剪贴板等事件；macOS 上抓浏览器 tab 的 URL 靠 AppleScript，Windows 则通过 UI Automation 读取地址栏。它没有 Playwright 那种 DOM、稳定选择器或完整的语义 UI 事件，和浏览器自动化不是一条路。也就是说，它能覆盖各种桌面应用，但最终能不能还原出可靠步骤，要看录下来的画面和事件够不够清楚。

第二个，推理服务不是开源模型。客户端 MIT 开源了，包含本地的 describer、builder 和 evals；Analyze 阶段通过 GitHub Copilot CLI/SDK 请求 Copilot 来重建意图和步骤，模型服务本身以及它的实际推理过程对用户不可见。仓库里的提示词、工具和后处理可以改，但不能把 Copilot 的模型行为当成可审计的本地模型。

第三个，本地隐私这层做得比较实在。录制、存储、画面抽取、语音转写都在自己机器上。语音用本地 Whisper，第一次要下载大约 252 MB 的多语言模型。只有主动点 Analyze，事件时间线、截图、转写文字，以及必要的终端输出片段才会发到 GitHub 云。代码里 common/sensitive.ts 负责结构化个人信息检测，secretlint 由 electron/sensitive/secrets.ts 负责密钥检测，另外还有屏幕敏感区域处理；检测结果会进入脱敏流程，但屏幕内容是否处理还取决于保护模式。它没有把这说成绝对安全，边界写得比较清楚，但录制时仍然不该输入或念出密码、Token、API Key。

第四个，它居然自带考卷。仓库里有 evals 目录，Copilot 的描述器和生成器都有基于样本的评估套件，npm run eval 测描述准不准，npm run eval:builder 测泛化能力好不好，此外还有 eval:terminal、eval:skill、eval:sensitive 等更多套件。一个开源工具，还自带衡量自己好不好用的测试，这不太常见。

说到这，优点也说一下，都是网上一些真机实测里反复被提到的。

优点一，安装透明。官方安装路径是按 release 页提供的 commit-pinned 命令，把固定版本的 Node 和确切 commit 的源码拉到本地构建，不往全局装任何东西。commit 还 pin 两遍，装脚本一次，源码一次，README 明说别用 main 分支代替，那是真把可审计当回事。

优点二，人工 Review 是必经环节，不是可选的。Copilot 出的步骤只是草稿，你能逐条改、删、重排。官方流程就是先 Analyze，再 Review and edit，确认无误才 Create。一次示范里哪些动作是关键、哪些只是顺手操作，这个判断留给人更稳妥。

优点三，泛化方向是对的。录一次提交表单，产物会尝试提取意图和模式，而不是死记那一次点击。只是这不是「界面怎么改都不用管」，能否泛化，取决于目标 Agent 是否有合适的原生工具，以及生成后的步骤是否经过人工修正。

优点四，本地隐私边界清楚，前面说了，录和转写都在本机，点 Analyze 才上云。

缺点也得摊开讲，不能因为微软出品就护着。

缺点一，深度绑 Copilot。录制和本地整理不要求 Copilot 额度，但 Analyze 需要 GitHub Copilot 访问权限；Copilot Free 也有额度，不过具体可用量和计费规则以 GitHub 当前套餐为准（见 GitHub Copilot 计划）。没有 Copilot，这工具就只能停在录制和本地整理。产物目标也不是完全对等，Automation 目前是 Scout 专用；Skill 可以面向 Scout、Copilot Cowork 和通用 Agent Skill（任何支持 Skill 的 Agent）导出；Copilot Studio 在当前源码的架构清单里仍标为 Coming soon，不能写成已经有官方直连。

缺点二，平台支持有差异。README 仍把 macOS 写成主要目标，同时支持 Windows 11 的 x64/ARM64，也提供 Ubuntu 的安装方式。Windows 已有独立的原生架构验证和打包流程，不宜再写成“还停在 WINDOWS-VALIDATION 阶段”；但不同平台的 URL、权限和终端采集能力仍不完全相同，企业部署前要按自己的系统做实测。

缺点三，复杂流程它搞不定。它擅长固定流程，不擅长需要大量主观判断的环节。登录失效、验证码、无数据、导出失败、重复文件，这些异常不会因为录过一次就自动覆盖，得你生成后自己补。高风险动作也不能一概而论，Scout 和 Cowork 的原生发送、创建、更新、删除工具有运行时审批；如果你把 Skill 接到别的平台，是否审批、怎么审批，要看那个宿主自己的权限模型。

缺点四，隐私红线绕不过。Analyze 上云，密码、token、API key 绝不能录进去，也别在录制时输入、粘贴、念出来。这事儿它提醒到位了，但边界就在那，敏感场景你自个儿掂量。

缺点五，目标系统没有原生工具时，价值会打折。官方设计就是优先调用 gh、web_fetch 这类工具，并没有把语义 UI 事件或稳定的桌面控件选择器做成通用回放层。碰到只能靠鼠标点来点去的老系统、老内网页面，生成的 Skill 可能只能留下模糊步骤，仍需要自己补浏览器或桌面自动化。它更适合有 API、CLI 或 Agent 原生连接器的现代工作流。

我有时候觉得，OAO Studio 那篇基于 v0.4.1 的测评（文末有链接），比那些夸它的文章都值得看。因为它点破了一件事，skill-recorder 的价值，不在录制器本身，而在它背后那套微软生态有没有给你现成的原生工具可调用。

顺着上面再聊聊真实反馈长什么样。

我也看了几篇公开的上手记录，但这些属于二手体验。官方仓库里的 evals 使用固定的 synthetic recording，主要评估 describer 能否从事件流还原意图和步骤，以及 builder 能否泛化到 Scout 的自动化；它不是一套真实企业部署成功率的统计。

你看，这些人测的都不是什么高大上的事，就是填表、挪文件、查数据、发消息。这也对，skill-recorder 自己定位就是高频、固定、低风险的流程。它不适合一次性的活，也不适合你自己都还没想清楚流程的活，录出来也是乱的。

说到这，补一句对它的判断。skill-recorder 把理解那一步外包给了 Copilot 云，好处是通用，代价是理解过程是个黑盒，你改不了也看不清它到底怎么把你的操作反推成意图。这跟它走云端、绑生态的选择是一体的，便利和可控，它先要了前者。

把视野拉高一点看。录一次教会 AI 干一类活，这思路有个正经名字，programming by demonstration，示范式编程。不是新概念，学界喊了几十年。但一直没产品化，因为反推意图太难。微软这回把它做成桌面 App，还绑上自己的 Agent 版图，Scout 和 Cowork 这些微软自家的消费端，等于在说，教 AI 干活这件事，要从写文档降级成做一遍。

我还想到以前带新人的事。有些活你根本写不成文档，你坐他旁边演示一遍，他看两次就会了。skill-recorder 想做的，就是把坐在旁边看一遍这件事，做成软件。听起来朴素，做起来难，因为判断哪些动作是无关的、哪些是关键的，这步它自己也说不准，所以才把 Review 留给人。

回到开头那句。它确实有点东西，录一次生成可复用 Skill，泛化到位，隐私边界清楚，还自带考卷。但它没那么神，绑 Copilot，绑微软，老系统帮不上，复杂流程还得人补。

如果你手头正好有那种每周重复的、固定、低风险的流程，又有 Copilot 访问权限，按官方 release 页的固定版本命令装一份，挑个你做了十遍的脏活录一次试试。第一次可能慢，但炼成之后省下的是往后无数次的自己。只是别指望它全自动，review 那步省不得，规则得补，权限得自己卡。

微软开源 Skill Recorder，录一遍屏幕 AI 就学会干活，但没那么神——智能体基建系列 ​

延伸阅读，公开体验记录（版本可能已过时） ​

微软开源 Skill Recorder，录一遍屏幕 AI 就学会干活，但没那么神——智能体基建系列

延伸阅读，公开体验记录（版本可能已过时）