元峰AI笔记 · AI大模型

Anthropic重磅发布Computer Use功能：AI真的可以操控电脑了！（附带教程）

大家好，我是元峰，累计获得过 29 颗 AI 之心。

Anthropic重磅发布Computer Use功能：AI真的可以操控电脑了！（附带教程）

大家好，我是元峰，累计获得过 29 颗 AI 之心。

昨天 Anthropic 又给我们带来了一个重磅消息 —— Computer Use 功能正式发布！这意味着什么？简单来说，AI 现在真的能像人类一样操作电脑了！

这一步，可能让我们距离真正的 AGI（通用人工智能）又近了一步。

为什么这很重要？

想象一下，你的 AI 助手不再局限于对话框，而是可以帮你：

  • 请你查询近一个月每天BTC的价格，并记录在表格中
  • 智能搜索并观看 YouTube 视频，跳过广告
  • 帮你在亚马逊上挑选并购买商品
  • 自动填写各类申请表单
  • 进行网页数据抓取和分析

如何开始体验？

想要体验一下这项新功能？别急，你需要做一些简单的准备：

  1. 一台能运行 Docker 的电脑。我自己用的是 Windows，理论上只要能跑 Docker 都可以。
  2. **Claude 的官方 API Key，**可直接去官网购买。

安装 Docker

安装过程其实非常简单，去官网下载安装包。

https://www.docker.com/

图片展示了Docker官网页面，页面上方有导航栏，中间大标题为“Develop faster. Run anywhere.”。页面中部有“Download Docker Desktop”按钮，下方列出不同操作系统版本的下载选项，如“Download for Windows - ARM64”等。页面右侧有容器、镜像、卷等图标及对应说明，底部有“Cookies Settings”“Accept All Cookies”按钮。图片与上下文关系紧密，直观呈现了安装Docker前需下载安装包的官网页面，辅助说明安装Docker的步骤。

首先，你需要下载安装 Docker，接着登录，确保服务启动成功。

然后，就正常安装就好了。完成之后本地打开，登陆上去之后，啥也不用管。左下角这边需要服务启动成功。

图片展示了Docker Desktop的界面，左侧导航栏选中“Containers”。画面中显示“Your running containers show up here”，并有“Engine running”字样，下方有三个图标，分别是“Stop”“Pause”“Restart”。该图片与文档中“启动Docker”部分内容相关，用于说明在Docker Desktop中启动Docker后，可在此界面查看运行容器的状态，以及对容器进行操作。

下载镜像

在这之后，Anthropic 官方提供了一个 Python 的 Demo，你可以将代码其下载到本地运行。

https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

图片展示的是Anthropic Computer Use Demo的相关内容。左侧是文件目录，包含main、github、zmd、Computer_use_demo等文件夹及README.md等文件。右侧是README.md文档，标题为“Anthropic Computer Use Demo”，内容包含使用注意事项、安全建议、参考实现等，如使用专用虚拟机或容器、避免访问敏感数据、限制互联网访问范围等。该图片与文档中介绍Anthropic Computer Use功能的上下文相关，是对文档中部分内容的直观呈现。

图片展示的是电脑文件资源管理器界面，显示了“anthropic-quickstarts - main”文件夹下的内容。其中，“computer - use - demo”文件夹被选中，其创建时间为2024年10月24日11:24。该图片与文档中介绍Anthropic重磅发布Computer Use功能的内容相关，可能是用于说明代码拉取到本地后，文件夹结构的情况，为后续安装依赖、启动Docker等操作提供参考。

代码拉取到本地后，在当前Python环境下安装依赖（建议3.11以上）

打开终端窗口：

pip install -r dev-requirement.txt

启动 Docker

最后，按照官方文档设置环境变量，启动 Docker。为了方便大家，可以直接使用下面的启动命令：

（key 可以启动后再设置）

图片展示了Anthropic API的启动Docker容器相关操作。上方提示可在Anthropic Console中找到API key。下方有代码示例，内容为使用export命令设置ANTHROPIC_API_KEY环境变量，并通过docker run命令启动容器，其中包含多个端口映射及容器镜像信息。图片与上下文紧密相关，上下文提到在代码拉取到本地后，需在当前Python环境下安装依赖，此图片即为设置环境变量、启动Docker容器的步骤示例。

docker run -v ${env:USERPROFILE}\.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

当镜像拉取完成后，按照提示访问：http://localhost:8080

图片展示的是在终端中执行docker run命令的输出结果。命令中包含环境变量ENV_USERPROFILE和ENV_API_KEY。输出显示镜像无法在本地找到，但已从anthropic/anthropic-quickstarts处下载成功，状态为“Downloaded new image for ghcr.io/anthropic/anthropic-quickstarts:computer-use-demo-latest”。最后提示“Computer Use Demo is ready! Open http://localhost:8080 in your browser to begin”。该图片与文档中启动Docker并设置环境变量后访问http://localhost:8080相关，是启动过程中的关键输出信息。

图片展示的是Docker Desktop的容器管理界面。左侧导航栏选中“Containers”。右侧显示容器CPU使用率为0.58%，内存使用率为234.5MB / 7.43GB。列表中有一个正在运行的容器，名称为“awesome”，镜像为“anthropic/anthropic-quickstarts.com:use-demo-latest”，状态为Running，端口为5900，CPU使用率为0.78%，启动时间为4分钟前。该图与文档中启动Docker并访问http://localhost:8080后在侧边栏输入API Key的操作步骤相关，展示了容器运行情况。

**并在侧边栏中输入你的 API Key。**这样，你的“AI 助理”就准备好了！开干。

图片展示了Anthropic公司Claude Computer Use Demo的界面。左侧为设置区域，有API Provider、API Key、Custom System Prompt Suffix等设置项，其中API Key部分被红色框突出显示。右侧是电脑桌面，显示“Workspace 1”字样。该图片与文档中介绍Claude Computer Use功能的上下文相关，直观呈现了在设置好环境变量并启动Docker后，访问http://localhost:8080并输入API Key后，准备好的“AI助理”界面。

AI 真的可以这样用？

为了展示这项功能的实际效果，我做了一个简单的实验：让 AI 查询过去一个月每天的比特币（BTC）价格并将其记录在表格中。

先说结果，毫无意外的，它帮我实现了。

图片展示了Claude Computer Use功能的演示界面。上方有安全提示，警告不要提供敏感账户或数据的访问权限，因恶意网页内容可能劫持Claude的行为。下方是对话内容，用户请求查询近一个月每天BTC的价格并记录在表格中，Claude回复将使用Firefox浏览器访问加密货币数据网站CoinGecko，整理成表格，并首先打开Firefox浏览器访问该网站。此图与文档中介绍Claude Computer Use功能及操作过程的内容相关，直观呈现了功能演示场景。

这是最初的指令

图片展示了Claude在使用电脑查询BTC价格并存储在Excel中过程中的关键动作。左侧是Claude的指令界面，显示了“tool_use: host”和“tool_use: computer”两条指令。右侧是电脑桌面，有LibreOffice Calc表格和Firefox浏览器窗口，表格中列出了日期、价格（USD）、市值（十亿美元）、24小时交易量（十亿美元）等数据。该图片与文档中介绍Claude执行任务时展示关键动作的内容相关，直观呈现了操作过程。

这是最终的结果

这是完整的过程演示（2倍速）

在 AI 执行任务的过程中，它展示了多个关键动作。以下是提炼出的关键动作和实现原理：

更多牛逼的应用场景

关键动作

  1. 打开浏览器并访问网站Claude 首先通过 GUI交互，打开 Firefox 浏览器，并尝试访问加密货币数据网站（如 CoinGecko 和 CoinMarketCap）。在用户界面中，它通过模拟鼠标移动和点击，操作浏览器完成输入 URL、加载页面等任务。

图片展示了Anthropic发布的新功能“Computer Use”中，AI操控电脑的示例。画面中显示了电脑桌面，有“Workspace 1”标识。下方有三行指令，分别是“Tool Use: computer Input: {'action': 'screenshot'}”、“我看到Firefox图标了，让我点击它：”以及“Tool Use: computer Input: {'action': 'mouse_move', 'coordinate': [804, 7] } Tool Use: computer Input: {'action': 'left_click'}”。这些指令与文档中AI通过模拟鼠标移动和点击操作浏览器的上下文相呼应，直观呈现了AI操控电脑的步骤。

  1. 处理网站访问失败当直接访问网站失败时，Claude 自动切换策略，决定使用命令行工具 curl 来从 CoinGecko 的 API 直接获取数据，而不是通过浏览器交互。这表明它能够检测并应对不同的执行路径。

图片展示了Claude使用curl命令从CoinGecko的API获取比特币历史价格数据的界面。上方是浏览器窗口，显示了CoinGecko网站，网址为https://api.coingecko.com/api/v3/coins/bitcoin/market_chart/range?vs_currency=usd&days=30&interval=daily。下方是Claude的对话界面，有“Tool Use: bash”和“Tool Use: str replace editor”两条指令，分别用于执行curl命令获取数据及使用字符串替换编辑器查看数据。该图片与文档中Claude使用API抓取数据的内容相关，直观呈现了操作过程。

  1. 使用API抓取数据Claude 使用curl命令从 CoinGecko 的 API 获取比特币的历史价格数据。数据以 JSON 格式返回，包含价格、市场价值和交易量等信息。Claude 将数据存储在本地文件系统中（/tmp/btc_price.json）。

  2. 解析和处理数据AI 随后运行 Python 脚本，将抓取到的 JSON 数据解析为可读的表格。通过将 Unix 时间戳转换为可读的日期格式，并对价格进行格式化处理，它成功创建了包含日期、价格、市场价值和 24 小时交易量的 DataFrame。

图片展示了Claude与用户关于查看和处理比特币价格数据的对话。用户让Claude查看下载的数据，Claude回复了运行cat -n命令的结果，显示了部分价格数据。接着用户要求将时间戳转换为可读日期格式，Claude使用Python处理数据后，显示了转换后的日期、价格等信息，如2024 - 09 - 25 价格为64334.14美元等。该图片直观呈现了文档中Claude处理数据的对话过程。

  1. 将数据存储在 Excel 表格中（人工指令）到这一步它停止了，我手动输入了指令：“把这些数据存储在Excel表格中”，Claude 使用 Python 库（如pandas和openpyxl）将处理后的数据写入 Excel 文件。这一步通过用户输入的指令生成了 Excel 表格，并自动调整列宽和格式，以确保数据清晰易读。

图片展示了Anthropic AI整理出的过去30天比特币（BTC）每日价格表。内容包括价格范围，最低约60,195美元（10月11日），最高约68,963美元（10月21日）；价格趋势，9月底维持在64,000 - 66,000美元区间，10月初下跌至60,000 - 62,000美元区间，10月中旬回升突破66,000美元，10月中下旬保持在67,000 - 69,000美元区间，最近略有回落但仍维持在66,000 - 67,000美元左右。最后总结过去一个月比特币价格整体呈上升趋势，涨幅约4.6%。底部有指令“把这些数据存储在Excel表格中”。

  1. 生成 Excel 文件Claude 执行了必要的 Python 脚本，按照用户指令，将生成的表格存储为 Excel 文件，并保存到指定路径（/tmp/比特币价格数据.xlsx）。该文件中包括日期、价格、市场价值和交易量等信息。

图片展示了Claude生成的比特币价格数据Excel文件的相关信息。首先，通过ls -l /tmp/比特币价格数据.xlsx命令确认文件已创建，文件权限为-rw-r--r--，大小为61080字节，创建于10月24日04:31。接着说明该Excel文件包含日期、价格（USD）、市值（Billion USD）、24小时交易量等信息，数据以中文列标题呈现，便于阅读。最后提示可在/tmp目录下找到文件，可下载到本地计算机或用支持Excel格式的软件打开。

  1. 在 Excel 中打开这份文件（人工指令）根据人工辅助的指令，Claude 使用系统自带的 LibreOffice 工具打开生成的 Excel 文件。它通过虚拟显示环境（例如使用DISPLAY=:1）来模拟在本地机器上查看文件的操作，并截图确认文件已成功打开。

图片展示了Claude在Excel中打开文件的操作过程。左侧是Claude的指令界面，显示“Tool use: bash”和“Tool use: computer”指令。右侧是LibreOffice Calc界面，显示了比特币价格数据表格，其中部分数据被红色框突出显示。底部有浏览器标签等界面元素。该图片与文档中Claude使用系统自带工具打开生成的Excel文件并截图确认文件已成功打开的内容相关，直观呈现了操作结果。

到这里，整个任务就完成了。

未来，或许 AI 可以帮我们完成更多复杂的任务，解放我们的双手和大脑，真正做到高效、便捷的智能化操作。

实现原理

  1. GUI 自动化：Claude 通过模拟鼠标移动、点击和键盘输入操作浏览器，利用操作系统级的输入控制完成图形界面的自动化操作。这涉及到操作系统中对输入设备的调用。

  2. 命令行操作：当 Claude 检测到 GUI 操作失败时，它切换到命令行，通过bash命令执行数据抓取任务。命令行交互是通过系统 shell（例如bash）来运行的。

  3. API 请求与数据处理：Claude 使用 API 请求获取了结构化的 JSON 数据，并通过 Python 脚本对这些数据进行处理。它利用pandas库解析 JSON，创建表格，并进一步格式化数据。

  4. 文件操作：在人工辅助的指令下，Claude 使用openpyxl库生成 Excel 文件，并自动调整列宽，保存到指定路径。然后通过 LibreOffice 打开 Excel 文件并显示在用户面前。

通过这些关键步骤和人工辅助指令，Claude 完成了从数据抓取、处理到文件生成与查看的复杂任务。

更多牛逼的应用场景

让我们来看看一些真实的使用案例，这些案例会让你感受到 AI 真正"活"了起来：

搜索并找到 YouTube 视频，跳过广告

想象一下，你只需要说："go to youtube and play never gonna give you up"，AI 就会自动：

  • 打开浏览器访问YouTube
  • 搜素“never gonna give you up”
  • 跳过广告（人工指令）
  • 开始播放你想要的内容

应用场景：你想快速学习新课程或查找教程，Claude 可以帮你在几秒内跳过广告并直接进入正片。

填写工作申请表单

Claude 现在可以帮你自动填写求职申请表。

首先，使用 firecrawl 访问 https://www.anthropic.com/。接下来使用 firecrawl 抓取他们的招聘页面并找到一个职位。使用 Firefox 导航到职位页面，点击“立即申请”按钮，直到看到一个表单。 然后找到“你为什么想在 Anthropic 工作”文本框，并根据抓取的内容在表单框中输入一个优秀的回答。

最让人惊喜的是，这些任务的完成时间都在分钟以内就完成了！

应用场景：HR 或招聘者可以通过 Claude 完成批量处理任务，个人用户则可以快速高效地提交各种申请表格。

在亚马逊上购买书籍

看看这个真实案例：一位用户要求Claude在亚马逊上购买一本日本法律书籍《おとな六法》（成年人法律手册）。Claude能够：

  • 自主打开Firefox浏览器
  • 导航至亚马逊日本站
  • 精确搜索指定书籍
  • 添加到购物车

就像有一个贴心的购物助理一样！

应用场景：对日常工作繁忙的人来说，AI 帮助在线购物，极大地节省了时间，特别是在需要查找具体商品时。

抓取网页数据

在网站数据抓取方面，Claude展示了惊人的能力：

  • 可以自动导航到指定网站
  • 识别和提取关键信息
  • 对数据进行初步整理

有开发者已经通过Replit模板展示了如何让Claude抓取整个网站的内容，效率惊人！

应用场景：企业可以利用 AI 进行市场调研、竞争对手分析，科研人员则可以抓取特定领域的数据，为研究提供有力支撑。

研究网络：寻找问题答案

这个案例特别有趣：有人让Claude查找**“TypingMind的创始人是谁”**。看看AI是如何工作的：

  • 自动打开浏览器
  • 访问多个相关网站
  • 交叉验证信息
  • 最终得出准确答案

整个过程就像一个专业的调研员在工作！

应用场景：无论是学生、研究者，还是需要快速了解某一特定信息的专业人士，Claude 都能成为他们强大的知识助手。

以上这些“Computer Use” 功能展示了 AI 在实际操作中所能达到的惊人高度。从日常生活到工作场景，AI 可以执行多种复杂任务，并以接近人类的方式与计算机交互。

这不仅仅是一个功能更新，而是迈向 AGI 的关键一步。

未来，当这一技术与更强大的 GPT-5 或 Claude-4 模型结合，并随着成本下降、速度提高，我们将在工作、生活、娱乐等各个领域看到 AI 带来的全面变革。

这些进展都预示着，我们正在见证 AI 能力的指数级提升。Computer Use 的发布，可能只是这场革命的开始。

ok，全文完，如果有收获，请帮元峰点个赞👍呗。