0 存储库下载
https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo
该存储库可帮助您开始在 Claude 上使用计算机,并提供以下参考实现:
- 构建文件以创建具有所有必要依赖项的 Docker 容器
- 计算机使用 Anthropic API、Bedrock 或 Vertex 的代理循环来访问更新的 Claude 3.5 Sonnet 模型
- 人类学定义的计算机使用工具
- 用于与代理循环交互的流线型应用程序
以下为如何快速入门 运行 Docker 容器
如何你想要了解Claude如何使用api和开发应用,请你访问如下教程:
1 Anthropic API设置
export ANTHROPIC_API_KEY=%your_api_key%
docker run \
-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
容器运行后,请参阅下面的访问演示应用程序部分,了解如何连接到接口的说明。
2 Bedrock设置
您需要传入具有适当权限的 AWS 凭证才能在 Bedrock 上使用 Claude。
您有几个使用 Bedrock 进行身份验证的选项。有关更多详细信息和选项,请参阅 boto3 文档。
选项 1:(建议)使用主机的 AWS 凭证文件和 AWS 配置文件
export AWS_PROFILE=<your_aws_profile>
docker run \
-e API_PROVIDER=bedrock \
-e AWS_PROFILE=$AWS_PROFILE \
-e AWS_REGION=us-west-2 \
-v $HOME/.aws/credentials:/home/computeruse/.aws/credentials \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
容器运行后,请参阅下面的访问演示应用程序部分,了解如何连接到接口的说明。
选项 2:使用访问密钥和密码
export AWS_ACCESS_KEY_ID=%your_aws_access_key%
export AWS_SECRET_ACCESS_KEY=%your_aws_secret_access_key%
export AWS_SESSION_TOKEN=%your_aws_session_token%
docker run \
-e API_PROVIDER=bedrock \
-e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID \
-e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY \
-e AWS_SESSION_TOKEN=$AWS_SESSION_TOKEN \
-e AWS_REGION=us-west-2 \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
容器运行后,请参阅下面的访问演示应用程序部分,了解如何连接到接口的说明。
3 Vertex设置
您需要传入具有适当权限的 Google Cloud 凭据才能在 Vertex 上使用 Claude。
docker build . -t computer-use-demo
gcloud auth application-default login
export VERTEX_REGION=%your_vertex_region%
export VERTEX_PROJECT_ID=%your_vertex_project_id%
docker run \
-e API_PROVIDER=vertex \
-e CLOUD_ML_REGION=$VERTEX_REGION \
-e ANTHROPIC_VERTEX_PROJECT_ID=$VERTEX_PROJECT_ID \
-v $HOME/.config/gcloud/application_default_credentials.json:/home/computeruse/.config/gcloud/application_default_credentials.json \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it computer-use-demo
容器运行后,请参阅下面的访问演示应用部分,了解如何连接到接口的说明。
此示例展示了如何使用 Google Cloud 应用程序默认凭据通过 Vertex 进行身份验证。
您还可以设置 GOOGLE_APPLICATION_CREDENTIALS 以使用任意凭据文件,有关更多详细信息,请参阅 Google Cloud 身份验证文档。
访问演示应用程序
容器运行后,打开浏览器访问 http://localhost:8080 以访问包含代理聊天和桌面视图的组合界面。
容器将 API 密钥和自定义系统提示等设置存储在 ~/.anthropic/ 中。挂载此目录以在容器运行之间保留这些设置。
备用访问点:
- 仅限 Streamlit 界面:http://localhost:8501
- 仅限桌面视图:http://localhost:6080/vnc.html
- 直接 VNC 连接:vnc://localhost:5900(适用于 VNC 客户端)
4 屏幕尺寸
环境变量 WIDTH 和 HEIGHT 可用于设置屏幕尺寸。例如:
docker run \
-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-e WIDTH=1920 \
-e HEIGHT=1080 \
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
我们不建议发送分辨率高于 XGA/WXGA 的屏幕截图,以避免与图像调整大小相关的问题。依赖 API 中的图像调整大小行为会导致模型准确度降低,性能比直接在工具中实现缩放更慢。本项目中的计算机工具实现演示了如何将图像和坐标从较高分辨率缩放到建议的分辨率。
5 Development
./setup.sh # configure venv, install development dependencies, and install pre-commit hooks
docker build . -t computer-use-demo:local # manually build the docker image (optional)
export ANTHROPIC_API_KEY=%your_api_key%
docker run \
-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
-v $(pwd)/computer_use_demo:/home/computeruse/computer_use_demo/ `# mount local python module for development` \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it computer-use-demo:local # can also use ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
上面的 docker run 命令将 repo 挂载到 docker 镜像中,这样你就可以从主机编辑文件。Streamlit 已配置自动重新加载。