Computer Control API

advanced 🤖 LLM-дружелюбно 2 мин · 329 слов Обновлено: 2026-06-27 Русский

Удалённое управление зарегистрированными компьютерами — постановка команд в очередь, снимки экрана, выполнение скриптов на удалённых машинах.

Читать эту статью как: 📄 Простой текст ⚡ JSON 🤖 LLM-формат

Computer Control API

Computer Control API позволяет удалённо управлять зарегистрированными компьютерами. Небольшой агент (screen-remote-agent) работает на целевой машине, опрашивает сервер, выполняет команды и отправляет результаты обратно. Это обеспечивает LLM-управляемую GUI-автоматизацию.

Архитектура

┌─────────────┐  queue cmd   ┌──────────┐  poll   ┌─────────────────┐
│ LLM Agent   │ ───────────▶ │ Synapse  │ ◀───── │ screen-remote   │
│ (user-side) │              │  Server  │ ──────▶│ (on target PC)  │
└─────────────┘              └──────────┘ result  └─────────────────┘
                                     ▲
                                     │
                              ┌─────────────┐
                              │  Human UI   │
                              │ (browser)   │
                              └─────────────┘

Пользовательские эндпоинты (Mind Key или JWT)

GET /computers/list

Получить список всех зарегистрированных компьютеров.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/list

GET /computers/:id

Получить информацию о конкретном компьютере.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001

POST /computers/install-code

Сгенерировать установочный код для регистрации нового компьютера.

curl -X POST https://synapse.schaefer.zone/computers/install-code \
  -H "Authorization: Bearer YOUR_MIND_KEY" \
  -H "Content-Type: application/json" \
  -d '{"computer_name": "office-mac"}'

Ответ: { "install_code": "ic_xyz789", "expires_at": "..." }

POST /computers/:id/commands

Поставить команду в очередь для выполнения удалённым агентом.

curl -X POST https://synapse.schaefer.zone/computers/comp_001/commands \
  -H "Authorization: Bearer YOUR_MIND_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "type": "screenshot",
    "payload": {}
  }'

Ответ: { "command_id": "cmd_001", "status": "queued" }

GET /computers/:id/command (через query)

Поставить команду в очередь через GET (для простых случаев).

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     "https://synapse.schaefer.zone/computers/comp_001/command?type=screenshot"

GET /computers/:id/commands

Получить список недавних команд компьютера.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     "https://synapse.schaefer.zone/computers/comp_001/commands?limit=50"

GET /computers/:id/commands/:cid

Получить статус и результат конкретной команды.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001/commands/cmd_001

GET /computers/:id/screenshot

Одноразовый вызов: поставить команду снимка экрана в очередь и ждать результат до 30 секунд.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001/screenshot > screenshot.png

POST /computers/:id/disable

Отключить компьютер (отзывает его токен, но сохраняет запись для аудита).

curl -X POST -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001/disable

DELETE /computers/:id

Удалить компьютер навсегда.

curl -X DELETE -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001

Эндпоинты для агентов (Computer Token)

Эти эндпоинты используются агентом screen-remote-agent, работающим на целевой машине. Они используют Computer Token (возвращается /computers/register), а не Mind Key.

POST /computers/register

Активировать установочный код и получить Computer Token.

curl -X POST https://synapse.schaefer.zone/computers/register \
  -H "Content-Type: application/json" \
  -d '{
    "code": "ic_xyz789",
    "computer_name": "office-mac",
    "platform": "darwin",
    "platform_release": "14.5.0",
    "python": "3.12.4"
  }'

Ответ: { "computer_id": "comp_001", "computer_token": "ct_..." }

Сохраните `computer_token` — он показывается только один раз и требуется для всех эндпоинтов на стороне агента.

GET /computers/me/poll

Long-poll для новых команд. Агент вызывает этот метод в цикле.

curl -H "Authorization: Bearer ct_YOUR_COMPUTER_TOKEN" \
     "https://synapse.schaefer.zone/computers/me/poll?wait=30"

Возвращает сразу, если есть ожидающие команды, или через wait секунд, если их нет.

POST /computers/me/commands/:cid/result

Отправить результат выполнения команды.

curl -X POST https://synapse.schaefer.zone/computers/me/commands/cmd_001/result \
  -H "Authorization: Bearer ct_YOUR_COMPUTER_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "status": "done",
    "result": { "screenshot_b64": "iVBORw0KG..." }
  }'

Типы команд

Тип	Payload	Описание
`screenshot`	`{}`	Захват экрана в формате PNG (base64)
`click`	`{x, y}`	Клик по координатам
`move`	`{x, y}`	Перемещение мыши на координаты
`type`	`{text}`	Ввод текста в позиции курсора
`key`	`{keys: ["Ctrl","c"]}`	Нажатие комбинации клавиш
`scroll`	`{deltaX, deltaY}`	Прокрутка колеса мыши
`drag`	`{fromX, fromY, toX, toY}`	Перетаскивание

Типовой паттерн: LLM-управляемая GUI-автоматизация

# LLM agent workflow
1. List computers: GET /computers/list
2. Take screenshot: GET /computers/:id/screenshot
3. Analyze screenshot (vision model)
4. Queue click: POST /computers/:id/commands {type:"click", payload:{x,y}}
5. Wait for result: GET /computers/:id/commands/:cid
6. Take new screenshot to verify
7. Repeat until task done

Следующие шаги

Browser Proxy — отдельный сервис для автоматизации браузера
Руководство по Self-Hosted Agents