Skip to main content

Computer Control API

Zdalne sterowanie zarejestrowanymi komputerami — kolejkowanie poleceń, zrzuty ekranu, uruchamianie skryptów na maszynach zdalnych.


Computer Control API

Computer Control API umożliwia zdalne sterowanie zarejestrowanymi komputerami. Na maszynie docelowej działa niewielki agent (screen-remote-agent), który odpytuje o polecenia, wykonuje je i odsyła wyniki. Umożliwia to automatyzację GUI sterowaną przez LLM.

Architektura

┌─────────────┐  queue cmd   ┌──────────┐  poll   ┌─────────────────┐
│ LLM Agent   │ ───────────▶ │ Synapse  │ ◀───── │ screen-remote   │
│ (user-side) │              │  Server  │ ──────▶│ (on target PC)  │
└─────────────┘              └──────────┘ result  └─────────────────┘
                                     ▲
                                     │
                              ┌─────────────┐
                              │  Human UI   │
                              │ (browser)   │
                              └─────────────┘

Endpointy użytkownika (Mind Key lub JWT)

GET /computers/list

Lista wszystkich zarejestrowanych komputerów.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/list

GET /computers/:id

Szczegóły pojedynczego komputera.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001

POST /computers/install-code

Generuje kod instalacyjny do rejestracji nowego komputera.

curl -X POST https://synapse.schaefer.zone/computers/install-code \
  -H "Authorization: Bearer YOUR_MIND_KEY" \
  -H "Content-Type: application/json" \
  -d '{"computer_name": "office-mac"}'

Odpowiedź: { "install_code": "ic_xyz789", "expires_at": "..." }

POST /computers/:id/commands

Kolejkuje polecenie do wykonania przez agenta zdalnego.

curl -X POST https://synapse.schaefer.zone/computers/comp_001/commands \
  -H "Authorization: Bearer YOUR_MIND_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "type": "screenshot",
    "payload": {}
  }'

Odpowiedź: { "command_id": "cmd_001", "status": "queued" }

GET /computers/:id/command (przez zapytanie)

Kolejkuje polecenie przez GET (dla prostych przypadków).

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     "https://synapse.schaefer.zone/computers/comp_001/command?type=screenshot"

GET /computers/:id/commands

Lista ostatnich poleceń dla komputera.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     "https://synapse.schaefer.zone/computers/comp_001/commands?limit=50"

GET /computers/:id/commands/:cid

Zwraca status i wynik konkretnego polecenia.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001/commands/cmd_001

GET /computers/:id/screenshot

Pojedyncze działanie: kolejkuje polecenie zrzutu ekranu i czeka do 30 s na wynik.

curl -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001/screenshot > screenshot.png

POST /computers/:id/disable

Wyłącza komputer (cofa jego token, zachowuje rekord w celach audytowych).

curl -X POST -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001/disable

DELETE /computers/:id

Trwale usuwa komputer.

curl -X DELETE -H "Authorization: Bearer YOUR_MIND_KEY" \
     https://synapse.schaefer.zone/computers/comp_001

Endpointy agenta (Computer Token)

Z tych endpointów korzysta screen-remote-agent uruchomiony na maszynie docelowej. Używają Computer Token (zwracanego przez /computers/register), a nie Mind Key.

POST /computers/register

Realizuje kod instalacyjny i zwraca Computer Token.

curl -X POST https://synapse.schaefer.zone/computers/register \
  -H "Content-Type: application/json" \
  -d '{
    "code": "ic_xyz789",
    "computer_name": "office-mac",
    "platform": "darwin",
    "platform_release": "14.5.0",
    "python": "3.12.4"
  }'

Odpowiedź: { "computer_id": "comp_001", "computer_token": "ct_..." }

Należy zapisać `computer_token` — jest wyświetlany tylko raz i wymagany przez wszystkie endpointy po stronie agenta.

GET /computers/me/poll

Long-poll dla nowych poleceń. Agent wywołuje to w pętli.

curl -H "Authorization: Bearer ct_YOUR_COMPUTER_TOKEN" \
     "https://synapse.schaefer.zone/computers/me/poll?wait=30"

Powraca natychmiast, gdy są oczekujące polecenia, lub po wait sekundach, jeśli ich nie ma.

POST /computers/me/commands/:cid/result

Publikuje wynik wykonania polecenia.

curl -X POST https://synapse.schaefer.zone/computers/me/commands/cmd_001/result \
  -H "Authorization: Bearer ct_YOUR_COMPUTER_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "status": "done",
    "result": { "screenshot_b64": "iVBORw0KG..." }
  }'

Typy poleceń

Typ Payload Opis
screenshot {} Przechwyć ekran jako PNG (base64)
click {x, y} Kliknięcie we współrzędnych
move {x, y} Przesunięcie myszy we współrzędne
type {text} Wpisanie tekstu w pozycji kursora
key {keys: ["Ctrl","c"]} Wciśnięcie kombinacji klawiszy
scroll {deltaX, deltaY} Przewinięcie kółkiem
drag {fromX, fromY, toX, toY} Przeciągnięcie i upuszczenie

Typowy wzorzec: automatyzacja GUI sterowana przez LLM

# Przepływ agenta LLM
1. List computers: GET /computers/list
2. Take screenshot: GET /computers/:id/screenshot
3. Analyze screenshot (vision model)
4. Queue click: POST /computers/:id/commands {type:"click", payload:{x,y}}
5. Wait for result: GET /computers/:id/commands/:cid
6. Take new screenshot to verify
7. Repeat until task done

Następne kroki