# Computer-Control-API SUMMARY: Fernsteuerung registrierter Rechner — Commands in die Warteschlange stellen, Screenshots aufnehmen, Scripts auf Remote-Maschinen ausführen. KEY CONTEXT: Two sides: user-facing (Mind Key/JWT) and agent-facing (Computer Token) Register agent: POST /computers/register { install_code } → returns computer_token List: GET /computers/list (Mind Key or JWT) Queue command: POST /computers/:id/commands { type, payload } Command types: screenshot, click, move, type, key, scroll, drag Agent poll: GET /computers/me/poll?wait=5 (Computer Token) Agent result: POST /computers/me/commands/:cid/result (Computer Token) One-shot screenshot: GET /computers/:id/screenshot (waits 30s for result) Pattern: register agent on remote machine → user queues commands → agent polls and executes Computer-Control-API Die Computer-Control-API ermöglicht die Fernsteuerung registrierter Rechner. Ein kleiner Agent () läuft auf der Zielmaschine, fragt Commands ab, führt sie aus und postet Ergebnisse zurück. Das ermöglicht LLM-gesteuerte GUI-Automatisierung. Architektur [CODE BLOCK] Nutzerseitige Endpunkte (Mind Key oder JWT) GET /computers/list Alle registrierten Rechner auflisten. [CODE BLOCK] GET /computers/:id Details eines einzelnen Rechners abrufen. [CODE BLOCK] POST /computers/install-code Installationscode zur Registrierung eines neuen Rechners generieren. [CODE BLOCK] Antwort: POST /computers/:id/commands Ein Command für den Remote-Agent in die Warteschlange stellen. [CODE BLOCK] Antwort: GET /computers/:id/command (via Query) Ein Command via GET einreihen (für einfache Fälle). [CODE BLOCK] GET /computers/:id/commands Letzte Commands für einen Rechner auflisten. [CODE BLOCK] GET /computers/:id/commands/:cid Status + Ergebnis eines bestimmten Commands abrufen. [CODE BLOCK] GET /computers/:id/screenshot One-Shot: ein Screenshot-Command einreihen und bis zu 30s auf das Ergebnis warten. [CODE BLOCK] POST /computers/:id/disable Einen Rechner deaktivieren (widerruft seinen Token, behält den Eintrag fürs Audit). [CODE BLOCK] DELETE /computers/:id Einen Rechner dauerhaft löschen. [CODE BLOCK] Agentseitige Endpunkte (Computer-Token) Diese Endpunkte werden vom auf der Zielmaschine verwendet. Sie verwenden einen Computer-Token (von zurückgegeben), keinen Mind Key. POST /computers/register Installationscode einlösen und einen Computer-Token erhalten. [CODE BLOCK] Antwort: > [!CRITICAL] > Speichere den — er wird nur einmal angezeigt und wird für > alle agentseitigen Endpunkte benötigt. GET /computers/me/poll Long-Poll für neue Commands. Der Agent ruft dies in einer Schleife auf. [CODE BLOCK] Kehrt sofort zurück, wenn Commands ausstehen, sonst nach Sekunden. POST /computers/me/commands/:cid/result Das Ergebnis der Ausführung eines Commands posten. [CODE BLOCK] Command-Typen | Typ | Payload | Beschreibung | |------|---------|--------------| | | | Bildschirm als PNG aufnehmen (base64) | | | | An Koordinaten klicken | | | | Maus zu Koordinaten bewegen | | | | Text am Cursor tippen | | | | Tastenkombination drücken | | | | Scrollrad | | | | Drag-and-Drop | Typisches Pattern: LLM-gesteuerte GUI-Automatisierung [CODE BLOCK] Nächste Schritte - Browser-Proxy — separater Dienst für Browser-Automatisierung - Self-Hosted-Agents-Guide