# Конвеєри тестів із самовідновленням Традиційні набори тестів ламаються при зміні UI. Тести з самовідновленням використовують пам'ять Synapse, щоб вчитися з минулих невдач та адаптуватися — це зменшує flaky-тести та витрати на обслуговування. ## Концепція ``` ┌─────────┐ fails ┌──────────┐ store ┌──────────┐ │ Test │ ───────▶ │ Synapse │ ───────▶ │ Memories │ │ Run │ │ Memory │ │ (failures)│ └─────────┘ └──────────┘ └──────────┘ ▲ │ │ recall │ │ before next run │ └─────────────────────┘ ``` 1. Тест запускається 2. Якщо він провалюється, зберегти невдачу (що пішло не так, чому, як виправити) 3. Наступний запуск: відкликати відповідні невдачі перед виконанням 4. Застосувати відомі виправлення автоматично ## Реалізація ### Крок 1: Обгортка тесту Обгорніть кожен тест відкликанням/збереженням пам'яті: ```python import requests from datetime import datetime URL = "https://synapse.schaefer.zone" MIND_KEY = "mk_..." def self_healing_test(test_name, test_fn): """Decorator: wrap a test with self-healing memory.""" def wrapper(): # 1. Відкликати минулі невдачі для цього тесту past_failures = requests.get( f"{URL}/memory/search?q={test_name}+failure", headers={"Authorization": f"Bearer {MIND_KEY}"} ).json() # 2. Запустити тест із контекстом невдач try: test_fn(known_failures=past_failures) except Exception as e: # 3. Зберегти невдачу store_failure(test_name, e, traceback.format_exc()) raise return wrapper def store_failure(test_name, error, traceback_str): requests.post(f"{URL}/memory", headers={"Authorization": f"Bearer {MIND_KEY}", "Content-Type": "application/json"}, json={ "category": "mistake", "key": f"test_failure_{test_name}_{datetime.now().isoformat()}", "content": f"Test: {test_name}\nError: {error}\nTrace:\n{traceback_str}", "tags": ["test", "failure", test_name], "priority": "high" }) ``` ### Крок 2: Адаптивна логіка тесту Усередині тесту перевіряйте відомі невдачі та застосовуйте виправлення: ```python @self_healing_test def test_login_page(browser, known_failures=None): browser.goto("https://app.com/login") # Перевірити, чи бачили ми зміну цієї сторінки раніше if known_failures and known_failures.get("results"): for failure in known_failures["results"]: if "button moved" in failure["content"].lower(): # Використати мітку доступності замість координат browser.click(by_label="Login button") return # За замовчуванням: використати координати browser.click(x=150, y=400) ``` ### Крок 3: Стратегії відновлення Зберігайте стратегії відновлення як спогади: ```python def store_recovery(failure_type, strategy): requests.post(f"{URL}/memory", headers={"Authorization": f"Bearer {MIND_KEY}", "Content-Type": "application/json"}, json={ "category": "skill", "key": f"recovery_{failure_type}", "content": strategy, "tags": ["test", "recovery", failure_type], "priority": "high" }) # Зберегти відновлення для поширених невдач store_recovery("element_not_found", "When element not found by ID, try by CSS class, then by XPath, " "then by accessibility label. Take screenshot for debugging.") store_recovery("timeout", "Increase timeout to 30s. If still fails, check if page is loading " "dynamically — wait for specific element instead of fixed time.") store_recovery("stale_element", "Re-find element before each interaction. Don't cache element references " "across page transitions.") ``` ### Крок 4: Інтеграція з CI ```yaml # .gitlab-ci.yml test:self-healing: script: - export SYNAPSE_MIND_KEY=$SYNAPSE_TEST_MIND_KEY - pytest tests/ --self-healing after_script: # Підсумок нових невдач - python scripts/synapse_failure_summary.py ``` ### Крок 5: Інформаційна панель аналізу невдач ```python # Отримати всі невдачі тестів за останній тиждень r = requests.get( f"{URL}/memory/search?q=test+failure", headers={"Authorization": f"Bearer {MIND_KEY}"} ) # Згрупувати за назвою тесту failures = {} for mem in r.json().get("results", []): test_name = extract_test_name(mem["content"]) failures.setdefault(test_name, []).append(mem) # Звіт for test, fails in sorted(failures.items(), key=lambda x: -len(x[1])): print(f"{test}: {len(fails)} failures") ``` ## Найкращі практики > [!TIP] > - **Зберігайте tracebacks** — вони містять точний рядок, що дав збій > - **Тегуйте за назвою тесту** — забезпечує швидку фільтрацію > - **Використовуйте категорію `mistake`** — відокремлює від звичайних спогадів > - **Встановлюйте пріоритет `high`** — невдачі не повинні забуватися > - **Періодичне очищення** — видаляйте спогади для вирішених проблем > - **Не зберігайте чутливі дані** — облікові дані, PII ## Поширені шаблони невдач для збереження | Тип невдачі | Що зберігати | |--------------|---------------| | Елемент не знайдено | Спробований селектор, стан сторінки, знімок екрана | | Тайм-аут | Час очікування, чого чекали | | Помилка твердження | Очікуване проти фактичного значення | | Мережева помилка | URL, код статусу, тіло відповіді | | Доступ заборонено | Потрібний дозвіл, поточна роль користувача | ## Наступні кроки - [Автоматизоване тестування iOS](/docs/guides/automated-testing-ios) - [Найкращі практики роботи з пам'яттю](/docs/guides/memory-best-practices) - [Куховарська книга відновлення помилок](/docs/llm-cookbook/error-recovery)