Тестирование
Страница «Генерация → Тестирование» — это песочница для конвейера. Вы выбираете одну реальную карточку и прогоняете на ней шаги, чтобы увидеть, что получится, до того как запускать генерацию на весь каталог.
Пошаговый пример проверки готового конвейера — в разделе «Пошаговая настройка модуля».
Безопасно ли это
В карточку ничего не записывается. Тест возвращает ответ модели на экран и на этом заканчивается: поля карточки не меняются, очередь генерации не трогается, результаты не попадают на модерацию.
Но тест не бесплатный. Кнопки «Запустить тест» и «Запустить шаг» отправляют настоящий запрос к нейросети и расходуют токены так же, как рабочая генерация. Бесплатна только кнопка «Предпросмотр» — она к нейросети не обращается.
Сначала проверьте промпт через «Предпросмотр», и только потом запускайте шаг. Так вы не платите за каждый неудачный вариант формулировки.
Страница по блокам
Тестовая сущность
| Поле | Что делает |
|---|---|
| Сущность | Выбор карточки (элемента или раздела — в зависимости от профиля), на которой отработает конвейер |
| Запустить только шаг | «Все шаги» или один конкретный шаг: «Шаг 3: SEO meta description» |
| Запустить тест | Запускает выбранные шаги по очереди. Пока карточка не выбрана, кнопка неактивна |
Клик по полю «Выберите значение» открывает окно с таблицей: ID, название и путь (раздел, где лежит карточка). Кнопка «Обновить» перечитывает список. После выбора в поле видно «ID … — название».
В списке только карточки, которые подходят под фильтр активного профиля: нет смысла тестировать на товаре, который в обработку всё равно не попадёт.
Во время прогона кнопка показывает «Выполнение…». После прогона она меняется на «Запустить снова», рядом появляется «Очистить» — она стирает результаты с экрана.
Конвейер
Список шагов текущего профиля только для просмотра — редактируются они на странице «Конвейер». Сверху — провайдер, модель по умолчанию и таймаут. У каждого шага видно поле для записи, число проверок («Валидаторов: 2»), своя модель шага и пометка «Веб-поиск», если они есть. После прогона рядом с шагом появляется значок результата.
У каждого шага две кнопки:
| Кнопка | Что делает | Стоит токенов |
|---|---|---|
| Предпросмотр | Показывает, во что превратится промпт шага с полями выбранной карточки | нет |
| Запустить шаг | Прогоняет только этот шаг | да |
Предпросмотр промпта
Окно «Предпросмотр промпта — шаг N» показывает отдельно системный промпт (роль модели) и пользовательский промпт (задание). У каждого два переключателя:
- Итоговый текст — что именно уйдёт в нейросеть, с подставленными значениями карточки. На скриншоте вместо подстановки «Наименование» уже стоит «Кофемашина Kaffa Barista 300», а вместо «Детальное описание» — весь текст описания;
- Шаблон — промпт как он записан, со служебными подстановками.
Внизу — список плейсхолдеров, которые использует шаг, например «field · NAME».
Если шаг ссылается на ответ шага выше, в предпросмотр подставится ответ, полученный в этом сеансе тестирования. Не прогоняли тот шаг — на его месте будет пусто.
Здесь сразу видно, если выбрано не то поле, у карточки пусто важное свойство или не сработал условный блок.
Вывод
После запуска здесь появляется итог прогона — «Прогон завершён успешно» или «Прогон завершён с ошибкой» — и карточки результатов по каждому шагу. Карточка сворачивается и разворачивается кликом по заголовку; в заголовке — поле для записи и статус «Успех», «Ошибка» или «Выполняется».
| Что видно | Зачем |
|---|---|
| Целевое поле | Куда шаг записал бы ответ |
| Попыток | Сколько раз шаг обращался к модели. В тесте — один раз, без повторов |
| Токены | Сколько токенов ушло: prompt (запрос), completion (ответ), всего; при наличии — из кэша и на рассуждения |
| Стоимость и Время генерации | Цена шага (если провайдер её сообщает) и сколько секунд модель отвечала |
| Отправленный промпт | Итоговый текст запроса |
| Карта подстановок | Что подставлено вместо каждого плейсхолдера. Раскрывается кликом, справа — число подстановок |
| Ответ модели | Ответ после чистки — то, что попало бы в поле |
| Сырой ответ модели | Что вернул провайдер до чистки и проверок (кнопка «Показать»). Появляется, если отличается от ответа после чистки; у шага с ошибкой раскрыт сразу |
| Веб-поиск | Для шагов с поиском: сколько раз модель реально искала, с какими настройками и какие источники нашла |
| Ошибка шага | Текст ошибки, если шаг не отработал. Если ответ не прошёл проверки, здесь будет причина, например «Валидация не пройдена (ошибка): Текст слишком короткий: …» |
Внизу — «Итого токенов» за весь прогон.
Все шаги или один
- Все шаги — шаги выполняются по очереди, как в рабочем конвейере. Ответ каждого шага передаётся следующим, в том числе ответ промежуточного шага «без записи». Если шаг завершился ошибкой, прогон останавливается.
- Один шаг в поле «Запустить только шаг» — прогон начинается заново только с этого шага. Если шаг использует ответы шагов выше, они будут пустыми.
- Кнопка «Запустить шаг» у шага в списке не стирает предыдущие результаты на экране: шаг получит ответы шагов, которые вы уже прогнали в этом сеансе.
Расчёт бюджета
Тестовый прогон показывает стоимость одной карточки. Число карточек видно в счётчике фильтра. Перемножьте:
стоимость одного прогона × число карточек в фильтре ≈ бюджет генерации
Подробнее о ценах — Сколько стоит генерация.
Советы
- Тестируйте на разных карточках: с полным набором свойств и почти пустой. На бедных карточках вылезают проблемы, которые решают условные блоки.
- Ответ не проходит проверки — посмотрите в «Ошибке шага», какая проверка провалилась, сравните с «Сырым ответом модели» и правьте промпт или порог проверки. Помните: в рабочей генерации при варианте «Остановить» шаг повторяется до исчерпания попыток, а в тесте — нет, см. Постобработка и проверки.
- Ошибка подключения или ключа — проблема не в промпте, проверьте настройки провайдера: Провайдеры.
- После успешных тестов запускайте массовую генерацию на дашборде — и для начала с включённой ручной проверкой.