Часть экосистемы Forge DevKit
◇ forge-prompts
Управляй промптами как кодом
Проблема
Промпты дрейфуют от сессии к сессии
Одинаковый вопрос - разные ответы. Никакого единого фреймворка. Каждая сессия изобретает промпт-велосипед.
Нет способа тестировать качество промптов
Меняете системный промпт и надеетесь, что он работает. Нет регрессионных тестов, нет метрик качества.
Знания о промптах остаются в голове одного разработчика
Разработчик, написавший промпт, уходит. Никто не знает, почему он структурирован именно так.
Как это работает
Установка
Одна команда добавляет forge-prompts в ваше окружение.
Настройка
3-гейтовый визард определяет ваш LLM-стек, устанавливает принципы промптов и выбирает фреймворки (CO-STAR, RISEN, TIDD-EC).
Управление
Инвентаризация промптов, аудит по принципам, ревью качества, тестирование на регрессии.
Эволюция
Learning loop захватывает находки из аудитов и тестов. Принципы улучшаются автоматически со временем.
Ключевые возможности
◇5 операционных режимов
Inventory, audit, review, test, evolve. Полный lifecycle-менеджмент для каждого промпта в проекте.
◇3 фреймворка промптов
CO-STAR (контекстно-структурированный), RISEN (ролевой), TIDD-EC (декомпозиция задач) - или создайте свой. Каждый задаёт свою архитектуру промптов.
◇Регрессионное тестирование
LLM-as-judge тесты гарантируют, что изменения промптов не ломают существующее поведение. Интегрировано с forge-qa.
◇5 психологических предупреждений
Привязка к первым черновикам, confirmation bias при оценке тестов, sunk cost на неработающих промптах, авторитетный bias к примерам вендоров и эффекты фрейминга при A/B-сравнении промптов.
◇Learning loop
Находки аудитов автоматически становятся новыми принципами. После 3 циклов ваши гайдлайны промптов отражают реальные паттерны проекта, а не генерические best practices.
Для кого это
AI-инженер
Управляйте промптами с фреймворками, аудит-трейлами и регрессионными тестами.
Разработчик с LLM API
Перестаньте писать промпты ad-hoc - получите структурированные фреймворки и автоматические проверки качества.
Тимлид
Стандартизируйте промпт-инжиниринг по команде с общими принципами и learning loop.
forge-prompts vs Ручной prompt engineering
| Критерий | Ручной prompt engineering | Forge DevKit |
|---|---|---|
| Управление промптами | Разбросаны по файлам, нет инвентаризации | Полный каталог с принципами и фреймворками |
| Контроль качества | Ручная проверка на глаз | Автоматический аудит + LLM-as-judge регрессионные тесты |
| Сохранение знаний | В голове разработчика | Документированные принципы с learning loop эволюцией |
| Консистентность | Каждый промпт пишется ad-hoc | Фреймворк-guided с командными принципами |