Счёт за токены растёт: найдите дорогие этапы в трассировке ИИ

Общий расход за день показывает проблему, но не её источник. Чтобы найти дорогой этап, разбирайте каждый запрос по трассе: системная инструкция, история диалога, вызовы инструментов и ответ модели. 🔍 Для каждого шага фиксируйте входные и выходные токены, модель, длительность и стоимость с учётом актуальных тарифов. Отдельно отмечайте повторы, неудачные вызовы и повторную передачу контекста: именно они часто незаметно раздувают счёт. Сравните медиану и 95-й перцентиль, затем посчитайте стоимость не только запроса, но и успешно завершённой задачи. Так станет видно, где расход выше обычного и не маскирует ли редкий дорогой сценарий среднее значение. 🛠️ Оптимизируйте только подтверждённое узкое место: сократите избыточный контекст, уберите лишний этап или выберите более подходящую модель. После изменения проверьте трассу повторно и убедитесь, что качество не просело. Не записывайте в логи секреты и персональные данные из запросов.