Алексей Ишманов

Алексей Ишманов

Technical Product Leader • AI workplace

Как снизить стоимость LLM без потери качества

Пошаговый подход, чтобы улучшить юнит-экономику AI-фич.

Оглавление

Пошаговый подход, чтобы улучшить юнит-экономику AI-фич.

Сжатие контекста

Резюмируйте историю диалогов.

Кэширование

Повторяющиеся ответы храните.

Модельный роутинг

Используйте лёгкие модели там, где это безопасно.