Алгоритм детекции ошибок сжатия позволяет ИИ обрабатывать длинные диалоги, не теряя детали и не расходуя лишние мощности, сообщается на сайте банка.
Человек общается с ИИ-помощником, и тот помнит детали разговора месячной давности и не путается в фактах, а компания при этом не тратит состояние на вычислительные ресурсы. Исследователи Центра практического искусственного интеллекта Сбербанка в сотрудничестве с учёными Института AIRI и Сколтеха нашли способ определять тот самый момент, когда нейросеть при экономии памяти начинает терять смысл. Этот метод лёг в основу научной статьи, представленной на международной конференции EACL 2026 в Марокко. Разработчики применили новый метод при обновлении ИИ-помощника ГигаЧат: теперь он запоминает ключевые факты о пользователе и использует их в дальнейшем общении — делая взаимодействие более естественным и персонализированным.
Современные ИИ-модели умеют рассуждать уже почти как человек, но с памятью часто возникают вопросы. Стандартный подход — просто вложить в контекст нейросети всю историю переписки или кипу документов. Это работает до тех пор, пока текстов мало. Как только контекст достигает определённого размера, могут возникать несоответствия ответам желанным. Модель помнит начало и конец, но теряет то, что было в середине. Учёные называют это эффектом Lost in the Middle. К тому же обработка миллионов токенов требует большого объёма видеопамяти.
Эффективным методом обработки больших объёмов данных является сжатие информации с последующим переводом в векторные представления. Данный подход позволяет минимизировать потребление вычислительных ресурсов. Критическим ограничением метода выступает риск необратимого искажения данных при превышении пороговых значений сжатия — феномен, определённый как переполнение токенов (token overflow).
Российские исследователи предложили инструмент для борьбы с этой проблемой. Они создали лёгкий обучаемый классификатор, который работает как детектор качества. Он проверяет сжатые токены ещё до того, как они попадут в большую языковую модель. Если классификатор видит, что смысл нарушен, он не пропускает испорченный контекст дальше. И тогда система может подставить оригинальный несжатый текст или поискать свежие документы. В любом случае некорректные данные не уйдут в генерацию, пользователь не получит недостоверный ответ, а компания не потратит лишних средств на вычисления.
Для бизнеса, который встраивает ИИ-модели в свои корпоративные поисковики, ассистентов или боты поддержки, это прямая экономия. Учёным исследование даёт строгую методологию: теперь понятно, где проходит граница сжимаемости текста и как отследить момент переполнения токенов. В обществе же это повышает доверие к технологиям и популярность ИИ-помощников. Например, разработчики применили метод при обновлении флагманской модели Сбера GigaChat Ultra — она научилась запоминать факты о пользователе и использовать их для дальнейшей персонализации общения. Это делает взаимодействие более естественным и комфортным.
Николай Тиден, директор Центра практического искусственного интеллекта Сбербанка:
Представьте, что нужно пересказать итоги трёхчасового стратегического совещания парой фраз. Ключевые тезисы вы выделите, но высок риск упустить критически важные нюансы или исказить смысл. Так же работает механизм сжатия контекста в языковых моделях. Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестаёт быть оптимизацией и ведёт к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надёжности искусственного интеллекта — сокращение издержек и повышение точности принятия решений.