Почему ИИ забывает: предел памяти любого ассистента

У Ника в мастерской заявки, которые не разобрали сразу, быстро остывают: клиент дважды напомнил о сроках, а найти его сообщение среди остальных уже не получается. С ИИ ассистентом происходит похожее: он забывает, потому что его рабочая память это контекстное окно, ограниченный объём текста, который модель видит прямо сейчас. У окна три предела, и все три встречаются в обычной работе. Первый: лимит токенов. Когда диалог перерастает окно, старые сообщения вытесняются, и ассистент теряет договорённости с начала беседы. Второй: окно живёт одну сессию. Закрыли чат, и модель знакомится с Вами заново, потому что сама по себе ничего не хранит между разговорами. Третий предел тоньше: даже внутри одного длинного окна модель читает текст неравномерно, и информация из середины длинного контекста извлекается заметно хуже, чем из начала и конца. Поэтому забывание это не поломка конкретного продукта, а базовое устройство языковых моделей. Снимается оно только отдельным слоем долговременной памяти, который хранит факты вне окна и подаёт их модели по мере надобности.

Лимит токенов: куда исчезает начало разговора

Токен это фрагмент слова, в русском тексте примерно половина короткого слова. Контекстное окно измеряется в токенах, и в него складывается вся сессия: Ваши сообщения, ответы модели, приложенные документы и служебные инструкции самого продукта. Окно у современных моделей большое, десятки и сотни страниц, но место в нём общее, и в живой работе оно заполняется быстрее, чем кажется: один длинный договор способен занять заметную его часть.

Представьте Ника, который весь вечер разбирает с ассистентом заказы за месяц: цены, сроки, обещания клиентам, переписку с поставщиком конвертов. К концу сессии в окне лежат десятки страниц. И вот на вопрос «какую дату старта мы зафиксировали?» ассистент отвечает уверенно, но неверно: дата обсуждалась три часа назад, в самом начале.

Когда лимит достигнут, у системы два выхода, и оба плохие для памяти. Либо старые сообщения вытесняются новыми, либо запрос обрезается. Похоже на школьную доску: место кончилось, и чтобы записать новое, стираете написанное утром. Модель при этом не забывает в человеческом смысле, она просто перестаёт видеть тот текст. Для Вас результат выглядит одинаково: договорённость с начала беседы из ответов исчезла.

Второй предел жёстче первого: окно живёт одну сессию. Языковые модели не дообучаются на Ваших разговорах на лету, поэтому закрытый чат для модели закрыт навсегда. Новый диалог начинается с чистого окна, и если рядом нет отдельного слоя памяти, ассистент знакомится с Вами заново.

Слепая зона в середине: что нашло исследование Lost in the Middle

Кажется, что решение очевидно: сделать окно гигантским и держать в нём всё. Тест «Lost in the Middle» показывает, почему этого мало. Моделям давали набор документов и вопрос, а затем двигали документ с ответом по разным позициям контекста. Результат получился U-образным: информацию из начала и конца окна модели извлекают надёжно, а в середине проваливаются.

Цифры выразительные. У GPT-3.5-Turbo в опыте с двадцатью документами точность падала с 75,8 процента, когда нужный документ стоял первым, до 53,8 процента, когда он оказывался в середине, и лишь частично восстанавливалась к концу списка, до 63,2 процента. Провал в середине опускался ниже 56,1 процента, которые та же модель показывала вообще без документов. То есть в худшем случае модель с полным контекстом отвечала хуже, чем по собственной памяти без единой подсказки: нужный текст лежал у неё перед глазами и не был прочитан.

Отдельно проверили модели с расширенным окном и получили почти те же кривые: длинноконтекстные версии вели себя практически как обычные. Вывод для практики простой: чем длиннее окно, тем больше в нём слепой зоны. Длинное окно полезно как рабочая поверхность для больших документов, но как хранилище всей Вашей истории оно ненадёжно. Середина, куда со временем сползает большая часть разговора, читается хуже всего, и именно там живут Ваши договорённости двухнедельной давности.

Почему встроенная память ChatGPT не снимает предел

У массовых ассистентов поверх окна появился слой заметок, и честно признать: для личных задач это шаг вперёд. ChatGPT умеет сохранять факты о пользователе и опираться на прошлые разговоры, а Вы можете посмотреть и удалить запомненное.

У этого слоя тоже есть пределы. Сохранённые заметки это хранилище с ёмкостью: когда оно заполняется, старое приходится удалять, а на платных тарифах система сама отодвигает менее важные записи на второй план, чтобы не упереться в состояние «память заполнена». Опора на историю чатов тоже не обещает удержать каждую деталь: запомненное из прошлых разговоров может меняться со временем, и не каждая мелочь сохраняется. А чтобы полностью удалить один факт, приходится вычищать его отовсюду: из заметок, из старых чатов, из загруженных файлов и подключённых приложений.

Главное для рабочего ассистента вот что: заметки живут в аккаунте, в инфраструктуре провайдера, и выгрузить их как живую базу, чтобы перенести в другую систему, нельзя. Встроенная память смягчает забывание, но предел остаётся архитектурным: она привязана к продукту и заканчивается вместе с аккаунтом. Разницу между заметками о Вас и памятью о Вашем деле мы подробно разобрали на странице Хермес против ChatGPT.

Что снимает предел: память вне окна

Забывание лечится не удлинением окна, а разделением ролей. Окно остаётся рабочей поверхностью: это то, что модель видит прямо сейчас. А долговременная память выносится наружу, в базу рядом с моделью. Ассистент записывает туда факты по ходу работы, а при новом вопросе достаёт по смыслу только относящееся к делу и подкладывает модели короткий контекст. У такого контекста нет длинной середины, которую можно потерять, и нет предела сессии: база не очищается оттого, что Вы закрыли чат.

Как устроен этот слой целиком, от токенов и эмбеддингов до ночной консолидации, мы разбираем в обзоре темы память ИИ-ассистента. Здесь важен сам принцип: предел памяти есть у любого окна, но окно не обязано быть единственным местом, где ассистент хранит Ваше дело.

Хермес построена на этом принципе. Её память живёт в базе на сервере клиента и растёт месяцами: каждый клиент, документ и решение ложатся в неё, а в окно модели попадает только нужное для текущего вопроса. Поэтому разговор через полгода начинается не со знакомства заново, а с продолжения. Где физически лежит эта база и почему её можно забрать с собой, описано на странице продукта.

Проверить предел собственного ассистента можно одним вопросом: спросите его о конкретной детали из беседы месячной давности, вроде той заявки, что почти остыла у Ника в коробке. Окно такой вопрос не переживает. Память отвечает фактом.