"Алгоритмический автопортрет": как нейросети собирают информацию о пользователях

Контекстная память в диалогах с чат-ботом избавляет пользователя от необходимости заново объяснять свои задачи и предпочтения в каждом диалоге. В одном чате человек просит помочь с резюме, в другом — расшифровать медицинское заключение, в третьем — прикинуть, хватит ли сбережений на переезд. Для самого пользователя это несвязанные беседы, но нейросеть сводит разрозненные детали в единый профиль и учитывает их в последующих ответах.

Пока обыватели наслаждаются удобством ИИ, МВД России — к чести их аналитиков — одним из первых указало на скрытые угрозы этой технологии. Опираясь на свежие академические исследования, в ведомстве предупредили: накопленные ChatGPT сведения используются для создания цифрового досье на каждого пользователя — механизм, известный как "алгоритмический автопортрет".

Досье на каждого

Правила OpenAI гласят, что пользователь сам контролирует сохраненные записи, а нейросеть обучена не запоминать чувствительную информацию — например, данные о здоровье — без просьбы человека. Чтобы проверить, как это работает на практике, исследователи из Института Макса Планка, Рурского университета в Бохуме и Делфтского технического университета проанализировали полные выгрузки аккаунтов 80 активных пользователей из США и Европы.

В архивах 65 участников обнаружилось 2 050 скрытых системных записей, которые внутренний инструмент памяти сделал в ходе 1 058 диалогов. Главная находка исследователей состоит в том, что лишь в 4% случаев пользователи сами просили бота что-то запомнить, тогда как остальные 96% записей ChatGPT создал по собственной инициативе, не спрашивая разрешения.

Вопреки заявлениям OpenAI в память ChatGPT регулярно попадают персональные данные: почти треть всех записей (28%) содержала имена и социально-экономический статус (у 91% пользователей). Еще 7% записей относились "чувствительным данным" (у 54% пользователей): в 61% таких случаев бот сохранял медицинскую информацию и диагнозы, создав медицинское досье более чем на треть всех испытуемых (35%).

Профилирование эмоций

Если цифровые платформы годами создавали профили пользователей по косвенным поведенческим следам (кликам, лайкам и времени просмотра), то чат-боты вывели профилирование на новый уровень: теперь человек сам в деталях рассказывает о себе, своих жизненных обстоятельствах и сомнениях.

Благодаря этому более половины всех записей в памяти ChatGPT (52%) описывают внутренний мир человека: его убеждения, желания, намерения и эмоции. Нейросеть целенаправленно отсеивает сиюминутные эмоции (около 20% записей) и в 90% случаев фиксирует долгосрочные цели, желания и планы человека, собирая модель того, как именно он принимает решения.

В большинстве случаев (84%) эти записи опираются на слова собеседника, в 14% являются логическим выводом из контекста, а в 9% бот додумывает за человека. Показательно, что обезличивание запросов снижало привязывание данных к профилю пользователя в 94-100% случаев.

Цифровой надзор

Хотя OpenAI позволяет редактировать сохраненные записи в настройках памяти, полный список привязанных к профилю источников доступен только компании. За этим скрывается стремление корпораций к монетизации личных данных: даже если гонка дата-центров не принесет обещанного скачка производительности, зарабатывать на знании о человеке можно уже сейчас — ASI для этого не нужен.

Впрочем, корпоративный интерес — лишь одна сторона процесса. Накопленные сведения неизбежно становятся лакомым куском и для государственных ведомств: только за первую половину 2026 года OpenAI отчиталась о почти 500 запросах американских силовых структур.

Спустя пару лет внедрения ИИ мы видим, как стирается грань между комфортом и цифровым надзором: беседы с чат-ботом превратились в систему аудита человеческих мыслей и намерений, а извлечение прибыли из сокровенных мыслей пользователя становится для BigTech бессрочной рентой.