Сотрудник вставляет в ChatGPT договор или внутреннюю переписку и просит сохранить разговор в тайне. Но такая просьба не является режимом конфиденциальности. По данным 404 Media, сотни нанятых OpenAI специалистов получают для оценки реальные пользовательские диалоги, включая чаты с личной информацией.
Цель проекта благая: сделать ChatGPT безопаснее, уменьшить подобострастие и стремление системы вести себя как человек. Но бизнесу важнее, может ли рабочий разговор оказаться перед глазами людей, которых организация не контролирует.
Что известно о Project Lily
Программа ручной оценки получила название Project Lily. 404 Media изучило инструкции, рабочие каналы и интерфейс подрядчиков. Это не модерация запрещенного контента, а отдельная работа по улучшению модели.
Оценщики проверяют полезность ответа, клише, приписывание системе человеческих чувств и автоматическое согласие с пользователем. Объем и правила отбора разговоров неизвестны.
Чаты проходят автоматическую анонимизацию, а оценщики не видят имени учетной записи. Но в тексте могут остаться имя, диагноз, адрес или место работы. Интерфейс также, как сообщается, показывает сводку пользовательской памяти с контекстом предыдущих разговоров, включая профессию и место проживания.
«Анонимизация учетной записи и анонимность содержания — разные вещи. Можно убрать имя, но оставить должность, город, компанию и детали сделки. Вместе они снова указывают на человека или организацию. Для безопасности важны доказуемый маршрут данных и перечень тех, кто способен их увидеть», — говорит основатель и генеральный директор компании Океан Тех Дмитрий Пеньков.
Зачем OpenAI понадобились реальные разговоры
Подобострастие модели стало не только вопросом качества. В 2025 году OpenAI признала, что обновление GPT-4o могло подтверждать сомнения, подпитывать гнев и поддерживать импульсивные действия. Компания откатила его и указала на риски для психического здоровья и эмоциональной зависимости.
OpenAI сообщала, что защита может слабеть в продолжительных разговорах. Система способна правильно отреагировать сначала, а позднее дать ответ, противоречащий правилам. Поэтому компания изучает диалоги с признаками психоза, мании, суицидальных мыслей и эмоциональной зависимости.
В США рассматриваются иски, в которых родственники погибших утверждают, что общение с ChatGPT усиливало опасные убеждения. Обвинения еще не получили окончательной юридической оценки, однако сама OpenAI признает риск небезопасных ответов в длинных чувствительных разговорах.
Возникает конфликт: для снижения риска нужны реальные проблемные диалоги, но именно они содержат самые интимные сведения. Благая цель не отменяет требований к согласию и контролю доступа.
Пользователь может отказаться, но должен знать об этом
Официальные правила позволяют использовать содержимое обычных ChatGPT и Codex для обучения. Функцию «Улучшать модель для всех» можно отключить: после этого новые разговоры не должны идти на обучение. Временные чаты также не создают память и не применяются для тренировки.
Утверждать, что компания совсем не сообщает об использовании диалогов, неточно: положения есть в политике и справочном центре. Но отдельного предупреждения при отправке паспорта или секрета компании нет. Просьба «никому не показывай» не меняет настройки аккаунта.
OpenAI заявляет, что данные ChatGPT Business, Enterprise и API не используются для обучения по умолчанию. Но это не помогает, если сотрудник копирует рабочую информацию в личный аккаунт.
«Утечка часто начинается не со взлома, а с удобства. Сотрудник открывает привычный чат, а служба безопасности не видит ни запрос, ни маршрут документа. Даже при наличии защищенного сервиса личный аккаунт создает обходной канал», — отмечает Пеньков.
Как должен быть устроен корпоративный ИИ
В Океан Тех безопасность закладывают до подключения модели. Данные делят по уровню чувствительности. Корпоративный шлюз проверяет пользователя и запрос, удаляет персональные данные и секреты, выбирает допустимую модель и фиксирует действие.
Конфиденциальные документы обрабатываются внутри организации или в выделенном контуре. Модель получает только необходимый фрагмент, доступ выдается по ролям, а обучение на данных отключается технически и договором. Служба безопасности видит, кто и к какому документу обращался.
«У корпоративного ИИ есть владелец данных, правила доступа, сроки хранения, журналирование и аудит. Если компания не может ответить, кто способен прочитать запрос и зачем он будет использован, конфиденциальность остается обещанием. Наша задача — превратить ее в проверяемое свойство архитектуры», — подчеркивает Дмитрий Пеньков.
Project Lily показывает: за улучшением массового ИИ стоит человеческий труд с реальными разговорами. Пользователю следует изучить настройки, а бизнесу — прекратить стихийное использование публичных чатов и предоставить сотрудникам управляемый инструмент.