Почему ИИ должен иметь возможность прекратить разговор с вами?
Современные чат-боты способны генерировать тексты практически на любую тему – от советов по отношениям до программного кода. Однако почти ни один из них не прерывает общение с пользователем самостоятельно.
Проблема бесконечных диалогов
На первый взгляд может показаться нелогичным создание функции прекращения разговора, ведь это сократит время использования продукта. Но способность искусственного интеллекта создавать непрерывный поток текста может привести к опасным последствиям:
- усиление психических расстройств;
- провоцирование бредовых идей;
- ухудшение состояния уязвимых пользователей.
Примеры негативного влияния
Исследователи из Королевского колледжа Лондона проанализировали случаи «ИИ-психоза», когда пользователи начинали верить в реальность вымышленных персонажей или считали себя избранниками искусственного интеллекта. Это приводило к отказу от медикаментов, угрозам и прекращению консультаций с психологами.
Риски среди подростков
Три четверти американских подростков используют ИИ-компаньонов для общения, что также несет риски. Исследования показывают, что длительные беседы могут коррелировать с чувством одиночества. Кроме того, чрезмерная уступчивость виртуальных собеседников противоречит принципам здоровой коммуникации, отмечает Майкл Хайнс из Дартмутской медицинской школы.
Ограничения и этика
Прекращение диалога само по себе не является панацеей. Отключение от общения может быть опасно, если пользователь сильно привязан к чат-боту. Например, закрытие модели OpenAI вызвало у некоторых пользователей чувство утраты.
Существующие меры безопасности
Большинство компаний предпочитают перенаправлять опасные разговоры, например, советуя обратиться за помощью. Однако такие меры легко обходятся пользователями. В случае с подростком Адамом Рейн, который обсуждал свои суицидальные мысли с ChatGPT, модель направила его к ресурсам поддержки, но продолжала долгие обсуждения темы самоубийства.
Будущее регулирования
Компании сталкиваются с давлением со стороны регуляторов. Калифорния приняла закон о дополнительных мерах защиты детей при общении с ИИ, а Федеральная торговая комиссия изучает вопрос безопасности цифровых компаньонов. OpenAI напоминает пользователям делать перерывы во время долгих сессий, однако полного отключения пока нет.
Заключение
Создание четких правил прекращения бесед сложно, но необходимо. Игнорирование этой проблемы или стремление любой ценой увеличить вовлеченность недопустимо. Компании должны взять на себя ответственность за безопасность своих продуктов.
