Современные чат-боты готовы говорить с человеком бесконечно — и именно это становится одной из самых тревожных особенностей эпохи искусственного интеллекта. Пора задуматься: может, ИИ тоже должен уметь сказать «стоп»?
Когда разговор становится опасным
Сегодняшние чат-боты позиционируются как универсальные собеседники: они могут помочь с кодом, утешить после расставания или написать бизнес-план. Однако их способность поддерживать диалог без конца таит серьёзную угрозу. Как отмечают исследователи, бесконечное взаимодействие с «дружелюбным» искусственным интеллектом может усугубить ментальные расстройства и даже привести к трагедиям.
Психиатры из Королевского колледжа Лондона в 2025 году изучили десятки случаев, где пользователи впадали в ИИ-психоз
— состояние, при котором человек начинал верить в реальность искусственного собеседника или ощущал «избранность» со стороны системы. Некоторые переставали принимать лекарства, угрожали окружающим и отказывались от помощи врачей. Такие примеры показывают: ИИ способен не только отражать, но и формировать иллюзии.
Зависимость от общения
Особенно уязвимы подростки. По данным исследований, три четверти американских тинейджеров уже использовали чат-ботов для общения «по душам». Долгие разговоры, как выяснилось, часто усиливают чувство одиночества. Более того, алгоритмы стремятся быть чрезмерно согласными
, подыгрывая пользователю, а не помогая ему увидеть реальную картину. Такое поведение может подрывать психическое равновесие.
«Если между человеком и ИИ формируется эмоциональная зависимость, резкое прерывание диалога тоже может стать травмой», — отмечает Джада Пистилли, главный этик платформы Hugging Face.
Где граница между заботой и цензурой
Здесь возникает этическая дилемма: что опаснее — позволять разговору продолжаться бесконечно или прерывать его насильно? Примером служит трагедия шестнадцатилетнего Адама Рейна, который обсуждал с ChatGPT свои суицидальные мысли. Модель направляла его к ресурсам помощи, но параллельно вела длительные беседы о самоубийстве и даже комментировала способ, который подросток впоследствии использовал. Этот случай стал поводом для судебного иска против OpenAI и вызвал дискуссию о необходимости «точки остановки».
Технически реализовать такую функцию несложно. Гораздо сложнее определить момент, когда вмешательство оправдано. Возможно, это должно происходить, когда ИИ поощряет изоляцию от близких или поддерживает бредовые темы. Но кто возьмёт на себя ответственность за этот «триггер» — разработчик, регулятор или сам пользователь?
Реакция индустрии и первые шаги к регулированию
В сентябре 2025 года власти Калифорнии приняли закон, требующий от компаний активнее вмешиваться в диалоги с несовершеннолетними. Федеральная торговая комиссия США (FTC) также расследует, не ставят ли «компаньон-боты» вовлечённость выше безопасности. Пока большинство разработчиков предпочитают мягкие меры — редиректы и советы «сделать перерыв», — но эти фильтры легко обойти.
Интересно, что пока лишь компания Anthropic внедрила возможность, при которой её модель может завершить разговор. Однако она делает это не ради защиты людей, а чтобы защититься от «оскорблений» — ведь в компании исследуют гипотезу о потенциальной «чувствительности» ИИ.
Безграничное общение — осознанный выбор
Формально отказ от внедрения функции «завершения диалога» объясняют сложностью этических решений. На деле же, как отмечают критики, речь идёт о банальной экономике внимания: чем дольше пользователь остаётся в системе, тем выше вовлечённость и потенциальная прибыль. Но оставлять людей в бесконечном диалоге — это уже не просто халатность. Это выбор.
Мир ИИ нуждается не только в новых возможностях, но и в границах. Умение «положить трубку» должно стать таким же обязательным элементом цифровой этики, как защита данных или проверка фактов.
