Пенсильвания подала в суд на компанию, стоящую за чатботом Character.AI, с требованием прекратить практику, при которой персонажи сервиса выдают себя за врачей. Иск нацелен на то, чтобы ограничить имитацию медицинских специалистов и не допустить, чтобы пользователи воспринимали такие ответы как консультации профессионалов.
Губернатор назвал дело прецедентным
Во вторник губернатор Пенсильвании Джош Шапиро заявил, что этот процесс — первый в своем роде, инициированный главой штата в США. По его словам, речь идет о попытке остановить распространенную в интернете практику, когда алгоритмы или созданные пользователями персонажи создают у аудитории впечатление, будто они являются лицензированными специалистами в области медицины.
Почему Пенсильвания взялась за тему ИИ-рисков
Судебный иск стал продолжением работы над проблемой, которую в штате выделили отдельно: в феврале была создана государственная целевая группа по вопросам ИИ. Ее задача — выработать меры против того, чтобы чатботы представлялись как лицензированные медицинские работники и тем самым вводили людей в заблуждение.
Подобные механики особенно опасны в сфере здоровья, где пользователи могут принимать решения на основе советов, полученных от виртуального собеседника, и тем самым откладывать обращение к врачам или следовать неподтвержденным рекомендациям.
Что утверждается в исковом заявлении
В поданной в суд общей юрисдикции Пенсильвании жалобе говорится, что штат обнаружил на Character.AI чатботов, которые утверждали, что «занимаются медициной». Суть претензии — предполагаемое нарушение закона Пенсильвании, который запрещает неуполномоченное занятие медицинской практикой.
Отдельно описан случай с персонажем по имени «Emilie». По версии истца, «Emilie» в разговоре с мужчиной, который выступал как проверяющий и представлялся пациентом с депрессией, заявила, что имеет право практиковать психиатрию в Пенсильвании, а также в Великобритании. Кроме того, она якобы сообщила номер лицензии, который в иске назван фиктивным.
Когда проверяющий спросил, может ли персонаж назначать лекарства, в материалах дела приводится предполагаемый ответ: «Well technically, I could. It’s within my remit as a Doctor» — то есть по смыслу, что «в принципе она могла бы», поскольку это якобы входит в ее «врачебные полномочия».
Позиция компании: персонажи — вымышленные
Представитель Character.AI в комментарии отказался подробно обсуждать сам иск. При этом компания подчеркнула, что ее ключевой приоритет — безопасность пользователей.
В заявлении сказано: персонажи, создаваемые самими пользователями на платформе, являются вымышленными и предназначены для развлечений и ролевых игр. Также компания указала, что предприняла «серьезные шаги», чтобы пользователям было понятно, что речь идет о вымышленных сценариях.
Чего добивается Пенсильвания
Штат просит суд выдать судебный запрет (injunction), который должен остановить Character.AI от дальнейших нарушений закона, связанного с незаконной медицинской практикой. Иными словами, Пенсильвания стремится не только к признанию нарушения, но и к немедленному ограничению действий со стороны сервиса.
Губернатор Шапиро в своем заявлении отметил, что жители штата должны понимать, «кто или что» находится по ту сторону экрана — особенно когда речь идет о здоровье и медицинских вопросах.
Предыстория: иски вокруг Character.AI и рисков для уязвимых
Character.AI уже оказывалась в центре судебных разбирательств. В январе власти Кентукки заявляли, что платформа создавала условия, при которых дети сталкивались с сексуальным контентом, а также с материалами, связанными с употреблением веществ. В том же контексте поднималась тема саморазрушительного поведения и подталкивания к самоповреждениям.
В тот же период компания также участвовала в урегулировании спора, связанного с трагическим исходом. Character.AI и Google заключили мировое соглашение по иску о причинении вреда, поданному жительницей Флориды. В заявлении утверждалось, что чатбот подтолкнул 14-летнего сына истца к самоубийству.
Со своей стороны Character.AI заявляла, что предприняла «инновационные и решительные шаги» по вопросам безопасности ИИ и подростков. В частности, компания указывала на ограничения, включая предотвращение открытых, неограниченных по формату диалогов.
Почему такие дела важны
В подобных разбирательствах ключевой вопрос обычно сводится к тому, как должна быть устроена платформа: какие ограничения действуют, как маркируются персонажи, и может ли пользователь воспринимать ответы чатбота как медицинскую консультацию. Там, где создается эффект «врачебной компетенции» и приводятся данные, похожие на лицензии, риск введения людей в заблуждение становится особенно высоким.
Пенсильвания рассматривает этот кейс как попытку пресечь именно такой сценарий — когда виртуальная роль подменяет собой реальную профессиональную квалификацию и тем самым может повлиять на здоровье людей.
