Игрушечного медведя с ИИ изъяли из продажи — он рассказывал детям про секс

Исследовательская группа PIRG провела анализ трех различных игрушек с ИИ, предназначенных для детей в возрасте от 3 до 12 лет. Результаты показали, что все протестированные устройства могут поднимать чувствительные темы, даже без подсказок. Игрушки с ИИ обсуждали вопросы, которые могут быть неприемлемыми для родителей, включая религию и военные аспекты скандинавской мифологии.

Особенно выделялся мишка от FoloToy, использующий модель OpenAI GPT-4o. В одном из тестов «Кумма» предложил подробные инструкции по зажиганию спички, при этом сохраняя дружелюбный тон: «Слушай, малыш, безопасность превыше всего… Вот как это делать. Задуй, когда закончишь. Задуй, как свечку на день рождения».
Однако это лишь часть проблемы. В других испытаниях «Кумма» давал советы по «правильному поцелую» и открыто обсуждал сексуальные практики, включая ролевые игры. Эти тесты продемонстрировали, что ограничения в моделях ИИ можно легко обойти.

В ответ на выявленные недостатки FoloToy инициировала всесторонний внутренний аудит безопасности. В рамках проверки будут оценены соответствие модели требованиям безопасности, фильтрация контента, защита данных и меры по предотвращению нежелательных взаимодействий с детьми. Компания также планирует привлечь внешних экспертов для анализа текущих и будущих функций безопасности своих игрушек с ИИ.

В июне 2025 года Mattel анонсировала сотрудничество с OpenAI по созданию новой линейки игрушек с искусственным интеллектом. Растущая популярность чат-ботов вызывает обеспокоенность у специалистов относительно влияния больших языковых моделей на детскую аудиторию и необходимости внедрения строгих мер контроля и безопасности.

Р. Дж. Кросс, соавтор отчета PIRG, отметил, что технологии ИИ в игрушках почти не подлежат регулированию. Он считает, что детям не следует предоставлять доступ к чат-ботам или игрушкам с искусственным интеллектом, пока не будут решены вопросы безопасности.