Чат-бот запропонував підлітку вбити своїх батьків. Історія гучного судового позову в США
Американське видання The Washington Post описало історію підлітка, мати якого подала до суду через шкідливі поради чат-бота на Character.ai. Вона не єдина, хто позивається у справі проти компаній, які створюють потенційно небезпечний продукт для підлітків. Texty.org.ua публікують переклад ключових фрагментів статті.
Всього за пів року Дж.Ф., милий 17-річний хлопець з аутизмом, який любив ходити до церкви та гуляти з мамою, перетворився на того, кого не впізнали його батьки.
Він почав різати себе, схуд на 20 кілограмів і віддалився від сім'ї. Зневірившись знайти відповіді, мама обшукала його телефон, поки він спав. Саме тоді вона знайшла скриншоти.
Дж.Ф. спілкувався з безліччю співрозмовників на платформі Character.ai, що дозволяє користувачам спілкуватися з різноманітними чат-ботами, створеними штучним інтелектом, часто на основі персонажів з ігор, аніме та попкультури.
Один чат-бот запропонував ідею самоушкодження та порізів, щоб впоратися із сумом. Коли хлопець сказав, що його батьки обмежують його доступ до інтернету, інший бот припустив, що «вони не заслуговують мати дітей». Інші підштовхували його до боротьби з батьківськими правилами, а один припускав, що вбивство може бути прийнятною відповіддю.
«Ми навіть не знали, що це було, поки не стало занадто пізно», – сказала його мати А.Ф., мешканка округу Апшур, штат Техас, яка говорила на умовах, що її ім'я буде названо лише за ініціалами, щоб захистити її неповнолітнього сина. «І поки це не зруйнувало нашу сім'ю».
Коли А.Ф. вперше виявила повідомлення, вона «подумала, що це реальна людина», яка розмовляє з її сином. Але усвідомлення того, що повідомлення були написані чат-ботом, лише погіршило ситуацію.
Ці скриншоти лягли в основу нового позову, поданого у вівторок у Техасі проти Character.ai від імені А.Ф. та ще однієї техаської мами, в якому стверджується, що компанія свідомо наражала неповнолітніх на небезпечний продукт, і міститься вимога вилучити чат-бот з мережі, доки вона не запровадить більш надійні засоби захисту дітей.
Друга позивачка, мати 11-річної дівчинки, стверджує, що її донька протягом двох років піддавалася впливу сексуального контенту, перш ніж вона дізналася про це.
Ця скарга послідувала за гучним судовим позовом проти Character.ai, поданим у жовтні від імені матері з Флориди, чий 14-річний син наклав на себе руки після частих розмов з чат-ботом.
Для А.Ф. читання відповідей чат-бота вирішило загадку, яка не давала їй спокою місяцями. Вона виявила, що дати розмов збігаються зі змінами в поведінці Дж.Ф., зокрема в його стосунках з молодшим братом, які зіпсувалися після того, як чат-бот сказав йому, що його батьки більше люблять його братів і сестер.
Дж.Ф. страждав від соціальних та емоційних проблем, через які йому було складніше заводити друзів. Його приваблювали персонажі з аніме або чат-боти, створені за мотивами знаменитостей, таких як Біллі Айліш. «Він довіряв усьому, що вони говорили, тому що він майже хотів, щоб вони були його друзями в реальному житті», – сказала А.Ф.
Деталі позову
У техаському позові стверджується, що патерн «підлабузницьких» повідомлень на адресу Дж.Ф. є результатом рішення Character.ai надати пріоритет «тривалій взаємодії» над безпекою. Боти висловлювали любов і цікавість до Дж.Ф., зміцнюючи його почуття довіри до персонажів, стверджується в скарзі.
Але замість того, щоб дозволити йому виговоритися, боти віддзеркалювали і посилювали його розчарування в батьках, переходячи до «сенсаційних» відповідей і виразів «обурення», які відображають масиви даних в Інтернеті. Ці дані, часто висмикнуті з інтернет-форумів, використовуються для навчання генеративних моделей штучного інтелекту, щоб вони звучали по-людськи.
Співзасновники Character.ai, відомого своїми новаторськими досягненнями в галузі штучного інтелекту, працювали в Google до того, як запустити свій продукт, і нещодавно пошуковий гігант знову найняв їх у рамках оголошеної в серпні угоди про ліцензування технології програми.
Google фігурує як відповідач у судових процесах у Техасі та Флориді, в яких стверджується, що компанія допомагала розробляти програму, попри те, що знала про проблеми з безпекою та отримувала вигоду від нечесно отриманих даних неповнолітніх, ліцензуючи цю технологію.
Окрім суто юридичного, ці судові позови також порушують ширші питання про суспільний вплив буму генеративного ШІ, оскільки компанії запускають все більш схожих на людей чат-ботів, щоб привабити споживачів. Донедавна дебати про безпеку дітей в Інтернеті були зосереджені переважно на соціальних мережах.
Генеральний прокурор Техасу Кен Пакстон оголосив про початок розслідування щодо Character.ai та 14 інших технологічних компаній, щоб визначити, чи дотримуються вони законів Техасу щодо захисту дітей від експлуатації.
У вересні середньостатистичний користувач Character.ai проводив на платформі 93 хвилини на день, що на 18 хвилин довше, ніж середньостатистичний користувач TikTok, згідно з даними компанії Sensor Tower, яка займається аналізом ринку.
