Китай дедалі більше залежить від копіювання американського штучного інтелекту, — The Economist

Уявіть людину на водних лижах. Рухаючись на хвилі за швидкісним катером, вона часом може розвивати більшу швидкість, ніж судно, яке її тягне, але ніколи не зможе його обігнати. Останнім часом деякі експерти використовують цю аналогію, щоб описати суперництво Китаю та США за лідерство у сфері штучного інтелекту.

На їхню думку, стрімкий прогрес китайських лабораторій значною мірою залежить від того, наскільки швидко їхні американські конкуренти розширюють межі можливостей ШІ. Якщо США прискорюються, Китай теж може рухатися швидше. Але якщо американці сповільняться, китайські розробники також втратять темп.

Причина — «дистиляція» ШІ-моделей. Це метод, за якого одну модель навчають на відповідях іншої, а не створюють її знання та навички з нуля. У міру розвитку штучного інтелекту дедалі актуальнішим стає питання, наскільки активно китайські компанії використовують дистиляцію найкращих американських моделей.

Американським компаніям потрібно, щоб користувачі платили за їхні дорогі моделі, а не переходили на дешеві копії. Водночас США прагнуть зберегти значну перевагу над Китаєм. Президент Дональд Трамп заявляв: «Хто переможе у сфері ШІ, той переможе загалом».

Утім, масове використання дистиляції передових моделей може виявитися не таким шкідливим для США і не таким вигідним для Китаю, як здається на перший погляд.

Принцип дистиляції доволі простий. На початкових етапах навчання великі мовні моделі (LLM) зазвичай вчаться відтворювати закономірності текстів, зібраних в інтернеті. Натомість під час дистиляції їх навчають наслідувати інші мовні моделі.

Відповіді американських моделей демонструють саме ті навички та здатність до міркування, які китайські розробники хочуть розвинути у власних системах. Тому ці відповіді стають цінним навчальним матеріалом.

Читайте також: Що думає ШІ про Україну? Дослідження упереджень великих мовних моделей

Американські розробники, які працюють на передовій розвитку ШІ, не мають досконаліших моделей, у яких могли б переймати досвід. До того ж доступні в інтернеті тексти як джерело нових навчальних даних практично вичерпані. Тому вони дедалі частіше використовують менш ефективний за витратами ресурсів метод — навчання з підкріпленням (reinforcement learning, RL).

Його суть полягає в тому, що моделі ставлять певне завдання, наприклад розв'язати складну математичну задачу, і дають їй змогу експериментувати, самостійно шукаючи правильне рішення.

Нині американські компанії витрачають на методи, пов'язані з навчанням із підкріпленням, понад половину своїх обчислювальних ресурсів. На початку 2024 року ця частка становила лише близько 5%.

Китайські компанії натомість можуть за допомогою дистиляції передавати своїм моделям навички, які американські системи здобули завдяки дорогому навчанню з підкріпленням. Це схоже на ситуацію, коли один учень займається з репетитором, а інший змушений до всього доходити самостійно. Перший засвоює матеріал швидше.

Показовий приклад — експеримент китайської лабораторії DeepSeek. Невелику модель навчили на 800 тисячах прикладів, згенерованих найпотужнішою моделлю компанії. У результаті її показник в одному з популярних математичних тестів зріс із 14,6% до 45,8%. Про це йдеться в дослідженні, опублікованому в липні у збірнику Findings of the Association for Computational Linguistics.

Читайте також: Китайський ШІ стрімко завойовує Африку: чому США програють технологічну битву, — NYT

Щоб досягти можливостей найпередовіших моделей, потрібно значно більше даних. Однак китайські лабораторії, схоже, вже використовують дистиляцію у великих масштабах.

Згідно зі звітом Anthropic, опублікованим у вересні, п'ять китайських компаній за п'ять місяців зібрали понад 180 мільйонів повідомлень, згенерованих її моделями. Китайські моделі демонструють вимірювану схожість з американськими (див. графік), а іноді навіть представляються як Claude або ChatGPT.

Наскільки важлива дистиляція для розвитку китайського ШІ? Значна частина китайських досягнень у цій сфері — результат власних розробок. Понад половину провідних дослідників штучного інтелекту у світі мають китайське походження, якщо оцінювати за науковими роботами, представленими на NeurIPS — головній міжнародній конференції зі штучного інтелекту.

Але самих інтелектуальних ресурсів недостатньо. Сьогодні головним рушієм розвитку ШІ є передові комп'ютерні чипи. Кожен із найбільших американських технологічних гігантів має більше таких обчислювальних ресурсів, ніж усі їхні китайські конкуренти разом узяті.

Дистиляція допомагає китайським компаніям компенсувати цю нерівність. За оцінками дослідників, китайський ШІ відстає від найкращих американських моделей приблизно на три-шість місяців. Без дистиляції цей розрив міг би збільшитися майже вдвічі, вважає Саїф Хан із вашингтонського Центру технологій і державного управління (Centre for Technology & Statecraft).

Anthropic та OpenAI прагнуть розірвати цей зв'язок. Компанії вжили заходів, щоб усунути виявлену в серпні вразливість, яка давала китайським розробникам доступ до проміжних міркувань їхніх моделей під час розв'язання завдань. Вони також посилили виявлення масового збору даних для дистиляції.

Anthropic почала стягувати плату за запити до Claude навіть тоді, коли модель розпізнає спробу дистиляції та відмовляється відповідати. Таким чином, невдалі спроби отримати навчальні дані також коштують грошей.

Компанія визнає, що нові заходи можуть виявитися неефективними в довгостроковій перспективі. Проте наразі вони скоротили обсяг даних, які збирають для дистиляції, на 90–99%. Через ці обмеження Anthropic може втратити приблизно 5–7% своїх доходів.

У компанії пояснюють такі кроки тим, що китайські розробники випускали моделі, які за можливостями наближалися до найпередовіших, але не мали достатніх запобіжників проти зловживань. На думку Anthropic, настільки потужні моделі можуть становити загрозу національній безпеці.

Утім, якщо американським лабораторіям вдасться перекрити конкурентам доступ до своїх моделей, згодом вони можуть про це пошкодувати.

Самі китайські дослідники сумніваються, що залежність від дистиляції — правильна стратегія. Мало хто з них вважає навчання на американських моделях неетичним. Зрештою, розробники передових моделей також створювали свої системи, використовуючи вільно зібрані дані з інтернету.

Проте деякі керівники китайських компаній переконані, що опора на дистиляцію прирече Китай вічно залишатися другим. Дослідники китайських лабораторій також припускають, що в майбутньому рекурсивне самовдосконалення ШІ — коли моделі самостійно створюватимуть своїх досконаліших наступників — може вимагати складної інфраструктури, якої не матимуть компанії, що покладаються на дистиляцію.

У липні засновник китайської інтернет-компанії ByteDance Чжан Їмін заявив співробітникам, що компанія не використовуватиме дистиляцію для вдосконалення своїх моделей.

Китайське технологічне видання LatePost переказало його слова так: дистиляція «у кращому разі дасть нам змогу постійно скорочувати відставання [від лідерів], але справді перевершити їх буде складно».

Чжан визнав, що відмова від методу, який прив'язує прогрес китайських розробників до досягнень американських компаній, призводить до збільшення відставання ByteDance.

Однак, на відміну від деяких китайських конкурентів, ByteDance має інші джерела доходів. Тому компанія може дозволити собі тимчасово пропонувати менш досконалі ШІ-моделі, поки працює над технологічною самостійністю.

Для США дистиляція залишається проблемою, але, можливо, це краще, ніж ситуація, за якої китайські компанії самостійно досягнуть передового рівня розвитку ШІ.

До того ж залежність китайських моделей від американських може полегшити регулювання штучного інтелекту.

Досі адміністрація Дональда Трампа неохоче погоджувалася сповільнювати розвиток ШІ заради підвищення його безпеки, побоюючись, що це дасть Китаю конкурентну перевагу.

Але якщо Китай справді нагадує воднолижника, якого тягне американський катер, він, можливо, не зможе обігнати його, навіть якщо той сповільнить рух.

Китай ШІ китай-сша сша штучний інтелект

Підпишіться, щоб отримувати найкращі статті на e-mail (раз на два тижні)

Підписатися

Подивитися свіжий випуск