Вигадка перемагає реальність. Як алгоритми YouTube спотворюють правду

Оцінка статті на цей момент: +4/-0
Читати Не читати Коментувати
  • 22843 Перегляди
  • 0 Коментарі
  • 06/03/2018Дата публікації

Це було одне з найпопулярніших "вірусних" відео січня. Логан Пол, зірка YouTube, натрапляє на мерця, який висить на дереві. 22-річний хлопець, який перебуває у японському лісі, популярному серед самовбивць, спочатку виглядає шоковано, а потім йому стає весело. "Чувак, у нього руки червоні", - каже він, перш ніж зі смішком повернутися до друзів. - "Ви колись стояли поруч із мерцем?"

Автор: Пол Льюїс, The Guardian .Переклад: Сергій Лук'янчук

Пол, на YouTube-канал якого підписані 16 мільйонів осіб, більшість з яких є підлітками, видалив відео через 24 години після лютої критики. Але цього вистачило, щоб запис отримав 6 мільйонів переглядів і потрапив до жаданого списку "популярне відео" на YouTube.

Наступного дня я дивився копію цього відео на YouTube. А потім почав клацати на зменшених зображеннях рекомендованих відео в списку "Наступне", який YouTube показує справа від вікна програвання відео. Цей конвеєр відеороликів, який за замовчанням програється автоматично, створений, аби спокусити нас проводити більше часу на платформі з демонстрації відео, яка належить Google. Мені було цікаво, куди вони мене приведуть.

Відповіддю став потік відеороликів з людьми, які насміхаються над ображеними підлітками-фанами Логана Пола, за ними - записані камерами спостереження відео дітей, які щось крадуть, а ще через кілька кліків - відео дітей, яким виривають зуби моторошними саморобними щипцями.

Перед тим почистив історію переглядів відео, видалив файли cookies та відкрив браузер у приватному режимі, аби бути певним, що YouTube не враховує у підборі роликів мої особисті уподобання. Його алгоритм скеровував мене на його власний розсуд, і завершилося це відео з двома хлопчиками, віком десь п’ять чи шість років, які били один одного руками і ногами.

Скріншот з вірусного відео: зірка YouTube Логан Пол побачив у лісі мерця

"Я викладу це на YouTube", - промовив голос дівчинки-підлітка, яка знімала відео, - схоже, старшої родички. "Ану розвернися і вріж цьому малому". Вони товклися ще кілька хвилин, аж доки один не вибив іншому зуб.

У світі є 1,5 млрд користувачів YouTube - це більше, ніж кількість домогосподарств, які мають у власності телевізор. Те, що дивляться люди на YouTube, визначає алгоритм, який переглядає і оцінює мільярди відеороликів, щоб ідентифікувати 20, які увійдуть у список "Наступне". Вони водночас пов'язані з попереднім переглянутим відео і, найімовірніше, зі статистичної точки зору спрямовані на те, щоб утримувати глядача біля екрану.

Інсайдери YouTube розповідали мені, що цей алгоритм є найважливішим рушієм зростання компанії. В одному з небагатьох приватних пояснень того, як працює ця формула - науковій статті, що окреслює глибокі нейронні мережі алгоритму, які обробляють гігантський масив даних про відео та людей, що їх переглядають - інженери YouTube описали її як "наймасштабнішу і найскладнішу систему промислових рекомендацій, яка існує у світі".

Нещодавно ця система стала одною з найбільш контраверсійних. Виявилося, що алгоритм пропагує теорії змови про масову стрілянину в Лас Вегасі, і підтримує, через запропоновані ним рекомендації, субкультуру, яка підкидає дітям контент сумнівного змісту - наприклад, мультики, де персонаж британського дитячого мультика Свинка Пеппа їсть свого тата чи п'є відбілювач для тканин.

Google відреагував на ці суперечливі явища у стилі ігрового автомата, де гравець б'є кротів, що вилазять з нір. Зросла армія модераторів-людей, з YouTube прибирали образливі відео, знайдені журналістами, а канали, які їх створювали, втратили рекламні доходи. Але жодний з цих кроків не зменшив занепокоєння, що зі штучним інтелектом, який приводить у дію YouTube, щось дуже-дуже сильно пішло не так.

Існує й іще один неперевернутий камінь. Багато писали про вплив Facebook та Twitter на політику, але в минулі місяці науковці міркували над тим, що алгоритми YouTube, можливо, зіграли значну роль у поширенні дезінформації під час президентських виборів 2016 року. "YouTube - найбільш проігнорована історія, що стосується 2016 року", - написав у Твіттері Зейнеп Туфекчі, авторитетний соціолог і критик технологій. "Його алгоритми пошуку та рекомендацій - це пристрої з дезінформації".

Якщо алгоритм рекомендацій на YouTube справді еволюціонував до поширення більш проблемного контенту, то як саме це сталося? І як це впливає на нашу політику?

Як реальність, тільки спотворена

На ці питання непросто відповісти. Подібно до всіх великих технологічних компаній, YouTube не розкриває алгоритми, які впливають на наші життя. Це таємні формули, закрите програмне забезпечення, і тільки обрані інженери були допущені до роботи з цим алгоритмом. Жильйом Шасло, 36-річний програміст з Франції, який має ступінь доктора наук зі штучного інтелекту, був одним з цих інженерів.

Ось так алгоритм YouTube спотворює реальність - відеопояснення

За три роки роботи в Google його на кілька місяців відрядили до команди інженерів YouTube, які працювали над системою рекомендацій. Цей досвід привів його до висновку, що пріоритети, які YouTube визначає для своїх алгоритмів, є небезпечно викривленими.

"YouTube" виглядає як реальність, тільки спотворена в такий спосіб, щоб ви більше часу проводили в онлайні, - розповів він мені під час зустрічі в Берклі, Каліфорнія. - Алгоритм рекомендації не адаптований під правдивість, збалансованість, нормальність чи демократичність".

Шасло пояснює: алгоритм ніколи не залишається незмінним. Він постійно модифікує вагу, яку він призначає різним сигналам: наприклад, типові сценарії перегляду відео користувачем, або тривалість перегляду відео до того, як він клацне мишкою і перейде на інше.

Інженери, з якими він працював, постійно експериментували з новими формулами, які мали збільшити рекламні доходи завдяки довшій тривалості перегляду відео користувачами. "Час перегляду був пріоритетом", - згадує він. - "Все інше вважалося відвертанням уваги".

Google звільнила Шасло в 2013 році нібито через проблеми з продуктивністю праці. Він наполягає, що був звільнений за агітацію запровадити зміни в компанії, коли у свій приватний час збирався з інженерами схожих поглядів, аби запропонувати зміни, які могли б урізноманітнити контент, який дивилися люди.

Він був особливо стривожений тим спотворенням, яке могло виникати внаслідок спрощеного фокусування на демонстрації людям відеороликів, перегляду яких вони не могли опиратися. Наприклад, створення фільтрів-бульбашок, які показували людям контент, що підкріплював їхні існуючі уявлення про світ. Шасло каже, що жодна з його пропозицій не була схвалена менеджерами. "Є багато способів змінити алгоритми YouTube так, щоб глушити фейкові новини та покращувати якість та розмаїття відео, яке бачать люди, - стверджує він. - Я намагався змінити YouTube зсередини, але це не спрацювало".

У YouTube розповіли мені, що їхня система рекомендацій еволюціонувала з тих часів, коли Шасло працював у компанії, і зараз "вийшла за межі оптимізації по тривалості перегляду". Шасло вважає, що зміни є здебільшого косметичними і не змогли фундаментально змінити деяких проблемних перекосів, які еволюціонували в алгоритмі. Улітку 2016 року він створив комп'ютерну програму, щоб це розслідувати.

Програмне забезпечення, написане Шасло, мало на меті відкрити перше в світі вікно, через яке можна було б побачити прихований механізм рекомендацій YouTube. Програма симулює поведінку користувача, який починає з одного відео, а потім іде по ланцюжку відео, які йому рекомендовані - приблизно так само, як це робив я після перегляду відеоролика Логана Пола, - і в процесі відстежує дані.

Програма знаходить відео завдяки пошуку по ключовому слову, обирає "стартовий" ролик і записує кілька шарів відео, які YouTube рекомендує в колонці "Наступне". Система працює без історії перегляду, що гарантує, що обрані відео є дійсно рекомендаціями YouTube, а не записами, персоналізованими під користувача. І вона повторює цей процес тисячі разів, збираючи шари даних про рекомендації YouTube, завдяки яким можна скласти картину преференцій у роботі алгоритму.

Протягом минулих 18 місяців Шасло за допомогою своєї програми досліджував упередженість контенту, який просувала YouTube під час виборів у Франції, Британії та Німеччині, щодо тем глобального потепління та масових розстрілів, і публікував виявлені результати на своєму вебсайті, Algotransparency.org. Кожний виявляє щось інше, але загалом дослідження свідчить, що YouTube систематично «посилює» відеоролики, які сіють розбрат, розповсюджують сенсації чи конспірологію.

Коли його програма знайшла «стартове» відео за пошуковим рядком «хто така Мішель Обама», і далі рухалася по ланцюжку пропозицій в колонці «Наступне», одним з найбільш рекомендованих відео був ролик «це чоловік». Понад 80% відеозаписів, які YouTube рекомендував щодо папи римського – як це виявила програма – описували лідера католиків як «зло», «сатаніста» чи антихриста». Мільйони в буквальному сенсі цього слова відеороликів завантажені на YouTube, аби задовольнити апетит алгоритму до контенту, де стверджують, що Земля пласка. «На YouTube вигадка перевершує реальність», - каже Шасло.

Він вважає, що один з найбільш шокуючих прикладів, який виявила його програма, стосувався кампанії з президентських виборів у США в 2016 році. Як він розповів у короткому, загалом непоміченому повідомлені в блозі, опублікованому після перемоги Дональда Трампа, вплив алгоритму рекомендацій на YouTube під час президентських перегонів аж ніяк не був нейтральним: він просував відео, які здебільшого сприяли Трампу і шкодили Хілларі Клінтон. «Це було дивно, - пояснював він мені. – З чого б ти не починав, з пошуку стосовно Трампа чи пошуку стосовно Клінтон, алгоритм рекомендацій з більшим ступенем імовірності підштовхував тебе у про-трампівському напрямку».

Трамп переміг на виборах завдяки голосам 80 тисяч виборців у трьох критичних штатах. У США є понад 150 мільйонів користувачів YouTube. Відео, що містяться в базі даних рекомендованих YouTube «виборчих» роликів, яку зібрав Шасло, були переглянуті понад 3 мільярди разів перед виборами у листопаді 2016-го.

Навіть незначне упередження на користь цих відео мало б суттєве значення. «Алгоритми, які формують контент, можуть чинити значний вплив, особливо на людей, які ще не визначилися з кандидатом», - стверджує Лучіано Флоріді, професор лабораторії цифрової етики в університеті Оксфорда і дослідник етичності штучного інтелекту. «Делікатне, приховане, тихе підштовхування може з часом схилити нас до вибору, який ми не зробили б без такого впливу».

Піар конспірології

Шасло надіслав мені базу даних відеороликів, рекомендованих YouTube, які ідентифікувала його програма протягом трьох місяців перед президентськими виборами. Вона містила понад 8 тисяч записів – всі з’явилися в колонці «Наступне» у 12 днів між серпнем і листопадом 2016 року, після однакової кількості пошуків у YouTube за рядком «Трамп» та «Клінтон».

Я провів тижні за переглядом, сортуванням та систематизацією цього відео разом з Еріном МакКорміком, журналістом-розслідувачем та експертом з аналізу баз даних. Від початку ми були приголомшені тим, скільки екстремістських та конспірологічних відеороликів потрапило до списку рекомендацій, і тим фактом, що майже всі вони були спрямовані проти Клінтон.

Деякі з відео, які рекомендував YouTube, відповідали тому, що ми сподівалися побачити: трансляція президентських дебатів, уривки з програм новин, замальовки з комедійного телешоу Saturday Night Live тощо. Були також відео промов двох кандидатів - хоч, як ми виявили, у базі даних було значно більше рекомендованих YouTube виступів Трампа, ніж Клінтон.

Але найбільш вражаючим стало те, наскільки часто програма Шасло фіксувала конспірологічні відеоролики, спрямовані проти Клінтон, які з’являлися в колонці «Наступне» поруч з іншими відео.

Там були десятки кліпів із твердженнями, що Клінтон психічно хвора, що в неї був сифіліс чи хвороба Паркінсона, що в неї були таємні сексуальні стосунки, в тому числі з вдовою Джона Леннона Йоко Оно. Багато з них були ще проблемніші – вони підробляли зміст інформаційних викидів на WikiLeaks з метою безпідставних заяв, звинувачуючи Клінтон в участі у вбивствах чи зв’язках із сатанинськими або педофільськими культами.

Одним відео, яке, як виявили дані Шасло, особливо активно просувалося алгоритмом YouTube, був дуже дивний фільм тривалістю в одну годину, де стверджувалося, що прихід Трампа до влади передбачений в книзі Ісаії, глава 45. Ще одне мало заголовок: «ШОК: ВІДЕО ЯК БІЛЛ КЛІНТОН ГВАЛТУЄ ТРИНАДЦЯТИРІЧНУ УВЕРГНЕ РАСУ В ХАОС АНОНІМНА ЗАЯВА». Механізм рекомендацій, схоже, особливо сприяв каналу Алекса Джонса, який ретранслював крайні праві конспірологічні теорії під брендом Infowars.

Алекс Джонс, конспіролог і ведучий ток-шоу

У базі даних було забагато відео, щоб ми могли переглянути їх усі. Тож ми зосередилися на тисячі найбільш рекомендованих. Ми оцінювали їх одне за одним, щоб встановити, кому сприяв їхній зміст – Трампу чи Клінтон. Понад третина відеороликів або не була пов’язана з виборами, або містила нейтральний чи збалансований контент. З решти 643 відео 551 сприяли Трампу, і тільки 92 були на користь кампанії Клінтон.

Розглянута нами вибірка підтверджувала правоту висновків Шасло: YouTube у шість разів частіше рекомендував відео, які допомагали Трампу, ніж його конкуренту. YouTube, імовірно, ніколи не програмувала свій алгоритм так, щоб він надавав перевагу одному кандидату, а не іншому. Але факти свідчать, що сталося саме це.

«Заводити людей у «кролячі нори» ненависті»

Отримавши можливість вибору, ми можемо інстинктивно клацнути на відео мертвої людини в японському лісі, чи фейкового ролика із твердженням, що Білл Клінтон зґвалтував 13-річну. Але чи справді ці секундні імпульси відображують характер того контенту, який ми хочемо отримати для споживання?

Туфекчі, соціолог, який кілька місяців тому попереджала про вплив, який YouTube може чинити на вибори, розповіла мені, що система рекомендацій YouTube, імовірно, встановила, що сумнівний та агресивний контент «чіпляє» людей. «Це як автоматизований кафетерій у школі, який визначив, що діти, які люблять солодке, люблять також жирну і солону їжу. Після цього він пропонує такі продукти в комплекті, автоматично видаючи їх на тарілку відразу ж після того, як хтось у черзі попереду замовив пакет чіпсів чи шоколадний батончик».

Втім, після того, як це стає нормою, ще більш сумнівні чи агресивні речі, каже Туфекчі, сприймаються як нові та цікаві. «Їжа містить все більше і більше цукру, жиру і солі – це природне бажання людини – а відео, які рекомендує і автоматично програє YouTube, стають все більш ексцентричними чи сповненими ненависті.

Але чому ж схильність до більш ексцентричних чи поляризованих відеороликів іде на користь одному кандидату, а іншому ні? Це залежить від кандидатів. Кампанія Трампа сама по собі була ексцентричною і поляризованою. Туфекчі вказує на дослідження, які виявили, що «поле дезінформації» напередодні виборів тяжіло до матеріалів, спрямованих проти Клінтон. «Виробники фейкових новин, - стверджує вона, - виявили, що матеріали проти Клінтон користувалися значно більшою популярністю в середовищі базового електорату Трампа, ніж анти-трампівські матеріали в середовищі базового електорату Клінтон».

Вона додає: «Питання в тому, чи етично масово заманювати людей у «кролячі нори», сповнені ненависті, дезінформації та брехні, лише тому, що це збільшує час, який люди проводять на сайті – і цей підхід спрацьовує».

У свідченні комітету з питань розвідки щодо розслідування російського втручання у вибори головний юрисконсульт Google Кент Волкер заявив про менший рівень проникнення на YouTube російських пропагандистських зусиль. Внутрішнє розслідування компанії виявило лише 18 каналів на YouTube. Є 1100 відеороликів, щодо яких є підозра у зв’язках з російською кампанією з дезінформації, - повідомив він комітету в грудні. І загалом ці відео мали порівняно низьку кількість переглядів. Він додав: «Ми вважаємо, що виявлена нами діяльність була незначною через дію різноманітних механізмів безпеки, які ми запровадили перед виборами 2016 року. І те, що інформаційні продукти Google не були використані в мікро-таргетингу реклами чи вірусному поширенні повідомлень, свідчить, що ці дії спрацювали».

Юридичні представники Twitter, Facebook та Google готуються свідчити перед комітетом з розвідки щодо втручання Росії у вибори в США

Волкер не згадав про систему рекомендацій на YouTube. Втім, оприлюднене минулого тижня листування показує, що сенатор Марк Уорнер, високопосадовий представник Демократичної партії в комітеті з питань розвідки, пізніше написав компанії про цей алгоритм, який, за його словами, «особливо вразливий до іноземного впливу». Сенатор вимагав знати, чи вживала компанія заходів щодо запобігання «зловмисного втручання» у систему рекомендацій YouTube. Уолкер у своїй письмовій відповіді надав кілька деталей, але заявив, що YouTube «має складну систему виявлення спаму та дефектів у захисті, яка дає змогу ідентифікувати аномальну поведінку та зловмисне втручання».

Трістан Харріс, колишній інсайдер Google, який став інформатором, любить описувати Facebook як «живе і дихаюче місце злочину, який стався під час виборів 2016 року», і до якого федеральні слідчі не мають доступу. Те ж саме можна сказати про YouTube. Близько половини відеороликів, які виявила програма Шасло як рекомендовані під час виборів, зараз зникли з YouTube – багато прибрали ті ж люди, які їх створювали. Шасло завжди вважав це підозрілим. То були відеоролики з заголовками «Це треба бичити! Хілларі Клінтон хотіла заборонити це відео», їх переглядали мільйони разів, а потім вони зникли. «Чому хтось прибирає відео, яке бачили мільйони разів?» - питає він.

Я виявив копію ролика під назвою «Це відео забезпечить перемогу Дональда Трампа», вірусну сенсацію, яку переглянули понад 10 мільйонів разів, перш ніж вона зникла з YouTube. Це був нібито доброзичливий монтаж історичних кадрів з Трампом, які супроводжувала м’яка фортепіанна музика. Але коли я переглянув відео в сповільненому режимі, я побачив, що в нього вмонтували дивні фрагменти зі співачкою Майлі Сайрус, яка облизує дзеркало. Це схоже на аматорську і дикувату спробу вставити підсвідомий, сексуалізований візуальний ряд. Але з цього видно, як мало контролю в нас є над будь-ким, хто хоче використати YouTube для масового впливу на громадську думку.

Я поділився всією базою даних з 8 тисяч рекомендованих YouTube відеороликів з Джоном Келлі, директором фірми Graphika, яка займається комерційною аналітикою і відстежувала кампанії з політичної дезінформації. Він порівняв цей список із власною базою даних екаунтів у Твіттері, активних під час виборів, і прийшов до висновку, що багато роликів, схоже, активно піарилися мережами маріонеток та ботів, контрольованими про-Трампівськими консультантами з цифрових технологій, яким – імовірно, без їхнього відома – допомагала Росія.

Шасло та дехто з медіаактивістів, з якими я спілкувався, відчувають, що ця активність у соціальних медіа була значною. Алгоритм YouTube розвинув своє упередження в природний спосіб, але чи могло бути й так, що його підштовхнули до ще більшого розповсюдження подібних відео? «Якщо ролик починає набирати популярність, як ракета, алгоритм YouTube без питань буде просувати його ще більше», - заявляє Олбрайт.

Яма стала глибшою

Якщо судити по яскравій графіці та зализаній зачісці ведучого, Next News Network виглядає як вартий довіри канал новин. Але за цим фасадом приховані сумнівні дії з відтворення тем, зібраних на основі публікацій крайніх правих медіа, сайтів фейкових новин та російських ЗМІ.

Ведучим каналу є Гері Франчі, свого часу чільний провідник теорії змови про те, що влада США створює концтабори для власних громадян. Саме Next News Network поширила сфабриковані твердження про те, що Білл Клінтон ґвалтував неповнолітню, хоч сам Франчі стверджує, що не є виробником фейкових новин (він заявив мені, що трактує свій канал як «коментарі щодо консервативних новин та точок зору»).

Протягом кількох місяців безпосередньо перед виборами Next News Network перетворилася у фабрику з виробництва спрямованих проти Клінтон новин та коментарів, випускаючи щодня десятки відеороликів і сягнувши аудиторії, аналогічної каналу телекомпанії MSNBC на YouTube.

Дослідження Шасло свідчить, що успіх Франчі значною мірою зумовлений алгоритмами YouTube, які постійно підвищували популярність його відеороликів і розміщували їх у колонці «Наступне». YouTube гостро заперечує ці висновки.

Я зв’язався з Франчі, аби з’ясувати, хто має рацію. Він надіслав мені скріншоти з приватних даних, що отримують люди, які завантажують відео на YouTube, - включно з даними, як аудиторія знаходила ці ролики. Найбільшим джерелом трафіку на відео про ґвалтівника-Клінтона, яке за місяць до виборів переглянули 2,4 мільйони разів, були рекомендації YouTube.

Те ж саме підтверджували дані щодо всіх роликів, за винятком одного, по яких Франчі надіслав мені інформацію. Типовим прикладом було відео Next News Network під заголовком «ОЦЕ ТАК! ХІЛЛАРІ ДУМАЛА, ЩО КАМЕРА ВИМКНЕНА… І ЗРОБИЛА ШОКУЮЧУ ЗАЯВУ ПРО ТРАМПА». У ній Франчі, вказуючи на ледь помітний рух губ Клінтон під час дебатів, заявляє, що вона сказала “fuck you” про свого конкурента на виборах. Дані, якими поділився Франчі, свідчать, що за місяць до виборів 73% трафіку на цей ролик – а це 1,2 мільйони переглядів – були отримані завдяки рекомендаціям YouTube. Натомість зовнішній трафік становив лише 3% від переглядів.

Відео Next News Network з фейковими звинуваченнями Клінтона

Франчі - професіонал, який заробляє гроші завдяки своєму каналу, але багато інших авторів роликів, спрямованих проти Клінтон, були розслідувачами-аматорами або конспірологами «на півставки». Зазвичай вони могли б отримати кількасот переглядів своїх роликів, тож вони були шоковані, коли спрямовані проти Клінтон відео почали отримувати мільйони переглядів – так наче їх штовхала догори якась невидима сила.

У кожному випадку, найбільшим джерелом трафіку – тією самою невидимою силою – була поява роликів у колонці «Наступне». Вільям Ремсі, окультист-розслідувач з південної Каліфорнії, автор матеріалу «Неспростовна правда: у Хілларі Клінтон епілепсія!» поділився скріншотами, де видно, що алгоритм рекомендацій просував його відео навіть після того, як YouTube написав листа, що це відео порушує правила. Дані Ремсі свідчать, що ролик до дня виборів подивилися 2,4 мільйони разів. «Для такого ніщо, як я, це багато», - каже він. «Достатньо, щоб змінити хід виборів, еге ж?».

Деніел Александер Кеннон, конспіролог з південної Кароліни, розповідає: «Кожне відео про Клінтонів, яке я розміщував, YouTube розкручував аж до неба». Його найуспішнішим роликом було відео під назвою «Хілларі та Білл Клінтон: 10 фото, які ви мусите побачити». Це по суті слайд-шоу відразливих (і, схоже, відредагованих) зображень Клінтонів з голосовою озвучкою, де Кеннон робить припущення щодо їхнього здоров’я. Ролик переглянули на YouTube 3,7 мільйонів разів, із них 2,9 мільйонів були отримані завдяки рекомендаціям в колонці «Наступне».

Шасло пролив світло на підбірку конспірологічних відео проти Клінтон, які ховалися в тіні – аж поки ви не стали одним з тих мільйонів, яким це відео показав YouTube. Але його дослідження робить і важливішу справу: викриває, як ретельно впливає на наші життя штучний інтелект.

Менше ніж одне покоління тому виборці бачили своїх політиків завдяки роботі десятків тисяч редакторів новин, журналістів та керівників телеканалів. Зараз невидимі програмні коди на великих технологічних платформах стали новими «творцями королів».

Повний опис методології, використаної Шасло для визначення рекомендацій YouTube (та пояснення, як їх аналізував Guardian, наведені тут.

Оцінка статті на цей момент: +4/-0
Читати Не читати Коментувати
 
 

Коментарі 0

Для того, щоб писати свої коментарі, залогіньтесь! Якщо ви не маєте логіну, тоді спочатку зареєструйтесь, щоб його отримати!