Как экс-Ютуб инсайдерской исследованы его секретный алгоритм

Опубликованно 17.05.2018 00:58

Система рекомендаций на YouTube опирается на методы в машинном обучении, чтобы решить, какие видео автозапуск или появится “далее”. Точной формулы в нем используются, однако, держится в секрете. Сводные данные показывая, какие видео с youtube в значительной степени способствовало алгоритм, или сколько Просмотров отдельных видео получит от “следующий” предложения, тоже утаивается от общественности.

Раскрытие этих данных позволит академических институтов, факт-контролеры и регуляторы (как и журналисты), чтобы оценить Тип Контента с YouTube, скорее всего, чтобы продвинуть. Сохраняя алгоритм и его результаты в тайне, Ютуб гарантирует, что какие-либо закономерности, которые указывают на непредвиденные отклонения или искажения, связанные с его алгоритма скрыты от публичного просмотра.

Поставив стеной вокруг его данным, на YouTube, который принадлежит Google, защищает себя от критики. Компьютерная программа, написанная Гийомом Chaslot преодолевает это препятствие, чтобы заставить некоторую степень прозрачности.

Экс-инженер компании Google заявил, что его метод извлечения данных из видео-обмена сайт не может обеспечить всестороннего и вполне репрезентативная выборка видео, которые были рекомендованы. Но он может дать моментальный снимок. Он использовал свою программу, чтобы обнаружить рекомендации на YouTube по различным темам и публикует результаты на своем сайте algotransparency.org. Программное обеспечение как Chaslot работает

Программа имитирует поведение пользователя на YouTube. Во время выборов, он действовал как пользователь YouTube, возможно, если бы она была заинтересована в какой-либо из двух главных кандидатов в президенты. Он открыл видео через поиск YouTube, а затем последовала цепь на YouTube–рекомендуемые названия появляется “следующий”.

Chaslot запрограммировать его программного обеспечения, чтобы получить начальный видео через поиск YouTube для “Козырных” или “Клинтон”, чередуя между двумя, чтобы они были найдены 50% времени. Тогда он нажал на несколько результатов поиска (обычно пять топ-видео) и захватили, какие видео с YouTube рекомендует “далее”.

Затем процесс повторяется, на этот раз выбрав образец из тех видео на YouTube только что выложил “далее”, и определить, какой видео алгоритм, в свою очередь, демонстрируя рядом. Процесс был повторен тысячи раз, сличая новые и новые пласты данных о видео на YouTube, выступает в конвейер рекомендуемых видео. 'Фантастика опережая реальность: как алгоритм Ютуб искажает правду Подробнее

По дизайну, программа работает без истории просмотра, сделать это было захватывать общие рекомендации Ютубе, а не те индивидуальные для отдельных пользователей.

Данные, вероятно, зависит от темы, что случилось, чтобы быть в тренде на YouTube в дни, когда он выбрал для запуска программы: с 22 августа; 18 и 26 октября, 29-31 октября, 1-7 ноября.

На большинстве из этих дат, программное обеспечение было запрограммировано, чтобы начать с пяти видеоматериалов, полученных через поиск, захват первых пяти рекомендованных видео, и повторите процедуру пять раз. Но на горстку фиников, Chaslot подправили свою программу, начав с трех или четырех поиск видео, захват трех или четырех слоев рекомендованное видео, и повторять этот процесс до шести раз подряд.

В зависимости от комбинаций поисковых запросов, рекомендации и повторяет Chaslot используется, программа делает то же самое: обнаруживать видео, что YouTube был поставив “рядом” как заманчивые эскизы на правой стороне проигрывателя.

Его программа также обнаружены различия в степени, в которой появился YouTube, Чтобы быть толкает Контента. Некоторые видео, например, появились “рядом” рядом просто несколько других видео. Другие оказались “рядом” около сотни разных видео на разные даты.

В общем, база данных Chaslot записал 8,052 рекомендованные видео на YouTube. Он сделал код его программы доступны здесь. Хранитель был опубликован полный список видео в базе Chaslot здесь. Анализ содержания

Исследования опекуна входит всестороннее изучение всех 8,052 видео, а также более целенаправленный контент-анализ, который оценил 1000 из наиболее часто рекомендуемых видео в базе данных. Подмножество была определена путем ранжирования видео, первое место по количеству времени они были рекомендованы, и потом, сколько раз они были обнаружены появляться “рядом” рядом еще одно видео.

Мы оценили топ 500 видео, которые были рекомендованы после того, как поиск термина “козырь” и топ-500 видео рекомендуется после “Клинтон” поиск. Каждый отдельный ролик был внимательно изучен, чтобы определить, было очевидно пристрастным и, если да, то будут ли они в пользу Республиканской или Демократической президентской кампании. Для того, чтобы судить об этом, мы смотрели содержание видео и рассматривать их названия.

Примерно треть роликов были признаны как не имеющие отношения к выборам, политически нейтральной или недостаточно предвзятым, чтобы гарантировать будучи классифицированным как поддержка той или иной кампании. (Пример видео, которое не имеет никакого отношения к выборам был один под названием “10 интимных сцен Актеры были смущены, чтобы фильм”; пример видео считается политически нейтральной или даже руками было этой новости вещания NBC вторых президентских дебатах.)

Многие популярные новостные ролики, в том числе от msnbc, Fox и CNN, были признаны попадают в “беспристрастную категорию”, как и многие популярные комедийные клипы, созданные подобными субботним вечером в прямом эфире, Джон Оливер и Стивен Колберт.

Формулируя посмотреть на этих видео был субъективный процесс, но по большей части это было совершенно очевидно, что видео кандидат выиграл. Было несколько исключений. Например, кто-то может считать этот клип CNN, в котором Трамп поддерживает решительно отстаивал свои непристойные замечания и критикуют Хиллари Клинтон и ее муж, чтобы быть выгодным для республиканцев. Другие могут указывать на раздраженный ответ ведущий телеканала CNN, а спорить и видео более полезно Клинтон. В конце концов, это видео было слишком сложно классифицировать. Это пример видеосюжета, а не в интересах того или иного кандидата.

Две трети видео, однако, процесс судейства, кто контент выиграли было относительно просто. Много видео явно склонилась в сторону того или иного кандидата. Например, видео с выступлением, в котором Мишель Обама подверг резкой критике обращение Трампа женщин было признано, склоняется в пользу Клинтон. Видео, ложно утверждая, что Клинтон перенес психическое расстройство называли в интересах козырь кампании.

Мы обнаружили, что большинство видео помечены как пользу козырь кампании может быть более точно описано как чрезвычайно критическая Клинтона. Много что можно назвать анти-Клинтон заговор видео или “фальшивые новости”. В базе данных появился сильный перекос в сторону содержания с критикой демократов. Но для целей классификации, эти типы видео, такие как видео под названием “Эй! Хилари думает, что от камеры... посылает шок сообщение Трамп”, были перечислены в пользу козырь кампании. Отсутствует видео и предвзятости

Примерно половина из Ютуб-видео рекомендуемые в базе данных были приняты в автономном режиме или закрытое с выборов, либо потому, что они были удалены кем-то, кто Загрузил их, или потому, что они были сняты на YouTube. Это может быть из-за нарушения авторских прав, или потому, что они содержали некоторые другие нарушения политики компании.

Мы не смогли посмотреть оригинальные копии отсутствует видео. Они, следовательно, были исключены из нашего первого этапа контент-анализа, который включал только видео, мы можем посмотреть, и пришел к выводу, что 84% партизанских видео было полезным для Трампа, в то время как только 16% выгодно Клинтон.

Интересно, что уклон был незначительно больше, когда рекомендации YouTube были обнаружены после первоначального поиска для “Клинтон” видео. Те привели в 88% партизан “следующий” видео выгодно козырь. Когда программа Chaslot обнаружил рекомендуемые видео после “Козырных” поиск, в отличие от 81% партизанских видео были выгодны козырь.

Об этом сказал “следующий” видео следующие из “Клинтон” и “козырь” видео часто оказывались те же или очень похожие названия. Тип рекомендуемого Контента, в обоих случаях, в подавляющем большинстве случаев выгодно козырь, с удивительным количеством конспиративный контент и фейковых новостей вредит Клинтон. Дополнительная графа

После подсчета только те видео, которые мы могли наблюдать, мы провели повторный анализ, чтобы включить эти недостающие видео, названия которых строго указано содержание было бы выгодно одной из кампаний. Он также часто можно найти дубликаты этих видео.

Два очень рекомендовал видео в базе с односторонним титулы, например, под названием “это видео станет Дональд Трамп избранных” и “смотреть обязательно!! Хиллари Клинтон пытались запретить это видео”. Оба они были классифицированы, во втором туре, как выгодно козырной кампании.

Когда все 1000 видео были подсчитаны, в том числе недостающие видео с очень раскосыми названия – мы насчитали 643 видео имел явный уклон. Из них 551 видео (86%) высказались в пользу кандидата от республиканцев, в то время как были только 92 видео (14%), полезные для Клинтона.

Ли отсутствует видео были включены в наш вяжутся или нет, вывод был тот же. Партизан рекомендованные видео на YouTube в базе данных были примерно в шесть раз больше шансов на поддержку президентской кампании Трампа, чем Клинтон. Анализ базы данных

Все 8,052 видео были ранжированы по количеству “рекомендаций” – то есть, сколько раз они были обнаружены появляющиеся, как “рядом” эскизы у других видео. Например, если видео было обнаружено явление “рядом” рядом с четырьмя другими видео, это было бы расценено как четыре “рекомендации”. Если появился видеоролик “рядом” рядом с тем же видео, скажем, три отдельные даты, что бы быть расценено как три “рекомендации”. (Несколько рекомендаций между теми же видео в тот же день не были посчитаны.)

Здесь представлены 25 самых рекомендуемых видео, в соответствии с выше метрики. Трамп поддерживает листья ведущий телеканала CNN молчал Это Видео Станет Дональд Трамп Избран Смотреть Обязательно!! Хиллари Клинтон пытались запретить это видео Экипаж Ср# 1271 НБЦ – криво Хиллари массовая авария на Главнокомандующего форуме 10 фото МЕЛАНИЯ Трамп хочет забыть Полное интервью: Дональд Трамп, Мелания и семьи с Джорджем Стефанопулосом Переломал! Лицо Билла Клинтона, когда Трамп вызывает обвинения в изнасиловании бесценно Дональд Трамп Победил На Президентских Выборах 2016 Года Злой Иванка Трамп Выходит Из Интервью Космо Трамп: грядущий оползень ~древнее пророчество Документальный фильм Дональда Трампа / 2016 АНОНИМНЫЙ ЧАСЫ - ХИЛЛАРИ КЛИНТОН, ВЫ ЗАКОНЧИЛИ! “Обама:” на ужин, речь президента Барака Обамы веселый окончательной корреспондентов Белого дома Смотреть Видео: Финал Президентских Дебатов Может Дональд Трамп победит на президентских выборах? Эпическая речь Мишель Обамы на сексуальное поведение Трампа (полное видео) Все слил КОЗЫРНЫЕ кадры непристойные замечания на дочь Иванка мини-Документальный фильм Мелания Трамп - Женщина За Дональда НАРУШЕНИЕ: ВИДЕО, ПОКАЗЫВАЮЩЕЕ, БИЛЛ КЛИНТОН ИЗНАСИЛОВАЛ 13 ГОДА ПОЗВОЛИТ ОКУНУТЬСЯ ГОНКИ НА АНОНИМНЫЕ ПРЕТЕНЗИИ ХАОС Ломать!!! Джулиан Ассанж “страховка мертвеца” гаснет после разоблачения Хиллари Клинтон? Сексуальные Похождения Билла Клинтона Анонимный выпуск Леденящее кровь видео Хума Абедин каждый американец должен видеть Нарушение: Майкл Мур признает козырь-право Нарушение: ФБР возобновляет Хиллари Клинтон электронной почты расследование Полный монолог: Дональд Трамп жаркое Хиллари Клинтон в Аль Смит благотворительный ужин Хиллари опять Читы?? Дебаты #3 наушники и Телесуфлера?? ПОПАЛСЯ ПО ТЕЛЕВИЗОРУ!

База данных Chaslot также содержится информация о каналах YouTube используется для трансляции видео. (Эти данные только частично, потому что его не удалось идентифицировать каналы за недостающие видео.) Вот топ-10 каналов, ранжируются в порядке убывания количества “рекомендации” обнаружена программа Chaslot по. Алекс Канала Джонс Фокс Новости ДОНАЛЬД ТРАМП ВЫСТУПЛЕНИЯ И ПРЕСС-КОНФЕРЕНЦИИ Младотурки На msnbc РИА Новости Самых богатых Следующая Новость Сети Телеканал CNN Правая Сторона Радиовещательная Сеть Предвыборных Речах

Мы обыскали всю базу данных, чтобы определить видео полного выступления кампании Трампа и Клинтон, своих супругов и других политических деятелей. Это было сделано через поиск терминов “речь” и “ралли” в видео титров следуют проверки, где это возможно, содержание. Вот список видео предвыборных речах нашли в базе данных. Дональд Трамп (382 видео) Барак Обама (42 видео) Майк Пенс (18 видео) Хиллари Клинтон (видео 18+) Мелания Трамп (12 видео) Мишель Обама (10 видео) Джо Байден (42 видео) Graphika анализ

Хранитель разделяет всю базу данных с Graphika, коммерческой аналитики фирмы, которая отслеживает политические кампании дезинформации. Компания объединила базы данных на YouTube-рекомендуемые видео, с собственными набор сетях Twitter, которые были активны во время выборов 2016.

Компания открыла уже более чем 513,000 Twitter-аккаунтов в Твиттере ссылки на хотя бы один из Ютуб-видео рекомендуемые в течение шести месяцев, предшествующих выборам. Более 36 000 аккаунтов в Твиттере, по крайней мере одно видео в 10 и более раз. Наиболее активные из них 19 Твиттере привел видео более чем в 1000 раз – свидетельство автоматическое действие.

“За несколько месяцев до выборов, эти видео были явно вызванный энергичной, устойчивых социальных сетях кампанию, в которой задействованы тысячи счетов подконтрольных политические деятели, в том числе большое количество ботов”, - говорит Джон Келли, исполнительный директор Graphika по. “Самые многочисленные и лучшие связи из этих учетных записей Twitter, поддерживая кампанию Президента Трампа, но очень активное меньшинство включены счетов ориентирован на теории заговора, поддержку WikiLeaks, и официальные российские СМИ и якобы дезинформации источников”.

ЫТЬ Амплификации фотография: Graphika

Затем Келли посмотрел специально на какие сети Twitter были толкающие ролики, которые у нас были классифицированы как выгодно Трамп или Клинтон. “Про-Трамп видео были инициированы огромная сеть про-Трамп счетов, помощь небольшие сети специализированных про-Берни и прогрессивный счетов. Соединяя эти две группы и также толкает про-Трамп содержимого сочетание заговора-ориентированный, ‘ "Правдоруб" и пророссийскими счетов”, - заключил Келли. “Про-Клинтон видео были вытеснены гораздо меньше сетевых учетных записей, которые теперь определить как "сопротивляться" движению. Гораздо больше ссылок, продвижение козырь содержания были повторять цитаты по тем же счетам, что характерно для автоматизированной амплификации”.

Наконец, мы поделились с Graphika подмножество десяток видео, которые были рекомендованы на YouTube, по данным указанных выше показателей, и особенно вопиющие примеры поддельных или вызывающих разногласия анти-Клинтон видео-контента. Келли сказал, что он нашел “неповторимый узор скоординированных социальных медиа усиления” с набором видео.

Твиты содействия их почти всегда начиналось после полуночи в день появления видео на YouTube, обычно между 1 утра и 4 утра МСК, странное время ночи для граждан США будет заметили первые видео. Устойчивый чирикают продолжение “в более или менее даже ставка” на несколько дней или недель до дня выборов, Келли сказал, когда он вдруг остановился. Что будет означать “ясно свидетельствует о скоординированных манипуляций”, добавил Келли. Заявление на YouTube

Ютуб предоставило следующий ответ на это исследование:

“У нас есть большое уважение к хранителю, как выход новостей и учреждения. Мы категорически не согласны, однако, с методологии, данных и, самое главное, выводы, сделанные в ходе исследования,” представитель YouTube сообщил. “Образец 8,000 видео они оценивали не нарисовать точную картину того, что видео были рекомендованы на YouTube более года назад, в преддверии президентских выборов в США.”

“Наши поисковые и рекомендательные системы, отражают то, что люди ищут, то количество видео, и видео, люди предпочитают смотреть на Ютубе,” продолжение. “Это не уклон в сторону какого-то конкретного кандидата, что является отражением интерес зрителя.” Пресс-секретарь добавил: “наш единственный вывод заключается в том, что опекун, пытаясь втиснуть исследований, сбор данных и их ошибочные выводы в единое повествование о роли технологий в ходе прошлогодних выборов. Реальность как работают наши системы, однако просто не поддерживает этот посыл.”

На прошлой неделе выяснилось, что Сенатского комитета по разведке, написал в Google, требуя знать, что компания делает, чтобы предотвратить “пагубное вторжение” из ютьюба и рекомендации, алгоритм которой высокопоставленный демократ в комитете предупредили “особенно восприимчивы к внешним воздействиям”. На следующий день, на YouTube просили обновить свое заявление.

“В течение 2017 наши команды работали, чтобы улучшить, как YouTube обрабатывает запросы и рекомендации, относящиеся к новости. Мы сделали алгоритмические изменения к лучшему поверхности четкие авторитетные источники новостей, в результатах поиска, особенно вокруг новостей”, говорится в заявлении. “Мы создали ‘полка новости на главную страницу YouTube, которая обслуживает содержимое из надежных источников новостей. Когда люди попадают новости, связанные с поисковым запросам, мы размещать полку ‘Главные новости’ в результатах поиска с соответствующим содержанием на YouTube из авторитетных источников новостей.”

Он продолжил: “мы также занять жесткую позицию на видео, что не ясно нарушает наши правила, но содержат воспалительные религиозные или превосходства содержания. Эти ролики размещаются за предупреждение интерстициальный, не монетизирован, рекомендованных или допущенных замечаний или одобрения пользователей.”

“Мы высоко ценим работу Хранителя, чтобы пролить свет на этот сложный вопрос,” на YouTube Добавлено. “Мы знаем, что есть больше, чтобы сделать здесь, и мы с нетерпением ждем, чтобы сделать больше анонсов в ближайшие месяцы.” Читать полностью: как алгоритм Ютуб искажает истину

Упомянутое исследование было проведено Эрин Маккормик, Беркли, основанный Следственный репортер и бывший Сан-Франциско Кроникл редактор баз данных, и пол Льюис, главный Страж западного побережья бюро и бывший Вашингтонский корреспондент.

Категория: Компьютеры