Твиттер в поиске Яндекса

Мотивирующий пример

26 октября 2012 года пользователям Рунета стал доступен сайт zapret-info.gov.ru. Мы хотим его как можно быстрее начать показывать по запросу [реестр запрещённых сайтов].

Какие данные мы можем для этого использовать?

Текст и URL страницы

• Мало текста, слова запроса разбросаны по странице.
• Мы практически ничего не знаем про URL и домен.

Ссылки на страницу

• Страница не очень быстро обрастает ссылками.
• Тексты ссылок малоинформативны.

Твиттер

• Ссылки на интересные страницы появляются быстро.
• Каждая ссылка снабжена компактным описанием.

Что дальше?

• Я расскажу про 5 задач, которые нам пришлось решать.
• Попробую обойтись без закапывания в технические детали.
• Эти задачи — только верхушка айсберга.

Twitter Firehose

• Шланг со всеми твитами в мире.
• Типичные объёмы за день:
• 500 млн записей в JSON-формате (включая служебные).
• 1,3 ТБ в несжатом виде, 200 ГБ в сжатом.

Твитов со ссылками в день — около 45 млн.
Нас интересуют только русские и турецкие твиты (в сумме около 4 млн).

Как оставить только нужные твиты?

Машинно-обученные классификаторы!

Обучающая выборка	Запросы пользователей	Твиты
Охват языков	Малая часть	Все возможные
Дата появления	Начало времён	Февраль 2013 года

Неоднозначность

На каком языке написан этот твит?

Все врут:

Человек

	uk	ru	ru
	bg	ru	ru
	tr	az	az

Все врут:

Человек

	bg	ru	bg
	tr	en	tr
	ru	ru	mn

Все врут: методы борьбы

• Переобучать классификатор (дорого!).
• Агрегировать твиты по пользователям.
• Фильтровать по алфавиту.
• Украинский: і, ї
• Сербский/македонский: њ
• Азербайджанский: ə
• Болгарский победить сложнее всего (ъ?).

• Значительная часть ссылок в Твиттере испорчена укорачивателями.
• Нельзя просто так взять и понять, что скрывается за ссылкой.

Эта ссылка ведёт на всё тот же http://zapret-info.gov.ru.

Популярные укорачиватели

http://t.co/MOPYXN59 *	zapret-info.gov.ru
http://bit.ly/ZsCNpV
http://goo.gl/PWy1b
http://fb.me/21ILnymuz
http://vk.cc/11sQxh

*добровольно-принудительное укорачивание

Полная картина

Некоторые любят подлиннее

Хранение редиректов

• Мы сохраняем весь граф редиректов для каждой ссылки.
Зачем нужен граф?
• Уменьшает число обращений к укорачивателям.
• Единая база редиректов для всего Яндекса.

Релевантен ли твит запросу?

навальный	ДА ИЛИ НЕТ?!

Однозначные запросы

✓

✓

Многословные запросы

✓

✘

Неправильное выделение объекта

✘

• Скорее всего, имелся в виду журнал «За рулём».
• Важно, в каком контексте используются слова запроса в твите.

Текст «не про то»

✘

✘

Граф дружбы

Ориентированный граф (V, E), где:

• V — пользователи.
• E — пары читающих друг друга пользователей.

@navalny

@MedvedevRussia

ТТХ

• Twitter API для сбора графа.
• Размеры (только русские и турки):
• |V| = 21 млн.
• |E| = 1,6 млрд.
• MESH для обработки (см. доклад Паши Артёмкина).

Применение: авторитетность

• Все пользователи Твиттера равны, но некоторые равнее других.
• Нужно число, оценивающее ценность пользователя.
• Количество читателей — очень плохо.
• Алгоритмы, использующие граф целиком, гораздо лучше. *

* На самом деле нет.

TunkRank

• Итеративный графовый алгоритм.
• Как PageRank, только для Твиттера.
• Грубая и тупая модель, но работает.

Живая иллюстрация

смотреть бесплатно видео онлайн

Чем занимаются спамеры?

• Автоматический фолловинг.
• Покупка и взлом пользователей.
• Воровство контента.
• Создание псевдосообществ.
• Нет предела совершенству!

Как мы с этим боремся?

• ▮▮▮▮▮▮ ▮▮▮▮▮▮▮▮ ▮▮▮▮▮▮▮▮▮ ▮▮▮▮.
• ▮▮▮▮▮▮▮▮▮▮ ▮▮▮▮▮▮ ▮▮▮▮▮▮▮▮▮▮▮ ▮▮▮▮ ▮▮▮▮▮▮ ▮▮▮▮▮▮▮▮▮.
• ▮▮▮▮▮▮▮▮ ▮▮ ▮▮▮▮▮ ▮▮▮▮▮▮▮▮▮ ▮▮▮▮ ▮▮▮▮▮▮▮▮.
▮▮▮▮▮▮▮▮▮: ▮▮▮▮▮▮, ▮▮▮▮▮▮ и ▮▮▮▮▮.
• Нет предела совершенству!

Спасибо за внимание!

#TweetLangChallenge

Это не спам!

Реальная возможность заработать призы!