Яндекс.Поиск

YouTube

Каждый день поиском Яндекса пользуются миллионы людей. Напечать запрос и получить ответ можно в считанные мгновения. За этой скоростью стоит работа тысяч компьютеров над огромными объёмами данных.

В докладе мы «заглянем» в миллисекунды, длящиеся от нажатия кнопки «Найти» до получения странички с ответами:

— основы полнотекстового поиска;
— физическое и логическое устройство поисковой базы;
— как происходит выполнение поискового запроса;
— как справляться с высокими нагрузками.

План доклада

Полнотекстовый поиск:

— прямой поиск (grep);
— инвертированный файл (индекс).

Составные части поиска:

— crawler («паук»);
— индексатор (парсеры, лингвистика);
— собственно, поиск.

Устройство базового поиска в яндексе

— сам индекс (поиск);
— архивы (сниппеты, сохранённая копия);
— атрибуты (группировка результатов, свойства).

Структура базы: физическое и логические разбиения

Выполнение поисковых запросов

— поисковые источники;
— проблемы производительности;
— метапоиск: кеширование, сглаживание сетевых проблем;
— общая схема выполнения запросов.

Мониторинг

— составляющие скорости (бекэнд, сеть, пользовательский компьютер);
— проблема последнего ответившего источника;
— среднее время vs. квантили 95%;
— ключевые показатели.

Источник информации