Яндекс.Поиск

Каждый день поиском Яндекса пользуются миллионы людей. Напечать запрос и получить ответ можно в считанные мгновения. За этой скоростью стоит работа тысяч компьютеров над огромными объёмами данных.  
В докладе мы "заглянем" в миллисекунды, длящиеся от нажатия кнопки "Найти" до получения странички с ответами:

• основы полнотекстового поиска;
• физическое и логическое устройство поисковой базы;
• как происходит выполнение поискового запроса;
• как справляться с высокими нагрузками.

План доклада

Полнотекстовый поиск:

• прямой поиск (grep);
• инвертированный файл (индекс).

Составные части поиска:

• crawler («паук»);
• индексатор (парсеры, лингвистика);
• собственно, поиск.

Устройство базового поиска в яндексе

• сам индекс (поиск);
• архивы (сниппеты, сохранённая копия);
• атрибуты (группировка результатов, свойства).

Структура базы: физическое и логические разбиения

Выполнение поисковых запросов

• поисковые источники;
• проблемы производительности;
• метапоиск: кеширование, сглаживание сетевых проблем;
• общая схема выполнения запросов.

Мониторинг

• составляющие скорости (бекэнд, сеть, пользовательский компьютер);
• проблема последнего ответившего источника;
• среднее время vs. квантили 95%;
• ключевые показатели.

Источник информации