Индексация. Простыми словами

Индексация – это процесс, во время которого поисковые роботы посещают сайты, собирают с них информацию и заносят в специальные базы данных. Собранная информация обрабатывается и на основе этого анализа поисковые системы выдают ссылки на сайт, исходя из запросов пользователей. Алгоритм работы у всех поисковиков приблизительно одинаковый: есть основной и быстрый робот анализа информации. Быстрый робот  обходит сайты и фиксирует появление новой информации, сообщает об этой информации основному роботу и основной уже более детально обрабатывает новые данные и принимает решение к какой сфере относится эта информация. 

При первом посещении нового сайта поисковый робот проверяет соответствует ли сайт требованиям поисковика. У всех поисковиков критерии приблизительно одинаковы: о чем сайт, кому может быть интересен, с какой целью создан + техническая сторона. Если сайт соответствует требованиям, он заносится в базу данных и при повторном посещении происходит более детальное изучение сайта и индексация страниц.

Поисковые роботы стремятся проиндексировать как можно больше информации, но существует ряд факторов, которые мешают индексации. Так, например, возможность попадания в индекс напрямую зависит от авторитетности ресурса, уровня вложенности страниц, наличия файла sitemap.xml, отсутствия ошибок, мешающих нормальной скорости индексации сайта. Основными инструментами управления индексацией сайтов являются robots.txt, мета-теги, теги, атрибуты noindex и nofollow.