Представитель Google Джон Мюллер подтвердил, что метатег noindex не помогает сэкономить краулинговый бюджет сайта. То же самое, по большей части, справедливо и в отношении атрибута rel=canonical.
Чтобы обнаружить метатеги, Googlebot должен просканировать страницу и, соответственно, израсходовать часть краулингового бюджета. Таким образом, noindex предотвращает индексирование страницы, но не сканирование.
Для большинства вебмастеров это очевидно, однако вопросы на эту тему периодически поднимаются среди специалистов отрасли.
Что касается атрибута rel=canonical, Googlebot сканирует не только каноническую, но и другие страницы. Это нужно для того, чтобы убедиться, что они действительно являются дубликатами.
В октябре представитель Google Гэри Илш напомнил, что если в коде страницы указаны обе директивы – и noindex и index – то учитываться будет noindex.
