Файл robots.txt рассказывает поисковым системам к каким разделам вашего сайта они имеют доступ, а как следствие, какие разделы они имеют право индексировать. Данный файл должен называться “robots.txt” и размещаться в корневой директории вашего сайта.

Используйте наиболее безопасные методы для конфиденциального контента. Вы не можете полностью полагаться лишь на robots.txt, при защите конфиденциального контента. Дело в том, что поисковые системы могут показывать ссылки на заблокированные страницы (лишь урл, без сниппета и заголовка). Это может произойти, если ссылки на заблокированные страницы окажутся в интернете, например в открытых логах сервера.

С этой недели Яндекс поддерживает директиву Crawl-delay прописанную в Robots.txt. Данный приказ указывает поисковикам периодичность возможности индексации сайта. В прошлом многие вебмастеры жаловались, что каждая попытка Яндекса проиндексировать сайт была сравнима с DDOS-атакой.

Современные сайты состоят не только из важных для пользователя материалов. практически на любом сайте есть админская часть, вход для пользователя, различные системные пути, архивы, комментарии. В другой раз это как и различные доменные зеркала вызывает дублирование контента. С помощью на строек .htaccess и robots.txt можно влиять на индексацию сайта поисковыми системами, как Google и Яндекс.

От теории к практике. В robots.txt от SEO.BY всё настроено с учётом правил Яндекса "склейки" зеркал www.seo.by и seo.by.