Используйте наиболее безопасные методы для конфиденциального контента. Вы не можете полностью полагаться лишь на robots.txt, при защите конфиденциального контента. Дело в том, что поисковые системы могут показывать ссылки на заблокированные страницы (лишь урл, без сниппета и заголовка). Это может произойти, если ссылки на заблокированные страницы окажутся в интернете, например в открытых логах сервера.

.htaccess - один из тех конфигурационных файлов настройки веб-сервера Apache, который практически все хостеры позволяют изменять вебмастерам самостоятельно. В зависимости от потребностей сайта и используемой CMS могут возникнуть совершенно разные вопросы.

99% всех вопросов, которые связаны с htaccess - установка пароля на папку, редирект и увеличение памяти для сайта. Без лишних слов перейдём к практическим примерам. Всё остальное можно узнать в Google, Яндексе или Википедии.

Современные сайты состоят не только из важных для пользователя материалов. практически на любом сайте есть админская часть, вход для пользователя, различные системные пути, архивы, комментарии. В другой раз это как и различные доменные зеркала вызывает дублирование контента. С помощью на строек .htaccess и robots.txt можно влиять на индексацию сайта поисковыми системами, как Google и Яндекс.

От теории к практике. В robots.txt от SEO.BY всё настроено с учётом правил Яндекса "склейки" зеркал www.seo.by и seo.by.