Зеркало сайта — это полная копия сайта или его части по другому адресу в сети. В случае наличия зеркал веб-сайт будет виден в Интернете под несколькини различными именами.
В результатах поиска выдается, как правило, только одно из зеркал — главное. Чтобы указать поисковику, какое из зеркал сайта является главным, необходимо правильно составить файл robots.txt.
К примеру, для ботов Яндекса следует прописать директиву Host:
User-Agent: *
Disallow:
Host: www.доменное имя вашего главного зеркала.ru
Никаких гарантий эта манипуляция с файлом robots.txt не дает, но шансы, что робот Яндекса выберет нужный сайт, повышаются.
В случае, если бот поисковика найдет зеркала сайта самостоятельно и ни на одном из них не будет файла robots.txt с указаниями для робота, поисковая система склеит их по своему выбору.
