Дубликаты сайтов — это плохо

В сети можно встретить дубликаты сайта. Иногда это полные зеркала, например, на случай неработоспособности одного из серверов. А иногда это банальные ошибки разработчиков.

Довольно часто можно встретить следующую картину. Сайт делала компания, выкладывала его на свой рабочий хостинг, показала заказчику и успешно сдала проект. Настроила сайт на хостинге Заказчика. Кажется, что вся работа выполнена. Но! Разработчик, который понимает основы SEO будет знать, что их тестовый сайт нужно либо удалить, либо закрыть от индексации, либо корректно перенаправить (или склеить) с новым рабочим хостом сайта.

В противном случае могут появиться 2 сайта с одинаковым содержимым. Причем, тот, который появился ранее может восприниматься поисковыми системами лучше, а его контент будет более «старше» и считаться уникальным по отношению к остальным сайтам.

Самый простой способ — удалить тестовый сайт. Но если он может понадобиться в дальнейшем, то нужно закрыть (изначально при разработке) его от индексации в файле Robots.txt

Для этого достаточно прописать конструкцию

User-agent: *Disallow: /

И для всех поисковых систем «вход будет закрыт».

Также можно сделать «склейку» доменов. Если анализировать содержимое главной страницы, то любой плагиатор покажет, что данный текст используется на сайте http://sitemap.avazo.com/. Но на самом сайте http://sitemap.avazo.com/ в robots.txt прописаны следующие строки

Host: world-limo.com.ua

что указывает поисковой системе, какой сайт считать главным зеркалом, а все остальные исключит из своего индекса.

Проверить это можно командой INFO в Google

Например, прямо в строке поиска введите info:http://sitemap.avazo.com/ и получите ту информацию, которая известна Google. А он, в нашем случае, говорит, что это сайт world-limo.com.ua/

Правильно продвигайте, хороших Вам ТОПов!