Как вам помочь ?

Robots.txt, карта сайта, 301 редирект

Актуально для версии магазина: 6.0 | 5.0-4.0 | 3.0-2.6

В данной статье рассмотрим:

 

Что такое robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле владелец сайта может указать параметры индексирования своего сайта (как страницы включать в индекс поисковых систем, а какие - нет) как для всех поисковых систем сразу, так и для каждой поисковой системы в отдельности.


Файл robots.txt на платформе AdvantShop

Файл robots.txt уже изначально есть в административной части вашего интернет-магазина. В нем указаны стандартные настройки robots.txt интернет-магазина для поисковой системы Яндекс (отдельно) и для всех остальных поисковых систем. Вы можете самостоятельно вносить в него изменения в соответствии с вашими индивидуальными требованиями к индексированию сайта.


Как настроить файл robots.txt на платформе AdvantShop

Чтобы перейти к редактированию файла robots.txt, перейдите в административную часть вашего магазина. В меню выберите "Настройки" - "SEO и счётчики", а затем перейдите на вкладку "Robots.txt". Вы увидите поле, в котором можно редактировать текст файла.

Как настроить файл robots.txt на платформе AdvantShop
Рисунок 1.

После внесения изменений, нажмите кнопку "Сохранить".


Как правильно заполнить файл robots.txt и проверить его корректность?

Правила настройки файла robots.txt для поисковых систем прописаны на страницах помощи соответствующих поисковых систем:
Яндекс - Использование robots.txt
Google - Спецификации файла robots.txt

Внимание

В большинстве случаев стандартный текст файла robots.txt, уже заданный платформой AdvantShop, является достаточным и не требует внесения каких-либо изменений. Во избежание каких-либо ошибок, мы рекомендуем вам обратиться к SEO-специалисту для внесения каких-либо правок в данный файл.


Также, обратите внимание на регистр букв, к примеру, директивы

Disallow: /registration.aspx
и
Disallow: /Registration.aspx

обрабатываются поисковыми системами как разные страницы.


Корректность файла robots.txt для поисковой системы Яндекс Вы можете проверить в панели Вебмастер Yandex (в сервисе необходимо авторизоваться под своим логином и паролем). Для других поисковых систем используйте соответствующие панели (также с предварительной авторизацией), к примеру, Google Webmaster Tools и Bing Webmaster.
 

Закрытие от индексации дублей страниц

Дубли страниц в каталоге, которые могут появиться при фильтрации или постраничном просмотре (пагинации), по-умолчанию уже закрыты от индексации следующими директивами:
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=

Пример файла robots.txt для полного закрытия сайта от индексации:

User-agent: *
Disallow: /

Внимание

Мы настоятельно не рекомендуем Вам закрывать сайт от индексации без консультации SEO-специалиста, так как это может очень негативно сказаться на индексации сайта и его позициях в поисковых системах.

Директива Host

Директива Host предназначена для указания главного зеркала сайта в поисковой системе Яндекс. Другие поисковые системы не используют данную директиву, поэтому директива Host должка находиться только в блоке User-Agent: Yandex.

Директива Host указывается следующим образом:

Host: site.ru

где site.ru - главное зеркало вашего сайта. Если главное зеркало сайта - домен с www, то необходимо указать директиву так:

Host: www.site.ru

Если же главное зеркало сайта - домен с https, необходимо указать главное зеркало сайта c https:

Host: https://site.ru
или
Host: https://www.site.ru

Внимание

Директивы в файле robots.txt не являются правилами, обязательными к исполнению поисковыми системами, и в некоторых случаях (исключительно по усмотрению самих поисковых систем) поисковые роботы могут не следовать этим директивам.


Директива Sitemap

Директива Sitemap служит для указания адреса карты сайта в формате xml для поисковых роботов. При её указании необходимо прописать полный адрес карты сайта xml, с указанием протокола http (или https). Данная директива должна располагаться после всех директив в файле robots.txt, с отступом в одну строку. Пример:


Disallow: /preorder

Sitemap: http://site.ru/sitemap.xml


Пример файла robots.txt для обычной работы интернет-магазина на платформе AdvantShop:

User-agent: Yandex
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Disallow: /newscategory$
Disallow: /fogotpassword
Disallow: /compare
Disallow: /myaccount
Disallow: /checkout
Disallow: /registration
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout/billing
Disallow: /tools/
Disallow: /login
Disallow: /preorder
Host: {имя домена}

User-agent: *
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Disallow: /newscategory$
Disallow: /fogotpassword
Disallow: /compare
Disallow: /myaccount
Disallow: /checkout
Disallow: /registration
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout/billing
Disallow: /tools/
Disallow: /login
Disallow: /preorder

Sitemap: http://{имя домена}/sitemap.xml

Обратите внимание

Запись вида {имя домена} необходимо заменить (вместе с фигурными скобками) на адрес вашего магазина.

Например:

  • "Host: {имя домена}", после замены будет "Host: mysite5.ru"
  • "Sitemap: http://{имя домена}/sitemap.xml", после замены получится вот так "Sitemap: http://mysite5.ru/sitemap.xml"

 

Карта сайта (Sitemap)

Карта сайта (sitemap) – это файл, который необходим для корректной и своевременной индексации сайта в поисковых системах. С помощью карты сайта Вы можете сообщить поисковой системе, какие страницы Вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.

В магазине карта сайта автоматически формируется в формате HTML и в формате XML.

В формате HTML карта сайта создается для посетителей, чтобы облегчить им поиск необходимой информации. В формате XML карта сайта создается для поисковых роботов, чтобы поисковый робот увидел ссылки на все страницы, которые есть на сайте.

Рассмотрим, как сгенерировать в магазине карту сайта в формате HTML и XML, и как сообщить поисковым системам о наличии карты сайта в интернет магазине

  • Формирование карты сайта HTML

  • Формирование карты сайта XML

  • Регистрация карты сайта в поисковых системах

Формирование карты сайта XML и карты сайта HTML

Чтобы сгенерировать карты сайта, необходимо перейти в панель администрирования, пункт меню "Настройки" - вкладка "Системные настройки" (рис. 2).

Формирование карты сайта XML и карты сайта HTML
Рисунок 2.

На открывшейся странице необходимо выбрать вкладку "Карта сайта" и нажать на кнопку "Обновить карты" (рис.3, п.2), Ваши карты сайта будут обновлены.

На открывшейся странице необходимо выбрать вкладку "Карта сайта" и нажать на кнопку "Обновить карты"
Рисунок 3.

Для перехода к сгенерированным картам сайта в строках "Адрес карты XML" и "Адрес карты HTML" нажмите ссылку карты (рис.3, п.3-4).

Обновление карт сайта XML и HTML происходит раз в сутки в автоматическом режиме.

Регистрация карты сайта в поисковых системах

После формирования карты сайта, необходимо сообщить поисковым системам о наличии файла sitemap. Для этого нужно совершить следующие действия:

  • Добавить директиву sitemap в файл robots.txt. Данная директива имеет вид Sitemap: http://site.ru/sitemap.xml (где site.ru – адрес вашего веб-сайта) и прописывается (предпочтительно) в конце документа с новой строки.

  • Указать URL файла sitemap в Yandex.Вебмастере и Google.Вебмастере.

Чтобы перейти к редактированию файла robots.txt, необходимо в панели администрирования выбрать пункт меню "Настройки" - "SEO и счетчики". Затем перейти на вкладку Robots.txt (рис. 4).

Для перехода к сгенерированным картам сайта в строках "Адрес карты XML" и "Адрес карты HTML" нажмите ссылку карты
Рисунок 4.

Вставьте в файл robots.txt, предпочтительно в конце, строку, указывающую на местоположение файла Sitemap (рис. 4):

Sitemap: http://site.ru/sitemap.xml (рис. 5).

Вставьте в файл robots.txt, предпочтительно в конце, строку, указывающую на местоположение файла Sitemap
Рисунок 5.

После внесения изменений, нажмите кнопку "Сохранить" в правом верхнем углу.

Чтобы указать URL карты сайта для поисковых систем, совершите следующие действия:

  • Для ПС Яндекс – Зайдите в раздел "Индексирование" - "Файлы Sitemap" сервиса Яндекс.Вебмастер, после чего укажите ссылку на ваш файл Sitemap в строку и нажмите кнопку "Добавить".

Для ПС Яндекс – Зайдите в раздел "Индексирование" - "Файлы Sitemap" сервиса Яндекс.Вебмастер, после чего укажите ссылку на ваш файл Sitemap в строку и нажмите кнопку "Добавить".
Рисунок 6.

  • Для ПС Google – Зайдите в раздел "Сканирование"- "Файлы Sitemap" сервиса Google Webmaster Tools, после чего нажмите на кнопку "добавление/проверка файла sitemap" и укажите путь к своему файлу sitemap.xml. Обратите внимание, что адрес самого домена уже будет указан в соответствующей строке.

После этого нажмите кнопку "Тест", и если ошибок не будет обнаружено – кнопку "Отправить".

Для ПС Google – Зайдите в раздел "Сканирование"- "Файлы Sitemap" сервиса Google Webmaster Tools, после чего нажмите на кнопку "добавление/проверка файла sitemap" и укажите путь к своему файлу sitemap.xml.
Рисунок 7.

Готово, мы рассмотрели, как настроить карты сайта.

 

301 редирект

Суть "301-го" редиректа (перенаправления с кодом ответа 301) в том, чтобы сообщить пользователю или поисковому роботу информацию о том, что страница, которую он открывает по определённому URL-адресу, перемещена на другой URL-адрес. На практике это выглядит так: пользователь вводит URL-адрес, для которого настроен 301 редирект, и попадает на другой URL-адрес (необходимый Вам).



В каких случаях нужен 301 редирект?

Зачастую происходит следующая ситуация: сайт существовал по определённому URL, и все ссылки на его страницы хорошо проиндексировались поисковыми системами; пользователи находили через поиск страницы сайт и переходили на них. Однако однажды владелец решил изменить свой сайт и переехал на новую CMS, которая формирует ссылки на статьи, товары и категории по новому алгоритму.

Если, к примеру, раньше условная статья об условном продукте "Продукт 1" была вида:

mysite.com/category111/product222/product1/

то на новом, условном, сайте новая ссылка условно стала:

mysite.com/product/superduperproduct1/

Получается, что в поисковой системе сохранилась старая ссылка, и при переходе по ней пользователь видит страницу 404 (не найдена).

В таком случае, как и в ряде других, нужна переадресация с одной ссылки на другую, или, как это называется,  "301 редирект".

 

Итак, переадресация с кодом 301 обычно нужна в следующих случаях:

1) У Вас есть статья, товар или категория, которая изменила свой URL

2) Хотите настроить переадресацию с "www" на "без www" или наоборот

3) У Вас есть ещё один домен, и вы хотите, чтобы посетители с него перенаправлялись на "основной домен" (важно для SEO)

4) Любой из пунктов 1-3, но при этом у вас ещё и кириллический домен (мойсуперсайт.рф или подобный)

 

Где находится настройка 301 редиректа?

Настройки редиректов находятся в панели администрирования - пунт меню "Настройки - SEO и счётчики", вкладка "301 редирект" (рис. 8).

Где находится настройка 301 редиректа?
Рисунок 8.

В магазине на базе AdvantShop 301 редирект представлен в виде таблицы, с колонкой "Откуда" и колонкой "Куда". Указываем старый URL, указываем новый URL, после чего перенаправление работает.

В таблице также представлена ещё третья, необязательная, колонка "Артикул товара (необязательно)". О ней расскажем отдельно ниже. 

Важно

Чтобы включить работу редиректов, поставьте галочку "Активность 301 редиректа" (рис. 9).

Чтобы включить работу редиректов, поставьте галочку "Активность 301 редиректа"
Рисунок 9.

 

Как добавить/редактировать/удалить 301 редирект?

Для добавления нажимаем кнопку "+ Добавить 301 редирект". Возникает всплывающее окно. Вносим данные (поле "Артикул" можно оставить пустым), нажимаем на кнопку "Сохранить" - всё готово.

Как добавить/редактировать/удалить 301 редирект?
Рисунок 10.

Для редактирования записи кликните на неё один раз. Строчка превратится в поля для редактирования. Внесите изменения и кликните на любом пустом месте страницы, чтобы сохранить изменения.

Чтобы удалить запись, нажмите на кнопку крестика и подтвердите удаление.

 

Далее рассмотрим несколько примеров. 

 

Пример 1. У Вас есть статья, товар или категория, которая изменила свой URL

Например, мы сменили CMS интернет-магазина, и теперь нужно как-то направить пользователей со старых ссылок на новые. Со старой ссылки настроим редирект на новую. 

У нас есть ссылка:

http://site5.ru/staraya-ssilka

Нужно направить на:

http://site5.ru/novaya-ssilka

Так и добавим данные в таблицу (рис. 11).

У Вас есть статья, товар или категория, которая изменила свой URL
Рисунок 11.

Готово.

Если мы работаем в рамках одного сайта, мы можем использовать относительные ссылки(рис 5.1).

Мы можем не писать адрес сайта, а указать сразу фрагмент ссылки, которая идет за адресом. 

В поле "откуда" вместо "http://site5.ru/staraya-ssilka" мы можем написать лишь "staraya-ssilka".

В поле "куда" вместо "http://site5.ru/novaya-ssilka" мы можем написать лишь "novaya-ssilka".

Внимание

Знак "/" в начале указывать не нужно. Вариант "/novaya-ssilka" неверный, вариант "novaya-ssilka" - верный.

Если мы работаем в рамках одного сайта, мы можем использовать относительные ссылки
Рисунок 12.

Готово.

В обоих случаях при переходе по старой ссылке http://site5.ru/staraya-ssilka нас "перебросит" на новую ссылку.

Обратите внимание, что одна запись работает для одной ссылки, и если нужно перенаправить ссылки для 10 товаров, нужно добавить 10 записей, аналогично той, которую мы добавили выше.

 

Пример 2. Переадресация с "www" на "без www" или наоборот

Если допустить, чтобы сайт открывался и по www.site5.ru, и по (просто) site5.ru, поисковые системы увидят в этом дубликат сайта, т.к. для поисковой машины адрес без www и с www - это два разных сайта с одинаковым содержимым. 

Для решения этой проблемы Вам нужно определить, какой адрес будет главным, и со второстепенного настроить 301 редирект на основной.

 

Если мы решили, что www.site5.ru будет главным, то настраиваем запись так:

с http://site5.ru*   на   http://www.site5.ru  (с сайта без WWW переходить на сайт с WWW)

Переадресация с "www" на "без www" или наоборот
Рисунок 13.

Если решили, что site5.ru (без WWW) будет главный, то настраиваем запись так:

с http://www.site5.ru*  на  http://site5.ru (с записи с WWW переходить на сайт без WWW)

Если решили, что site5.ru (без WWW) будет главный, то настраиваем запись так
Рисунок 14.

Готово. 

Знак звездочки " * " в конце домена означает, что все URL, которые начинаются с домена, будут перенаправлены на новый домен. 

 

Пример 3. У Вас есть синоним домена и нужно перенаправить пользователя на "основной домен"

Бывают ситуации, когда у Вас есть 2 разных доменных имени, которые подключены к одному и тому же сайту. Т.е. по обоим доменам открывается один и тот же магазин. Такое бывает, когда владельцы сайта докупают домен, к примеру, с тире в названии (например, moysait.ru и moy-sait.ru), чтобы пользователи, набравшие адрес с тире, также попали на Ваш сайт.

Либо бывают ситуации, когда один домен зарегистрирован в зоне *.ru, а другой - в зоне *.com. 

Для поискового продвижения важно, чтобы сайт был доступен по "основному домену", и с остальных доменов был настроен 301 редирект. 

Итак, мы определились, что условный адрес "http://site5.ru" (без www) будет нашим главным доменом, и будем ссылаться на него.

 

Чтобы настроить редирект вида http://site5.com на http://site5.ru , Вам необходимо сделать следующее:

1) В поле "откуда" написать адрес сайта с  http:// и добавить знак звездочки " * " в конце. 

Чтобы получилось: http://site5.com*

2) В поле "куда" написать адрес сайта, куда направлять, также с http://, но без звездочки.

Чтобы получилось http://site5.ru

Выглядит это так:

В поле "куда" написать адрес сайта, куда направлять, также с http://, но без звездочки.
Рисунок 15.

Такой же вариант подходит, если нужно сделать пренаправление с http://site-5.ru на http://site5.ru (с домена "с тире" на домен "без тире").

Такой же вариант подходит, если нужно сделать пренаправление с http://site-5.ru на http://site5.ru (с домена "с тире" на домен "без тире").
Рисунок 16.

 

Пример 4. У Вас кириллический домен. Как в этом случае настроить редирект?

В случае если в имени домена встречаются кириллические или другие нелатинские символы, нужно зайти на сайт https://www.nic.ru/whois/ , ввести в текстовое поле русский адрес, нажать "Показать". Внизу серым крупным шрифтом выведется (в скобках) адрес русского сайта символами:

У Вас кириллический домен. Как в этом случае настроить редирект?
Рисунок 17.

Нужно скопировать содержимое из скобок и вставить в поле "откуда". Впереди символов указывается "http://", в конце также пишется " * " (звездочка), если редирект нужен для всех страниц сайта(рис. 17).

Кириллическая ссылка выглядеть будет так:

http://XN--80AAIRFBUBOC.XN--P1AI

Ссылка на страницу соответственно:

http://XN--80AAIRFBUBOC.XN--P1AI/pages/page1

Т.е. все настройки производятся так же, как и с обычным доменом, но вместо кириллицы указывается определённый набор символов.

Т.е. все настройки производятся так же, как и с обычным доменом, но вместо кириллицы указывается определённый набор символов.
Рисунок 18.

 

Пример 5. Переадресация с "http" на "https"

В ситуации, когда на Вашем сайте установлен SSL сертификат, т.е. на сайте есть https-соединение, достаточно создать две записи редиректа.

1) Первое правило:

- В поле "откуда" написать адрес сайта с http:// и добавить знак звездочки " * " в конце. Чтобы получилось: http://site.ru*

- В поле "куда" написать адрес сайта,  для которого установлен SSL сертификат. Если это домен без www, то нужно написать https://, но без звездочки. Чтобы получилось https://site.ru

2) Второе правило. Аналогично создаем вторую запись, уже с http://www.домен на https:

- В поле "откуда" написать адрес сайта с http:// и добавить знак звездочки " * " в конце. Чтобы получилось: http://www.site.ru*

- В поле "куда" написать адрес сайта, для которого установлен SSL сертификат. Если это домен без www, то нужно написать https://, но без звездочки.

Чтобы получилось https://site.ru

Переадресация с "http" на "https"
Рисунок 19.

Внимание

Если Вы приобретаете SSL-сертификат только для платёжных систем или для работы в соц. сетях, настраивать подобный редирект в большинстве случаев нет необходимости.

Заметка

После перехода сайта на https и настройке 301 редиректа с http на https позиции сайта в поисковых системах понижаются на некоторый период времени. К сожалению, это неизбежный эффект, который зависит от работы самих поисковых систем.

 

Для чего нужна необязательная колонка "Артикул товара"?

Дополнительная третья колонка добавлена для замены, в некоторых случаях, колонки "куда". 

Пример: 

Если на Вашем новом сайте у товара сменится URL (по сравнению с URL на старом сайте), то, чтобы регулярно не "следить" за новыми ссылками на товар и корректировать их в таблице 301-го редиректа, можно использовать колонку "Артикул товара".

В ней достаточно указать артикул товара, и старая ссылка всегда будет ссылаться на актуальный текущий URL товара.

Настройка выглядит так:

Для чего нужна необязательная колонка "Артикул товара"?
Рисунок 20.

Первая запись - Относительная ссылка (без домена)

Вторая запись - Полная ссылка (с доменом и http:// )

Третья запись - Полная ссылка с кириллическим доменом. 

Все три ссылки работают по принципу "направить нашу ссылку на URL товара, при условии, что мы знаем только артикул товара".

 

Массовая загрузка 301 редиректа

Рассмотрим, как можно осуществить экспорт или импорт 301 редиректа в интернет-магазине.

Наша задача - показать, как можно массово изменить или загрузить 301 редирект на сайт.

 

Формат файла

Файл в формате CSV представлен на рисунке ниже (рис.21).

Файл в формате CSV
Рисунок 21.

В файле 3 столбца, которые дублируют 3 колонки в панели администрирования:

RedirectFrom – столбец "Откуда", т.е. ссылка, которую требуется заменить, переадресовать.

RedirectTo – столбец "Куда", актуальная ссылка, на которую требуется сделать редирект (перенаправление страницы).

ProductArtNo – артикул товара, добавлена для замены, в некоторых случаях, колонки "куда".

 

Импорт

Вы можете создать файл CSV (разделители - точка с запятой) формата, описанного выше, заполнить столбцы необходимыми ссылками и импортировать на сайт.

Для того чтобы осуществить импорт файла, перейдите в панель администрирования, пункт меню "Настройки - SEO и счётчики", вкладка "301 редирект" , и нажмите на кнопку "Добавить файл" (рис.22, 3).

Импорт
Рисунок 22.

Импорт
Рисунок 23.

В открывшемся окне выберите файл для импорта, нажмите "Открыть", и данные из файла автоматически появляются в списке 301 редиректа (рис. 24).

В открывшемся окне выберите файл для импорта, нажмите "Открыть", и данные из файла автоматически появляются в списке 301 редиректа
Рисунок 24.

 

Экспорт

С сайта можно экспортировать файл с 301 редиректом, внести в файл изменения и вновь загрузить на сайт. Для этого перейдите в панель администрирования, пункт меню "Настройки - SEO и счётчики", вкладка "301 редирект", и нажмите на кнопку "Экспорт" (рис.25, 26).

Экспорт
Рисунок 25.

Файл скачивается на Ваш компьютер в формате, описанном выше.
Рисунок 26.

Файл скачивается на Ваш компьютер в формате, описанном выше.

 

Примечание.

Обновление данных или добавление новых строк из файла происходит по столбцу "RedirectFrom" ("Откуда").

При загрузке файла на сайт происходит проверка: если ссылка из RedirectFrom уже присутствует на сайте в столбце "Откуда", то она обновляется теми данными, которые пришли в новом файле; если ссылки из RedirectFrom нет на сайте в столбце "Откуда", то строка с данными из файла добавляется в качестве новой строки со значениями на сайт.

Рассмотрим на примере.

В файле строка вида (рис.27):

В файле строка вида
Рисунок 27.

При импорте файла на сайт проверяется столбец RedirectFrom (на сайте “Откуда”) - есть ли в столбце “Откуда” значение из файла столбца “RedirectFrom”? В нашем примере проверяется значение “login.aspx”(рис.8).

При импорте файла на сайт проверяется столбец RedirectFrom (на сайте “Откуда”) - есть ли в столбце “Откуда” значение из файла столбца “RedirectFrom”? В нашем примере проверяется значение “login.aspx
Рисунок 28.

Если значение есть (как в нашем примере “login.aspx”), строка обновляется. А именно: в столбец “Куда” записывается значение из файла “RedirectTo” (рис.29).

Если значение есть (как в нашем примере “login.aspx”), строка обновляется. А именно: в столбец “Куда” записывается значение из файла “RedirectTo”
Рисунок 29.

Если значения нет, то строка добавляется (рис.30,31).

Если значения нет, то строка добавляется
Рисунок 30.

Мы рассмотрели основные настройки файла Robots. карты сайта и 301 -ого редиректа.
Рисунок 31.

Готово. Мы рассмотрели основные настройки файла Robots. карты сайта и 301 -ого редиректа.

Другие статьи по теме

Открыть онлайн чат? Открыть
Статья оказалась полезной? Да Нет
Благодарим за отзыв.

Как мы можем улучшить статью?

Не нашли нужную статью? Предложить тему

Не нашли нужную статью?

Благодарим за отзыв.

Тэги: Robots, робот, редирект, 301 редирект, карта сайта,sitemap