С чем вам помочь?

Задавайте вопрос или опишите проблему, с которой Вы столкнулись

Настройка файла robots.txt

Что такое Robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Как настроить файл Robots.txt

Файл Robots.txt уже автоматически сгенерирован в административной части вашего интернет-магазина. В нем указаны стандартные настройки Robots.txt интернет-магазина для поисковой системы Яндекс (отдельно) и для остальных поисковых систем (для любых роботов). Вы можете самостоятельно вносить в него изменения, в соответствии с вашими индивидуальными требованиями к индексированию сайта.

Где найти данный файл в административной части моего магазина?

Чтобы перейти к редактированию файла Robots.txt, вам нужно зайти в административную часть вашего магазина. В меню выбрать «Настройки» - «Общие». Затем перейти на вкладку Robots.txt, далее можете приступать к редактированию файла.

После внесения изменений, нажмите кнопку «Сохранить».

 

Как правильно заполнить файл Robots.txt и проверить его корректность?

Корректность файла Robots.txt Вы можете проверить в панели Вебмастер Yandex (авторизоваться под своим логином и паролем). Для других поисковых систем используйте соответствующие панели (также с предварительной авторизацией) Google Webmaster Tools и Bing Webmaster.

Правила настройки файла Robots.txt прописаны на страницах помощи соответствующих поисковых систем.

Яндекс - Использование robots.txt

Google - Robots.txt Specifications (на английском)

 

Закрытие от индексации, дубли страниц, регистр

Чтобы устранить дубликаты страниц для раздела каталог, которые могут появиться при фильтрации или постраничному просмотру, используйте директивы:

Disallow: *?type=*
Disallow: *?page=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Disallow: /newscategory$
 
Также, обратите внимание на регистр букв, к примеру, директива
Disallow: /registration.aspx
и
Disallow: /Registration.aspx
обрабатываются как разные страницы для поисковиков.
 
Пример файла Robots.txt - Для работы.
 
User-agent: Yandex
Disallow: *?type=*
Disallow: *?page=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Disallow: /newscategory$
Disallow: /app_offline.html
Disallow: /fogotpassword.aspx
Disallow: /fogotPassword.aspx
Disallow: /compareproducts.aspx
Disallow: /check_sberbank.aspx
Disallow: /check_check.aspx
Disallow: /check_bill.aspx
Disallow: /myaccount.aspx
Disallow: /orderconfirmation.aspx
Disallow: /registration.aspx
Disallow: /orderproduct.aspx
Disallow: /printcertificate.aspx
Disallow: /printorder.aspx
Disallow: /printproductinfo.aspx
Disallow: /sendrequestonproduct.aspx
Disallow: /shoppingcart.aspx
Disallow: /subscribe.aspx
Disallow: /subscribedeactivate.aspx
Disallow: /wishlist.aspx
Disallow: /billing.aspx
Disallow: /Billing.aspx
Disallow: /myaccount
Disallow: /checkout
Disallow: /registration
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout/billing
Host: {имя домена}
 
User-agent: *
Disallow: *?type=*
Disallow: *?page=*
Disallow: *?letter=*
Disallow: *prop=
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: /newscategory$
Disallow: /app_offline.html
Disallow: /fogotpassword.aspx
Disallow: /fogotPassword.aspx
Disallow: /compareproducts.aspx
Disallow: /check_sberbank.aspx
Disallow: /check_check.aspx
Disallow: /check_bill.aspx
Disallow: /myaccount.aspx
Disallow: /orderconfirmation.aspx
Disallow: /registration.aspx
Disallow: /orderproduct.aspx
Disallow: /printcertificate.aspx
Disallow: /printorder.aspx
Disallow: /printproductinfo.aspx
Disallow: /sendrequestonproduct.aspx
Disallow: /shoppingcart.aspx
Disallow: /subscribe.aspx
Disallow: /subscribedeactivate.aspx
Disallow: /wishlist.aspx
Disallow: /billing.aspx
Disallow: /Billing.aspx
Disallow: /myaccount
Disallow: /checkout
Disallow: /registration
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout/billing
 
Sitemap: http://{имя домена}/sitemap.xml

 

Пример файла Robots.txt - Закрытие от индексации.

Если необходимо полностью закрыть сайт от индексации используйте пример:

User-agent: *
Disallow: /

 

Открыть онлайн чат? Открыть
Статья оказалась полезной? Да Нет
Как мы можем улучшить статью?
Благодарим за отзыв.
Благодарим за отзыв. Мы улучшим эту статью.
Произошла ошибка.
Не нашли нужную статью? Предложить тему
Не нашли нужную статью?
Благодарим за отзыв.
Произошла ошибка.

Маркетинг

Телефония. Sipuni Телефония. Телфин Что такое номер корзины (Client Tracking) Что лучше – поисковое продвижение или контекстная реклама? Что такое «основное зеркало сайта» и как его настроить? Что такое мета-теги title, keywords, description, h1 и для чего они нужны? Что нужно проверить в магазине перед началом индексации? Карта сайта (Sitemap) для версии 4.0, 4.1, 5.0 Телефония. Манго Телеком Описание настроек Яндекс Маркета Google Merchant Center Подписчики на новости. Импорт и экспорт списка подписчиков Индексация сайта по доменам "с www" и "без www" Индексация изображений, размещённых на сайте Что такое тИЦ, PageRank ? Что такое сниппеты и как их настроить? Влияет ли на продвижение сайта уникальный контент? Что такое Яндекс.Вебвизор? Почему я вижу пустую корзину клиента в Вебвизоре? Стили подарочного сертификата Мета теги canonical, next, prev Купоны и подарочные сертификаты Индексация технического адреса магазина Добавление опроса на сайт Как подключить счетчики статистики на сайте Установка счетчиков статистики. Яндекс.Метрика. Установка счетчика Яндекс.Метрика (Видео) Установка счетчика посещаемости Liveinternet (видео) Установка счетчика посещаемости Google Analytics Установка счетчика статистики Google Analytics Маркеры товара: хит, новинка, скидка, рекомендуем, распродажа Модуль "Яндекс.Метрика", настройка целей Как настроить цели в Google Analytics Скрипт на странице успешного оформления заказа Перекрестный маркетинг: «С этим товаром покупают». Подарочные сертификаты Перекрестный маркетинг: опция «Похожие товары» Скидка на товар, для групп пользователей, на заказ. Выгрузка товаров в Яндекс.Маркет Дополнительный тег в Head Выгрузка товаров в Яндекс.Маркет Запуск контекстной рекламы для интернет-магазина Добавление новости в интернет магазин AdVantShop.NET Настройка файла robots.txt Подтверждение владения сайтом Yandex Web Master - подтверждение права собственности на сайт Google Webmaster Tools - подтверждение права собственности на сайт Подтверждение права владения сайтом: загрузка файла в корень Подключение к Google Analytics API Мобильная версия магазина в поисковых системах Мультиязычность для интернет магазина
© AdvantShop. Платформа для открытия интернет-магазина.