Правильный robots.txt для SimplaCMS

Мы довольно много работаем с SimplaCMS по части её оптимизации для поисковых роботов. И сейчас нам хочется делиться своим опытом. Мы надеемся, что наши рекомендации помогут вам сделать ваш сайт лучше.

И сегодня мы хотим с вами поделиться правильным, по нашему мнению, robots.txt для сайта на SimplaCMS.

Содержание robots.txt для сайта на SimplaCMS должно быть следующим:

User-agent: *

Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Disallow: /products?keyword
Disallow: *?sort=price*
Disallow: *?sort=name*
Disallow: *?sort=position*
Disallow: *?page=*

User-agent: Yandex

Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Disallow: /products?keyword
Disallow: *?sort=price*
Disallow: *?sort=name*
Disallow: *?sort=position*
Disallow: *?page=*

User-agent: Googlebot

Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Disallow: /products?keyword
Disallow: *?sort=price*
Disallow: *?sort=name*
Disallow: *?sort=position*
Disallow: *?page=*

Host: simplamarket.ru
Sitemap: /sitemap.xml

Скачать robots.txt для вашего сайта вы сможете по следующей ссылке. При установке его на ваш сайт, пропишите в строках Host и Sitemap название именно вашего домена. Для того чтобы установить новый robots.txt на ваш сайт вам нужно подключиться к сайту по FTP и в корневую папку закачать этот файл. Для проверки зайдите по ссылке http://название_сайта/robots.txt в браузере. Вы должны увидеть содержание вашего файла robots.txt.

Также хотим поделиться с вами планами последними нашими новостями. Мы открыли новое направление «Продвижение сайтов на SimplaCMS» и сейчас готовы взять на себя всё что касается IT части в бизнесе клиента.