Помощь по конструктору сайтов

Что такое Robots.txt?

Обратите внимание: по умолчанию все новые сайты имеют в файле robots.txt запрет на индексацию поисковыми роботами, а именно следующий текст:
User-agent: *
Disallow: /
Если вы хотите открыть сайт для поисковых систем, отредактируйте текст в соответствии с рекомендациями ниже.

Читайте подробнее.

1. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых не подключен ssl-сертификат:

User-agent: *
Allow: /
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

где site.ru — имя вашего основного домена.
Как должен выглядеть файл robots.txt для платформы Nethouse2. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых подключен ssl-сертификат:

User-agent: *
Allow: /
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
 
где site.ru — имя вашего основного домена.
Рекомендуем использовать robots.txt следующего вида для сайтов у которых подключен ssl-сертификат3. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых не подключен ssl-сертификат:

User-agent: *
Allow: /
Host: xn--d1abbgf6aiiy.xn--p1ai
Sitemap: http://xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
 
где xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
Как должен выглядеть файл robots.txt для платформы Nethouse с кириллическим доменом4. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых подключен ssl-сертификат:

User-agent: *
Allow: /
Host: https://xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
 
где xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
где xn--d1abbgf6aiiy.xn--p1ai - имя Вашего основного домена5. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых не подключен ssl-сертификат и домен с www установлен основным:

User-agent: *
Allow: /
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

где www.site.ru — имя вашего основного домена.
где www.site.ru - имя Вашего основного домена.6. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых подключен ssl-сертификат  и домен с www установлен основным:

User-agent: *
Allow: /
Host: https://www.site.ru
Sitemap: https://www.site.ru/sitemap.xml
 
где www.site.ru — имя вашего основного домена.
где www.site.ru - имя Вашего основного домена.
7. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых подключен ssl-сертификат и домен с www установлен основным:

User-agent: *
Allow: /
Host: https://www.xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://www.xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
 
где www.xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
где www.xn--d1abbgf6aiiy.xn--p1ai - имя Вашего основного домена.
Обратите внимание!
  • Файл robots.txt расположен в разделе Настройки — SEO настройки — Robots.txt


Также читайте:
На всех мониторах страны.
На визитке каждого.
Создать сайт бесплатно