Что такое Robots.txt?
Обратите внимание! Файл robots.txt расположен в разделе Настройки — SEO настройки — Robots.txt
Обратите внимание: по умолчанию все новые сайты имеют в файле robots.txt запрет на индексацию поисковыми роботами, а именно следующий текст:
User-agent: *
Disallow: /
Если вы хотите открыть сайт для поисковых систем, отредактируйте текст в соответствии с рекомендациями ниже.
1. Рекомендуем использовать robots.txt следующего вида.
Обратите внимание: по умолчанию все новые сайты имеют в файле robots.txt запрет на индексацию поисковыми роботами, а именно следующий текст:
User-agent: *
Disallow: /
Если вы хотите открыть сайт для поисковых систем, отредактируйте текст в соответствии с рекомендациями ниже.
1. Рекомендуем использовать robots.txt следующего вида.
User-agent: *
Allow: /
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
где site.ru — имя вашего основного домена.
![Рекомендуем использовать robots.txt следующего вида для сайтов у которых подключен ssl-сертификат](//nethouse.siteapi.org/promo/static/img/000/000/003/1_3182_p3bvj0jens.jpg)
2. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом.
![где xn--d1abbgf6aiiy.xn--p1ai - имя Вашего основного домена](//nethouse.siteapi.org/promo/static/img/000/000/003/1_3184_q64j5775ke.jpg)
3. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых домен с www установлен основным:
4. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых домен с www установлен основным:
![где www.xn--d1abbgf6aiiy.xn--p1ai - имя Вашего основного домена.](//nethouse.siteapi.org/promo/static/img/000/000/003/1_3187_rfp8j0i0gl.jpg)
![Рекомендуем использовать robots.txt следующего вида для сайтов у которых подключен ssl-сертификат](http://nethouse.siteapi.org/promo/static/img/000/000/003/1_3182_p3bvj0jens.jpg)
2. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом.
User-agent: *
Allow: /
Host: https://xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
где xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
![где xn--d1abbgf6aiiy.xn--p1ai - имя Вашего основного домена](http://nethouse.siteapi.org/promo/static/img/000/000/003/1_3184_q64j5775ke.jpg)
3. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых домен с www установлен основным:
User-agent: *
Allow: /
Host: https://www.site.ru
Sitemap: https://www.site.ru/sitemap.xml
где www.site.ru — имя вашего основного домена.
![где www.site.ru - имя Вашего основного домена.](http://nethouse.siteapi.org/promo/static/img/000/000/003/1_3186_g9tgnzx0d5.jpg)
4. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых домен с www установлен основным:
User-agent: *
Allow: /
Host: https://www.xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://www.xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
где www.xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
![где www.xn--d1abbgf6aiiy.xn--p1ai - имя Вашего основного домена.](http://nethouse.siteapi.org/promo/static/img/000/000/003/1_3187_rfp8j0i0gl.jpg)