Что такое Robots.txt?
Обратите внимание: по умолчанию все новые сайты имеют в файле robots.txt запрет на индексацию поисковыми роботами, а именно следующий текст:
User-agent: *
Disallow: /
Если вы хотите открыть сайт для поисковых систем, отредактируйте текст в соответствии с рекомендациями ниже.
Читайте подробнее.
1. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых не подключен ssl-сертификат:
Также читайте:
User-agent: *
Disallow: /
Если вы хотите открыть сайт для поисковых систем, отредактируйте текст в соответствии с рекомендациями ниже.
Читайте подробнее.
1. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых не подключен ssl-сертификат:
User-agent: *
Allow: /
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
где site.ru — имя вашего основного домена.
2. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых подключен ssl-сертификат:
4. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых подключен ssl-сертификат:
5. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых не подключен ssl-сертификат и домен с www установлен основным:
Обратите внимание!
где site.ru — имя вашего основного домена.
2. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых подключен ssl-сертификат:
User-agent: *
Allow: /
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
где site.ru — имя вашего основного домена.
3. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых не подключен ssl-сертификат:
3. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых не подключен ssl-сертификат:
User-agent: *
Allow: /
Host: xn--d1abbgf6aiiy.xn--p1ai
Sitemap: http://xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
где xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
4. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых подключен ssl-сертификат:
User-agent: *
Allow: /
Host: https://xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
где xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
5. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых не подключен ssl-сертификат и домен с www установлен основным:
User-agent: *
Allow: /
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml
где www.site.ru — имя вашего основного домена.
6. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых подключен ssl-сертификат и домен с www установлен основным:
7. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых подключен ssl-сертификат и домен с www установлен основным:где www.site.ru — имя вашего основного домена.
6. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых подключен ssl-сертификат и домен с www установлен основным:
User-agent: *
Allow: /
Host: https://www.site.ru
Sitemap: https://www.site.ru/sitemap.xml
где www.site.ru — имя вашего основного домена.
User-agent: *
Allow: /
Host: https://www.xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://www.xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
где www.xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
- Файл robots.txt расположен в разделе Настройки — SEO настройки — Robots.txt
Также читайте: