Что такое Robots.txt?
Обратите внимание: по умолчанию все новые сайты имеют в файле robots.txt запрет на индексацию поисковыми роботами, а именно следующий текст:
User-agent: *
Disallow: /
Если вы хотите открыть сайт для поисковых систем, отредактируйте текст в соответствии с рекомендациями ниже.
Читайте подробнее.
1. Рекомендуем использовать robots.txt следующего вида.
Обратите внимание!
Также читайте:
User-agent: *
Disallow: /
Если вы хотите открыть сайт для поисковых систем, отредактируйте текст в соответствии с рекомендациями ниже.
Читайте подробнее.
1. Рекомендуем использовать robots.txt следующего вида.
User-agent: *
Allow: /
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
где site.ru — имя вашего основного домена.
2. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом.
3. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых домен с www установлен основным:
4. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых домен с www установлен основным:
2. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом.
User-agent: *
Allow: /
Host: https://xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
где xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
3. Рекомендуем использовать robots.txt следующего вида для сайтов, у которых домен с www установлен основным:
User-agent: *
Allow: /
Host: https://www.site.ru
Sitemap: https://www.site.ru/sitemap.xml
где www.site.ru — имя вашего основного домена.
4. Рекомендуем использовать robots.txt следующего вида для сайтов с кириллическим доменом, у которых домен с www установлен основным:
User-agent: *
Allow: /
Host: https://www.xn--d1abbgf6aiiy.xn--p1ai
Sitemap: https://www.xn--d1abbgf6aiiy.xn--p1ai/sitemap.xml
где www.xn--d1abbgf6aiiy.xn--p1ai — имя вашего основного домена.
Обратите внимание!
- Файл robots.txt расположен в разделе Настройки — SEO настройки — Robots.txt
Также читайте: