Де знаходиться robots.txt у Wordpress?

За промовчанням Вордпрес автоматично створює файл robots.txt для будь-якого сайту. Але тут є низка нюансів. По-перше, користувач не знає, де знаходиться robots.txt у Wordpress. По-друге, не зможе його відредагувати.

Стандартний файл мало кому підходить за налаштуваннями, тому його обов'язково потрібно редагувати, вказавши які директорії слід закрити від індексації, а які залишити доступними для пошукових систем. І для цього необхідно знати все про файл robots.txt у wordpress: де його знайти, як його налаштувати і т.д. Розглянемо це питання докладніше.

Перевіряємо наявність файлу robots.txt

Отже, система Wordpress автоматично створює віртуальний файл robots.txt. Але є винятки. І перед тим, як його шукати, необхідно переконатися, що він існує.

Найпростіший спосіб це перевірити – дописати до адреси сайту рядок /robots.txt. Повинно вийти приблизно так:

Якщо цей файл є, то відкриється нова сторінка приблизно з таким змістом:

У файлі robots.txt вказано декілька рядків, тому він вважається некоректним. Його потрібно змінити, докладно вказавши, що можна індексувати, а що не можна. Але віртуальний файл відредагувати не вдасться, потрібно створювати його фізичну версію на хостингу.

Зрозуміло, попередньо потрібно зрозуміти, де у сайті Wordpress лежить файл robots.txt, адже новий файл повинен знаходитися там же, де і попередній. В іншому випадку пошукові системи його не знайдуть і вважають, що його просто немає (що вважається критичною помилкою при просуванні сайту).

Де знайти та як працювати з файлом robots.txt?

Файл robots.txt лежить у кореневій директорії сайту. Відкрити його можна у різний спосіб.

Перший – через панель керування хостингом. В даному випадку потрібно перейти шляхом: www/адреса_сайту.

І нижче є різні файли, в тому числі і robots.txt.

Другий спосіб – за допомогою FTP-клієнта, встановленого на комп'ютері.Наприклад, через програму Filezilla.

заходьте на хостинг за допомогою Filezilla;
відкриваєте папки www/адреса_сайту;
Знаходьте файл robots.txt.

Виділивши його та натиснувши праву кнопку миші, ви можете його відредагувати. Або створити новий, якщо файл відсутній.

Третій спосіб – за допомогою спеціальних плагінів Wordpress (Yoast SEO або All in One SEO).

Вони виконують безліч корисних функцій, зокрема вміють створювати файл robots.txt для веб-сайту на Wordpress. Даний варіант дуже простий і відмінно підходить користувачам-початківцям. Достатньо встановити відповідний плагін та відредагувати вміст файлу robots.txt сайту на Wordpress.

Не потрібно заходити в панель керування хостингу або ставити на комп'ютер FTP-клієнт. Плюс не доведеться розбиратися, де шукати файл у Wordpress (SEO плагін сам створить файл у потрібному місці та збереже зміни).

І останній варіант - Проконсультуватися з менеджерами компанії, у якої замовляли хостинг сайту.

Це вже крайній захід, який виручить тих, хто зовсім не розуміється на тому, як зайти в панель управління або поставити SEO плагін. Менеджери допоможуть розібратися в цьому питанні і докладно пояснять, де знайти і як правильно налаштувати файл robots.txt для вашого сайту.

Сподобалася стаття? Розкажіть про неї друзям:

Як створити та налаштувати robots.txt для WordPress

Robots.txt - це текстовий файл, який додається на сайт і використовується для дозволу або заборони індексації сторінок веб-ресурсу роботами пошукових систем. Robots.txt містить інструкції, які говорять пошуковим роботам, які сторінки чи розділи сайту показувати у результатах пошуку, а які ні.

Для чого потрібний robots.txt

Robots.txt потрібний для налаштування індексації сторінок та розділів веб-ресурсів. З його допомогою можна покращити SEO-оптимізацію сайту та покращити розподіл трафіку. Важливо відзначити, що файл robots.txt не є інструментом безпеки і не може повністю приховати конфіденційні дані на сайті.

Файл robots.txt виконує такі завдання:

Говорить пошуковим роботам, які сторінки сайту мають бути проіндексовані, а які ні: так robots.txt регулює сприйняття сайту пошуковими системами.
Приховує конфіденційну інформацію на сайті з пошукових індексів. Наприклад, дані платіжних карток або особиста інформація можуть бути приховані за допомогою правильного налаштування robots.txt.
Захищає сервер та ресурси сайту від роботів, які можуть сканувати його у пошуках уразливостей у захисті.
Збільшує швидкість завантаження сайту. Якщо деякі сторінки вашого сайту не потребують індексації, заблокуйте їх за допомогою robots.txt – це зменшить розмір сайту та кількість запитів до сервера, що прискорить завантаження сторінок.
Покращує SEO оптимізацію сайту. За допомогою параметрів robots.txt ви можете вказати найбільш важливі сторінки для індексації та відображення в результатах пошуку.

Де розташований robots.txt на сайті з CMS WordPress

На сайті з CMS WordPress файл robots.txt знаходиться у кореневій директорії сайту. Якщо адреса вашого сайту https://example.ru, файл robots.txt буде знаходиться за адресою https://example.ru/robots.txt.

За наявності файлу robots.txt на сайті ви побачите набір правил індексації:

Щоб створити або змінити вміст файлу robots.txt, використовуйте будь-який текстовий редактор (наприклад, Emacs, Блокнот, TextEdit) або плагін, розроблений для керування robots.txt (наприклад, WordPress Robots.txt File, All in One SEO Pack або Yoast SEO).Якщо ви працюєте зі стандартною конфігурацією WordPress, файл robots.txt буде автоматично створений під час встановлення CMS. Якщо ви використовували спеціальне налаштування для блокування пошукових роботів, файл міг бути змінений або видалений.

Для високої швидкості вашого сайту на WordPress вибирайте оптимізований хостинг для CMS.Вимоги до хостингу з підтримкою WordPress вже враховані, сама система управління сайтом встановлена на кожному тарифі, що дозволяє відразу ж розпочати роботу над сайтом.

Як створити файл robots.txt

Створення robots.txt вручну

Якщо у вас немає готового файлу robots.txt і ви хочете створити його вручну, використовуйте будь-який текстовий редактор, наприклад, Блокнот.

Відкрийте текстовий редактор.
Напишіть назву вашого сайту та опис його вмісту.
Потім додайте інструкції для пошукових роботів. Ви можете використовувати наступний код, щоб заборонити індексацію розділу новин за 2022 рік роботами Яндекса:

Збережіть файл на ім'я robots.txt.
Завантажте файл robots.txt на сервер. Ви можете завантажити його через FTP-клієнт або за допомогою консолі керування хостингом.

Створення robots.txt за допомогою плагіна

Ви можете використовувати різні плагіни для створення robots.txt, наприклад, плагін Yoast SEO або Better Robots.txt. Так як Yoast SEO є популярним плагіном у веб-розробників покажемо на його прикладі, як створювати файл robots.txt.

За допомогою плагіна Yoast SEO створювати та керувати файлом robots.txt можна прямо з інтерфейсу WordPress. Плагін є одним із найбільш затребуваним – його встановили понад 5 мільйонів разів. Для створення robots.txt за допомогою Yoast SEO виконайте інструкції:

Встановіть та активуйте плагін Yoast SEO на WordPress.
У боковій панелі CMS виберіть розділ SEO та перейдіть на сторінку Файли та виберіть вкладку robots.txt.
Якщо у вас ще немає файлу robots.txt, клацніть на кнопку Створити файл robots.txt.
Вкажіть інструкції для пошукових роботів, які означатимуть, які сторінки потрібно індексувати, а які ні. Зробити це можна автоматично за допомогою плагіна або вручну, додавши готові вказівки.
Натисніть Зберегти, щоб застосувати зміни до файлу.

Після створення файлу robots.txt через плагін Yoast SEO він буде автоматично збережений на вашому сервері та використовуватися для управління поведінкою пошукових роботів.

Приклад robots.txt

Наведемо деякі приклади, які допоможуть вам налаштувати файл robots.txt:

Заборонити індексацію сторінок, які містять конфіденційну інформацію:

Інструмент перевірки файлу robots.txt

Пропонується кілька інструментів для перевірки правильності файлу robots.txt. Вони допомагають виявити помилки, які можуть спричинити неправильну роботу пошукових роботів на сайті. Такі сервіси також надають рекомендації щодо виправлення виявлених проблем, що дозволяє покращити індексацію сайту.Розглянемо найпопулярніші з них: Яндекс.Вебмайстер та Google Console.

Перевірка robots.txt у Яндекс Вебмайстрі – безкоштовний інструмент, який допомагає власникам сайтів проводити аналіз у пошуковій системі Яндекс.

Щоб проаналізувати роботу файлу robots.txt за допомогою сервісу від Яндекс, зареєструйте свій сайт у Яндекс Вебмайстер і виконайте такі дії:

Відкрийте розділ Інструменти та виберіть меню Аналіз robots.txt
У полі Перевірити URL введіть адресу свого сайту та натисніть Перевірити.
Після завершення перевірки ви отримаєте дані у вигляді таблиці, де буде відображено список розділів файлу robots.txt та їх налаштування. Там же ви знайдете, скільки сторінок було заблоковано за допомогою інструкцій Disallow.

В Яндекс Вебмайстер передбачені можливості фільтрації списку розділів та налаштування сортування результатів. При виявленні помилок у налаштуваннях файлу robots.txt, сервіс запропонує рекомендації щодо їх усунення.

За допомогою Google Console ви можете безкоштовно провести аналіз та виконати налаштування свого сайту в пошуковій системі Google.

Якщо у вас ще немає облікового запису Google Console, зареєструйтесь. Далі виконайте нескладні кроки:

Перейдіть до розділу Crawling та виберіть пункт robots.txt Tester.
У полі Test a robots.txt file введіть адресу свого сайту та натисніть Test.
Дочекайтесь завершення перевірки.

Підсумки аналізу файлу robots.txt будуть представлені у вигляді таблиці, де ви побачите розділи файлу robots.txt та їх налаштування. Тут же буде розміщено інформацію про те, скільки сторінок було заблоковано за допомогою інструкцій Disallow. Ви можете виконати фільтрацію або сортування отриманих даних.

Крім зазначених вище інструментів, ви можете використовувати інші сервіси з перевірки файлу robots.txt:

SEO SiteCheckup - платний сервіс з безліччю вбудованих інструментів для роботи з SEO-оптимізацією. SEO SiteCheckup надає зручну перевірку файлу robots.txt на помилки та пропонує рекомендації щодо його налаштування.
Robotto – безкоштовний інструмент, який надає детальний звіт файлу robots.txt. Він знаходить помилки і пропонує рекомендації щодо їх усунення.
Ryte – ще один платний інструмент, який дозволяє перевірити файл robots.txt і дізнатися скільки сторінок було заблоковано з використанням інструкцій Disallow.

Висновок

Перед створенням файлу robots.txt складіть список сторінок сайту, які вимагають індексації та список зі сторінок, які не повинні бути проскановані пошуковими роботами. Слідкуйте за коректністю синтаксису та структури файлу, щоб уникнути помилок у роботі.

За допомогою спеціальних інструментів, таких як Google Console та Яндекс Вебмайстер, перевіряйте та оптимізуйте налаштування файлу robots.txt, щоб забезпечити ефективнішу індексацію сайту пошуковими системами.

Правильний файл robots.txt – 2024

Файл robots.txt є важливим елементом управління поведінкою пошукових роботів на веб-сайті. Цей текстовий документ вказує, які ділянки сайту мають бути доступні для індексації та пошуку пошуковими системами, а які слід виключити із сканування.

Пошукові системи Яндекс і Google попередньо аналізують файл robots.txt, щоб зрозуміти, які сторінки їм можна індексувати, а які - ні. Після цієї перевірки пошукові роботи починають обхід сайту, скануючи його вміст, а потім архівуючи та категоризуючи інформацію для більш ефективного пошуку та відображення результатів користувачам.

Таким чином, правильно налаштований файл robots.txt допоможе оптимізувати видимість вашого веб-сайту в пошукових результатах, керуючи тим, які сторінки індексуються, і які залишаються прихованими від пошукових систем.

Robots.txt - це спеціальний файл, який включає вказівки для пошукових ботів про те, які частини сайту слід ігнорувати при індексації.Причини таких інструкцій можуть бути різними, наприклад, власник сайту може бажати зберегти конфіденційність певних даних, або він може вважати, що деяка інформація не повинна з'являтися в результатах пошуку, щоб забезпечити більш точне та релевантне відображення інших сторінок сайту.

Якщо веб-сайт має кілька субдоменів, то для кожного з них необхідно створити свій власний файл robots.txt. Важливо розуміти, що не всі пошукові боти обов'язково дотримуватимуться його вказівок. Деякі зловмисні роботи навіть використовують його зміст, щоб з'ясувати, які файли і каталоги ви хочете приховати, і можуть проігнорувати ці інструкції.

Крім того, навіть якщо у файлі robots.txt вказано ігнорувати певні сторінки на сайті, вони можуть з'являтися в результатах пошуку, якщо на них посилаються інші вже проскановані сторінки. Це з тим, що пошукові системи формують свій індекс з урахуванням різних чинників.

Стандартний файл роботс тхт для Вордпрес, наприклад, за замовчуванням відкриває для індексації всі розділи сайту. Тому важливо виключити з індексації розділи сайту, які не повинні з'являтися в результатах пошуку.

Готовий файл robots.txt для Wordpress – 2024

Просто скопіюйте його та вставте у свій файл роботс, замінивши instaseo.ru на адресу вашого сайту.

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads

User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat

Правильний файл robots.txt для Wordpress – 2024 (з поясненнями)

User-agent: * загальні правила для роботів, крім Яндекса та Google, т.к. для них правила нижче
Disallow: /cgi-bin # системна папка на хостингу, закривається завжди
Disallow: /? # всі параметри запиту на головній
Disallow: /wp- # всі файли WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/ # якщо є підкаталог /wp/, де встановлено CMS (якщо ні, правило можна видалити)
Disallow: *?s= # запит пошуку
Disallow: *&s= # запит пошуку
Disallow: /search/ # запит пошуку
Disallow: /author/ # архів автора, якщо у Вас блог новин з авторськими колонками, то можна відкрити
# архів автора, якщо у Вас блог новин з авторськими колонками, то можна відкрити
Disallow: /users/ # архів авторів
Disallow: */trackback # трекбеки, повідомлення у коментарях про появу відкритого посилання на статтю
Disallow: */feed # всі фіди
Disallow: */rss # rss фід
Disallow: */embed # всі вбудовування
Disallow: */wlwmanifest.xml # xml-файл маніфесту Windows Live Writer (якщо не використовуєте, правило можна видалити)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # посилання з utm-мітками
Disallow: *openstat= # посилання з позначками openstat
Allow: */uploads # відкриваємо папку з файлами uploads

# Вкажіть один або кілька файлів Sitemap (дублювати для кожного User-agent
# не потрібно). Google XML Sitemap створює дві карти сайту, як у прикладі нижче.
Sitemap: http://instaseo.ru/sitemap.xml
Sitemap: http://instaseo.ru/sitemap.xml.gz

# Host прописувати більше не потрібно.

Розширений варіант для Wordpress - розділені правила для Google та Яндекса (з поясненнями)

User-agent: * # загальні правила для роботів, крім Яндекса та Google, т.к. для них правила нижче
Disallow: /cgi-bin # папка на хостингу
Disallow: /? # всі параметри запиту на головній
Disallow: /wp- # всі файли WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/ # якщо є підкаталог /wp/, де встановлено CMS (якщо ні, правило можна видалити)
Disallow: *?s= # пошук
Disallow: *&s= # пошук
Disallow: /search/ # пошук
Disallow: /author/ # архів автора
Disallow: /users/ # архів авторів
Disallow: */trackback # трекбеки, повідомлення у коментарях про появу відкритої
# посилання на статтю
Disallow: */feed # всі фіди
Disallow: */rss # rss фід
Disallow: */embed # всі вбудовування
Disallow: */wlwmanifest.xml # xml-файл маніфесту Windows Live Writer (якщо не використовуєте, правило можна видалити)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # посилання з utm-мітками
Disallow: *openstat= # посилання з позначками openstat
Allow: */uploads # відкриваємо папку з файлами uploads

User-agent: GoogleBot # правила для Google (коментарі не дублюю)
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads Allow: /*/*.js # відкриваємо js-скрипти всередині /wp- (/*/ - для пріоритету)
Allow: /*/*.css # відкриваємо css-файли всередині /wp- (/*/ - для пріоритету)
Allow: /wp-*.png # картинки в плагінах, cache папці і т.д.
Allow: /wp-*.jpg # картинки в плагінах, cache папці і т.д.
Allow: /wp-*.jpeg # картинки в плагінах, cache папці і т.д.
Allow: /wp-*.gif # картинки в плагінах, cache папці і т.д.
Allow: /wp-admin/admin-ajax.php # використовується плагінами, щоб не блокувати JS та CSS

User-agent: Yandex # правила для Яндекса (коментарі не дублюю)
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign #Яндекс рекомендує не закривати
# від індексування, а видаляти параметри міток,
# Google такі правила не підтримує
Clean-Param: openstat # аналогічно

# Вкажіть один або кілька файлів Sitemap (дублювати для кожного User-agent не потрібно). Google XML Sitemap створює дві карти сайту, як у прикладі нижче.
Sitemap: http://instaseo.ru/sitemap.xml
Sitemap: http://instaseo.ru/sitemap.xml.gz

# Host прописувати більше не потрібно.

Оптимальний Robots.txt для WooCommerce

Власники інтернет-магазинів, які використовують платформу WordPress з розширенням WooCommerce, також повинні приділити увагу налаштуванню файлу robots.txt. Це дозволить ефективно управляти індексацією різних частин магазину.Наприклад, ми можемо виключити з індексації сторінку кошика, сторінку оформлення замовлення та посилання, які призначені для додавання товарів до кошика.

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*

Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

Де знаходиться файл robots.txt у WordPress

Зазвичай robots.txt знаходиться в кореневому каталозі сайту. Якщо його там немає, необхідно створити текстовий документ і завантажити його на сайт по FTP або панель управління на хостингу. Якщо вам не вдалося знайти robots.txt в корені сайту, але при переході на посилання ваш сайт.ру/robots.txt він відкривається, значить він був згенерований автоматично будь-яким SEO плагіном.

Наприклад, плагін Yoast SEO створює віртуальний файл, який ви не побачите в корені сайту.

Як редагувати robots.txt за допомогою Yoast SEO

Адмін панель знаходиться за наступною адресою ваш сайт.

Цей інструмент дозволить швидко відредагувати такі важливі для вашого SEO файли, як robots.txt та .htaccess (за його наявності).

Вміст файлу для WordPress та WooCommerce можна взяти з наведених вище прикладів.

Після збереження файлу можна перевірити коректність через відповідні сервіси.

Правильний файл robots.txt для Bitrix

Можливо, велика кількість службових сторінок буде потрапляти в пошукову видачу, що може негативно позначитися на досвіді користувача і SEO.
Також ситуацією може бути індексація сторінок сайту, що дублюються, що призводить до втрати унікальності та до зниження позицій у результатах пошуку.

Щоб запобігти подібним проблемам, які можуть вплинути на видимість вашого сайту в пошукових системах, дуже важливо правильно налаштувати файл robots.txt. Нижче наведено приклад файлу robots.txt для CMS 1C-Bitrix:

User-Agent: Yandex
Disallow: */index.php
Disallow: /bitrix/
Disallow: /brands/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /razdely-konditsionerov/
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?alfaction=
Disallow: /*?set_filter=
Disallow: /*?sphrase_id=*
Disallow: /*?success=*
Disallow: /*?SECTION_CODE=*
Disallow: */detail?ID=
Disallow: */list.php
Disallow: *?SECTION_ID=
Disallow: *?arrFilter
Disallow: /catalog/compare
Disallow: */filter
Disallow: /upload/resize_cache/
Disallow: /private-policy
Disallow: /search*
Disallow: /personal/
Disallow: /*?view=*
Disallow: /*?search=*
Disallow: *?*
Disallow: /*?year=*
Disallow: /*?offer=*
Allow: /bitrix/templates/
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Sitemap: https://aklimat.su/sitemap.xml

User-Agent: *
Disallow: */index.php
Disallow: /bitrix/
Disallow: /brands/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /razdely-konditsionerov/
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?alfaction=
Disallow: /*?set_filter=
Disallow: /*?sphrase_id=*
Disallow: /*?success=*
Disallow: /*?SECTION_CODE=*
Disallow: */detail?ID=
Disallow: */list.php
Disallow: *?SECTION_ID=
Disallow: *?arrFilter
Disallow: /catalog/compare
Disallow: */filter
Disallow: /upload/resize_cache/
Disallow: /private-policy
Disallow: /search*
Disallow: /personal/
Disallow: /*?view=*
Disallow: /*?search=*
Disallow: *?*
Disallow: /*?year=*
Disallow: /*?offer=*
Allow: /bitrix/templates/
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Sitemap: https://aklimat.su/sitemap.xml

User-Agent: Googlebot
Disallow: */index.php
Disallow: /bitrix/
Disallow: /brands/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /razdely-konditsionerov/
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?alfaction=
Disallow: /*?set_filter=
Disallow: /*?sphrase_id=*
Disallow: /*?success=*
Disallow: /*?SECTION_CODE=*
Disallow: */detail?ID=
Disallow: */list.php
Disallow: *?SECTION_ID=
Disallow: *?arrFilter
Disallow: /catalog/compare
Disallow: */filter
Disallow: /upload/resize_cache/
Disallow: /private-policy
Disallow: /search*
Disallow: /personal/
Disallow: /*?view=*
Disallow: /*?search=*
Disallow: *?*
Disallow: /*?year=*
Disallow: /*?offer=*
Allow: /bitrix/templates/
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Sitemap: https://aklimat.su/sitemap.xml

Приклад налаштування роботів для OpenCart

Правильний файл robots.txt для OpenCart має бути розроблений з урахуванням особливостей цієї платформи:

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login

User-agent: Googlebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Allow: *.css
Allow: *.js

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login

Приклад налаштування роботів для Umi.CMS

Оптимальний файл robots.txt для Umi CMS має бути налаштований з урахуванням специфіки даної платформи, щоб уникнути проблем із дублюванням сторінок та забезпечити більш ефективну індексацію:

User-Agent: Yandex
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /images
Disallow: /files
Disallow: /users
Disallow: /admin
Disallow: /search
Disallow: /install-temp
Disallow: /install-static
Disallow: /install-libs

User-Agent: Googlebot
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /images
Disallow: /files
Disallow: /users
Disallow: /admin
Disallow: /search
Disallow: /install-temp
Disallow: /install-static
Disallow: /install-libs
Allow: *.css
Allow: *.js

User-Agent: *
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /images
Disallow: /files
Disallow: /users
Disallow: /admin
Disallow: /search
Disallow: /install-temp
Disallow: /install-static
Disallow: /install-libs

Приклад налаштування роботс для Joomla

Для сайтів, які використовують CMS Джумла, рекомендується створювати правильний файл robots.txt з урахуванням особливостей цієї платформи. Це допоможе ефективно керувати індексацією та уникнути деяких поширених проблем:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?start=*
Disallow: /xmlrpc/

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?start=*
Disallow: /xmlrpc/
Allow: *.css
Allow: *.js

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?start=*
Disallow: /xmlrpc/

Часті питання

1. Як перевірити правильність роботи robots.txt?

Google і Яндекс мають засоби для перевірки файлу robots.txt:

2. Чи закривати feed у robots.txt?

За промовчанням ми рекомендуємо закривати feed від індексації в robots.txt. Відкриття feed може знадобитися, якщо ви наприклад настроюєте Турбо-

сторінки від Яндекса або вивантажуєте свою стрічку до іншого сервісу.

3. Як дозволити індексувати feed Турбо-сторінок?

Додайте наступну директиву, щоб Яндекс зміг перевіряти ваші турбо-сторінки та оновлювати їх:

Де знаходиться файл Robots txt у wordpress