Сторінки кожного сайту регулярно обходяться пошуковими роботами, які обробляють інформацію, що знаходиться на сайті, щоб вона була доступна по запитах користувачів в пошукових системах. Візити відвідувачів, що прийшли з пошукових систем, позитивно впливають на відвідуваність сайту і стимулюють розвиток ресурсу. Але, якщо на сайті є сторінки, інформація на яких не призначена для інтернет-аудиторії (наприклад, особисті сторінки користувачів або сторінка реєстрації), то перехід з пошукових систем на такі сторінки не потрібний і цю інформацію краще заборонити до індексації.

Вам знадобиться

• - мати власний сайт
• - знати посилання до сторінок, індексацію яких треба заборонити.
• - мати хоч би початкові знання HTML

Інструкція

1. Для того, щоб заборонити пошуковому роботові індексувати певні сторінки сайту, необхідно зробити зміни у файлі robots.txt, якщо він вже є на вашому сайті, або створити цей файл.

2. Якщо файл robots.txt вже залитий на сайт і можливо змінювати цей файл прямо з панелі управління ресурсом, то відкрийте robots.txt через веб-сервіс для редагування.

3. Якщо можливості вносити зміни в потрібний файл прямо з панелі управління немає, то відкрийте robots.txt у браузері, перейшовши по посиланню до цього файлу. Скопіюйте усі дані із сторінки, що відкрилася, і вставте на лист в програмі "Блокнот".

4. За відсутності robots.txt на сайті, відкрийте програму "Блокнот", в новий документ якої треба буде вписати необхідний код.

5. На порожньому листі текстового документу напишіть перший обов'язковий рядок:

User - agent: *

6. Потім перейдіть на наступний рядок, натиснувши клавищу Enter, і наберіть наступний код:

Disallow: /index/page3Disallow: означає заборону індексації, а /index/page3 - це посилання до сторінки, яку не треба індексувати. Замість посилання /index/page3 вставте посилання на сторінку вашого сайту, яку треба заборонити для обробки роботами.

7. Зверніть увагу, що на початку посилання відсутнє саме ім'я домена, його наявність в записі має на увазі риса похилої. Пошуковий робот при обході сайту автоматично підставляє в такі посилання доменне ім'я. Тому посилання на потрібні сторінки пишіть саме таким чином.

8. Після Disallow: можна поміщати не лише посилання на конкретну сторінку, але і посилання на який-небудь розділ або директорію сайту. Так само можна заборонити індексацію потрібної частини сайту.

9. При необхідності заборони обробки роботами декількох різних ділянок ресурсу, посилання на кожен розділ або сторінку пишіть з нового рядка, на початку якого не забувайте поміщати запис Disallow:.

10. Щоб завершити зміну robots.txt, натисніть кнопку "Зберегти" при редагуванні файлу в панелі управління або збережіть текстовий документ із записами під ім'ям robots.txt і залийте цей файл на сайт.