Файл robots.txt и метатег ROBOTS

» Раскрутить сайт самостоятельно » Дополнительные возможности » Файл robots.txt и метатег ROBOTS

Файл robots.txt и метатег ROBOTS

Robots Exclusion Protocol (файл robots.txt) — еще один способ указать ПМ, какие страницы не следует индексировать.

Это правда. Иногда после достижения хороших позиций в рейтингах вы начинаете понимать, что не хотите, чтобы некоторые страницы сайта посещали пользователи. Или если вы не хотите, чтобы определенную страницу увидели первой. Или у вас есть одинаковые страницы для разных разрешений экрана: 800x600 или 1024x768. Однако поисковики не любят зеркальные сайты, поэтому здесь есть смысл заблокировать один из вариантов сайта для поисковиков.

Кроме того, вы можете захотеть, чтобы поисковая машина не индексировала те или иные ваши страницы. Потому что, индексируя страницы, спайдеры поисковой машины функционируют с ограничениями по времени и ресурсам. А вам нужно, чтобы индексация сосредоточилась на наиболее важных страницах сайта, связанных с клиентами, товаром и ценами.

Другие страницы, от которых вы захотите держать подальше слайдеров поисковой машины, могут включать что-нибудь из папки cgi-bin, так же как и каталоги, которые содержат изображения или иные важные для компании данные. В основном, если нет никакой пользы от появления страницы в результатах поиска машин, то вы можете скрыть эти страницы от спайдеров при помощи файла robots.txt.

Это не только увеличит ресурсы поисковой машины, потраченные на ваши важные страницы, но также поможет защитить ваш сайт от хакеров, которые могут в своих целях использовать результаты поисковой машины или заполучить важную информацию о вашей компании или сайте. Спайдеры поисковой машины довольно охотны до индексации чего-нибудь, что они могут найти в сети, включая такие вещи, как файлы, где хранятся пароли. Таким образом, вы должны быть осторожными.
Есть много причин, по которым вы можете захотеть скрыть свои страницы.

Хотя спайдеры поисковиков довольно примитивны, вы можете общаться с ними. Для этого существуют файлы robots.txt, которые так же известны, как протоколы исключения. Это очень простой процесс создания текстового файла для размещения в корневом каталоге. Каждый раз, когда спайдер делает запрос на ваш сайт, он запрашивает и файл robots.txt.

Файлы robots.txt используются только ради одного — рассказать слайдерам поисковых машин, какие страницы не нужно индексировать. Существует неправильное представление о том, что файл robots.txt может так или иначе использоваться, чтобы поощрять поисковые машины индексировать ваш сайт. Неверно! Страницы, которые соответствуют описанным выше принципам, с готовностью проверяются слайдерами поисковых машин, не нуждаясь в дополнительной поддержке. Как вы заметили, важная часть оптимизации поисковой машины (SEO) — это идентификация элементов, которые вызывают трудности индексации для спайдеров и устранение этих элементов.

Существует большая проблема, связанная с незнанием работы файла robots.txt. Удивительное число сайтов случайно настроило свои файлы robots.txt так, чтобы препятствовать слайдерам поисковой машины нормально индексировать их сайт.

Когда поисковый робот заходит на сайт, он первым делом проверяет, существует ли файл www.site.ru/robots.txt. Если таковой имеется, то робот анализирует его и руководствуется полученным содержанием.

Вы, например, знаете, что добавление следующих двух строк в ваш файл robots.txt достаточно, чтобы поисковые машины никогда не заглядывали на ваш сайт?

User-agent: *
Disallow: /

Эти строки запрещают определенным роботам или пользовательским агентам про-сматривать заданные каталоги и страницы сайта. Звездочка * означает, что указания распространяются на всех роботов, но если вы хотите, чтобы запрет действовал на какого-то отдельного робота, то укажите его имя вместо звездочки.

В строке Disallow следует указать файлы и каталоги, которые вы не хотите индексировать. Например, большинство администраторов не хотят, чтобы индексировался каталог cgi-bin. В этом случае в файле robots.txt следует указать:

User-agent: *
Disallow: /cgi-bin/

В Google существует специальная опция, позволяющая просмотреть количество страниц, запрещенных к индексации.

Заметим, о чем уже писалось выше, что Google не всегда исполняет правила из файла robots.txt. При наличии входящих ссылок на запрещенные от индексации страницы они так и остаются в поиске. В этом случае, вы можете воспользоваться удалением страниц вручную через панель веб-мастера. Яндекс же выполняет правила беспрекословно.

Метатег ROBOTS выполняет в точности те же функции, что и файл robots.txt — но он не настолько надежен. Не все роботы воспринимают и тег ROBOTS.

Воспользуйтесь им, если ваш сайт пользуется услугами бесплатного хостинга.

Если же у вас есть доступ к корневому каталогу, то забудьте про ROBOTS. Пользуйтесь файлом robots.txt. Нет необходимости использовать оба метода.

Текст для ROBOTS будет следующим:

<МЕТА NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Вставьте его между тегами <HEAD> и </HEAD> на каждой странице, которая не должна индексироваться согласно вашему желанию.

Реклама которая работает - бесплатно!

Бесплатная регистрация в 1301 белом каталоге, без обратной ссылки

Регистрация

← Вернуться

Категория: Дополнительные возможности

Новости

19-05-2017, 19:47

Теперь регистрация стала ещё быстрее

Теперь регистрация стала ещё быстрее, благодаря оптимизации проекта....

11-05-2017, 19:47

Обновление базы за 1-й квартал 2017 года

Обновлена вручную база сайтов за 1-й квартал 2017 года. Отчёт будет...

Раскрутить сайт самостоятельно

Возможно ли раскрутить сайт самостоятельно, да ещё и бесплатно? И можно ли без помощи специалиста сделать это? Как показывает практика, эта задача вполне по силам каждому кто хочет и может работать, и не отвлекаться, а вести один проект, а не несколько сразу. Как правило любое продвижение сайта начинается конечно же с оптимизации не только внутреннего кода, но и текста на самом сайте, к тому же стоит отметить правильную перелинковку ссылочной массы и разделов.

Но прежде чем начинать самостоятельно продвигать сайт в сети Интернет, необходимо чётко понимать на какой результат Вы сами нацелены, какие ключевые слова вам необходимо продвинуть и сколько времени вы готовы потратить на свой ресурс. Ниже представлен интересный материал, который приоткроет завесу и сделает из Вас специалиста.

✅ Основные плюсы нашей системы

Благодаря тому что, бесплатная регистрация в каталогах в системе iQlogs пользуется успехом среди веб-мастеров, так как это даёт значимую экономию времени и денег, нами было принято решение о ежемесячном обновлении базы каталогов и тем самым наращивание её в будущем.

Стоит отметить, что при добавлении объявления можно добавлять как фотографии к тексту, так и видео. Тем самым Вы эффективнее продвигаете свой ресурс и более того получаете ощутимый трафик через каталоги на свой сайт. Так в среднем через пару дней Вы заметите увеличение трафика на 5-10%, а для некоторых узко-тематических проектов до 50%. Так же Мы хотим подчеркнуть, что наша система была, есть и будет бесплатной для всех желающих раскрутить сайт самостоятельно.

✅ Уникальность проекта

Если Вы считаете что регистрация в каталогах или как её ещё называют "прогон по каталогам" ушло в прошлое, то это не является правдой. Ежедневно на более чем десятки тысяч каталогов в РУ-нете добавляется миллионы объявлений, а про трафик и говорить не о чем, вспомним доску объявления авито с посещаемостью которая в ближайшие два года обгонит сам Яндекс.

В чём уникальность нашего проекта, это не просто бесплатное добавление объявлений в автоматическом режиме, а то что эти самые объявления можно контролировать по времени размещения.
К примеру можно настроить добавление не сразу на все каталоги или доски объявлений - а можно распределить в день по 10 объявлений или по 100 объявлений, т.е. Вы получаете универсальный инструмент для манипулирования своего предложения, тем самым обеспечиваете себе защиту от санкций поисковых систем.

⚐ Креативные новинки

Сервис регистрации сайта в каталогах статей

У вас есть свой сайт? Наверное он занимает некую нишу, но вы бы хотели достичь наибольшего результата при минимальных вложений? Ок, тогда наш сервис как раз то что вам нужно - ведь он является уникальным в своём роде и помогает увеличить не только трастовость и поведенческие факторы вашего сайта, но и посещаемость, а так же ТИЦ до 180 после прогона.

Регистрация сайта в каталогах - который мы предлагаем содержит 4 вида услуг, а именно:

1. Тариф "Пробная регистрация" - включает в себя 397 трастовых досок объявлений (IRR, slando и др.) и стоит всего 49 рублей.

2. Тариф "Платная регистрация" - включает в себя 3183 трастовых каталога статей, которые были отобраны вручную. Стоимость составляет 249 рублей.

3. Тариф "Набор высоты" - объединяет регистрацию в 397 досках объявлений и в 3183 трастовых каталогах, затем добавление вашей компании, сайта в 53 каталога организаций по России в вашем регионе. Далее регистрация в 103 закрытых каталогов с ТИЦ от 180 (все ссылки открыты для индексации). Затем регистрация в 29 форумах и создание по 1-й теме в каждом форуме. И последнее регистрация в 14 Англоязычных сайтах вашей тематике (доменные зоны: .com, .org). Всё это чудо стоит всего 499 рублей.

4. И последний и самый жирный тариф "За пределом" - объединяет регистрацию в 397 досках объявлений и в 3183 трастовых каталогах, затем добавление вашей компании, сайта в 92 каталога организаций по России в вашем регионе. Далее регистрация в 438 закрытых каталогов с ТИЦ от 180 (все ссылки открыты для индексации). Затем регистрация в 56 форумах и создание по 1-й теме в каждом форуме. И последнее регистрация в 109 Англоязычных сайтах вашей тематике (доменные зоны: .com, .org). Этот тариф самый значимый при продвижении сайта и стоит 899 рублей, но заказав его у нас, вы гарантированно обеспечите свой сайт трафиком и выведение ключевых слов - порядка 200 штук в ТОП поисковых систем.

Прогон сайта через нашу базу, беспощаден для выведения сайта на лидирующие позиции в Яндексе и Google. Однажды была ситуация, когда один пользователь смог с помощью прогона по тарифу "За пределом" поднять свой сайт более чем по 1000 ключевых слов в ТОП, тем самым посещаемость выросла до не бывалых для этого сайта высот, а именно до 3000 посетителей в сутки.

Что тут можно ещё добавить? Пожалуй только одно, регистрируйтесь в системе и добавляйте свой сайт.