Как закрыть счетчик nofollow

Теги noindex и nofollow: как и какие ссылки закрывать от индексации?

web-аналитик холдинга Ingate

Не так давно в комментариях задавались вопросы по поводу тегов nofollow и noindex, а также их влияния на продвижение. В этом выпуске мы рассмотрим тему подробно, так как на страницах «Прожектора» она еще не освещалась. Обратите внимание, данная информация будет полезна в первую очередь тем, кто не знаком с темой вообще или не до конца понимает какие-либо тонкие моменты.

Если тема вам в той или иной мере известна, можете сразу переходить к разделу «Рекомендации по установке тегов».

Определимся с понятиями

Начнем с определений.

noindex — запись, указывающая поисковым системам, что данную страницу или часть текста не нужно индексировать. Поможет избежать дублирования контента или скрыть от поисковых систем служебные разделы сайта.

nofollow — запись, указывающая, что роботы поисковой системы не должны переходить по данной ссылке и что вес ссылки не должен передаваться. Полезно для указания поисковым системам служебных, «ненадежных» и спамных ссылок (например, из комментариев к записям в блоге).

И nofollow, и noindex существуют не в единственном варианте: есть метатег и тег noindex, а также метатег и атрибут nofollow. Все это — четыре немного не связанных понятия.

Метатеги — это необязательные описания страницы, определяющие ее целиком и не отображаемые для пользователя. Размещаются они в определенной ее части (в заголовке). Самые известные из них — title и description.

Теги и атрибуты — это элементы языка разметки, из которых страница строится, то есть, грубо говоря, части страницы, которые видит конечный пользователь.

Отсюда вытекает и отличие рассматриваемых понятий — одна пара из них относится к страницам, другая – к конкретным ее частям.

Рассмотрим каждый из вариантов использования подробно.

Метатег noindex

Так как мы говорим о метатеге, имеется в виду запись, указывающая поисковой системе, что не нужно индексировать целиком одну страницу. Действие метатега noindex, по сути, аналогично директиве disallow файла robots.txt.

Устанавливается в заголовочной части страницы и имеет описание:

Данная запись является стандартной, хотя возможны варианты вида meta name=»Googlebot» или «yandex«.

Все, сказанное выше, в полной мере поддерживается крупнейшими ПС, такими как Яндекс и Google, а также является стандартом W3C (Консорциума Всемирной паутины).

Коротко: закрывает от индексации всю страницу, поддерживается всеми ПС.

Тег noindex

Когда начинается разговор о теге noindex, необходимо понимать, что имеется в виду закрытие от индексирования части текста на странице.

Может использоваться в любом месте кода:

Стандартом подобная запись уже не является, и так закрыть текст можно только от поисковой системы Яндекс. Google продолжит индексировать этот блок.

Данный тег не является валидным, и более предпочтительно использование записи:

Такой вид использования указывается и самой поисковой системой.

Коротко: закрывает от индексации часть страницы, поддерживается только Яндексом.

Метатег nofollow

Аналогично предыдущему метатегу, он запрещает поисковым системам переход по всем ссылкам на странице.

Записывается в заголовочной части, имеет описание:

Метатег стандартный, полностью поддерживается поисковыми системами и W3C.

Коротко: запрещает поисковым системам переходы по всем ссылкам на странице, поддерживается всеми ПС.

Атрибут nofollow

Как следует ожидать из описанного выше, запрещает поисковым системам переход только по одной ссылке, у которой установлен.

Коротко: запрещает поисковым системам переходы по одной ссылке, поддерживается всеми ПС.

Рекомендации по установке

#1. Что закрывать?

По словам Справочной системы Google, использовать описанные выше теги необходимо для платных, ненадежных и служебных ссылок. Как уже указывалось, это могут быть ссылки, которые пользователи добавляют к своим комментариям, «продажные» и рекламные, а также необходимые для перехода к страницам вида «логин», «регистрация» и RSS-ленте. С помощью nofollow-ссылок можно избежать «Плохого соседства», когда ваш сайт ссылается на спамный.

#2. Сколько максимум закрывать?

Насчет этого рекомендаций нет ни в одной справочной системе. В обсуждениях на тематических форумах указывается, что фильтров, связанных с количеством nofollow-ссылок, нет. Также нет и информации о том, считает ли поисковая система слишком частое использование данных тегов переоптимизацией.

#3. Что с внутренними ссылками?

Как правило, большинство источников сходится во мнении, что активно закрывать внутренние ссылки на сайте в nofollow практически нет смысла (кроме служебных страниц или обдуманного перераспределения приоритетов).

Так или иначе действия с внутренней ссылочной массой могут сыграть плохую службу, если их выполнять необдуманно (так, например, можно «случайно» выкинуть из индекса полезные статьи или целый уровень иерархии страниц, если на сайте нет sitemap.xml, а также «сделать более важными» не первостепенные страницы).

#4. Что с внешними?

С внешними ссылками энтузиасты расходятся во мнениях — одни считают, что закрывать стоит только ненадежные ссылки, другие уверены, что закрывать стоит все, третьи полностью игнорируют данное средство, и каждая из групп упорно показывает положительные результаты, которых они смогли добиться. Четко утверждать можно только то, что для ссылок на ненадежные сайты атрибут не будет лишним; в остальном чаще всего дается рекомендация уделить большее внимание созданию уникального контента, а со ссылками просто принять какое-то единое решение.

#5. Можно ли закрывать коды счетчиков в noindex?

Можно, как и любой часто повторяющийся на страницах контент. Стоит помнить лишь о том, что закрыть от индексирования часть текста на странице можно только от Яндекса.

#6. Стоит ли скрывать рекламные блоки Яндекс.Директ и Google AdSense‎?

Нет, не стоит, это практически лишено смысла.

Вместо итогов

#X. Позволят ли мне данные теги оказаться в ТОПе?

В 2009 году Мэтт Каттс сказал, что «nofollow-ссылки не помогут сайту ранжироваться выше в выдаче Google», но, с другой стороны, они могут уберечь от «Плохого соседства». Так что однозначного ответа здесь нет.

Тем не менее тема достаточно интересна, достойна изучения и в некоторых аспектах полезна — алгоритмы поисковых систем развиваются, и, кто знает, может быть, данные критерии обретут в будущем большее значение, чем сейчас.

Rel Nofollow и Noindex — как закрыть от индексации Яндексом и Гуглом внешние ссылки

Приветствуем всех, кто регулярно читает наш блог. Сегодня поговорим о теме, которая в последнее время интересует много народу: допускается ли сейчас применение rel=»nofollow» и noindex для закрытия ссылки от индексирования поисковых систем Google и Яндекс, потому как последние полгода отмечаются значительные изменения в работе nofollow.

Затруднения использования заключаются в модификации принципа вычисления статической массы при применении rel nofollow. Данный вопрос уже давно стал волновать пользователей и на множестве форумах, посвященных этой тематике, можно наткнуться на недовольные комментарии и многочисленные вопросы.

Какое влияние оказывают rel nofollow и тег noindex

Начиная с 2010 года, Яндекс изменил свое отношение к nofollow (он стал его учитывать). Он никогда не отставал от своих многочисленных поисковых конкурентов, поэтому внес изменения в 2010 году на пользу nofollow (стал принимать во внимание).

Ранее отражение Рунета не обращало внимание на nofollow, точнее, игнорировало, но, на данный момент этот атрибут применяется. Noindex – тег, что был введен в непосредственно Яндексом, как альтернативная замена nofollow, теперь не имеет никакого отношения к расчету скрытого им примечания. Помимо выше сказанного, с его помощью все еще возможно закрытие отдельных фрагментов веб-страниц от индексирования. Noindex – парный тег, поэтому учет о элементах открывающегося и закрывающегося вида вестись не будет.

Следовательно, noindex является изобретением отечественного производства, поэтому непосредственно был включен в перечень допустимых тегов настоящей версии Html 4.01. Между тем, вадилатор, как и прежде, идентифицирует его нежеланным.

Чтобы избежать негативной реакции со стороны вадилатора необходимо применять его, как Html комментария. Данный процесс был детально описан на скриншоте, который вы видите выше. При этом валидатор W3c ,в соответствии с нормой, негативно реагировать точно не будет, потому, что в комментариях теперь можно писать все, что угодно.

текст, индексирование которого нужно запретить

Яндекс отмечает на собственной странице “помощи”, что noindex и nofollow стоит истолковать подобно соответствующий значениям, что применяются в мета теге robots.

То есть, nofollow не допускает проведение работы при переходе по этой ссылке, а noindex не допускает добавление в показатель включенного в него куска документа.

Google вообще никогда не принимал во внимание noindex, следовательно, строжайше игнорирует, впрочем, как и любая другая поисковая система, помимо Яндекса. Поменялся подход к расчетам статичной массы на всех веб-страницах, где располагается гиперссылки с добавленным в них атрибутом rel=»nofollow». Ранее считалось за норму их не учитывать, при всем том, на данный момент все приобрело еще более плачевные краски.

Но, повествовать о сложившейся ситуации и раскрывать ядро проблемы с детальным решением – не наш вариант. Потому, сейчас постараемся внести ясность на понятных для всех примерах.

Предлагаем вашему вниманию мини-экскурс в прошлое, чтобы иметь понятие, каким образом было возможно скрыть от индексирования активный текст (гиперссылку) для поисковиков при помощи nofollow и noindex.

Во-первых, гиперссылки делают возможным проведение так называемых ссылочных распределений, что значительно воздействует на расположение средств в поисковом обеспечении. По этой самой причине, при продвижении сайта по любому запрашиванию (статистика поисковых запросов поможет в этом) специалисты по вопросам оптимизации прилагают все усилия, чтобы скупить максимально большее количество внешних ссылок на сайт с анкорами, что содержат ключевые слова с поступающего запроса.

За долго до этому компания любителей изменила настройки, поэтому на запрос “жалкий неудачник” высвечивалась биография 43-его президента США Джорджа Буша. Что удивительно, в тексте самого источника не было ни одного подобного слова, но, на его имя было проставлено множество подобных ссылок с указанным выше анкором. Именно поэтому в последствии случился такой курьез.

На сегодняшний день, подобные фокусы не смогут получиться, потому как распределение ссылок не обладает таким огромным влиянием на упорядочивание. Помимо этого, нужно, чтобы на самом источнике о биографии Буша младшего встречались подобного рода слова.

Во-вторых, алгоритм поисковой системы должен безукоризненно рассчитаться статическую массу для всех страниц любого предоставленного источника. Не менее вероятным является тот факт, что разные поисковики рассчитывают массу иными путями. Хотя, конечный итог все равно останется единогласным – статичная масса может передаваться лишь по гиперссылке. Плюс ко всему – не берется во внимание ее анкор.

Суть в том, что каждая страница, или документ, может иметь минимальную статическую массу сразу после высвечивания (что такое pr в Гугле). Со времен он может подняться, превышая допустимый максимум, из-за постоянно поступающих ссылок на данный ресурс. Главная загвоздка кроется в том, что передача осуществляется, как внешними, так и внутренними гиперссылками.

Вдобавок, сама страница, беря в учет все документы, не утрачивает собственную статическую массу (pr для Google или Виц для Яндекса), что до последней капли подчиняется лишь количеству и значительности ссылок, что поступают. Комментируя последние записи, добавим? что в данном случае имеет в виду статичная масса документов донорного вида.

Как закрыть от индексации внешние ссылки

Если хорошо напрячь память, то можно вспомнить о школьных задачах про бассейн, или любой другой закрытый водоем с трубами входящего и исходящего типа. В подобных примерах чаще всего необходимо было найти время или объем воды, но это не так важно. Бассейн послужит отличным пример в моих дальнейших рассуждениях.

Каждая страница будет высветлена, как отдельный бассейн, что будет постепенно наполняться трубами с разными параметрами (это именно те ссылки из страниц разной статичной массы). Помимо этого, необходимо представить еще трубы, через которые вода будет поступать на разные страницы любого источника (отправляющиеся внутренние и внешние ссылки).

Высота показателя воды непосредственно равнозначен статичной массе, которая была набрана этим списком (страницей данного источника). Дозволение изображено в утечке воды через трубы идущих примечаний при постепенном уменьшении объема воды (статичная масса страницы).

Вот здесь стоит быть максимально бдительными. Давайте представим, что имеем документ, в котором находится 4 примечания (ссылки) внутреннего типа и 1 внешнего (это тот же бассейн с 5 идущими трубами одноименного разделения). В последствии наибольшая статическая масса, что смогла транспортировать данную страницу (документ) будет разделен точно на пять равных частей. Только 1 часть из пяти данной массы отправится на все 4 примечания внутреннего типа. И лишь 1 часть будет идти по внешнему пути.

Далее давайте на минуту представим, что у нас есть шанс запросить у Яндекса или Google не проводить индексацию внешней ссылки (полностью закрыть или на примере бассейна – закрыть клапан на трубе, что ведет не постороннюю программу).

Вследствие статичная масса страницы, которая готова к передаче, необходимо поделить на четыри части. Это создаст возможность для внутренних ссылок страницы приобрести по ровной четвертой части, а не по соответственных пяти частях наибольшей статичной массы, которая может предоставить этот документ.

На первый взгляд – незначительная деталь, как ни странно существует одно большое “но”. Если вы имеет ресурс, который насчитывает более 1 тысячи страниц, но закрытыми от индексирования будут лишь 2-3 ссылки внешнего типа, что будут в наличии во всех страницах, как пример, со счетчиков посещений), тогда итоговое увеличение статичной массы станет обширным и заметным. Он непосредственно оказывает влияние на позицию заданного источника в поисковой системе при процессе сортировки (безусловно, при других одинаковых обстоятельствах максимальной выгоды).

Надеемся, что вопрос о надобности закрытия ссылок внешнего типа от индексирования теперь является закрытым (после столь детального объяснения). Теперь стоит лишь разъяснить детали самого процесса, как он происходит. Ранее вопросов не возникало. Всего лишь нужно было заключить лишнюю ссылку в noindex, чтобы поисковая система ее полностью игнорировала. Но, в Html гиперссылка назначает принадлежность rel=»nofollow» (Google), как пример:

В работе WordPress автоматизация проводится при процессе перекрытия от индексирования каждой гиперссылки внешнего типа для максимально действенного использования, как пример, плагин WP-NoRef. При пользовании указанным источников стоит помнить о том, что при указании ссылки в тег, как особый вид, она сохраниться, как открытая для процесса индексирования поисковика.

Статичная масса не передается через закрытую ссылке в такой способ, также, как и внутренние документы указанного веб сайта. Поэтому получается несколько больший уровень его значимости, сравнительно с открытой гиперссылкой внешнего типа. “Раньше было лучше” – наиболее созвучные слова, что описывают сложившуюся ситуацию.

Это относится лишь к удержанию статичной массы на самом документе. Необходимо иметь ввиду, что, как пример, в ваших оставленных отзывах нужно закрывать ссылки от индексирования, потому, как огромное число гиперссылок спамных источников может сделать вашу программу спамной для поисковика.

Подводя итоги, стоит вспомнить о том, что Google поменял алгоритм выполнения заданий rel=»nofollow». На сегодняшний день по гиперссылке, которая имеет в наличии данный алгоритм, будет владеть статичной массой, что не передается на страницу (документ), при этом доля массы не увеличивается.Давайте припомним пример с бассейном: обстановка rel=»nofollow» до изменений могла быть презентована, как преграждения клапана трубы, что ведет на любой другой источник. При этом большее количество воды (статичной массы) будет перетекать по другим трубам.

Ситуацию, что сложилась на сегодняшний день, можно сравнить с выдиранием трубы с корнями – массы гиперссылки больше не сможет транспортироваться на внешний источник. При этом образовывается дырка, посему, все внутренние документы указанного источника останутся при дефиците статичной массы.

Как Яндекс учитывает rel nofollow и noindex

Выше была предоставлена информация о пользовании rel=»nofollow» для Google. Сейчас мы детально разберем тот же процесс, но только с Яндексом. Сразу предупреждаем, далее понимание ситуации будет еще сложнее воспроизвести, потому как единственного мнения в данном вопросе пока нет.

Хотя, можно точно сказать, что отражение Рунета, впоследствии изменения на пользу пользования rel nofollow для тегов ссылок, сняло с noindex любые ограничения (строгий запрет) на индексирование гиперссылок.

На данный момент noindex имеет лишь одну задачу – скрывать от интексации в поисковых системах отдельные части текста. При использовании его для гиперссылок образуется ограничение на индексирование текста поисковыми системами, но сама ссылка и ее статичная массы непосредственно останутся принятыми во внимание.

Тогда возникает вопрос: как Яндекс избегает игнорирования rel nofollow? Возможно, что воспроизводится копирование старой версии Google, или включается в работу модифицированный принцип калькуляции. Я не имею точного объяснения, но думаю, что необходимо быть готовыми к худшему концу.

С этого выплывает, что мы можем лишиться инструмента, который мог бы обеспечить нас полноценным закрытием от индексирования гиперссылок. При этом будет проводиться утечка массы с документа за зря.

Как и прежде существует возможность перекрыть от индексирования документы целиком или ссылки при помощи Robots. Его главная задача была детально представлена в самом начале объявления. Хотя работа с данным тегом кажется безоблачной, все же возникают некие трудности, например, отдельные гиперссылки создают проблемы, а rel nofollow больше не может выступать, как действенный выход.

Был вариант проставить ссылки внешнего типа, используя редиректы или джаву, но, к сожалению, Google стал брать их во внимание, а Яндекс, даже при отсутствии такого умению, в скором времени наверстает упущенное. В последствии возникает все больше трудностей с бэклинками из отзывов или контролера посещаемости.

Иногда программисты или веб-мастера применяют в отзывах external nofollow, но это никак не тянет за собой закрывание ссылок внешнего типа, а лишь означает открытие документа в другой вкладке. Некое неудобство – external работает только в паре с заранее написанным лично для него программой при помощи javascript. В итоге, данный процесс не имеет никакого отношения к теме закрытия от индексирования, поэтому не будет иметь продолжения.

Проведем эксперимент и уберем беклинки с отзывов, как в Google, так и в Яндексе. При возникновение негативных последствий вернем все на свои места. Вывод скорее всего выйдет показательным, потому как отзывы превысили отметку в 6 000 и большее количество имеет беклинки на самом источнике пользователя, оставившего комментарий.

Если кто-то заинтересуется процессом убирания беклинков с отзывов WordPress, не стоит думать, что это очень сложно. Всего лишь необходимо при помощи ftp руководитель FileZilla подсоединиться по FTP, кликнуть на файл comments.php, которая находится в папке с используемой темой WordPress. Далее требуется найти кусок кода, где указано следующее:

и поменять на малость другой вариант:

В свою очередь, нужно выключить с конфигурации дополнения последнего отзыва ряд для введения URL, далее избавиться от этой части кода:

В том случаи, если осветленная гипотеза касательно настоящей ситуации с rel nofollow и noindex действительно является истинной, то статичная масса постепенно должна будет увеличивать объем собранных на блоге материалов. Это в свою очередь окажет влияние на позиции страницы при поиске. Время покажет.

Дополнительная информация. На данный момент самым надежным вариантом закрыть ссылки и контент от индексирования поисковыми системами является упрятывание их в Аякс.

Какая разница между тегами nofollow и noindex?

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики.

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

1. Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
2. Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
3. Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
4. Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:

А с таким индексация запрещается:

Такое правило можно указать для конкретного робота. Например, поискового бота Google:

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию . В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:

Как и в случае с , правило можно задать для конкретного поискового робота:

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

• Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
• Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
• Я уже упомянул выше, что за тегом частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике.
• Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
• Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:

А это полный запрет на контент и ссылки:

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Как закрыть счетчик nofollow

• jCreator
• Программисту
• SEO
• Администрирование
• Вебмастеру
• J.CMS
• Расширения Joomla
• Блог

Nofollow и тег noindex, как закрыть от индексации ссылки, учет rel nofollow Яндексом и Google

Можно ли сейчас использовать теги rel nofollow и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами Яндекс и Google, ибо за последние полгода или год произошло кардинальное изменение алгоритма работы как тега noindex, так и атрибута rel nofollow.

Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при использовании тега rel nofollow (вообще-то, rel nofollow не является тегом как таковым, но для упрощения я его буду называть именно так, дабы не вносить дополнительный сумбур в терминологию) и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.

Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил свое отношение к тегу rel nofollow (Яндекс стал его учитывать), но зато теперь тег noindex никак не влияет на учет закрытой им ссылки. Google так вообще не знает о теге noindex и, естественно, его с успехом игнорирует.

Но рассказать обо всем в двух словах это не наш метод и поэтому давайте все же разберемся с rel nofollow и noindex (и их пониманием и учетом в Яндекс и Google) основательно и со всеми подробностями, ибо KtoNaNovenkogo.ru в первую очередь — блог для начинающих вебмастеров, интересы которых я обязан ставить во главу угла.

Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать, как именно учитывались в Яндексе и Google теги rel nofollow и noindex до описанных выше изменений и как они работают сейчас. Ну, и попробуем понять как закрыть от индексации ссылки при текущем раскладе и можно ли это вообще сделать.

Да, и сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему с учетом поисковыми системами Яндекс и Google тегов rel nofollow и noindex и, естественно, может быть ошибочным в силу различных причин. Поэтому в комментариях приветствуется оспаривание данной теории, но все же, желательно, чтобы это было хоть немного аргументированно. Заранее спасибо всем комментаторам, ибо в споре рождается истина.

Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов rel nofollow и noindex закрыть от индексации ссылки для поисковых систем Яндекс и Google (чаще всего все же пытаются закрыть от индексации внешние бэклинки, ибо они способствуют утеканию статического веса с сайта, но об этом поговорим чуть позже).

Ссылки для Яндекс и Google (да и для любых других поисковых систем) выполняют сразу две основных функции, помогающих поисковикам формировать наиболее релевантную поисковую выдачу. P.S. Здесь я уже начал употреблять терминологию SEO и для того, чтобы вам было понятнее о чем идет речь, просмотрите предварительно эту публикацию — Как продвигать сайт самому.

Так вот, тексты ссылок, которые называют еще анкорами, позволяют Яндексу и Google проводить так называемое ссылочное ранжирование, существенно влияющее на положение ресурса в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо поисковому запросу (статистика поисковых запросов вам в помощь) оптимизаторы стараются закупить как можно больше обратных ссылок с текстами (анкорами), содержащими ключевые слова из того запроса, по которому продвигается данная страница сайта (читайте об этом подробнее в статье про составление семантического ядра).

В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» в Google открывался сайт тогдашнего президента Америки Джорджа Буша младшего. Что примечательно, на самом ресурсе Буша вообще не встречалось данные ключевые слова, но зато на этот ресурс была проставлена уйма обратных ссылок с текстом (анкором) «жалкий неудачник», в результате чего вышел такой казус. Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование сайта в Яндексе или Google и нужно, чтобы и на самом портале Буша встречалась эта фраза.

Но на этом роль ссылок в поисковом продвижении(самостоятельная раскрутка сайта) не заканчивается, ибо Яндекс и Google в обязательном порядке для каждой страницы каждого отдельно взятого ресурса рассчитывают так называемый статический вес. Возможно, что разные поисковые системы рассчитывают статический вес страниц чуть по разному (Тиц и Пр), но суть остается не измененной — статический вес передается странице только по ссылке и при этом не учитывается ее текст (анкор).

Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации ее поисковыми системами) имеет изначальный минимальный статический вес (что такое pr), который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу. Тут ключевым моментом является то, что статический вес передается не только внешними ссылками, но и внутренними.

Причем, страница (документ), ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой собственный статический вес (pr для Google или Виц для Яндекса), который целиком и полностью зависит только от количества и качества входящих на нее ссылок. Под качеством я подразумеваю собственный статический вес страниц доноров (доноры — те страницы, с который проставлены беклинки на ваш документ, который в этом случае выступает акцептором).

Извините за многословие, но объяснять понятно и при этом кратко я не умею, ибо для этого нужен талант. Продолжим развивать нашу мысль на тему учета rel nofollow и тега nofollow в Яндекс и Google. Помните в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать то ли время наполнения бассейна, то ли уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.

Каждую страницу сайта можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние ссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на страницы вашего же или же какого-либо другого ресурса (исходящие внутренние и внешние линки). Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса).

Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа). Вот именно на таком примере мы и рассмотрим для наглядности роль тегов rel nofollow и noindex (до и после произошедших изменений) и то, как можно закрыть от индексации внешние линки.

Теперь смотрите внимательно. Допусти, что у нас с одной вебстраницы проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате, максимальный статический вес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних страниц вашего ресурса, а одна пятая ссылочного веса уйдет по внешней.

А теперь представьте, что вы имеете возможность попросить поисковые системы Яндекс и Google не индексировать эту самую одну внешнюю ссылку (закрыть ее от индексации или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш сайт). Тогда максимальный статический вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним страницам вашего ресурса получить несколько больший статический вес.

Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех вебстраницах ресурса, например, ссылок со счетчиков посещений), то суммарный прирост статического веса у документов вашего сайта будет ощутимым. А статический вес напрямую влияет на положение вашего ресурса в поисковой выдаче Яндекса и Google при ранжировании (естественно, при прочих равных условиях оптимизации).

Так, думаю, что с вопросом, зачем закрывать внешние ссылки от индексации мы разобрались и теперь осталось только выяснить, а как закрыть их от индексации? Раньше было все просто — заключаете ненужную вам гиперссылку в открывающий и закрывающий тег noindex для того, чтобы ее не учитывал Яндекс, а в Html тег ссылки A прописываете атрибут rel nofollow (для Google), например, так:

В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, плагин WP-NoRef. При использовании этого плагина, если в тег гиперссылки прописать специальный класс, то внешняя ссылка останется открытой для индексации поисковыми системами Яндекс и Google. Это может понадобиться, например, при проставлении линка в постовом или рекламном обзоре.

И такой способ закрытия от индексации в Яндекс и Google отлично работал. Статический вес не передавался по закрытой таким образом гиперссылке и внутренние страницы вашего сайта, в результате, получали несколько больший статический вес, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас с закрытием от индексации все стало очень и очень проблемно, если не сказать больше — полная ж.

Но эта ж. касается только удержания статического веса на сайте, в то время как ссылка закрытая тегом rel nofollow по прежнему не будет учитываться Яндекс и Google и тут важно понимать, что, например, в комментариях просто необходимо закрывать линки от индексации, ибо большое количество внешних ссылок на спамные ресурсы (вы в состоянии проверить все ресурсы комментаторов?) сделает ваш проект тоже спамным в глазах поисковых систем.

Итак, вернемся к тому, что Google изменил алгоритм работы тега rel nofollow — теперь по ссылке, в которую вставлен rel nofollow, статический вес на документ передаваться не будет, но в то же время, это не увеличит долю статического веса передаваемого на внутренние страницы, по оставшимся открытым для индексации внутренним гиперссылкам. Такой вот финт ушами от Google.

Если вернуться к нашему примеру с бассейном и трубами, то ситуация с rel nofollow и noindex в Google может быть представлена следующим образом. Если исходящие из бассейна трубы приравнять к исходящим с ресурса внутренним и внешним гиперссылкам, то ту ситуацию, которая имела место быть раньше, можно представить как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним).

А вот текущая ситуация с тегом rel nofollow и отношением к нему Google выглядит как выдирание трубы внешней с корнем — ссылочный вес уже не потечет на внешний ресурс, но и у нас в бассейне останется дырка, а следовательно, внутренние страницы вашего ресурса по прежнему будут недополучать статического веса.

Это мы все говорили за Google, а как обстоит ситуация с использованием rel nofollow и noindex для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу. Но похоже, что Яндекс, после того как стал учитывать rel nofollow в тегах ссылок, снял с тега noindex всякое влияние на индексацию или запрет индексации гиперссылок.

Теперь тег noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать тег noindex, то он просто запретит Яндексу индексировать текст (анкор), а вот сама гиперссылка и передаваемый по ней статический вес по прежнему будут учитываться и браться в расчет.

Другой вопрос, как Яндекс учитывает rel nofollow? Копирует ли он схему работы rel nofollow, которая была в Google до недавнего времени или же сразу взял на вооружение переделанный алгоритм расчета статического веса при наличии в гиперссылке тега rel nofollow. Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.

Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки статического веса с сайта в пустоту. По-прежнему мы можем закрыть от индексации целые страницы или гиперссылки на них с помощью мета тега Robots, назначение которого описано в статье про настройку индексации сайта через robotx.txt, но вот с отдельно взятыми гиперссылками возникают сложности и rel nofollow перестал являться удачным решением для этой проблемы.

Можно, конечно же, проставлять внешние гиперссылки через редиректы или джаву, но Google их уже научился учитывать, а Яндекс если еще и не научился, то скоро обязательно научится. В связи с этим вообще не понятно как быть с внешними гиперссылками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их от индексации rel nofollow), либо на ресурсы комментаторов или счетчиков (в случае отказа от использования rel nofollow).

Некоторые вебмастера, кстати, используют в комментариях не простой rel nofollow, а external rel nofollow, хотя external тут вовсе не подразумевает закрытие внешних гиперссылок, а обозначает открытие страницы во внешнем окне (аналог атрибута target=»_blank», который в XHTML стал не валидным, т.е. не соответствующим стандартам), но этот external работать будет только в связке еще и со специально написанным скриптом на javascript. В общем, это уже совсем из другой темы и к закрытию от индексации никакого отношения не имеет.

Собственно, я решил попробовать вообще убрать беклинки из комментариев и посмотреть как это повлияет на общее положение моего блога как в поисковой системе Google, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют беклинк на ресурс комментатора.