Динамический сайт — Википедия

Динамический контент — это изменяемая пользователем информация на виртуальной странице, которая также может загружаться с использованием баз данных. Роботы поисковых систем при этом будут индексировать динамический контент аналогично статическому, однако только до вопросительного знака (?).

По мнению многих специалистов, данная разновидность контента не может быть оценена однозначно. Может показаться, что не существует ничего привлекательнее постоянных новостных сообщений, которые всегда сохраняют актуальность и заинтересовывают посетителей. Однако возникает вопрос – способна ли постоянная изменяемость текста негативно отразиться на поисковом продвижении страниц и рейтинговых показателях всего сайта.

Реальность существования минусов в использовании динамического контента

Отрицательные моменты способны возникнуть, но для этого необходимо видоизменить абсолютно всю информацию в короткие сроки. Целесообразно рассматривать проблему количества изменяемого текста. Никаких проблем не будет возникать, если контент будет изменяться в специально предназначенных для этого разделах. Спорные вопросы отпадают и в том случае, когда речь заходит о новостных сайтах, суть работы которых и заключается в постоянных динамических обновлениях. В качестве примера можно привести любой бог. Содержимое на главной странице подобных ресурсов претерпевает изменение в зависимости от желания и активности создателя.

Динамический контент – двигатель прогресса

При разработке современных ресурсов без динамического контента обойтись просто невозможно. Веб-мастерам необходимо только помнить, какие элементы виртуальной страницы должны оставаться неизменными:

• Заголовок страницы.
• Основные элементы навигации (их статичность позволяет получить большое количество данных поисковым системам, ответственным за правильное ранжирование и выдачу страницы при запросах).

Неуместное изменение информационного наполнения способно отрицательно сказаться на репутации ресурса и понизить важнейшие поисковые показатели. В качестве примера уместно рассмотреть ресурсы, специализирующиеся на реализации товаров. Внесение изменений в фактический ассортимент не приведет ни к чему хорошему – если потенциальные клиенты не найдут на виртуальных прилавках товара, за которым пришли воспользовавшись информацией проиндексированной ранее, они окажутся очень недовольны данным фактом.

В таких ситуациях динамика изменения контента должна продумываться заблаговременно. Имеет смысл осуществление кеширования страниц или выдерживать определенный промежуток между обновлениями.

Использование динамического контента следует считать общепризнанной данностью. Оно стало очередным шагом в развитии всемирной паутины. Статическая информация постепенно утрачивает актуальность и не позволяет ресурсам выполнять возлагаемые на них функции. Существовавшие ранее проблемы, связанные с индексацией страниц, содержащих динамический контент больше не являются таковыми. Изменение технологий ранжирования и поисковых алгоритмов упростили задачи веб-мастеров, которые имеют возможность осуществлять разработку разноплановых проектов, используя информационное наполнение рассматриваемого вида.

Термином «клоакинг» обозначают один из способов черной оптимизации. Его суть заключается в показе разного контента для робота поисковой машины и реального посетителя сайта.

Как правило, содержимое, показываемое поисковым роботам, наполнено вхождениями ключевых слов, что увеличивает шансы на высокое ранжирование. В то же время для настоящих пользователей контент может быть совершенно иным. Содержание показывается в зависимости от User Agent или IP-адреса.

Виды клоакинга

  • «белый» — не нарушает лицензии поисковиков; это переадресация, целью которой является увеличение удобства пользования сайтом (например, в зависимости от страны, в которой находится пользователь, его перенаправляет на соответствующую языковую версию ресурса);
  • «серый» — нередко вебмастера к размещаемому контенту прилагают возможность показа в текстовом формате и распечатки, в связи с чем могут появляться разные вариации одного материала. Это может стать причиной расценивания такого контента как дублированного . Этого можно избежать путем установки редиректа, который направляет вес ссылки на статью-оригинал.
  • «черный» — пользователям выдается нерелевантный контент, а поисковикам — исключительно оптимизированный, что считается обманным способом продвижения.

На чем основано действие клоакинга

Принцип действия аналогичен применению дорвеев с разницей лишь в том, что последние предполагают автоматическое перенаправление или же самостоятельный переход пользователей на требуемую веб-страницу. Но при этом клоакинг – более трудоемок.

Как создать

  • Существует несколько вариантов создания данного вида черной SEO-оптимизации.
  • Использование User agent – самый простой способ. В основе лежит проверка данных, где происходит передача имени поисковой машины. Такая информация позволяет создавать специальные скрипты, с помощью которых будут сравниваться User agent пользователей, зашедших на страницу, и база имен поисковиков, и на основе этого последним будет отображаться контент, наполненный ключевыми словами.
  • Использование IP-адреса – надежный метод подмены веб-страниц. Основой является проверка IP-адресов.
  • Комбинированный – использование обоих вышеуказанных методов, за счет чего эффективность в разы увеличивается.

    Основная масса поисковиков расценивает клоакинг в качестве черного метода оптимизации, Следовательно при обнаружении подобных действий, поисковая система может наложить на сайт бан. Зачастую вебмастера делают оба варианта страниц абсолютно различными друг от друга, то есть, поисковой машине, к примеру, выдается просто оптимизированный текст, а пользователям же – реклама какого-либо товара.

Клоакинг — это подмена содержимого сайта — для поисковых систем показывается один контент, а для пользователей другой.
Есть разные варианты клоакинга, например для разных поисковых систем может показываться разное содержимое, либо для пользователей, переходящих с поисковиков показывается совсем не то, что показывалось бы, если пользователь совершил прямой заход (например из закладки). Но все варианты клоакинга объединяет одно правило — подмена контента.

Для такого метода продвижения сайта «черные оптимизаторы» используют ip-адреса и названия user-agent поисковых ботов — это главные критерии для клоакинга. С помощью, например, языка PHP, тем кто разбирается в программировании, несложно написать скрипт, который будет определять какой контент сервер будет показывать обычному посетителю, а какой поисковому боту.

Бороться с клоакингом гораздо сложнее, чем с обычными дорвеями, т.к. последних поисковые системы вычисляют со временем. Сайт с подменой контента может нанести вред посетителю, т.к. на страницах для пользователей могут находиться вирусы, которых поисковой бот не видит и выдает совсем другую информацию в поисковой выдаче.

Ниже отображено, как выглядит сайт, продвигаемый клоакингом:
Забиваю в Яндекс запрос «radio-grob.ru»

Перехожу по обведенной ссылке на сайт с яндекса
Произвожу прямой заход по этой же ссылке

Перейдя из яндекса сервер показывает фишинговую страницу (подделка на сервис вопросов-ответов mail.ru) где написан нелепый вопрос и ответы со ссылками на сайт, где доверчивого пользователя «обуют» на деньги, если поведется и подтвердит свой мобильный номер.
Если совершить прямой заход, то контент страницы совершенно другой — ссылки, видео и т.д.
В данном случае клоакинга применены параметры HTTP_REFERER, где сервер определяет с какой страницы переходит пользователь, и по результатам проверки выдает контент страницы.

В завершении данного обзора хочу подчеркнуть, что цель написанного выше — предупреждение для пользователей, а не руководство к действию для вебмастеров и оптимизаторов… и еще, сайт radio-grob.ru не имеет никакого отношения к вышеописанному сайту.
PS: Умная поисковая система Google, в отличие от яндекса, такой ссылки в результатах запроса не выдала и ни один пользователь не пострадал 🙂

Главная / Статьи / Клоакинг

Клоакинг

Автор: Владимир Чернышов

Глава для книги по оптимизации от «Ашманов и Партнеры»

Что такое клоакинг? Почему его относят к методам поискового спама?

Определение и описание клоакинга

Термин клоакинг (cloaking) происходит от английского глагола to cloak — маскировать, прикрывать, прятать, скрывать. Клоакинг — это методика отображения роботу поисковой системы оптимизированной страницы, в отличие от страницы, которую увидит обычный пользователь. Иногда страницы делают не просто оптимизированными, а в корне отличными от оригинальной. Например, выдают поисковому роботу страницу со списком популярных музыкальных композиций с расширением mp3, в то время как обычному пользователю предлагают посетить магазин музыкальных компакт-дисков. Таким методом в интернет-магазины компакт-дисков заманивают пользователей, которые искали в поисковой системы ссылки на свежие хиты в формате mp3.

Клоакинг реализуется с помощью программ и скриптов, выполняющихся на стороне веб-сервера. Серверные скрипты формируют выходные данные в зависимости от изменяющихся параметров: параметры в адресе запроса, доступные системные переменные веб-сервера и окружения, некоторые параметры запроса. По ряду данных можно определить от кого исходит запрос — от робота или обычного пользователя и сформировать для каждого отдельную результирующую страницу.

Выполнить клоакинг с помощью обычного HTML или JavaScript не получится.

С первого взгляда может показаться, что клоакинг нельзя «отловить», ведь надо быть пользователем, чтобы увидеть обычную страницу, и роботом — чтобы увидеть оптимизированную версию страницы. Тем не менее есть возможность определить наличие клоакинга, не являясь при этом сотрудником поисковой системы, ниже мы расскажем, как это делается.

Как же определить робота поисковой системы? Есть две возможности:

  1. Проверять поле User-agent
  2. Проверять IP-адрес, откуда приходит запрос

Клоакинг по User-agent

Самый простой метод, основанный на проверке данных User-agent, где при запросе в большинстве случаев передается имя робота и некоторые дополнительные данные. Вот примеры данных в User-agent для некоторых поисковых роботов:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Yandex/1.01.001 (compatible; Win16; I)
  • Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

У скрипта, выполняющего «подмену», есть список таких строк, чаще даже подстрок, если подстрока есть в User-agent, скрипт выдает оптимизированную страницу, а может выдавать каждому роботу свою оптимизированную страницу специально для него.

Такой клоакинг довольно просто «отловить» — достаточно с помощью специальных программ или расширений к веб-браузерам, представиться роботом, и, вуаля!

Получаем оптимизированную страницу вместо обычной.

Клоакинг по IP-адресу

Более хитроумный метод, основанный на проверке IP-адреса, откуда приходит запрос. IP-адрес практически невозможно подделать. Зная корпоративные подсети (диапазоны адресов) поисковых систем, можно выдавать оптимизированные страницы всем веб-клиентам из указанных подсетей. В этом случае даже сотрудник поисковой системы с обычным браузером увидит тот же список mp3, что и робот, а не рекламу магазина дисков, как все остальные.

Но и в этом случае определить клоакинг достаточно просто. Сотруднику поисковой системы достаточно запросить страницу через прокси-сервер из другого диапазона адресов, можно воспользоваться каким-нибудь анонимным прокси, расположенным где-нибудь в Новой Зеландии, или воспользоваться сервисом, аналогичным WebWarper.net.

Обычному пользователю достаточно посмотреть сохраненную копию страницы в базе поисковой системы, в большинства поисковых систем есть такие сервисы. Следует только обращать внимание на даты изменения страницы и ее индексации, поскольку можно спутать клоакинг еще с одним методом — свопингом (swapping).

Комбинированный метод

При определении робота можно пользоваться одновременно двумя вышеописанными методами — сначала определять запрос из определенной сети адресов, сразу после чего выполнять проверку данных в User-agent.

А если не спам?

Если не задаваться исключительной целью обмануть поисковую систему, метод формирования страницы в зависимости от некоторых параметров из запроса браузера может быть использован так сказать, во благо. Приведем несколько вариантов: выдача пользователю страницы на том языке, который указан в настройках его браузера, перенаправление пользователя на ближайшее зеркало сайта в зависимости от местонахождения пользователя, выдача версии страницы, корректно отображающейся в специфическом браузере пользователя и многое другое.

Отдельно следует отметить поисковую систему Google, которая при заходе пользователя на www.google.com, в зависимости от языковых и региональных настроек перенаправляет пользователя на соответствующую локализованную версию главной страницы.

Резюме

При использовании клоакинга или методов, близких к нему, надо помнить, что поводом для бана сайта служит явная попытка обмана поисковой системы. Если же вы заботитесь о пользователе, забанить сайт за использование клоакинга не должны.

Еще надо отметить, что робот поисковой системы будет получать только одну из всех возможных версий документа. Например, при выдаче разных языковых версий, GoogleBot скорее всего получит англоязычную версию страницы и не догадается о русскоязычной, а робот Яндекса проиндексирует русскоязычную и не увидит остальных версий, если на них явно не сослаться.

 

Добавить комментарий

Закрыть меню