Боты поисковых систем: как они работают?

Спроси любого, кто хоть немного понимает в принципах работы интернета, что главное в работе с сайтом, и тебе ответят – раскрутка и продвижение! А если спросить: «Что главное в раскрутке и продвижении», большинство ответят – Поисковая оптимизация! Поисковая оптимизация (англ. search engine optimization, SEO) — комплекс мер для поднятия позиций сайта в результатах выдачи поисковых систем по определенным запросам пользователей. Так, по крайней мере, говорит Википедия. Чтобы грамотно продвигать сайт, необходимо понимать, как осуществляется выдача по поисковым запросам. Выдачу осуществляет поисковый бот и руководствуется он при этом собственным индексом.

Например, если зарабатывать при помощи партнерки www.smartbucks.ru, то мой доход напрямую зависит от количества посетителей. То, сколько человек посетит ваш сайт, зависит от множества причин, но главной является положение вашего сайта в выдаче поисковиков. И сегодня я хотел бы поговорить с вами о работе поисковых ботов, которые собственно и определяют, будет ли ваш сайт в первой десятке выдачи, или где-нибудь на пятой странице.

Как я уже говорил, бот в своей работе опирается на собственный индекс. Как образуется этот поисковый индекс? Существует два способа индексации сайтов:

1) Поисковые боты постоянно шерстят интернет в поисках новых сайтов и изменений в уже индексированных. Если поисковый бот натыкается на новый сайт, он ставит его на заметку и в течение какого-то времени следит за ним. Если бот не обнаруживает на сайте спама, чего-то незаконного, видит, что он постоянно обновляется, и периодически заходят новые пользователи, он индексирует сайт. Время, в течение которого поисковый бот будет «присматриваться» к новому сайту и количество «правил» которым должен соответствовать этот сайт, дабы быть проиндексированым, зависит от конкретного поисковика. Рамблеру, например, необходимо не меньше пару месяцев, дабы добавить новый сайт, Яндекс же, пожалуй, самый «демократичный» поисковик, именно поэтому в его выдаче так много спамерских сайтов.

2) Веб – мастер самостоятельно обращается к поисковику, дабы тот проиндексировал его новое творение. На самом деле, послать подобный запрос на индексацию – первое, что должен сделать веб – мастер, после открытия нового сайта. Обращаться стоит в Яндекс, Рамблер, Гугл, Апорт. Остальные поисковики составляют слишком малую долю рынка поисковых услуг, так что ими можно спокойно пренебречь.

Стандартная ошибка новичков – получили высокий индекс и забыли о поисковой оптимизации. Это очень большая ошибка, потому как поисковые боты постоянно «перепроверяют» сайты. Если вы, после получения высокого индекса, начнёте захламлять свой сайт спамом, ворованным контентом и т.д. – уже через месяц ваш сайт может пропасть из выдачи вообще. И, кстати, получить высокий индекс изначально значительно проще, нежели опуститься в выдаче и снова подняться. Я уже молчу про тот случай, если вас забанит популярный поисковик. Если вас забанил Яндекс – можете сразу закрывать сайт! Вернее, не сразу конечно – можно попробовать сменить хостинг, название, домен, платформу, но на самом деле даже это не всегда помогает. Так что постоянно следите за положением своего сайта в выдаче поисковиков! По скорости реиндексации самый скоростной поисковый бот у системы Яндекс, самый медленный – Апорт. У последнего на реиндексацию сайта с количеством посещений 60 – 120 хостов за сутки может уйти до полугода! То есть, если вы упали в выдаче Апорта – можете смело забыть об этом поисковике, так как любые ваши действия по поднятию индекса дадут результат ещё очень не скоро.

Не стоит забывать также о разных АГС и прочих ужасах. Хотя я уже сомневаюсь, что Яндекс способен отличить СДЛ от ГС (судя по тому, что у меня он забанил несколько СДЛ), все равно нужно делать сайты для людей.

Мне кажется, что основным признаком СДЛ теперь становится дизайн. Не шаблон, не «на коленке», а нормальный, красивый, купленный дизайн.

Отзывов (35) на «Боты поисковых систем: как они работают?»

пишет:
05.02.2010 в 1:32 дп


Но по моему мнению – процент правильны решений при определении того, ГС или СДЛ, у яши все-таки высок.

---

пишет:
06.02.2010 в 12:38 дп


насчета Апорта скажу так – он вообще уже никому не нужен, трафа там нет

---

пишет:
06.02.2010 в 5:56 пп


Читая статью, тоже удивился, что здесь присутствует Апорт.ру.
Его уже давно никто не использует и смысла в нем никакого, т.к. посещаемость апорта составляет всего лишь 2% всего рунета.

---

пишет:
06.02.2010 в 6:45 пп


Мне кажется, что основным признаком СДЛ теперь становится дизайн. Не шаблон, не “на коленке”, а нормальный, красивый, купленный дизайн.

То есть, по Вашему, удаление сайта из индекса производится вручную? По принципу – «что-то мне не нравится вот эта завитушка у логотипа»? В противном случае как-то трудно заподозрить поискового бота в умении оценить красоту внешнего вида сайта.

Если говорить о красоте и чистоте кода, то это тоже не слишком серьезный аргумент, поскольку многие из бесплатных тем сделаны абсолютно нормально.

Если же судить по принципу – «у него шаблонная тема Вордпресс – значит это ГС/сателит», то в этом случае Макс Крайнов должен был уже давно «париться в бане».

Скорее проблема в том, что многие веб-мастера забывают о том факте, что положение сайта в идексе (и его вылет оттуда) зависят не только от опубликованных материалов, но и от совокупности контента в целом.

Да, Вы можете писать хорошие и уникальные статьи, но если весь блог будет завещан продажными ссылками бирж, то трудно надеяться на хорошие позиции и на то, что к сайту не будет применен, подчеркну, автоматический фильтр.

---

пишет:
07.02.2010 в 5:17 пп


Апорт действительно уже давно дохлый поисковик

---

пишет:
08.02.2010 в 11:35 дп


А где же ответные ссылки, которыми афтор менялся ранее?

---

пишет:
08.02.2010 в 6:20 пп


апорт траффа практически не даёт… что есть он, что нет его
Добавляйте свой сайт туда, только если вам скучно

---

пишет:
08.02.2010 в 6:41 пп


Lex, если кого забыл – пишите на мыло. У меня с работой запарка (дофига всего), забываю со страшной силой.

---

пишет:
09.02.2010 в 1:06 дп


«Хотя я уже сомневаюсь, что Яндекс способен отличить СДЛ от ГС» – 5+

---

пишет:
10.02.2010 в 4:10 пп


Интересная статья, но на счет дизайна не уверен, потому как дизайн может быть уникальный, но построен на каком-то шаблоне, т.е. практически все id и class такие же как и в шаблоне, а если шаблон в паблике, то получается даже если дизайн уникальный роботе его не определит как уникальный и запишет сайты в ГС?

---

пишет:
10.02.2010 в 8:47 пп


Спасибо за пост и за ссылку на Смарт. Нравится ПП

---

пишет:
11.02.2010 в 1:49 пп


Яша впринципе правильно гс-ки определяет.

---

пишет:
12.02.2010 в 12:22 пп


Yaroslav.CH
Буквально в прошлом году он забанил абсолютно невинный сайт с ШАБЛОНЫМ дизайном, побродив по просторам инета нашел еще сайтов 50 с таким же дизайном, которые были в бане.
Каков вывод?

---

пишет:
13.02.2010 в 10:29 дп


Яндекс не выкинул у меня ни одного СДЛ. Уникальный контент и все путем.

---

пишет:
13.02.2010 в 4:46 пп


Да, яндекс не пропускает ГС, всех под фильтр либо бан. Согласен с uoffice по поводу уникальности дизайна, правильно написал.

---

пишет:
13.02.2010 в 5:00 пп


Я если честно не понимаю Яшу. Я когда установил блог, проделал маленькую работу и в первый Ап главная попала в индекс. После ничего противозаконного не делал и сайт вылетел и уже где-то 5 апов не появляется

---

пишет:
13.02.2010 в 9:32 пп


Далеко не факт, что основным признаком СДЛ является дизайн. Сейчас любой мало-мальски разбирающийся человек может скрутить неплохой шаблон для сайта в течении 1-2х часов. Ещё как доказательство – посмотрите в выдаче Яши на количество сайтов на простых темах для ВП или Джумлы.
З.Ы. По поводу АГСов… Действительно банят всё наугад, причём как кривой 17й, так и хвалёный 30й. У меня несколько толковых СДЛ забанили

---

пишет:
15.02.2010 в 3:52 дп


Пока вроде у меня СДЛ не банил, да и ГС тоже

---

пишет:
16.02.2010 в 12:06 пп


DimoninG, спасибо за статью. Сама вечно «сражаюсь» с Яндексом, который норовит исключить из индекса уникальные страницы. Каждую неделю то отвоюю десяток, то он штук 20 «скушает».

---

пишет:
16.02.2010 в 3:16 пп


А мне кажется, что у яндекса самые тупые боты. Мой блог никак не проиндексируют!

---

пишет:
17.02.2010 в 1:49 дп


Добрый день, подскажите пожалуйста, с кем и как я могу связаться по поводу рекламы на сайте?

---

пишет:
17.02.2010 в 9:10 дп


Яша и гугл – рульные поисковики – остальное говно

---

пишет:
18.02.2010 в 11:39 дп


Вот это и плохо, что яша умеет определять ГС. Я бы сказал, что для многих сайтоведов это печально отразилось на финансах.

---

пишет:
20.02.2010 в 2:13 пп


СДЛ как делал, так и буду прордолжать их делать. Никлгда проблем с ними не было!

---

пишет:
21.02.2010 в 3:01 дп


Рамблером тоже многие пользуются!

---

пишет:
23.02.2010 в 6:33 пп


Спасибо интересно было почитать! Как обычно рулия Яндекс и гугля!

---

пишет:
01.03.2010 в 10:03 дп


На счет дизайна не согласен. По крайней мере в своей практике я не замечал большого влияния на индексацию и ранжирование сайта установленного шаблона.

---

пишет:
06.03.2010 в 1:48 пп


Они работают по недостижимому для нас всех алгоритму.

---

пишет:
07.03.2010 в 1:51 пп


Не вижу смысла делать ГС. Это же себя не уважать. А поднять бабла можно и на СДЛ. Только на настоящем СДЛ. А ГовноСайт не нужен людям, так он и поисковику рано или поздно будет по барабану.

---

пишет:
11.03.2010 в 2:27 дп


Вы можете писать хорошие и уникальные статьи, но если весь блог будет забит продажными ссылками из всевозможных бирж, то можно не надеяться на хорошие позиции.

---

пишет:
14.03.2010 в 10:15 дп


Хорошо, что Яша и Гугл такие придирчивые)) Заказов на копирайтинг и дизайн только больше становится

---

пишет:
15.03.2010 в 11:20 дп


Я по большей части делаю упор на яндекс. Что интересно, если в яндексе хорошо идет, то и в гуле также

---

пишет:
20.03.2010 в 2:40 дп


Дизайн не играет большой роли и с заказным дизайном банят. а уникальность контента – как мне кажется, это не совсем, то что представляют наши вебмастера – это не рерайт. Это новая информация.

---

пишет:
29.03.2010 в 2:32 дп


Чаще всего приходится самому ускорить процесс индексации сайта путём добавления в закладки. Обычно таким способом на следующий день сайт уже индексируется а бывает что и нескольких часов хватает)

---

пишет:
16.04.2010 в 12:03 дп


Вадим, согласна что Апорт мёртвый, но смотря на статистику в определённых регионах он почти номер один после яндекса. Была очень удивлена этому. Например в Воронеже.

---

Оставьте свой комментарий