У Яндекса не хватает вычислительных мощностей?
Как известно, Яндекс был, и пока остается, крупнейшим поисковиком по русскоязычной информации в Интернете. Мы уже привыкли верить в то, что «найдется все».
Однако с некоторых пор я стал замечать, что сайт стало гораздо легче проиндексировать в Гугле, чем в Яндексе. Даже в индекс Рамблера нынче попасть проще, чем в Яндекс. В чем же дело?
У меня есть несколько сайтов, и большинство из них хорошо представлены в Google, Рамблере и Яндексе. Но не все. Один из них – вполне приличный сайт, и туда часто заходят гугловские и рамблеровские боты. Но вот Яндекса там не видать.
Все это притом, что сайт не забанен. Я даже включил его в свой вебмастерский аккаунт. Яндекс проверил его и не высказал никаких претензий. Но вот индексировать его он наотрез отказывается.
Я обратился в службу поддержки и довольно быстро получил ответ от Платона Щукина. В нем говорилось:
«После анализа и классификации страниц Вашего сайта алгоритм принял решение не включать их в поиск. Это может быть связано с неуникальной информацией, недостаточной авторитетностью сайта, использованием поискового спама; такое возможно в случае, когда многие страницы сайта похожи на созданные автоматически и не предназначенные для чтения пользователями. Подробнее о критериях, которые лежат в основе наших поисковых алгоритмов, можно почитать на странице http://webmaster.yandex.ru/faq.xml?id=985118».
Довольно стандартный ответ, очевидно сделанный «под копирку». Приводятся возможные причины, при этом не видно никакого личного взгляда модератора. А если бы он взглянул на этот сайт лично, то наверняка понял бы, что, по меньшей мере, три четверти причин никакого отношения к сайту не имеют. Единственное, что еще могло как-то объяснить ситуацию, это «недостаточная авторитетность». Хотя не совсем понятно, на основании чего эта авторитетность определяется.
Однако давайте посмотрим глубже. Почему модератор не нашел времени взглянуть на сайт, а отделался стандартной отпиской? Не потому ли, что писем подобных моему он получает неисчислимое множество? А почему так много подобных писем? Не потому ли, что слишком многие сайты не попадают в индекс Яндекса?
И все же, почему они туда не попадают? Еще года два назад такой проблемы не существовало. Яндекс потому и стал крупнейшим поисковиком Рунета, что в нем можно было «найти все». Или почти все. Но сегодня это уже не так. Сегодня гораздо проще попасть в индекс Гугла, чем Яндекса. И это притом, что Гугл обрабатывает на два порядка больше информации, чем Яндекс. И не потому, что Гугл включает в индекс все, что попало. Как раз он-то знает цену качеству, и с дней своего основания борется за него.
Причина, возможно, проще пареной репы. И состоит она в том, что у Яндекса, похоже, элементарно не хватает вычислительных мощностей. В имеющиеся в наличии ресурсы Яндекса все сайты Рунета уже не вмещаются. Поэтому он больше обеспокоен не тем, как «найти все», а тем, как бы не заткнуться вообще. Соответственно алгоритмы теперь ориентированы на максимальное отсечение информации на входе.
Путь этот, разумеется, опасен. Ведь если более качественный поиск предоставит Гугл, а не Яндекс, то недолго лишиться лидирующих позиций. Причем навеки. С другой стороны те, кто часто пользуются поиском Яндекса, прекрасно знают, что мусора в его индексе хоть отбавляй. Но с модераторами тоже, видимо, напряженка.
Не так давно прошло сообщение, что Яндекс переехал в новый офис, на оплату которого уходит порядка трети его годового дохода. Если бы эти деньги он потратил на увеличение вычислительных мощностей, может быть, указанные проблемы перестали бы существовать. Наверняка у Гугла были (и есть) те же проблемы, но вот решает он их иначе. Потому и остается крупнейшим и лучшим поисковиком в мире. Хотелось бы надеяться, что Яндексу подобные проблемы тоже под силу.
