Навигация

	Разделители
	Размер индексирования
	Индексирование html-документов

Search Engines Indexing – Too Much Kilobyte Will Kill You…

В сообществе оптимизаторов бытуют различные мнения по такому важному вопросу, как объем индексируемой поисковиками информации на веб-странице.

Вопрос вот в чем – насколько большой должна быть оптимизируемая страница, чтобы не быть малоинформативной, но при этом чтобы вся информация, находящаяся на ней была проиндексирована поисковиками?

Насколько нам известно, экспериментально этот вопрос никто не выяснял, а участники оптимизаторских форумов ограничивались констатацией фактов, предоставляемых самими поисковиками. Так, по-прежнему в среде оптимизаторов бытуют мнения об ограничении большинством ведущих поисковых машин размера страниц пресловутыми 100 килобайтами, а клиенты оптимизаторских контор ломают голову, куда девать вылезающую из 100-килобайтного лимита информацию на своих страницах.

Взявшись выяснить этот вопрос опытным путем, мы поставили перед собой задачи: определить объем индексации страниц поисковыми машинами, а также установить, есть ли зависимость между размером страницы и объемом проиндексированного текста на ней.

Суть нашего эксперимента заключалась в следующем: на 25 страницах различного размера (от 45 Kb до 4151 Kb) с помощью специально написанного для нашего опыта инструмента MaxIndexSize (привет отделу разработки компании «Web CEO»! :) с интервалом в 10 Kb вставлялись уникальные (до этого времени не существовавшие в природе) ключевые слова, которые были своеобразными метками глубины индексации. После этого необходимо набраться терпения, чтобы дождаться прихода на страницы роботов, и мужества, чтобы пойти к парням из отдела серверной статистики (это такие супермены, которые знают, сколько раз вы запрашивали со своего рабочего компьютера что-нибудь типа «Памела Андерсон») и попросить лог-файлы посещений экспериментальных страниц. Информация, которую содержат логи, и есть конечная цель всего эксперимента. После получения лог-файлов, всё, что нам оставалось сделать, это проверить с помощью Web CEO Ranking Checker позиции каждой исследуемой страницы в поисковиках по каждому уникальному кейворду. Если поисковики индексируют на странице только определенную часть текста, тогда все уникальные кейворды, находящиеся в пределах этого объема будут возвращены поисковиком при запросе, а все кейворды, находящиеся за пределами индексируемого текста находиться не будут.

Таким образом, имея в своем распоряжении данные о размере закачанного текста поисковыми роботами, мы смогли определить размеры индексации страниц поисковыми машинами. Поверьте, результаты оказались, мягко говоря, неожиданными. И тем приятнее нам будет поделиться этими результатами со всеми, кого интересуют злободневные вопросы поисковой оптимизации.

Итак, как видно из таблицы, бронзовая медаль среди монстров поиска достается Yahoo! с результатом в 210 Kb. Все, что находится за пределами этого значения, осталось проиндексированым.

Второе место занимает великий (своим качеством поиска) и ужасный (своим отношением к SEO) Google. Его googlebot способен унести в недра своих неисчислимых серверов более 600 Kb информации. При этом на странице результатов появляются кейворды, находящиеся не далее 520 Kb от начала страницы. Именно такого размера текст, считает Google, является наиболее информативным и гарантирует пользователю нахождение максимального количества полезной информации, без траты времени на чтение графоманских текстов (как, например, страницы с этой статьей :).

Абсолютным чемпионом по глубине индексации оказался MSN! Его msnbot способен скачать до 1,1 Мб текста с одной страницы и, что самое главное, почти весь этот текст проиндексировать и выдать на странице результатов. Если страница оказывается больше указанного значения, то остальная часть документа остается не проиндексированной. Замечательным оказалось поведение MSNа во время первого посещения экспериментальных страниц. Если страница была меньше 170 Kb, то она полностью появлялась на странице результатов. А все страницы, имеющие размер больше этого значения – не возвращались MSNом вообще, хотя робот скачивал упомянутый выше 1,1 Мб текста. Выглядело так, что если страница больше 170 Kb, то у неё вообще нет шансов появиться на странице результатов MSNа, пусть даже ключевое слово находилось в самом начале страницы! Однако, через 4-5 недель, большие страницы начали постепенно появляться в индексе MSNа, которой с каждым разом все более удивлял своими способностями индексировать столь большие участки текста. Эта история наталкивает на предположение, что в MSNе скорость индексирования страниц зависит от её размера. Поэтому если вы хотите, чтобы информация была видна пользователям MSNа как можно скорее – разместите её на странице с размером не более 170 Kb.

Таким образом, с помощью эксперимента, мы установили, что у ведущих поисковиков объем индексируемого текста существенно отличается. Для Yahoo он составляет 210 Kb, для Google – 520 Kb, для MSN – 1030 Kb. Страницы меньше указанного размера индексируются полностью, а текст, находящийся за пределами указанных лимитов проиндексирован не будет.