Ошибки которые критически влияют на продвижение ваше сайта, а также на его индексацию в поисковой системе

– обрабатывается неправильноВ случае возникновения таких ошибок, необходимо проверить правильность ваших скриптов. В случае, если ваш скрипт выдает нормальный код завершения 200, то индексация вашего сообщения будет выполнена. В том случае, если скрипт выдаст код 404, то индексация сообщения выполнена не будет.

Стоит отметить, что сегодня существуют серверы, которые в случае возникновения ошибки, отправляют сообщение, содержащее нормальный код завершения, т.е. 200. Благодаря подобному сообщению, робот не может удалить из базы данных ссылку на страницу. Кроме того, стандартные сообщения, уведомляющие об ошибках, можно изменять.

Сегодня под словом «спам» подразумевают слова или небольшой текст, содержащий ключевые запросы, обычно спам не бросается в глаза пользователю, в связи с тем, что он написан мелким шрифтом и очень бледным цветом. Обычно подобный ход применяется для того чтобы увеличить количество посещений того или иного сайта.

Однако размещение спама на сайте, «чернит» имя владельца сайта, так как пользователи весьма негативно относятся к спаму. Кроме того, если яндекс выявляет подобные нарушения, то сайт значительно теряет свои позиции в поисковике. Помимо этого, спам значительно увеличивает размер документа и снижает контрастность, имеющихся в нем слов. Если владельцы сайтов используют спам в, весьма, большом количестве, то администраторы Яндекса имеют полное право заблокировать сайт и исключить его из поисковой базы.

Кроме того, в интернете существуют такие страницы, которые перенаправляют пользователей на другие страницы, подобные сайты также исключаются из индексирования.

Раскрутить сайт с помощью яндекса невозможно, но данный поисковик может предоставить вам необходимое количество информации по данному вопросу. Однако если вы хотите раскрутить свой сайт с помощью яндекса, то размещайте на  нем свою рекламу. О том, как это сделать, вы можете прочитать на сайте http://www.yandex.ru/advertising/.

В поисковой системе яндекс наличествует сортировка по датам, однако в 20% случаев серверы не выдают информацию о том, когда реально были произведены изменения на сайте. Это несколько неправильно, так как пользователь, посетивший такую страницу, будет дезинформирован.

 HTML-документ несет в себе дополнительную информацию, которая содержится в заголовках HTTP.  Сегодня существуют сайты, которые в качестве даты последних изменений документа, показывают число, когда был редактирован заголовок Last-Modified.

Как уже было сказано выше, HTML-документ несет в себе определенную информацию в заголовках HTTP. Кодировка документа указывается в  "Content-Type".  Это может выглядеть приблизительно следующим образом:
Content-Type: text/html; charset=windows-1251

Content-Type: text/html; charset=koi8-r
На каждом веб – сервере должна быть указана кодировка всех документов, причем кодировка должна быть указана на английском языке. В случае, если кодировка отсутствует, то пользователь должен устанавливать кодировку вручную, однако это, несколько неудобно. Для того чтобы установить кодировку автоматически нужно исправить кодировку сервера.
Индексирование одинаковых документов при помощи различных кодировок.

Существует огромное количество ресурсов, которые используют впустую индексирование одних и тех же документов, но при этом web – серверы выдают эти документы в различных кодировках. Стоит отметить, что русские поисковики держат все документы в одной кодировке. Лучше всего при индексировании использовать одну кодировку. В том случае, если кодировка выдается на разных сайтах, то лучше всего использовать разный robots.txt. таким образом, на серверах должно быть написано следующее:

Обычно роботы не в силах среди зеркал, которые есть у большинства сайтов, определить среди них главный. Максимум, что робот может сделать – это найти два документа, которые имеют одинаковую кодировку.
Таким образом, получается, что разные части одного и того же сайта могут быть проиндексированы на различных хостах. Если вам нужно проиндексировать весь сайты по одному хосту, то необходимо задать подобающий файл  robots.txt. после проделывания подобных действий, через некоторое время, все сайты будут ссылаться именно на один, нужный вам хост.
Для поисковых машин не следует открывать содержимое вашего сайта под разными хостами, так как не только не улучшает индексацию вашего сайта, но и напротив, может привести к излишней нагрузке на ваш сервер и соответственно к негативным последствиям.

Ведь поисковики не могут вычленить, какие зеркала вашего сайта являются доминирующими, таким образом, поисковые системы выдают произвольные зеркала, которые зачастую  вам не нужны. Система Альтависта может удалить сайты, которые содержат одну и ту же информацию.
Для того чтобы справиться с данной проблемой, необходимо в корневой дирекции сервера запретить индексирование всех второстепенных адресов.

Подобные проблемы могут возникнуть на тех сайтах, которые содержат веб – сервер "Русский Apache". "Русский Apache" имеет определенный механизм выдачи документа под разным URL. Таким образом, роботы сканируют один сервер  столько раз, сколько установлено кодировок.

Стоит также отметить, что отечественные поисковые машины используют автоматически алгоритмы определения тех или иных кодировок. Система попарных таблиц, принятых в  "Русском Apache", может быть редактирована пользователем, что в свою очередь может привести к появлению некорректных символов в документе, в результате чего эти документы будут не слитыми.