Технический аудит сайта

Содержание

Введение

Цель технического аудита сайта — выявить основные технические ошибки на сайте, такие как стабильность работы сервера, наличие вредоносного кода на страницах сайта, настройка серверных редиректов, поиск «битых» ссылок и т.д. В отчет также входят конечные рекомендации по исправлению найденных ошибок и примеры конкретных реализаций. В случае если технические проблемы являются достаточно простыми, мы ограничимся общими рекомендациями и ссылками на существующие сайты с верной реализацией, если же проблема окажется нетривиальной, то могут быть разработаны дополнительные инструкции по ее исправлению.

Анализ общих показателей сайта

Показатель Значение
Регион присвоенный / продвигаемый [по данным Я.Вебмастера/КИТа]
Наличие в Яндекс.Справочнике
Наличие в Яндекс.Каталоге

Выводы

  1. Сайту не присвоен продвигаемый регион в Яндекс.Вебмастере, что создает дополнительные сложности при определении региональной принадлежности сайта. В связи с этим, мы указали необходимый регион в панели Яндекс.Вебмастер (http://webmaster.yandex.ru/).
  2. Сайт отсутствует в Яндекс.Справочнике, что создает дополнительные сложности при определении региональной принадлежности сайта. В связи с этим, [необходимо добавить адрес организации с обязательным указанием адреса сайта в Яндекс.Справочник (http://sprav.yandex.ru/)|мы добавили адрес организации с указанием сайта в Яндекс.Справочник (http://sprav.yandex.ru/)].
  3. Сайт отсутствует в Яндекс.Каталоге, мы рекомендуем добавить сайт в Яндекс.Каталог (http://yaca.yandex.ru/). Для одобрения заявки на добавление сайта необходимо на странице «Контакты» ([URL-адрес страницы]) разместить полные реквизиты организации (ИНН, ОГРН, юридический адрес и т.д.).

Проверка robots.txt

Файл robots.txt предназначен для роботов поисковых систем и должен быть составлен по определенной структуре для корректной обработки. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Проверка запрета индексации технических страниц (разделов)

В поисковый индекс могут попасть технические страницы сайта [http://<домен>/| http://www.<домен>/]. Нахождение указанных типов страниц в поисковом индексе нежелательно и может негативно повлиять на скорость попадания в поисковый индекс страниц с полезным содержимым (например, продвигаемых страниц).

Для исключения технических страниц из индекса поисковых систем, а так же, предотвращения попадания их в индекс, необходимо  внести соответствующие директивы в файл robots.txt:

Disallow: /cart/

Пояснения:

1. /cart/ — раздел корзины

Пример страницы:

 [http://<домен>/|http://www.<домен>/]cart/

*Окончательный вариант файла robots.txt находится в приложении к сопроводительному письму.

Проверка запрета индексации технических дублей страниц

Технические дубли являются частичными дубликатами основных страниц сайта. Попадание данных страниц в поисковый индекс повлечет за собой проблемы с определением релевантности целевых страниц поисковыми системами и понижение позиций документов сайта в поисковой выдаче.

Для исключения технических дублей страниц из поискового индекса необходимо  внести соответствующие директивы в файл robots.txt:

Disallow: /*sort=

Пояснения:

1. /*sort= — параметр сортировки

Пример страницы:

 [http://<домен>/| http://www.<домен>/]category/?sort=price

*Окончательный вариант файла robots.txt находится в приложении к сопроводительному письму.

Проверка запрета индексации URL с параметрами по маске

URL-адреса, содержащие параметры, являются полными дубликатами основных страниц сайта. Попадание данных страниц в поисковый индекс повлечет за собой наложение санкций со стороны поисковых систем и понижение позиций документов сайта в поисковой выдаче.

Примеры URL с параметрами:

  • [Пример 1] (основной URL-адрес), [Дубликат 1], [Дубликат 2], [Дубликат 3] и т.д.
  • [Пример 2] (основной URL-адрес), [Дубликат 1], [Дубликат 2], [Дубликат 3] и т.д.
  • [Пример 3] (основной URL-адрес), [Дубликат 1], [Дубликат 2], [Дубликат 3] и т.д.
  • И т.д.

Для исключения полных дублей страниц из поискового индекса необходимо  внести соответствующие директивы в файл robots.txt:

Disallow: /*utm_

Пояснения:

/*utm_ — URL-адреса, содержащие utm-метки

Пример страницы:

[http://<домен>/| http://www.<домен>/]category/?utm_source=yandex&utm_medium=cpc&utm_campaign=action

*Окончательный вариант файла robots.txt находится в приложении к сопроводительному письму.

Проверка правильности записи основного зеркала

Вариант 1.

На данный момент основное зеркало сайта указано корректно. Необходимо оставить директорию в файле без изменений:

Host: [<основной хост>]

Вариант 2.

На данный момент основное зеркало отсутствует в файле robots.txt. Для того, чтобы указать поисковому роботу Яндекса основное зеркало сайта, необходимо прописать директиву Host с его указанием, непосредственно после директив ‘Disallow'(‘Allow’):

Host: [<основной хост>]

Проверка ответов сервера и .htaccess

Проверка основного хоста

Вариант 1.

Основной хост сайта настроен корректно. В поисковых системах Яндекс и Google страницы сайта проиндексированы [с|без] префикс[ом|а] WWW. В целях продвижения в качестве основного хоста выбран http://<домен>/|http://www.<домен>/.

Вариант 2.

На данный момент страницы сайта доступны как с префиксом WWW (http://www.<домен>/), так и без него (http://<домен>/). В поисковых системах Яндекс и Google страницы сайта проиндексированы как с префиксом WWW, так и без него. В качестве основного хоста для продвижения выбран  http://www.<домен>/|http:// <домен>/. 

Для того, чтобы в индексе поисковых систем остался только один вид страниц, необходимо настроить переадресацию с ответом 301 Moved Permanently со страниц неосновного хоста ([без|с] WWW) на страницы основного хоста.

Для сервера Apache можно воспользоваться следующими настройками в файле .htaccess:

[без WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://www.<доменное имя>.<доменная зона>/$1 [R=301,L]


[c WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://<доменное имя>.<доменная зона>/$1 [R=301,L]

Вариант 3.

На данный момент, при обращении к страницам неосновного хоста (например, [Пример Url-адреса]), сервер отдает перенаправление с ответом 302 Moved Temporarily на страницы основного хоста. Использование временного перенаправления для настройки основного хоста не корректно, т.к. приводит к тому, что она продолжает находиться в индексе поисковых систем, при этом статический вес не передается на нужный URL-адрес.

Для того, чтобы корректно настроить основной хост сайта, необходимо вместо переадресации с ответом 302 Moved Temporarily  использовать переадресацию с ответом 301 Moved Permanently со страниц неосновного хоста ([без|с] WWW) на страницы основного хоста.

Для сервера Apache можно воспользоваться следующими настройками в файле .htaccess:

[без WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://www.<доменное имя>.<доменная зона>/$1 [R=301,L]


[c WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://<доменное имя>.<доменная зона>/$1 [R=301,L]

Вариант 4.

На данный момент, при обращении к страницам неосновного хоста (например, [Пример Url-адреса]), сервер отдает ответ [HTTP/1.1 404 Not Found | 502 Bad Gateway | 503 Service Unavailable | и т.д.]. Для того, чтобы пользователи, которые попали на страницу неосновного хоста сайта, не покинули сайт, увидев информацию о том, что страница не доступна, необходимо настроить переадресацию с ответом 301 Moved Permanently со страниц неосновного [с|без] префикс[ом|а] WWW) хоста на страницы основного хоста [без|с] префикс[а|ом] WWW).

Для сервера Apache можно воспользоваться следующими настройками в файле .htaccess:

[без WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://www.<доменное имя>.<доменная зона>/$1 [R=301,L]


[c WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://<доменное имя>.<доменная зона>/$1 [R=301,L]

Вариант 5.

На данный момент, при обращении к внутренним страницам неосновного хоста (например, [Пример Url-адреса]) сервер отдает перенаправление с ответом 301 Moved Permanently на главную страницу сайта основного хоста. Для того, чтобы пользователи, которые попали на внутреннюю страницу неосновного хоста сайта, не покинули сайт, после перенаправления на главную страницу, необходимо настроить постраничную переадресацию с ответом 301 Moved Permanently со страниц неосновного [с|без] префикс[ом|а] WWW) хоста на соответствующие страницы основного хоста [без|с] префикс[а|ом] WWW).

Для сервера Apache можно воспользоваться следующими настройками в файле .htaccess:

[без WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://www.<доменное имя>.<доменная зона>/$1 [R=301,L]


[c WWW]

RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.<доменное имя>\.<доменная зона>$ [NC] RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteRule ^(.*)$ http://<доменное имя>.<доменная зона>/$1 [R=301,L]

Проверка редиректов страниц со слешем на конце и без него

Вариант 1.

Редиректы со страниц [без|со] слеш[а|ем] на конце настроены корректно. При обращении к URL-адресам [без|со] слеш[а|ем] на конце (например, [Пример Url-адреса]), сервер отдает перенаправление с ответом 301 Moved Permanently на соответствующие URL-адреса [со|без] слеш[ем|а] на конце (например, [Пример Url-адреса]).

Вариант 2.

На данный момент страницы сайта доступны как со слешем на конце URL-адреса (например, [Пример Url-адреса]), так и без него (например, [Пример Url-адреса]).

Для того, чтобы в индексе поисковых систем остался только один вид страниц, необходимо настроить переадресацию с ответом 301 Moved Permanently со страниц [без|со] слеш[а|ем] на конце на соответствующие страницы [со|без] слеш[ем|а] на конце.

Вариант 3.

На данный момент, при обращении к страницам [без|со] слеш[а|ем] (например, [Пример Url-адреса]), сервер отдает ответ 302 Moved Temporarily на соответствующие страницы [со|без] слеш[ем|а] на конце (например, [Пример Url-адреса]). Использование временного перенаправления не корректно, т.к. приводит к тому, что роботы продолжают индексировать данную страницу, при этом статический вес не передается на нужный URL-адрес.

Для того, чтобы корректно настроить редирект, необходимо вместо переадресации с ответом 302 Moved Temporarily  использовать переадресацию с ответом 301 Moved Permanently со страниц [без|со] слеш[а|ем] на конце (например, [Пример Url-адреса]) на соответствующие страницы [со|без] слеш[ем|а] на конце.

Вариант 4.

На данный момент, при обращении к страницам [без|со] слеш[а|ем] (например, [Пример Url-адреса]), сервер отдает ответ [HTTP/1.1 404 Not Found | 502 Bad Gateway | 503 Service Unavailable | и т.д.]. Для того, чтобы пользователи, которые попали на страницу [без|со] слеш[а|ем], не покинули сайт, увидев информацию о том, что страница не доступна, необходимо настроить переадресацию с ответом 301 Moved Permanently со страниц [без|со] слеш[а|ем] на соответствующие страницы [со|без] слеш[ем|а] на конце.

Вариант 5.

На данный момент, при обращении к страницам [без|со] слеш[а|ем] (например, [Пример Url-адреса]), сервер отдает перенаправление с ответом 301 Moved Permanently на главную страницу сайта. Для того, чтобы пользователи, которые попали на внутреннюю страницу [без|со] слеш[а|ем], не покинули сайт, после перенаправления на главную страницу, необходимо настроить постраничную переадресацию с ответом 301 Moved Permanently со страниц [без|со] слеш[а|ем] на соответствующие страницы [со|без] слеш[ем|а] на конце.

Проверка редиректов страниц с [index.php|index.html|index.htm] на конце и без него

Вариант 1.

Редиректы со страниц [index.php|index.html|index.htm] на конце настроены корректно. При обращении к URL-адресам с [index.php|index.html|index.htm] на конце (например, [Пример Url-адреса]), сервер отдает редирект с ответом 301 Moved Permanently на соответствующие URL-адреса с [.php|.html|.htm|без слеша|со слешем] на конце (например, [Пример Url-адреса]).

Вариант 2.

На данный момент страницы сайта доступны как с [index.php|index.html|index.htm] на конце URL-адреса (например, [Пример Url-адреса]), так и с [.php|.html|.htm|без слеша|со слешем] (например, [Пример Url-адреса]).

Для того, чтобы в индексе поисковых систем остался только один вид страниц, необходимо настроить переадресацию с ответом 301 Moved Permanently со страниц [index.php|index.html|index.htm] на конце на соответствующие страницы [.php|.html|.htm|без слеша|со слешем] на конце.

Вариант 3.

На данный момент, при обращении с страницам с [index.php|index.html|index.htm] на конце URL-адреса (например, [Пример Url-адреса]), сервер отдает ответ 302 Moved Temporarily на соответствующие страницы [.php|.html|.htm|без слеша|со слешем] на конце (например, [Пример Url-адреса]). Использование временного перенаправления не корректно, т.к. приводит к тому, что роботы продолжают индексировать данную страницу, при этом статический вес не передается на нужный URL-адрес.

Для того, чтобы корректно настроить редирект, необходимо вместо переадресации с ответом 302 Moved Temporarily  использовать переадресацию с ответом 301 Moved Permanently со страниц [index.php|index.html|index.htm] на конце (например, [Пример Url-адреса]) на соответствующие страницы с [.php|.html|.htm|без слеша|со слешем] на конце.

Вариант 4.

На данный момент, при обращении с страницам с [index.php|index.html|index.htm] на конце URL-адреса (например, [Пример Url-адреса]), сервер отдает перенаправление с ответом 301 Moved Permanently на главную страницу сайта. Для того, чтобы пользователи, которые попали на внутреннюю страницу [index.php|index.html|index.htm], не покинули сайт, после перенаправления на главную страницу, необходимо настроить постраничную переадресацию с ответом 301 Moved Permanently со страниц [index.php|index.html|index.htm] на соответствующие страницы [.php|.html|.htm|без слеша|со слешем] на конце.

Проверка дубликатов

Дубликаты на страницах пагинации

Вариант 1.

Редиректы со страниц №1 настроены корректно. При обращении к URL-адресам с параметром пагинации №1 (например, [Пример Url-адреса]), сервер отдает перенаправление с ответом 301 Moved Permanently на соответствующий URL-адрес основной страницы листинга (например, [Пример Url-адреса]).

Вариант 2.

На данный момент основные страницы листинга доступны по двум URL-адресам, например:

  • http://<домен>/<основная страница листинга1>/ — Основная страница
  • http://<домен>/<основная страница листинга1>/<страница№1> — Первая страница листинга

Для того, чтобы в индексе поисковых систем остался только один вид страниц, необходимо настроить переадресацию с ответом 301 Moved Permanently со страниц с параметром пагинации №1 (например, [Пример Url-адреса]) на соответствующие страницы без параметра пагинации №1 (например, [Пример Url-адреса]).

Дубликаты страниц товаров, размещенных в нескольких категориях

В ходе проверки обнаружено, что один и тот же товар может быть доступен по разным URL-адресам, если размещен сразу в нескольких категориях/подкатегориях, например:

  • http://<домен>/<категория1>/<товар1>.html и http://<домен>/<категория1>/<подкатегория1>/<товар1>.html
  • http://<домен>/<категория1>/<товар2>.html и http://<домен>/<категория1>/<подкатегория1>/<товар2>.html
  • и т.д.

Привести ссылки на товары к единому виду

Необходимо перенастроить систему формирования URLs таким образом, чтобы исключить из URL адреса товара указание категории. Например, http://<домен>/<товар1>.html вместо http://<домен>/<категория1>/<подкатегория1>/<товар1>.html.

Скорректировать ссылки на товары со страниц сайта

После перенастройки системы необходимо проверить, чтобы все категории, подкатегории и категории по брендам ссылались на товары, используя новые URLs.

Настроить переадресацию с ответом сервера 301 Moved Permanently

Необходимо для всех товаров настроить переадресацию с ответом сервера 301 Moved Permanently со старых адресов (http://<домен>/<категория1>/<товар1>.html, http://<домен>/<категория1>/<подкатегория1>/<товар1>.html) на новые (http://<домен>/<товар1>.html).

Проверка наличия символьных ссылок

Вариант 1.

В ходе проверки, проблем с наличием символьных ссылок выявлено не было.

Вариант 2.

На сайте http://<домен>/ обнаружена возможность при перемещениях по внутренним ссылкам получить бесконечно растущий URL за счет многократного употребления параметра <параметр> в URL-адресе, например:

  • http://<домен>/<категория>/<параметр> <параметр><параметр><параметр><параметр><параметр><параметр>

Необходимо настроить сервер таким образом, чтобы, при обращении к URL-адресам, содержащим один и тот же параметр более 1-го раза подряд, он отдавал перенаправление с ответом 301 Moved Permanently на соответствующий URL-адрес с одним параметром.

Например, при обращении к URL-адресу  http://<домен>/<категория>/<параметр> <параметр><параметр><параметр><параметр><параметр><параметр> сервер должен отдавать перенаправление с ответом 301 Moved Permanently на http://<домен>/<категория>/<параметр> соответственно.

Рекомендации для несуществующих страниц сайта

Настроить обработку обращений по несуществующим адресам

При обращении по несуществующим адресам вида:

  •  http://<домен>/N.html,
  •  http://<домен>/N/<страница>.html,

где N – любой несуществующий численный или строковый параметр, сервер отдает ответ [200 OK | 502 Bad Gateway | 503 Service Unavailable | и т.д.], например:

  • http://<домен>/skgh.html,
  • http://<домен>/rsgt/<страница>.html,
  • http://<домен>/123.html,
  • http://<домен>/6587/<страница>.html.

При обращении по заведомо несуществующим адресам вида:

  • http://<домен>/N,
  • http://<домен>/N/M,

где M – существующая директория сайта, а N – любой несуществующий численный или строковый параметр, сервер отдает ответ [200 OK | 502 Bad Gateway | 503 Service Unavailable | и т.д.], например:

  • http://<домен>/qwerty,
  • http://<домен>/<директория>/sdghg.

Ответ сервера [200 OK | 502 Bad Gateway | 503 Service Unavailable | и т.д.]недопустим для обработки несуществующих страниц. Необходимо, чтобы при обращении по подобным несуществующим адресам сервер возвращал ответ 404 Not Found.

Например, при обращении по URL адресу http://<домен>/skgh.html сервер должен отдавать 404 Not Found и отображать специальную страницу, поясняющую, что запрашиваемый пользователем документ не найден, которая, например, отображается при обращении к странице http://<домен>/152361.html.

Исправить некорректные настройки поддоменов

По URL-адресам вида http://N.<основной_хост>/ , где N – любой несуществующий численный или строковый параметр, доступны полные дубликаты продвигаемого сайта.

Например:

  • http://udfsjdfh.<основной_хост>/
  • http://ew8e.<основной_хост>/ и т.д.

Необходимо настроить сервер таким образом, чтобы ответ 200 ОК возвращали только существующие поддомены, при обращении к несуществующим поддоменам сервер должен отдавать ответ HTTP/1.1 404 Not Found.

[Создать|Скорректировать] шаблон страницы обработки 404 Not Found

Страница, отображающаяся при ответе сервера 404 Not Found, выглядит так [вставить соответствующий скриншот]:

Шаблон страницы обработки 404 Not Found

Это мешает пользователю продолжать работу с сайтом после обращения по некорректному URL адресу. Необходимо, чтобы при запросе несуществующей страницы открывалась специальная страница, поясняющая, что запрашиваемый пользователем документ не найден, соответствующая рекомендациям:

  • страница должна пояснять, что запрашиваемый документ не найден;
  •  возвращать ответ сервера HTTP/1.1 404 Not Found;
  •  содержать корректные ссылки на внутренние разделы сайта (например, [ссылки на приоритетные товары, туры и т.д.]),
  • содержать форму поиска по сайту.

При обращении к несуществующей странице http://<домен>/qwerty сервер должен отдавать ответ HTTP/1.1 404 Not Found и отображать специальную страницу, поясняющую, что запрашиваемый документ не найден, которая отображается, например, при обращении к несуществующей странице сайта http://market.yandex.ru/qwerty [пример авторитетного ресурса соответствующей тематики или конкурента]:

Отображение страницы обработки 404 Not Found

Настроить отображение страницы обработки 404 Not Found

Вариант 1.

Настроить отображение созданной страницы обработки 404 Not Found для сервера Apache можно при помощи директивы ErrorDocument, которую необходимо прописать в файле .htaccess:

ErrorDocument 404 /404.html

Вариант 2.

При обращении по несуществующим адресам вида:

  •  http://<домен>/N.html,
  •  http://<домен>/N/<страница>.html,

где N – любой несуществующий численный или строковый параметр, сервер отдает перенаправление с ответом [302 Moved Temporarily | 301 Moved Permanently] на страницу 404 ответа сервера, например:

  • http://<домен>/skgh.html,
  • http://<домен>/rsgt/<страница>.html,
  • http://<домен>/123.html,
  • http://<домен>/6587/<страница>.html.

При обращении по заведомо несуществующим адресам вида:

  • http://<домен>/M,
  • http://<домен>/N/M,

где M – существующая директория сайта, а N – любой несуществующий численный или строковый параметр, сервер отдает перенаправление с ответом [302 Moved Temporarily | 301 Moved Permanently] на страницу 404 ответа сервера, например:

  • http://<домен>/qwerty,
  • http://<домен>/<директория>/sdghg.

Использование редиректа на страницу с 404 ответом сервера не корректно и может привести к проблемам с индексацией целевых страниц сайта, а так же, создавать дополнительные нагрузки на сервер. Необходимо, чтобы при обращении по подобным несуществующим адресам сервер сразу, без использования дополнительных перенаправлений, возвращал ответ 404 Not Found.

Например, при обращении по URL адресу http://<домен>/skgh.html сервер должен отдавать 404 Not Found и отображать специальную страницу, поясняющую, что запрашиваемый пользователем документ не найден, которая, например, отображается при обращении к странице http://<домен>/152361.html.

Настроить отображение специальной страницы обработки 404 Not Found для сервера Apache можно при помощи директивы ErrorDocument, которую необходимо прописать в файле .htaccess:

ErrorDocument 404 /404.html

Рекомендации по [созданию|корректировке] файла Sitemap

Для ускорения индексации страниц сайта поисковыми системами, необходимо [создать|скорректировать] файл карты сайта (Sitemap).

Общие рекомендации по созданию файла Sitemap

Файл Sitemap необходимо составлять в виде XML файла, который должен соответствовать стандарту разметки XML тегов (http://www.sitemaps.org/ru/protocol.php), а так же ряду требований:

  • Данный файл должен содержать ссылки на главную страницу, [страницы категорий, подкатегорий, страницы вида подкатегория+бренд, а так же на страницы товаров].
  • Файл не должен содержать URL-адреса, ответ сервера которых отличен от HTTP/1.1 200 OK
  • Файл не должен содержать URL-адреса, закрытые от индексации в файле robots.txt
  • URL адреса страниц необходимо указывать полностью, включая префикс «http://» и префикс «www», если он выбран в качестве основного хоста.
  • В файле необходимо использовать кодировку UTF-8.
  • Каждый файл может содержать не более 50 000 URL, и его размер не должен превышать 10 МБ (10 485 760 байт). Если сайт включает более 50 000 URL, его можно разделить список на несколько файлов и передать каждый файл отдельно.
  • Файл должен автоматически обновляться не реже чем 2 раза в месяц.
  • Ссылка на файл Sitemap не должна быть закрыта от индексации поисковыми системами в файле robots.txt

Более подробную информацию по составлению файла карты сайта можно узнать на сайте http://www.sitemaps.org/ru/protocol.php.

Внести правки в файл Sitemap

Вариант 1.

В карте сайта обнаружены страницы, отдающие ответ сервера, отличный от 200 OK, а также страницы дубли. Подобные страницы необходимо удалить из карты сайта, так как они перегружают её и препятствуют индексации полезных страниц. Полный список страниц, которые необходимо удалить из карты сайта, представлен в прилагаемом файле «[название файла]».

Вариант 2.

В карте сайта отсутствуют некоторые типы страниц. Необходимо обновить правила генерации файла Sitemap, в соответствии с таблицей, представленной в следующем пункте.

Рекомендуемое содержимое файла Sitemap

Ниже, в таблице, приведены типы страниц сайта, которые обязательно должны присутствовать в файле Sitemap.

Типы страниц Пример URL-адреса
Главная страница http://<домен>/
Страницы [тип страницы 1] <URL-адрес страницы типа 1>
<URL-адрес страницы типа 1>
<URL-адрес страницы типа 1>
и т.д.
Страницы [тип страницы 2] <URL-адрес страницы типа 2>
<URL-адрес страницы типа 2>
<URL-адрес страницы типа 2>
и т.д.
Страницы [тип страницы 3] т.д. по типам <URL-адрес страницы типа 3>
<URL-адрес страницы типа 3>
<URL-адрес страницы типа 3>
и т.д.

Добавить ссылку на файл Sitemap в robots.txt

После создания файла Sitemap, в файл robots.txt, после директивы «Host» необходимо добавить ссылку на файл Sitemap следующего формата:

Sitemap: <URL-адрес файла Sitemap>

Пример ссылки на файл Sitemap:

Sitemap: http://<основной хост>/sitemap.xml

Проверка работоспособности ссылок на сайте

Удалить битые ссылки

На сайте http://<домен>/ обнаружены «битые» ссылки (ссылки, установленные на несуществующие или удалённые страницы.

Необходимо удалить подобные ссылки со страниц сайта или изменить их URL адрес на корректный:

Страницы с некорректными ссылками Адрес ссылки
http://<домен>/
http://<домен>/
http://<домен>/
http://<домен>/

Полный список некорректных ссылок приложен к аудиту.

Скорректировать ссылки с ответом сервера 302 Found

На страницах сайта обнаружены ссылки, возвращающие ответ сервера 302 Found.

Страницы с некорректными ссылками Адрес ссылки, возвращающий ответ 302 Found Адрес конечного перенаправления
http://<домен>/
http://<домен>/
http://<домен>/
http://<домен>/

Ответ 302 Found означает, что адрес документа временно изменился, при этом пользователь перенаправляется на новый адрес. Сервером выполняется лишняя операция при каждом обращении по таким ссылкам, а поисковые системы продолжают проверять наличие страницы по старому адресу.

Необходимо:

  • ответ сервера 302 Found изменить на 301 Moved Permanently,
  • URL адреса ссылок заменить на адрес конечного перенаправления.

Полный список некорректных ссылок приложен к аудиту.

Скорректировать ссылки с ответом сервера 301 Moved Permanently

На сайте обнаружены ссылки, возвращающие ответ сервера 301 Moved Permanently.

Страницы с некорректными ссылками Адрес ссылки, возвращающий ответ 301 Moved Permanently Адрес конечного перенаправления
http://<домен>/
http://<домен>/
http://<домен>/
http://<домен>/

Ответ 301 Moved Permanently означает, что страница навсегда изменила свой адрес, поэтому необходимо изменить адрес назначения на корректный (тот, куда выполняется перенаправление).

Полный список некорректных ссылок приложен к аудиту.

Скорректировать URL-адреса, ссылающиеся на неосновной хост

Во внутренних ссылках сайта необходимо использовать только основной хост [с|без] WWW). Ниже приведен список страниц, на которых обнаружены ссылки на неосновной хост:

Ссылающиеся страницы Некорректные URLs Корректные URLs
http://www.<домен>/ http://<домен>/ http://www.<домен>/
http://www.<домен>/ http://<домен>/ http://www.<домен>/
http://www.<домен>/ http://<домен>/ http://www.<домен>/
http://www.<домен>/ http://<домен>/ http://www.<домен>/

Перечисленные ссылки необходимо скорректировать (http://<домен>/ заменить на http://www.<домен>/ и т.д.).

Скорректировать URL-адреса, ссылающиеся на первые страницы пагинации

На страницах пагинации необходимо изменить URL ссылки на страницу №1, убрав из нее параметр пагинации №1.

Например, для страницы http://<домен>/<категория1>/<страница2>:

<a href=”http://<домен>/<категория1>/”>1</a>

Скорректировать URL-адреса символьных ссылок

На сайте http://<домен>/ обнаружена возможность при перемещениях по внутренним ссылкам сайта получить бесконечно растущий URL за счет многократного употребления параметра <параметр> в URL-адресе.

Пример URL с ошибкой: http://<домен>/<категория>/<параметр> <параметр><параметр><параметр><параметр><параметр><параметр>

Необходимо скорректировать настройки символьных ссылок, либо отказаться от их использования.

Проверка на наличие аффилированных сайтов и зеркал

Вариант 1.

У сайта http://<домен>/ зеркал и аффилиатов не обнаружено.

Настроить переадресацию с ответом 301 для зеркала сайта

В ходе проверки было обнаружено полное зеркало продвигаемого сайта по адресу http://<зеркало>/.

Необходимо настроить переадресацию с ответом 301 Moved Permanently со всех страниц сайта http://<зеркало>/ на соответствующие страницы сайта http://<домен>/.

Если данную настройку выполнить не удается, необходимо разместить в корневой директории сайта http://<зеркало>/ файл robots.txt следующего содержания:

User-agent: * Disallow: / Host: <основной хост главного зеркала>

Закрыть от индексации аффилиаты сайта

В ходе проверки были обнаружены потенциальные аффилиаты продвигаемого сайта по следующим адресам: http://<аффилиат>/.

Перечисленные сайты могут быть признаны поисковыми системами аффиллиатами сайта http://<домен>/ и создать серьёзные препятствия для его продвижения по факту наличия следующих признаков:

  1. Совпадают контактные данные.
    Например, ….
  2. Находятся на одном IP адресе с продвигаемым — ….
  3. Зарегистрированы на одно и то же лицо. По данным Whois — .
  4. Предлагают одинаковые товары/услуги по тем же ценам.
    Например, ….
  5. Имеют схожую структуру и содержание страниц.
    Например, ….

Для того, чтобы избежать аффилирования сайтов http://<домен>/ и http://<аффилиат>/, и, как следствие, проблем с продвижением http://<домен>/, необходимо потенциальный аффилиат http://<аффилиат>/ закрыть от индексации поисковыми системами, разместив в корневом каталоге файл robots.txt следующего содержания:

User-agent: * Disallow: / Host: <основной хост>

Разместить теги <noindex></noindex>

Для запрета индексации служебных блоков сайта, а также для увеличения привлекательности сниппетов страниц в поисковой выдаче Яндекса, необходимо использовать тег <noindex>, согласно шаблону:

<!—noindex—> <служебный блок> <!—/noindex—>

Заключить блок «» в тег noindex

Html код:

<!—noindex—> ….. <!—/noindex—>

Добавить атрибут rel=«nofollow»

Для создания четкой ссылочной структуры у сайта и запрета учета ссылок на страницы, не участвующие в поиске, рекомендуем присвоить атрибут rel=”nofollow” всем ссылкам, ведущим на страницы, запрещенные к индексации файлом robots.txt.

Шаблон добавления атрибута rel=”nofollow”:

<a href=»<url>» rel=»nofollow»>текст ссылки</a>

Пример добавления атрибута rel=”nofollow” для ссылки на страницу поиска http://<домен>/search / со страницы http://<домен>/

<a href=»http://<домен>/search /» rel=»nofollow»>http://<домен>/</a>

Страницы, на которых присутствуют ссылки на страницы, запрещенные к индексации:

Тип страниц Примеры URLs Ссылки на страницы, закрытые от индексации
Главная http://<домен>/ http://<домен>/search /
Страницы категорий http://<домен>/<категория1>/ http://<домен>/<категория2>/ http://<домен>/<категория3>/ http://<домен>/<категория4>/ http://<домен>/<категория5>/ и т.д. http://<домен>/search /
Страницы подкатегорий http://<домен>/<категория1>/<подкатегория1>/ http://<домен>/<категория1>/<подкатегория2>/ http://<домен>/<категория1>/<подкатегория3>/ http://<домен>/<категория1>/<подкатегория4>/ http://<домен>/<категория1>/<подкатегория5>/ http://<домен>/<категория1>/<подкатегория6>/ и т.д. http://<домен>/search /

Оптимизация кода страниц

Код страниц сайта должен быть валидным, кроссбраузерным, семантичным.

Наличие большого количества презентационных элементов разметки, ошибок верстки  усложняет структуру документа и индексирование страниц сайта поисковыми роботами. Кроме того, подобные ошибки могут существенно замедлять загрузку сайта, приводить к некорректному отображению страниц в браузере пользователя.

Вынести стили во внешний файл CSS

Для ускорения загрузки страниц сайта рекомендуем визуальное оформление и форматирование элементов страниц определять во внешних подключаемых css файлах.

Пример подключения внешнего файла  css:

<link href=»<название файла>.css» rel=»stylesheet» type=»text/css» />


Пример кода определения визуального оформления элемента на странице  http://<домен>/:

<div class=»bottom_line» style=»position: relative; top: -1px; width: 638px; height: 1px; margin-left: 10px; border-top: 1px solid; border-color: #e6e6e6; font-size: 0px; line-height: 1px;»></div>


Подобные участки кода желательно вынести во внешний файл css.

Элементу div уже присвоен class=” bottom_line ”, описанный во внешнем файле css. Достаточным решением может быть переопределение класса bottom_line.

Рекомендуем для всех элементов, которые встречаются чаще, чем на одной странице сайта, вынести подобное оформление во внешний файл.

Вынести JavaScript код во внешний файл JS

Для ускорения загрузки страниц сайта, рекомендуем JavaScript элементы, встречающиеся в коде страниц, выносить в отдельно подключаемые js файлы.

Шаблон для подключения отдельных js файлов:

<script src=»<название файла>.js» type=»text/javascript»></script>


Пример JavaScript кода со страницы http://<домен>/:

<script type=»text/javascript»> <часть кода пропущена> </script>

Оптимизировать скорость загрузки страниц

//Проверка скорости загрузки страниц через GoogleWebmaster. Если скорость загрузки медленная, дать рекомендации по улучшению.

Проверка наличия санкций

Самые распространенные:

//Поведенческие

//Текстовые

//Минусинск

// Google Panda

// Google Penguin

Описать информацию о наличии/отсутствии санкций. Если санкции есть, то приступить к снятию санкций.

Ссылка на основную публикацию
Заказать звонок
+
Жду звонка!
Adblock detector