Фильтр АГС Яндекса. Как вывести сайт из-под АГС.

Странная, непонятная, пугающая аббревиатура АГС, встречающаяся в сеошных блогах и форумах с индексами 17 и 30, — всего лишь одна из компонент поискового алгоритма Яндекса, активизированная и успешно применяемая в последнее время.

Это самостоятельный, самонастраивающийся, самообучающийся, играющий по своим правилам процесс, который многие оптимизаторы сравнивают с вирусом, говоря, что их сайты «заражены АГС».

Что происходит?

В один не самый прекрасный момент вы обнаруживаете, что в индексе поисковой системы Яндекс от Вашего ресурса осталось 1-15 страниц (а было от сотни до нескольких тысяч!). Как результат, позиции уверенно пошли вниз и скрылись где то в пучинах третьей сотни выдачи. На крики о помощи поддержка Яндекса дает стандартный ответ – «не переживайте, ведь ресурс есть в поиске, а то, что есть не все страницы – дело времени. Улучшайте его, и робот добавит страницы в индекс».

На бан не похоже —  сайт вылетел не полностью, да и письмо платонов не особо суровое. Поздравляем, Вы попали под АГС.
Как работает?

АГС обращает внимание на качество контента, определяющим фактором здесь является уникальность текста. Плохой контент — уже является весомым поводом для того, чтобы АГС выбросил «некачественные» страницы из индекса. Если АГС нашёл в контенте недостатки, он начинает отрабатывать интернет-площадку и по другим критериям. Например, факт присутствия на продажных ссылок АГС воспринимает спокойно, но уделяет большое внимание тому, как влияют продажные SEO-ссылки на выдачу поисковика. АГС выкинет ваши ссылки, если они безобразно искривляют выдачу с точки зрения Яндекса. Как уже говорилось выше, АГС ищет не присутствие или количество «плохих» ссылок, а исключительно их влияние. И это сбой в работе АГС. Потому что именно из-за этого, если Вы получили «чёрную метку» только из-за плохого влияния на выдачу, то любые ваши действия, даже если вы снимите эти ссылки, окажутся бесполезными. И вы будете вынуждены просто пассивно ждать, когда АГС «сменит гнев на милость», и опала сама пройдёт, к сожалению, это может занять многие месяцы. Правда потом Ваш сайт точно возвратится в индекс, но через некоторое время его опять заблокирует АГС — по какому-нибудь иной причине — заразив один раз, он  уже не забудет про него, и будет придираться снова и снова.

Как обезопаситься?

На сайте Яндекса специально для вебмастеров перечислены практически все меры по профилактике от заражения АГС. Выведем несколько основных правил.

•    Используйте уникальный контент (заказывайте на биржах, пишите сами, переписывайте до неузнаваемости тематические статьи с других ресурсов – главное, чтобы читалось нормально);

•    Использовать сложную древовидную структуру ресурса (если у вас сателлит с большим числом категорий и страниц – его даже некоторые люди могут принять за СДЛ);

•    Ни в коем случае не делайте линки с главной на все страницы (лучше – на категории, из которых уже ссылки расползаются дальше);

•    Объем статьи – от 600-1000 знаков;

•    Не использовать пагинацию (то есть «неговорящие» урлы с циферками) страниц;

•    Поменьше виртуальных страниц – если у страницы концовка .html (.htm), робот будет думать, что она и есть HTML, а не виртуальная, а то, что у вас может стоять плагин типа ModRewrite`a, конвертирующего стандартные движковские адреса в удобочитаемые, это уже роботу глубоко параллельно.

•    Используйте с умом robots.txt;

•    Делайте внутреннюю перелинковку страниц (контекстные ссылки с одной страницы на другую, анонсы постов (если блог), ссылки на старые посты и «интересное» – что может заинтересовать читателя конкретной страницы);

Прежде всего, успокоиться. Нет ни одной проблемы, для которой изворотливый ум оптимизатора не нашел бы решения.

• Итак, первый способ лечения называется «мягким», и хотя он займёт много времени, зато он абсолютно безопасный и не причинит никакого вреда ресурсу. Его смысл состоит в том, чтобы дождавшись возвращения в индекс, сразу вывесить большое количество нового уникального добротного контента, который бы составлять не меньше 10% объёма всех статей, а ещё лучше, если его будет больше. После такого лечения АГС обычно оставляет в покое, и больше к нему не возвращается. Но необходимо отметить, что этот мягкий способ срабатывает только если его применить именно в момент возвращения в индекс, и не теряет свою силу лишь в течение очень ограниченного времени. Проводить такое лечение необходимо именно тогда, когда сайт начинает возвращаться. Если сделать это позже — эффект снизится в разы, раньше тем более бесполезно. Ведь мы уже говорили, что робот-индексатор и АГС взаимонезависимы и работают совершенно несогласованно. Поэтому, если вы решите провести это лечение раньше возвращение в индекс, вы получите нулевой результат, так как даже если индексатор регулярно будет находить новые страницы, фильтр наложенный АГС все равно будет функционировать всё время, пока не закончится срок карантина.

• Второй способ лечения считается «радикальным», так как помогает вылечить Ваш сайт в наикратчайшие сроки, но при этом, будьте готовы понести кое-какие потери. Этот способ лечения состоит в том, чтобы за один раз изменить адреса всех страниц. Так Вы находитесь вне индекса, эта радикальная мера никоим образом не навредит ему в глазах Яндекса. После этого Вы гарантированно вернётесь в индекс через несколько обновлений поисковой базы, это примерно месяц. Как изменить адреса всех страниц — узнайте у своего программиста. Но перед этими манипуляциями просто необходимо ликвидировать все, что довело его до заражения АГС. Ну а когда начнётся реабилитация в индексе — необходимо пролечить его по вышеописанному мягкому способу. К несчастью, этим радикальным способом можно пользоваться только тогда, когда вам необходима индексация именно в Яндексе, так как другие серверы и поисковые системы, такие как, например, Google и Yahho! могут просто не понять, почему сменился адрес. Кроме того, раньше внешние ссылки вели на страницы сайта, теперь же эти же ссылки будут приводить посетителей в никуда.

• Ещё один метод лечения заражённого является еще более радикальным и применяется в тех случаях, когда вы не в состоянии изменить адреса ваших страниц или вам необходима индексация во всех поисковых системах. Его смысл состоит в том, чтобы сымитировать техническую ошибку интернет-площадки, это в свою очередь приведёт к тому, что ваш веб-сервер вместе со страницей будет передавать браузеру код какой-нибудь неисправности, например, 404 Not Found, а не стандартный код ответа (200 OK!). В соответствии со своей спецификой браузеры начнут показывать эти страницы гостям сайта с большей осторожностью, но те даже не будут догадываться о том, что код ответа сервера — ошибочный. Зато поисковые машины, приняв такой код ответа, вашу страницу загружать перестанут и отметят ошибку. В конце концов, через некоторое время число загруженых страниц будет равняться нулю (вы это сможете наблюдать в панели вебмастера), и АГС постепенно отстанет. После этого вы сможете смело вновь вернуть на место код 200 OK! Таким образом, все проиндексируется с нуля по-новой.  Этот метод опасен тем, что сайт выпадет из индекса Google и Yahho!, пусть даже и на короткое время.  Во-вторых, Яндекс имеет еще одного робота, который по критерию недоступности «закрывает» ресурсы. Конечно, это достаточно неторопливый робот, и, для того, чтобы стать запрещённым по этому критерию, ресурс должен довольно долго оставаться недоступным. Но, тем не менее, опасность попасть под полный запрет существует.

Но, надо понимать! Если все или большинство начнёт использовать это метод лечения своих сайтов, все поисковые машины, скорее всего, научатся определять этот обман (а это обман) и подкорректируют свои алгоритмы. Исходя из вышесказанного, мы советуем применять этот способ только в крайних случаях.