Что такое АГС от Яндекса?
АГС — это не просто фильтр, это кошмар всех вебмастеров. Ведь он в один миг может оставить владельца сайта с 1 страницей в индексе. А это, как вы понимаете, конец всему. Да, остается google, но, как показывает, например, мой опыт, то траффик из гугла и яндекса идет примерно равномерно, то есть 50 на 50, следовательно попав под АГС можно лишиться половины своей потенциальной аудитории! На самом деле это ощутимо, хотя подавляющее большинство дорвеев хорошо живут только на трафике с Google и их создатели зарабатывают на них очень много. Но, это не наше дело, ведь мы создаем белые проекты, а следовательно в бан не собираемся. Так давайте разберемся более подробно в этом вопросе:
- — Что вообще за АГС такой, откуда он взялся?
- — Зачем и кому нужен этот фильтр?
- — Как обезопасить себя от АГС и спать спокойно?
- — А вдруг я под фильтром, как проверить?
- — Что делать, если этот зверь вас все таки накрыл?
Хотя бы эти основы должен знать каждый, у кого есть свой сайт или кто планирует его завести.
Что вообще за АГС такой, откуда он взялся?
Итак, 18 декабря 2009 года представители Яндекса официально объявили о существовании АГС 17 и вводе нового фильтра АГС 30. Они представляют из себя наборы правил, при несоответствии которым, сайт исключается из поисковой выдачи. Короче говоря, разработчики Яндекса написали робота, который автоматически обрабатывал сотни параметров каждого сайта на своем пути и самостоятельно принимал решение о его полезности для пользователей. О как! Робот принимает решение о том, что полезно человеку. Но, зная, в какой стране мы живем и помня, через какое место здесь делаются дела, любой может усомниться в правильности работы такой самописной системы. И он будет прав. Робот частенько промахивается и банит не те сайты, а работникам Яндекса (платонам) поступают сотни писем и жалоб ежедневно.
Зачем и кому нужен этот фильтр?
Хороший вопрос! Действительно, зачем нужен этот кривой робот, если пользы от него простым пользователям практически никакой? В поисковой выдаче по прежнему остается множество говносайтов, причем по некоторым запросам они умудряются вылезать в топы. Многие считают, что АГС нужен исключительно самому Яндексу. Так как он отчаянно пытается выкатиться на мировой рынок, то ему нужны большие вычислительные мощности (это же вам не гугл с миллионами серверов). Видимо тратить деньги на нормальные способы наращивания мощностей они не захотели и поэтому дали поручение своим обезьянкам-кодерам создать что-нибудь эдакое, все такое классное и чтобы странички из выдачи удаляло. Ведь каждая страница в индексе занимает место на жестких дисках и требует времени на обработку. А так, нет страницы — нет проблемы. А то, что из выдачи вперемешку с говносайтами вылетают страницы хороших сайтов для людей, их не особо волнует. На письма с просьбой пересмотреть решение об исключении страниц из индекса, всегда приходят стандартные отписки вроде такого: «Когда ваш сайт будет удовлетворять требованиям, он сам вернется в индекс».
Как обезопасить себя от АГС и спать спокойно?
Здесь стопроцентной гарантии никто дать не сможет. Существуют лишь некоторые практические рекомендации, следуя которым, можно быть немного более спокойным за свои проекты. Вот и они:
- — убрать весь дублированный контент;
- — проверить весь контент на уникальность;
- — следить за количеством исходящих ссылок со страницы;
- — не держать генерированный контент;
- — писать тексты более 1500 знаков.
Эти рекомендации больше подходят владельцам говносайтов, так как на СДЛ проектах вы не встретите генерированного или не уникального контента. Но в то же время, если СДЛ уже старый и на нем накопилась не одна сотня статей, то может местами встречаться дублированный конент, а старые посты скорее всего потеряют актуальность и уникальность.
Также, опытным путем британские ученые вебмастера вывели критерии попадания под АГС:
- — уникальность текста ниже 60%, при этом отсутствуют ссылки на источник;
- — общее количество исходящих ссылок на 20% больше количества проиндексированных страниц;
- — большинство исходящих ссылок являются нетематическими;
- — текста на странице меньше, чем окружающей его навигации и другой общей информации;
- — у сайта нет определенной тематической направленности.
За точность цифр я не ручаюсь, все таки они были получены опытным путем, а так же алгоритмы постоянно меняются. Но одно можно сказать наверняка, делайте сайт для людей и спите спокойно. Если даже каким-то боком фильтр вас накроет, то затем он все равно будет снят, ведь хорошие сайты должны быть в выдаче, иначе таким поисковиком пользоваться никто не будет.
А вдруг я под фильтром, как проверить?
Начитавшись такого, у многих возникает желание тут же проверить, а не находится ли мой сайт в бане? Это достаточно легко сделать. Попробуйте добавить ссылку на любую страницу своего сайта в addurl. Если увидите сообщение о том, что сайт запрещен к индексации, то у меня для вас плохие новости :( Чтобы проверить, сколько страниц вашего сайта находится в индексе, достаточно посмотреть в панели Яндекс вебмастер вбить в строку поиска Яндекса следующее:
site:myblaze.ru
Естественно, вместо myblaze.ru нужно вставить адрес своего сайта. Кстати, буквально вчера у меня вылетела половина страниц. Не знаю с чем это может быть связано.
Что делать, если этот зверь вас все таки накрыл?
Существует множество мифов и легенд относительно вывода сайта из под АГС, но на самом деле это достаточно сложно. Будьте готовы к трудностям и к тому, что потребуется не один день, а то и месяц.
Первым делом нужно провести полный аудит и выявить причины попадания под фильтр Яндекса. Затем, естественно устранить эти причины. Улучшить навигацию, составить xml-карту сайта для робота и html-карту для людей, добавить уникального контента, удалить неуникальный и дублирующийся. Закрыть или еще лучше удалить нетематические исходящие ссылки. Так же советуют сменить дизайн, сделать его уникальным. Нарастить качественную ссылочную массу (купить ссылки с качественных сайтов схожей тематики, например, в GGL). Ну и, конечно, написать в службу поддержки Яндекса. Следует общаться уважительно, не дерзить, хотя и очень хочется, в такой-то ситуации ;) Если все делать не спеша и хорошо, то сайт обязательно вернется в выдачу.
На этом у меня все, надеюсь вам понравилась статья.
Комментарии:
Привет, Сергей! У меня вот так же, как сейчас у тебя, сначала половина страниц вылетела (было 160 примерно в индексе) и осталось сначала около 70. Потом каждый день по 10-15 страниц вылетало. И через 5 дней осталось только 5 страниц в индексе Яшки… В Гугле полно страниц… Что творится с Яшкой, не знаю. На днях попробую причины найти и написать Платонам, а потом обязательно тебе здесь отпишусь.
Хорошо, Алексей, надеюсь это просто они с алгоритмами мудрят и вскоре все наладится. Будем ждать новостей!
У меня все страницы из индекса яндекса выпали, что делать ума не приложу ппц яндекс чето мутит я в печали :(
Не расстраивайтесь сильно, напишите в поддержку Яндекса, надеюсь все решится как можно скорее, удачи!
Спасибо! Хорошие, актуальные разъяснения и советы. Проблема такая встречается часто. У меня тоже в один момент все вылетело, потом что-то вернулось. Тоже пробовала переписываться. Сложно.
Зоя, да, к сожалению такое с Яндексом периодически происходит. А переписка в подавляющем большинстве случаев сводится к получению шаблонных ответов, хотя бывают и исключения, очень редко :)
Тоже как-то довелось влететь под АГС, но все решилось достаточно быстро (всего одно письмо платонам и через полдня ответ «проверьте выдачу, все у Вас в порядке»).
Кстати, слышал (не знаю, насколько это правда), что иногда происходит такой вот «вылет» на пару-тройку часов, а затем все само собой возвращается. Так же как и после АП тИЦ бывает: сначала накинут или урежут тИЦ, а через пару дней значения меняются и такими остаются уже до следующего АПа.
Да, я и сам не раз такое наблюдал- при АПе выдачи она устаканивается не сразу, бывает страницы вылетят- потом снова залетят и все в течении нескольких часов. Но такое у меня происходило только во время АПов выдачи, в остальное же время все достаточно стабильно.
У меня как-то была ситуация, когда из всех страниц одного сайта осталась в поиске лишь одна — главная. Сначала не обратил внимания, спустя примерно месяц обратился в службу поддержки и получил совет «развивайте сайт». Плюнул на российскую поисковую систему и через несколько недель страницы сайта вновь начали индексироваться. Как я понял, главное в такой ситуации — обновлять сайт, а не забывать про него.
А про трафик с Google: как показывает опыт, примерно 85-90 процентов посетителей пользуются именно «яндексом». Чем объясняется такая привередливость, до сих пор не могу понять. Тем более, при ошибках, которые в последнее время заполонили сервисы «яндекса»… В шутку можно было бы сказать о том, что «яндекс» сам попал под какой-то собственный фильтр. Море ошибок, постоянно долго отвечает служба поддержки, ничего не исправляют, непонятные ситуации с ТИЦ, но вот что касается трафика с него — так он только растёт. Даже не знаю, радоваться ли тому, что сайты обретают большую популярность, но в то же время я не могу спокойно пользоваться сервисами поисковой системы, или же печалиться этим…
P.S. Ни подсказок, ни описаний, ни значков у полей, которые необходимо заполнить комментатору. Это у меня они не догружаются или такая специальная задумка? Не понятно, в какое поле и какие данные вписывать…
Филя, привет! Насчет того, что нужно не обращать внимания на кол-во страниц в индексе и просто развивать свой сайт дальше и не забывать про него- это верно, полностью согласен. Про посетителей тоже, их у меня примерно 80% с Яндекса сейчас идет (раньше было 50 на 50), хотя страниц в индексе стало вместо 95, всего 52. Причем именно после вылета половины страниц, траффик с Яндекса подскочил! Все как-то очень странно.
А по поводу полей формы комментирования, то в них есть подсказки. Я их сделал с помощью стандартного html параметра placeholder. Подсказки должны быть внутри полей, а при нажатии на поле- подсказка исчезает. Скажите пожалуйста, какой у Вас браузер? У меня просто в Хроме и Опере подсказки есть.
P.S. Зашел через IE8 и таки да, в полях ничего нет, видимо он не умеет их обрабатывать =( Хорошо, я постараюсь как можно скорее сделать еще какие-либо пометки, спасибо!
сделал сайт на 1000 страниц , выдержал полгода, засунул в Сасу и сайт попал под АГС, а жаль
уникальный контент маст хев
У меня браузер Iceweasel (версия Firefox для ОС Debian Linux), подсказок не было.
После того, как «перепутал» местами адрес блога и адрес электронной почты, был перенаправлен на страницу, на которой была просьба указать правильный адрес электронной почты. Только благодаря этому и заполнил форму правильно…
Обычно рядом с полями маленькие картинки устанавливают, если для текста места нет, поэтому и стало интересно, одному ли мне такая картина представилась, что ни текста, ни картинок нет. До очередной очистки Cookies данные сохраняются и ладно )
У меня ЖЖ попал под АГС из-за массового обмена ссылками, при том на одной странице было целое сборище, и за френдинг, получается каждая страница не уникальная, вот и АГС. Не страшно конечно, но выйти из под АГС крайне сложно, у меня лично опыта успешного выхода нет, но у кого получалось приходилось менять практически весь сайт.
Да, избавиться от АГС сложно. Получается только если сайт действительно что-то из себя представляет. Ну и письмо платонам обязательно :)
Уник в руки и АГС не страшен. Ну или на худой конец рерайт. Но 60% уникальности текста это конечно откровенное УГ.
А у меня вот и тексты с высокой уникальностью и статьи от 1700 до 4000 знаков и контент добавляется регулярно, но Яндексу всё равно, никак не хочет дружить)))) Сейчас попробовала по вами предложенному в статье способу проверить через аддурилку. Страницы добавляет, пишет по мере обхода робота будет проиндексировано. Робот,конечно, приходит, но ничего не индексирует)))))
А как вы смотрите что робот приходит? Сколько сайту дней? Попробуйте купить штук 5 твитов в ротапосте — это привлечет быстроробота 100% и если с роботс.тхт все норм и индексация не запрещена, то он проиндексирует и при следующем апдейте добавит в основной индекс :)
Я,конечно не специалист по роботс.тхт, но думаю что индексация не запрещена, да там всего две строчки )))))))
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Сайту два месяца, а посещения робота смотрю в Яндекс Вебмастере, вот сейчас смотрю написано дата последнего посещения сайта роботом 28.06.2012
не уже ли врёт чертёнок, а сам не приходит?)))))
А sitemap.xml есть? Если да, то ссылку в Яндекс Вебмастере на него давали, яша загружал его? Там пишут какого числа загружена карта, гляньте.
sitemap.xml есть. Знаете я ссылку на него в Яндекс Вебмастер точно помню, что не загружала.Но вот сейчас глянула , что там написано, на мой взгляд ахинея какая то))) Статус: в обработке, добавлено 16.04.2010 г. сайту 2 месяца и несколько дней, а карта добавлена 2 года назад )))видимо это тяжелый случай для Яндекса!)))как впрочем и для меня тоже
Да, Яндексу многое дается с трудом :) Добавьте сайтмап туда сами. Кстати, как с гуглом, он нормально индексирует?
Ага уже добавила, сижу жду)))))
С Гуглом не знаю то пишет 100% страниц не под фильтрами, то 85%, то опускается до 35% (я заметила особенно когда чего то меняешь или статью добавляешь), но в основном индексе мало страниц от 4%до 9%
Сергей, а вы может помните в Яндекс Вебмастере опция такая есть проверить sitemap на корректность в валидаторе, так вот я проверила, он пишет, что «Нет данных в теге». Это на что то влияет?
http://help.yandex.ru/webmaster/?id=1007067 судя по справке — с сайтмапом значит что-то не то. А вы каким плагином ее создаете? У меня стоит Google XML Sitemaps на всех моих сайтах и вроде все нормально. В яндексе сайт не забанен, уникальность вроде нормальная, наверное стоит подождать еще. А насчет индекса гугла, то с ним блогом там тоже вообще какой то бред творится — гугл у меня в индекс понахватал все страницы с окончанием /feed хотя они закрыты в роботсе, а теперь конечно пишет что в основном индексе 10% всего, так нечего индексировать то что запрещено =\
Сергей, у вас очень интересный, живой блог, ему, по моем,у и без Гугла не плохо)))) Знаете у меня был ещё один сайт ,я его, правда, забросила уже давно, так вот там было 70% страниц в основном индексе , а сейчас я посмотрела там 0.))))Вот тоже, вроде бы, и не понятно, от чего так…
Я ставила плагин BB Sitemap Generator, он одновременно карту сайта формирует и sitemap.xml.
Здравствуйте. Недавно сделал сайт с помощью студии. Буду делать СДЛ. Вот читаю, осваиваюссь в новом для меня мире этих ваших интернетов. Статья годная. Британские ученые аплодируют стоя. !