Защо Google не индексира сайта ни и видовете грешки

Чудите ли се защо Google не индексира сайта ви или пък част от страниците във вашия нов онлайн магазин? Вероятно имате проблем, но знаете ли какъв? За да класирате уебсайт в Google, той първо трябва да бъде обходен, след това индексиран и едва след това позициониран в SERP (Search Engine Results Page) на конкретно място.

Днес, в блогът на Дигитална маркетинг агенция IDEAMAX ще ви разкажем за видовете грешки при индексиране и как да подхождате към всяка от тях.

Няма да ви лъжем, че понякога се изисква консултация с опитен SEO специалист, но поне можете да решите това, което разбирате. Нека не забравяме и че, за да решим един проблем следва първо да го открием, да го признаем и да разберем защо се случва.

Google Search Console: Страницата ви не е индексирана

Отваряте Google Search Console, влизате в секция Pages и виждате десетки, стотици или дори хиляди страници с различни статуси, които не разбирате:

• Crawled – currently not indexed;
• Discovered – currently not indexed;
• Submitted URL not selected as canonical;
• Alternate page with proper canonical tag;
• И т.н.

Звучи като чужд език, нали?

Ако сте собственик на онлайн магазин и се опитвате сами да си правите оптимизация за търсещи машини, вероятно вече сте минали през следния сценарий:

1. Качвате нов продукт;
2. Чакате седмица, две, месец – и нищо;
3. Продуктът го няма в Google;
4. Търсите го с точното име;
5. 0 резултати.

В този момент започвате да ровите в интернет, попадате на статии, в които експерти ви казват да натиснете бутона Request Indexing за всяка страница.

Правите го за 5 страници. После за 10. После Google ви спира, защото има дневен лимит.

И проблемът остава нерешен, просто защото имате 1200 продукта.

Истината е, че бутонът Request Indexing е като да молите човек, който вече ви е отказал, да ви даде още един шанс – без да промените нищо в себе си.

Google вече е видял страницата ви и е взел решение. Да искате повторно индексиране, без да сте отстранили причината за отказа е просто загуба на времето ви и загуба на сървърен ресурс за Google.

В тази статия ще разгледаме какво реално означават различните статуси в Google Search Console и какво трябва да направите, за да ги оправите.

Без клишета, без празни обещания – само конкретни действия.

1. „Crawled – currently not indexed“ – Какво означава

Google видя страницата ви и реши, че не я иска.

Това е може би най-разочароващият статус. Google е обходил вашата страница, прочел е съдържанието и е взел съзнателно (в повечето случаи) решение да не я включи в индекса си, но е възможно и причините да не са в самия текст например.

Най-често не е технически проблем, а проблем с качеството или релевантността на съдържанието.

Защо се случва това?

Представете си, че имате онлайн магазин за обувки. Качили сте продукт „Черни дамски обувки на ток“ с описание от две изречения, копирано от сайта на производителя.

Същото описание го има на още 47 сайта в България. Снимките са стокови, взети от същия източник.

Няма отзиви, няма допълнителна информация, няма нищо уникално.

Защо Google трябва да покаже точно вашата страница, когато има десетки идентични?

Отговорът е – няма причина и затова не го прави.

Съветът на IdeaMAX: Преди да искате повторно индексиране, направете промени, които наистина имат значение. Добавете поне 200-300 думи уникален текст, който не съществува никъде другаде. Включете вътрешни линкове от категорийни страници или свързани продукти. Едва тогава използвайте URL Inspection Tool – не за да молите, а за да информирате Google, че сте подобрили съдържанието.

2. „Discovered – currently not indexed“ – Какво означава

Google знае за страницата ви, но не си е направил труда да я погледне.

Този статус означава, че Google е открил URL адреса на страницата ви (например от sitemap файла или от вътрешен линк), но още не е изпратил робот да я обходи.

Причината обикновено е 1 от 2. Сайтът ви не е достатъчно важен в очите на Google или ботът на Google е претоварен с други задачи на вашия сайт.

Малките сайтове страдат от това повече от големите.

Google разпределя т.нар. crawl budget – колко страници от вашия сайт ще обходи за определен период.

Големите сайтове с висок авторитет получават повече внимание.

Малките онлайн магазини, особено новите, трябва да се борят за всяка педя дигитално пространство в SERP.

Съветът на IdeaMAX: Crawl budget е реален проблем само за сайтове с десетки хиляди страници. Ако имате 500 продукта и този статус се появява масово, проблемът вероятно не е в crawl budget, а в липсата на вътрешни линкове или в твърде бавен сървър.

3. „Duplicate, submitted URL not selected as canonical“ – Какво означава

Това е един от най-честите проблеми при онлайн магазините и причината защо Google не индексира сайта ни е почти винаги техническа.

Google е открил, че имате 2 или повече версии на една и съща страница и е избрал да индексира само едната.

Тази, която вие сте посочили (submitted), не е тази, която Google е предпочел в крайна сметка.

Типични причини:

• Trailing slash несъответствие – имате и example.com/product и example.com/product/ като отделни URL адреси и макар за вас това е едно и също, не такова за Google;
• HTTP и HTTPS версии – ако сайтът ви не пренасочва правилно от HTTP към HTTPS, Google може да индексира грешната версия;
• WWW и non-WWW – същият проблем като горния. example.com и www.example.com трябва да водят към едно и също място с правилно пренасочване;
• UTM параметри и tracking кодове – ако имате линкове с ?utm_source=facebook или подобни, и те не са правилно обработени, Google може да ги види като отделни страници.

Проверете canonical таговете на засегнатите страници. Всяка страница трябва да има мета таг, който посочва кой е официалният URL.

Съветът на IdeaMAX: Един от най-честите проблеми при платформите за създаване на онлайн магазини като OpenCart например е генерирането на множество URL адреси за един и същ продукт – с и без категория в пътя, с различни параметри. Ако не сте сигурни какво точно се случва на вашия сайт, обходете го с инструменти за SEO одит и вижте колко различни URL адреса водят до една и съща страница.

4. „Alternate page with proper canonical tag“ – Какво означава

Всичко е наред, но не го знаете. Този статус всъщност не е проблем в повечето случаи.

Той означава, че страницата има правилно настроен canonical таг, който сочи към друга страница и Google уважава това указание.

Типичен пример са страниците за филтриране.

Представете си, че имате категория „Дамски обувки“ и потребител филтрира само обувки с „черен цвят„, URL адресът става нещо като /damski-obuvki?color=black .

Тази страница правилно посочва като canonical основната категория /damski-obuvki, защото съдържанието е подмножество на същото съдържание.

Кога това е реален проблем ли?

Когато страницата, която виждате с този статус, всъщност трябва да бъде индексирана самостоятелно.

Ако сте настроили canonical таговете грешно, като например всички продукти сочат към началната страница – имате сериозен проблем.

Прегледайте внимателно кои страници показват този статус и към кого сочи техният каноникал таг, за да стане ясно защо Google не индексира сайта или онлайн магазина ви.

Ако връзката е логична (филтър сочи към категория, мобилна версия сочи към десктоп), всичко е наред.

5. „Blocked by robots.txt“ – Какво означава

Най-просто казано – вие сами сте казали на Google да не влиза в страницата.

Този статус е ясен за повечето хора, които някога са разбрали какво е robots.txt. Файлът robots.txt на вашия сайт блокира достъпа на Google до определени страници.

Понякога това е умишлено и правилно, друг път е грешка, която коства хиляди левове пропуснати печалби.

Проверете дали всичко е наред, като отворите robots.txt файла на вашия сайт (обикновено се намира на адрес example.com/robots.txt) и прочетете какво пише в него.

Ако виждате редове като Disallow: /product/ или пък Disallow: /category/, това е проблем, който трябва да бъде отстранен незабавно!

Важно уточнение – robots.txt блокира обхождането, но не гарантира, че страницата няма да бъде индексирана. Ако Google намери линкове към блокирана страница от други сайтове, той може да я индексира само с URL адреса, без съдържание.

И да, това изглежда ужасно в резултатите в Google.

Съветът на IdeaMAX: Не разчитайте на robots.txt за скриване на чувствително съдържание. Той не е механизъм за сигурност и не гарантира, че страницата няма да бъде обходена и индексирана (поне към момента на писане на тази статия). Ползвайте Meta таг, той е доста по-стриктна инструкция.

6. „Excluded by noindex tag“ – какво означава

С други думи казали сте на Google да не индексира тази страница или поне той това е разбрал.

Подобно на предишния статус за индексация на страниците в GSC(Google Search Console), но с важната разлика, че тук сте използвали мета таг в самата страница, който изрично казва на Google да не я индексира.

Ако това е умишлено, всичко е наред. Ако не е – имате проблем.

Ако вашият уеб сайт е направен на WordPress, то вероятно използвате множество WP(WordPress) плъгини и тема, които добавят noindex тагове автоматично в определени ситуации.

Масови WP плъгини като Yoast SEO например имат опция за скриване на категории или тагове от търсачките. Ако сте я активирали, без да разбирате последствията, може да сте скрили стотици страници.

Друг източник на проблеми са тестовите версии на сайтовете т.нар. staging. Много разработчици настройват тестовата версия с noindex, след което копират сайта на live сървър (версията, която потребителите ви виждат) заедно с тази настройка.

Малка грешка – огромни последици.

7. „Soft 404“ – какво означава

Google смята, че страницата ви казва „няма нищо тук“, въпреки че технически връща статус код 200 (ОК).

Класическата 404 грешка е ясна(дори сме избегнали да я описаваме тук). Сървърът казва „тази страница не съществува„.

При Soft 404 сървърът казва „всичко е наред„, но съдържанието на страницата изглежда като грешка или е празно.

Google е достатъчно умен да разпознае кога една страница реално не предлага стойност, дори ако технически се зарежда. В случай, че видите този статус, търсачката е преценила, че страницата ви е безполезна за потребителите.

Най-честите причини за Soft 404 в онлайн магазините са продуктови страници без наличност.

Продуктът е изчерпан, страницата остава, но показва само „Няма наличност“ без друго съдържание. Google вижда празна опаковка и я третира като несъществуваща.

Друг типичен сценарий са филтрираните резултати без продукти. Имате категория с филтър по цвят, размер или марка, но комбинацията не връща нито един продукт.

При WordPress и Woo проблемът се задълбочава от автоматично генерираните вариации. Всяка комбинация от филтри създава отделен URL адрес, а голяма част от тях водят до 0 резултати.

8. „Page with redirect“ – какво означава

Google е открил URL адрес, който пренасочва към друга страница, затова не го индексира самостоятелно.

Това не е грешка. Пренасочванията са нормална част от живота на всеки сайт. Продукти се спират от продажба, категории се преструктурират, URL адреси се променят.

Ако сте настроили 301 редирект към релевантна страница, всичко работи както трябва, а с малко SEO хитрост можете дори да спечелите от наглед неприятната ситуация.

Проблемът започва, когато виждате стотици или хиляди такива записи и не знаете откъде идват, докато продължавате да си задавате въпроса – защо Google не индексира сайта ни вече.

Най-честият виновник в онлайн магазините са старите URL адреси от миграции. Сменили сте платформата, преструктурирали сте категориите или сте променили формата на линковете. Старите адреси продължават да съществуват в обратни връзки, в Google индекса, в запазени отметки на потребителите. И да всички те сега пренасочват.

При WordPress типичен източник са плъгините са вградените пренасочвания в Yoast SEO, който вече споменахме по-горе, но се срещат и масово в други SEO плъгини – просто следва да бъдат адекватно управлявани. С времето се натрупват стотици правила, половината от които вече нямат смисъл, защото целевите страници също са изтрити или преместени.

Друг проблем са верижните пренасочвания или т.нар. redirect chain. Страница А води към страница Б, която води към страница В. Google губи търпение след 3-4 скока и спира да следи, макар че понякога упорства доста странно дори за нас. Резултатът е загубена стойност на връзките и по-бавно индексиране.

Прегледайте списъка внимателно. Ако пренасочванията са умишлени и водят директно към релевантни страници – оставете ги. Ако виждате пренасочвания към вече несъществуващи адреси – имате работа за вършене.

Най-големият проблем с индексацията – търпението

Ако сте нов онлайн магазин без установен авторитет, Google няма да бърза да индексира всичките ви страници.

Това не е наказание, това е нормалната в общия случай реалност. Търсещите машини имат своите рационални аргументи по темата.

Защо търсачката трябва да отдели ресурси за обхождане на сайт, за който няма данни дали е надежден?

Индексирането на нов сайт може да отнеме седмици или дори месеци. През това време Google наблюдава как се развива сайтът. Добавяте ли съдържание редовно, получавате ли линкове от други сайтове, посещават ли ви реални потребители.

Вместо да се паникьосвате и да натискате Request Indexing всеки ден (което технически е опция, ако сте адски упорити и дисциплинирани), фокусирайте се върху изграждане на стойност.

Пишете уникално съдържание, правете линк билдинг, подобрявайте потребителското изживяване. Google ще забележи тази динамика. Ако искате да продължите да четете по темата, можете да разгледате и официалното ръководство, което считаме за доста сухо и често сложно за неспециалисти.

Какво не ви казват гурутата от YouTube

В интернет ще намерите стотици видеа и статии, които обещават бързо индексиране и секретни техники.

Повечето от тях са или остарели или откровено измислени.

„Използвайте ping услуги“ – Ping услугите са остатък от ерата на блоговете преди 15 години. Google не разчита на тях от много време, поне не така, както преди.

„Натиснете Request Indexing за всяка страница“ – Както вече споменахме, това не решава основния проблем. Освен това има дневен лимит и прекомерната употреба може да изглежда подозрително, макар, че нямаме случай това да е довело до нещо негативно в работата на IDEAMAX.

Истината е, че няма бързи пътища. Индексирането зависи от качеството на съдържанието, техническата изрядност на сайта и авторитета, който сте изградили. Всичко останало, по-често се оказва загуба на време.

Проблемите с индексирането в Google Search Console рядко се решават с натискане на бутони. Те изискват разбиране на причините и системен подход към отстраняването им, а най-вече за предотвратяването на тези проблеми.

Ако страница не е индексирана, защото съдържанието е слабо – подобрете съдържанието.

Ако проблемът е технически (дублирани URL адреси, грешни canonical тагове, блокиране от robots.txt) – отстранете техническите грешки.

Ако сайтът е нов и няма авторитет – работете върху изграждане на авторитет (EEAT сигнали например или подобрени показатели в NavBoost алгоритъма), вместо да молите Google да направи изключение за вас.

Защо Google не индексира сайта – действаме или чакаме

SEO не е магия. Ние не сме Дейвид Копърфийлд, нито Хари Потър.

Това е методична дългосрочна работа и визия за бизнеса, която изисква познания, инструменти и време. Точно когато се класирате се налага да се задържите там, ако искате да създавате устойчив бизнес дългосрочно.

Ако нямате някое от тези 3 неща, резултатите ще бъдат посредствени, без значение колко YouTube видеа сте гледали и колко SEO сертификата, дигитални обучения или книги имате.

Разбираме, че за собственик на малък онлайн магазин е изкушаващо да се опита да направи всичко сам. Спестявате пари, учите нови неща, имате пълен контрол.

Знаете ли къде е разликата? Има една точка, отвъд която времето, прекарано в ровене из форуми и експериментиране с настройки, става по-скъпо от наемането на специалист, а вие лека полека сте се превърнали в дигитален ентусиаст, вместо в успешен бизнесмен. Все пак докато се борите с Google Search Console, конкурентите ви продават.

В IdeaMAX се занимаваме точно с отговора на въпроси като този защо Google не индексира сайта ни или защо не се класираме на първа страница в Google и много други проблеми на дигиталния маркетинг… и го правим от 15 години.

Ако сте стигнали до точката, в която разочарованието от слабите резултати надхвърля желанието да учите – ние ще бъдем тук, за да отговорим на очакванията ви.