Indeksēšana: kas nonāk indeksā un kas ne

1. modulis: Kā darbojas meklētājprogrammas · Lasīšanas laiks: 11 minūtes

Mērķis: Pēc šīs nodarbības Jūs varēsiet novērtēt, vai lapa var nonākt indeksā, un, ja nevar, kura no četrām "slēdzenēm" to aptur: statusa kods, robots.txt, noindex vai canonical.

Pamatjēdzieni: indeksēšana, Google tehniskās prasības, noindex (meta robots un X-Robots-Tag), robots.txt nav noindex, kanonizācija, dublēts saturs, soft 404, "Crawled - currently not indexed", "Discovered - currently not indexed", nav garantijas

Kas notiek indeksēšanas laikā

Kad rāpuļprogramma ir ielādējusi lapu (nodarbība 1.2), meklētājprogramma to izlasa. Google analizē tekstu, virsrakstu, apakšvirsrakstus, attēlus un video un nosaka, kādā valodā ir lapa. Google arī noskaidro, vai lapa ir kādas citas lapas kopija un kura no šīm kopijām ir "īstā". Tikai pēc tam Google izlemj, vai lapa nonāk indeksā.

Google par to saka divas lietas, kuras ir vērts labi atcerēties:

• Iekļaušana nav garantēta. Pat ja Jūsu lapa atbilst visām prasībām, Google var nolemt to neiekļaut.
• Ir normāli, ka ne viss ir iekļauts. Google indeksēšanas pārskata palīdzībā burtiski raksta, ka nevajag gaidīt, ka katra Jūsu vietnes adrese būs indeksēta, un ka tas var būt pilnīgi kārtībā. Svarīgas ir Jūsu galvenās lapas.

Trīs tehniskās prasības

Google min trīs tehniskās prasības, lai lapa varētu pretendēt uz iekļaušanu indeksā:

1. Googlebot netiek bloķēts. Lapa ir sasniedzama, un robots.txt neaizliedz tās ielādi.
2. Lapa darbojas. Serveris atgriež statusa kodu 200, nevis kļūdu.
3. Lapā ir indeksējams saturs. Teksts faila veidā, ko Google spēj nolasīt, un nekādu surogātpasta politikas pārkāpumu.

Praksē tam pievienojas divas vietnes īpašnieka izvēles: noindex ("neiekļaut šo") un canonical, kas norāda uz citu adresi ("nevis šo, bet to"). Kopā tas veido četras slēdzenes, kurām lapai jāiziet cauri.

1. slēdzene: statusa kods

Indeksā var nonākt tikai lapa ar statusu 200. Kods 301 vai 308 pāradresē meklētājprogrammu uz jauno adresi; tad tiek vērtēta šī jaunā adrese. Kods 404 vai 410 izņem no indeksa adresi, kas tajā iepriekš bija iekļauta.

Viltīgais variants ir soft 404 no nodarbības 1.2: statuss 200, bet saturs ir kļūdas paziņojums vai gandrīz tukša lapa. Google to bieži atpazīst un šādu lapu neiekļauj. Arī tukša interneta veikala kategorijas lapa ("produkti nav atrasti") var tikt uzskatīta par soft 404.

2. slēdzene: robots.txt

Ar robots.txt Jūs aizliedzat rāpuļprogrammai lapu ielādēt. Tas nav tas pats, kas aizliegt to iekļaut. Google par to izsakās skaidri: robots.txt nav veids, kā lapu noturēt ārpus Google. Ja citas vietnes saista uz bloķētu lapu, adrese tomēr var parādīties rezultātos, tikai bez apraksta. Search Console to sauc par "Indexed, though blocked by robots.txt".

Robots.txt ir paredzēts rāpuļprogrammu plūsmas vadīšanai: piemēram, lai rāpuļprogramma neizstaigātu tūkstošiem Jūsu vietnes iekšējās meklēšanas rezultātu lapu. Nodarbībā 3.3 tas aplūkots sīkāk.

3. slēdzene: noindex

Ja tiešām vēlaties, lai lapa neparādītos meklēšanas rezultātos, izmantojiet noindex. To var izdarīt divos veidos ar vienādu efektu:

<!-- lapas <head> daļā -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Otrais ir HTTP galvenes ieraksts, ko serveris nosūta līdzi. Tas darbojas arī failiem, kas nav HTML, piemēram, pdf. Vērtība none nozīmē to pašu, ko noindex, nofollow. Ar <meta name="googlebot" content="noindex"> noteikums attiecas tikai uz Google; citas meklētājprogrammas vispārīgu noteikumu var interpretēt citādi.

Tagad par slazdu, kas gadās ļoti bieži: noindex kopā ar bloķēšanu robots.txt nedarbojas. Ja robots.txt bloķē lapu, Google to neielādē un tāpēc noindex nekad neierauga. Tad lapa caur citu vietņu saitēm tomēr var nonākt indeksā. Ja vēlaties lapu izņemt no Google: ļaujiet to ielādēt un pievienojiet tai noindex.

Kur noindex var sastapt netīšām?

• WordPress sadaļā Settings, Read ir izvēles rūtiņa "Discourage search engines from indexing this site". Tā pievieno noindex visai vietnei. Ērti vietnes veidošanas laikā, katastrofāli, ja aizmirstat to izslēgt.
• AI Builder Jūs varat vietni vai lapu iestatīt kā "neindeksēt"; tad lapā tiek ievietots noindex, nofollow. Arī bezmaksas demo vietne nekad netiek indeksēta.
• SEO spraudnis vai motīvs ar nepareizu iestatījumu konkrētai lapai vai lapu veidam.

Citiem vietņu veidotājiem ir līdzīgi slēdži, bieži ar nosaukumu, piemēram, "paslēpt no meklētājprogrammām".

4. slēdzene: canonical

Daudzās vietnēs viena un tā pati lapa ir pieejama vairākās adresēs: ar un bez www, ar http un https, ar parametru beigās, piemēram, ?utm_source=nieuwsbrief. No šādām grupām Google izvēlas vienu adresi kā kanonisko versiju un rezultātos rāda tikai to. Pārējās ir dublikāti.

Jūs varat palīdzēt Google izvēlēties ar pāradresāciju (spēcīgs signāls) vai ar canonical norādi lapā:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical ir signāls, nevis pavēle: Google var izvēlēties citu adresi. Ja Jūsu canonical norāda uz citu adresi, lapa pati saka: "neiekļaujiet mani, bet to otru". Tas ir labi, ja tas ir pareizi, un problēma, ja tā ir kļūda, piemēram, ja katra lapa norāda uz sākumlapu. Nodarbībā 3.5 tas aplūkots sīkāk.

Dublēts saturs Jūsu pašu vietnē pēc Google domām nav surogātpasta politikas pārkāpums un neizraisa manuālu darbību. Tomēr tas ir neefektīvi: rāpuļprogrammas vienu un to pašu ielādē vairākkārt, un Jūs paši nenosakāt, kura adrese parādās rezultātos.

Paziņojumi Search Console

Search Console pārskatā Pages (nodarbība 2.4) katrai neindeksētajai lapai redzams iemesls. Tajā atspoguļojas visas četras slēdzenes:

Pēdējie divi nav tehniskas kļūdas. "Crawled - currently not indexed" sastopams bieži; Google saka, ka tā ne vienmēr ir problēma. Ja runa ir par svarīgu lapu, pārbaudiet, vai tā tiešām sniedz kaut ko vērtīgu: unikālai, noderīgai lapai ir lielākas izredzes nekā plānai lapai, kas līdzinās desmit citām.

Kopsavilkums

• Pēc rāpošanas meklētājprogramma izlemj, vai lapa nonāk indeksā; tas nekad nav garantēts, un ne visam tur jābūt.
• Četras slēdzenes: statuss 200, nav bloķēta robots.txt, nav noindex, canonical nav vai norāda uz pašu lapu.
• robots.txt aizliedz ielādi, nevis iekļaušanu. Izmantojiet noindex, lai kaut ko noturētu ārpus rezultātiem, un tad nebloķējiet šo lapu robots.txt.
• Canonical ir spēcīgs signāls, nevis pavēle. Dublēts saturs nav surogātpasts, taču tas ir neefektīvi.
• "Crawled - currently not indexed" nav tehniska kļūda; skatieties uz lapas vērtību.

Tests (quiz)

Uzdevums

Uzdevums A1.3: Vai šī lapa drīkst nonākt indeksā? Ievadiet lapas adresi (lapu no savas vietnes vai lapu, ko apzināti slēpjat, piemēram, pateicības lapu). Pēc tam izvēlieties savu prognozi: "drīkst nonākt indeksā" vai "nedrīkst nonākt indeksā", un, ja izvēlaties "nedrīkst", kura slēdzene to aptur (statusa kods, robots.txt, noindex, canonical uz citu adresi). Programma pārbauda četras slēdzenes tāpat kā šajā nodarbībā un novieto savu rezultātu blakus Jūsējam.

Vairāk lasīt

• Google, Google meklēšanas tehniskās prasības: https://developers.google.com/search/docs/essentials/technical
• Google, Indeksēšanas bloķēšana ar noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Ievads robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Dublētu URL apvienošana (kanonizācija): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Console palīdzība, Lapu indeksēšanas pārskats: https://support.google.com/webmasters/answer/7440203