Pārmeklēšana: kā meklētājprogramma atrod Jūsu vietni

1. modulis: Kā darbojas meklētājprogrammas · Lasīšanas laiks: 11 minūtes

Mērķis: Pēc šīs nodarbības Jūs varēsiet aprakstīt, kā rāpuļprogramma atklāj jaunas lapas, ar kādiem statusa kodiem tā saskaras un ko tie nozīmē, kā arī to, kas rāpuļprogrammu aptur.

Pamatjēdzieni: rāpuļprogramma (Googlebot, Bingbot), saišu sekošana, vietnes karte (sitemap), HTTP statusa kods (200, 301, 302, 404, 410, 429, 5xx), pāradresācija, pārmeklēšanas budžets (crawl budget), JavaScript un renderēšana, bāreņlapa, robots.txt

Kas ir rāpuļprogramma

Rāpuļprogramma (crawler, arī spider vai bot) ir programma, kas ielādē tīmekļa lapas tāpat kā Jūsu pārlūks, tikai automātiski un milzīgā apjomā. Google izmanto Googlebot, Bing izmanto Bingbot. Tās pieprasa adresi, saņem atpakaļ HTML, nolasa, kādas saites tajā ir, un pievieno šīs jaunās adreses savam sarakstam, lai tās ielādētu vēlāk.

Google norāda, ka Googlebot vidēji apmeklē vietni ne biežāk kā reizi dažās sekundēs un ka lielākā daļa pieprasījumu nāk no Googlebot viedtālruņa versijas. Tātad Google Jūsu vietni galvenokārt redz tā, kā to redz tālrunis. Pie tā atgriezīsimies nodarbībā 4.2.

Rāpuļprogramma var arī uzdoties par Googlebot: nosaukumu (user-agent) ir viegli atdarināt. Google iesaka aizdomīgu apmeklējumu pārbaudīt ar IP adreses reverso DNS uzmeklēšanu. Tas noder, ja Jūs savā servera žurnālā redzat "Googlebot", kas dara dīvainas lietas.

Kā rāpuļprogramma atrod jaunas lapas

Google min trīs veidus:

1. Atkārtoti apmeklē jau zināmas lapas. Tur tā pamana izmaiņas un jaunas saites.
2. Seko saitēm. Saite no lapas, ko Google jau zina, uz jaunu lapu ir svarīgākais veids, kā tikt atrastam. Tas attiecas gan uz saitēm Jūsu pašu vietnē (izvēlne, saite tekstā), gan uz saitēm no citām vietnēm.
3. Saraksts, ko iesniedzat Jūs: vietnes karte (sitemap). Vietnes karte ir fails ar Jūsu lapu adresēm. To var iesniegt Search Console vai norādīt robots.txt (nodarbība 3.4). Pēc Google teiktā vietnes karte nav obligāta, taču tā ir noderīga, īpaši jaunām vietnēm ar maz saitēm, lielām vietnēm un lapām, kas atrodas dziļi vietnes struktūrā.

Saitēm jābūt īstām saitēm

Google var sekot saitei tikai tad, ja tas ir parasts <a> elements ar href:

<a href="/bruidsboeketten">Bruidsboeketten</a>          <!-- pareizi -->
<span onclick="ga('/bruidsboeketten')">Bruidsboeketten</span>   <!-- Google tā nav saite -->

Poga, kas uz citu lapu pārlec tikai ar JavaScript palīdzību, rāpuļprogrammai nav saite. Lapu, uz kuru nekur nav saites, sauc par bāreņlapu (orphan page). Rāpuļprogramma to atrod tikai caur vietnes karti, un arī apmeklētājiem to ir grūti atrast. Tāpēc uz jaunu lapu vienmēr jābūt saitei kaut kur Jūsu izvēlnē vai tekstā.

JavaScript: vispirms ielādēt, vēlāk izpildīt

Daudzas mūsdienu vietnes veido lapu ar JavaScript pārlūkā. Google ar to tiek galā: tas izpilda JavaScript ar jaunu Chromium versiju, kas ir Chrome pārlūka pamatā. To sauc par renderēšanu. Google to apraksta kā trīs posmus šādām lapām: pārmeklēšana, renderēšana un indeksēšana. Lapas ar statusu 200 nonāk rindā renderēšanai.

Divas sekas:

• To, kas lapā parādās tikai pēc JavaScript izpildes, Google redz vēlāk nekā to, kas ir uzreiz HTML.
• Ne katra rāpuļprogramma izpilda JavaScript. To saka arī pats Google. Teksts, virsraksti un saites, kas ir uzreiz HTML, tāpēc ir visdrošākie visām meklētājprogrammām. Google HTML, kas tiek veidots serverī, sauc par "joprojām labu ideju".

Šī kursa automātiskās pārbaudes nolasa HTML tādu, kādu to sūta serveris, bez JavaScript. Tas, ko Jūs redzat savā pārlūkā, var no tā atšķirties.

Statusa kodi: ko serveris atbild

Kopā ar katru lapu serveris nosūta statusa kodu. Jūs to ekrānā neredzat, bet rāpuļprogramma to nolasa vispirms:

Uzmanieties no soft 404: lapas, kas rāda "nav atrasts", bet atgriež statusu 200. Rāpuļprogrammai tā izskatās pēc īstas lapas, apmeklētājam ne. Search Console par šādām lapām ziņo atsevišķi. Tāpēc dzēstai lapai jāatgriež īsts 404 vai 410 vai ar 301 jāpāradresē uz aizstājēju.

Pāradresācijas ķēdei (no http uz https, uz www, uz jauno lapu) Google gan seko, līdz aptuveni desmit soļiem, taču katrs solis prasa laiku. Nodarbībā 4.1 parādīts, kā to izdarīt vienā solī.

Kas aptur rāpuļprogrammu

Kā iemeslus, kāpēc lapa netiek pārmeklēta, Google min: servera problēmas, tīkla problēmas un noteikumus robots.txt, kas aizliedz Googlebot piekļuvi. Praksē papildus tam sastopams:

• vietne, kas joprojām ir "apkopes režīmā" vai aizsargāta ar paroli;
• WordPress izvēles rūtiņa "Discourage search engines from indexing this site" (lietotāja saskarnē Jūsu valodā tā var būt tulkota), kas iestata noindex (tas ir 2. solis, bet rezultāts ir tāds pats: vietni nevar atrast);
• aizsardzība vai ugunsmūris, kas nezināmus botus noraida ar 403 vai 429;
• vietne, kurā var pārvietoties tikai ar JavaScript pogām.

robots.txt veltīta atsevišķa nodarbība (3.3). Pagaidām pietiek zināt: tas ir teksta fails adresē https://www.example.com/robots.txt, kas norāda, kuras Jūsu vietnes daļas rāpuļprogramma nedrīkst ielādēt.

Pārmeklēšanas budžets: lielākajai daļai vietņu nav par ko uztraukties

Internetā daudz rakstīts par pārmeklēšanas budžetu (crawl budget): cik lapu Google vēlas un var ielādēt Jūsu vietnē. Google norāda, ka tā rokasgrāmata par šo tēmu paredzēta lielām vietnēm, aptuveni vērtējot, ar vairāk nekā miljonu lapu vai vairāk nekā desmit tūkstošiem lapu, kas mainās katru dienu. Ja Jūsu jaunās lapas tiek ielādētas jau publicēšanas dienā, Jums ar to nav jānodarbojas. Tādai vietnei kā Bloemenatelier Lotte ar trīsdesmit lapām tas nav aktuāli. Pietiek ar aktuālu vietnes karti un laiku pa laikam ieskatīties indeksēšanas pārskatā.

Praksē: Jūsu servera žurnāls

DirectAdmin un līdzīgos paneļos varat apskatīt savas vietnes piekļuves žurnālu. Meklējiet "Googlebot" vai "bingbot", un redzēsiet, kuras lapas tās pieprasīja un kādu statusa kodu saņēma. Ja tur redzat daudz 404 vai 5xx kļūdu, Jūs zināt, ar ko sākt. Pie citiem pakalpojumu sniedzējiem žurnālus parasti atradīsiet klienta panelī ar līdzīgu nosaukumu.

Kopsavilkums

• Rāpuļprogramma ielādē lapas un atrod jaunas adreses caur saitēm un caur Jūsu vietnes karti.
• Tiek sekots tikai īstām <a href> saitēm; lapa, uz kuru nav saišu, ir bāreņlapa.
• Google izpilda JavaScript, taču vēlāk; citas rāpuļprogrammas bieži to nedara. Svarīgajam saturam jābūt HTML.
• Statusa kods nosaka, ko rāpuļprogramma dara: 200 apstrādāt, 301 pārvietot, 404/410 izņemt, 5xx un 429 pārmeklēt lēnāk.
• Pārmeklēšanas budžets ir svarīgs tikai ļoti lielām vai ļoti strauji mainīgām vietnēm.

Tests (quiz)

Uzdevums

Uzdevums A1.2: Ko rāpuļprogramma redz Jūsu sākumlapā? Ievadiet savas vietnes adresi (vai www.wikipedia.org, ja Jums nav savas vietnes). Pēc tam ievadiet, ko sagaidāt: galīgās lapas statusa kodu, adresi, kurā nonākat pēc pāradresācijas, un vai lapā ir noindex. Programma ielādē sākumlapu kā rāpuļprogramma, bez JavaScript, un parāda pāradresācijas ķēdi, statusa kodu, īsto saišu skaitu uz Jūsu pašu vietni HTML kodā un to, vai lapas teksts ir salasāms bez JavaScript.

Vairāk lasīt

Šajos rakstos aprakstītās darbības attiecas uz WebOké paneļiem; pie citiem pakalpojumu sniedzējiem tas darbojas līdzīgi.

• DirectAdmin rokasgrāmata 4.7: Site Redirects: domēna vai lapas pāradresēšana
• DirectAdmin rokasgrāmata 17.2: Site summary & logs: kļūdu žurnāls un piekļuves žurnāls
• Piespiedu kārtā novirzīt apmeklētājus uz https
• Google, kā HTTP statusa kodi un tīkla kļūdas ietekmē Google Search: https://developers.google.com/search/docs/crawling-indexing/http-network-errors
• Google, JavaScript SEO pamati: https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
• Google, pārmeklēšanas budžets lielām vietnēm: https://developers.google.com/crawling/docs/crawl-budget