Kā nepieļaut lapas parādīšanos Google: robots.txt vai noindex?
Vai nevēlaties, lai kāda lapa būtu redzama Google, piemēram, pateicības lapa, testa lapa vai veca akcija? Tad daudzi domā par failu robots.txt. Taču robots.txt neizslēdz lapu no Google. Tam ir paredzēts noindex. Šajā rakstā uzzināsiet, kāda ir atšķirība, kā izmantot abus un kā rīkoties ar lapu, kuru esat izdzēsis. Kā piemēru izmantojam example.com.
Atšķirība īsumā
| robots.txt | noindex | |
|---|---|---|
| Ko tas saka | "Neielādējiet šo lapu." | "Neiekļaujiet šo lapu meklēšanas rezultātos." |
| Vai tas izslēdz lapu no Google? | Nē. Ja citi uz lapu ievieto saites, adrese tomēr var parādīties, bez apraksta. | Jā, tiklīdz Google lapu ir apmeklējis atkārtoti. |
| Kur tas atrodas? | Viens fails adresē https://example.com/robots.txt | Pašā lapā vai kā galvenes rinda, ko nosūta serveris |
| Kam to izmanto? | Pārmeklēšanas plūsmas vadīšanai, piemēram, lai izlaistu Jūsu vietnes meklēšanas rezultātu lapas | Lapām, kurām jāpaliek pieejamām, bet kurām nav vietas Google |
Neviens no tiem nav drošības līdzeklis. Jūsu robots.txt var izlasīt ikviens, un lapa ar noindex joprojām ir pieejama. Ja kaut kas patiešām ir jāaizsargā, aizsargājiet to ar paroli. Skatiet Mapes aizsargāšana ar paroli DirectAdmin.
noindex izmantošana
Ievietojiet šo rindu lapas sadaļā <head>:
<meta name="robots" content="noindex">
Failiem bez HTML, piemēram, pdf, serveris var nosūtīt to pašu norādi kā galvenes rindu: X-Robots-Tag: noindex. Efekts ir tāds pats.
Parasti Jums tas nav jāraksta pašiem:
- AI Builder: atveriet sadaļu SEO, izvēlieties lapu un sadaļā Vairāk šai lapai izslēdziet slēdzi Šī lapa ir atrodama Google. Lapa paliek pieejama, bet saņem noindex. Pēc tam publicējiet vēlreiz.
- WordPress: SEO spraudnim katrai lapai ir iestatījums, lai lapu neindeksētu. Izvēles rūtiņa Atturēt meklētājprogrammas no šīs vietnes indeksēšanas sadaļā Iestatījumi, Lasīšana attiecas uz visu vietni.
- Citi vietņu veidotāji: meklējiet iestatījumu, piemēram, "paslēpt no meklētājprogrammām".
robots.txt izveide vai pielāgošana
Hostinga plānā robots.txt atrodas Jūsu domēna tīmekļa mapē, DirectAdmin tā ir mape public_html. Failu izveidojat vai rediģējat, izmantojot failu pārvaldnieku vai FTP, skatiet Failu pārvaldnieka atvēršana: mapes Jūsu plānā. Piemērs:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *attiecas uz visiem meklēšanas robotiem.Disallow:ar ceļu aizliedz visu, kas sākas ar šo ceļu.Disallow: /aizliedz visu vietni.- Ja izveidojat arī grupu
User-agent: Googlebot, Google ievēro tikai šo grupu un ignorē grupu*. Tāpēc tajā atkārtojiet visus noteikumus, kas attiecas arī uz Google. - Nebloķējiet mapes ar stila lapām, skriptiem vai attēliem, kas nepieciešami Jūsu lapai.
- Ja robots.txt nav, tā nav problēma: tad viss ir atļauts. Ja adrese atgriež servera kļūdu, Google uz laiku pārtrauc ielādi.
WordPress pats izveido robots.txt, kamēr tīmekļa mapē nav šāda faila. AI Builder publicēšanas laikā pats izveido robots.txt ar rindu Sitemap:.
Plašāks skaidrojums ar ekrānuzņēmumiem: Vietnes karte un robots.txt AI Builder un Vietnes karte un robots.txt WordPress un Jūsu vietnē rokasgrāmatā Atrodamība tiešsaistē.
Google parasti saglabā Jūsu robots.txt līdz 24 stundām. Search Console sadaļā Iestatījumi atradīsiet robots.txt pārskatu: kuru versiju Google ielādēja pēdējo, ar kļūdām un brīdinājumiem, kā arī pogu, lai to ielādētu vēlreiz.
Izdzēsta lapa: 404 vai 410, nevis soft 404
Ja esat izdzēsis lapu, adresei jāatgriež statusa kods 404 (nav atrasts) vai 410 (vairs nav pieejams). Nākamajā apmeklējumā Google izņems adresi no meklēšanas rezultātiem. Ja lapai ir aizstājēja, novirziet veco adresi ar 301 uz jauno lapu, skatiet Vietnes novirzīšana: domēna vai lapas pāradresācija.
Soft 404 ir lapa, kas norāda, ka tās nav, vai ir gandrīz tukša, bet tomēr atgriež kodu 200 (atrasts). Google to bieži atpazīst un šādu lapu neiekļauj. Search Console to redzēsiet kā iemeslu Soft 404. Arī visu izdzēsto lapu novirzīšana uz sākumlapu var tikt uzskatīta par soft 404. Tāpēc lapai, kas patiešām vairs nepastāv, ļaujiet atgriezt īstu 404 vai 410.
Vai lapa ātri jāizņem no rezultātiem, piemēram, tāpēc, ka tajā nejauši bija personas dati? Tad izmantojiet Noņemšana Search Console. Tas darbojas uz laiku, aptuveni sešus mēnešus. Tāpēc parūpējieties arī par to, lai lapai būtu 404, 410, parole vai noindex.
Lasīt vairāk
- Google: Indeksēšanas bloķēšana ar noindex (angļu valodā)
- Google: Ievads robots.txt (angļu valodā)
- Google: robots.txt pārskats
- Failu bloķēšana ar .htaccess
Vai izmantojat WordPress? Bezmaksas WordPress kursa nodarbībā Atrodamība: pamati uzzināsiet vairāk par robots.txt un izvēles rūtiņu Atturēt meklētājprogrammas.
Vēlaties uzzināt vairāk? Apgūstiet bezmaksas kursu Atrodamība tiešsaistē, nodarbība 3.3 robots.txt: ko bloķēt un ko nebloķēt.