Kā noturēt lapu ārpus Google: robots.txt vai noindex?
Vai nevēlaties, lai kāda lapa būtu redzama Google, piemēram, pateicības lapa, testa lapa vai vecā akcija? Daudzi tad domā par failu robots.txt. Taču robots.txt neattur lapu ārā no Google. Tam ir paredzēts noindex. Šajā rakstā uzzināsiet atšķirību, kā lietot abus, un ko darīt ar lapu, kuru esat dzēsuši. Kā piemēru izmantosim example.com.
Atšķirība īsumā
| robots.txt | noindex | |
|---|---|---|
| Ko tas nozīmē | "Neielādējiet šo lapu." | "Neiekļaujiet šo lapu meklēšanas rezultātos." |
| Vai tas attur lapu ārā no Google? | Nē. Ja citi norāda saiti uz lapu, tās adrese tomēr var parādīties, bez apraksta. | Jā, tiklīdz Google lapu atkal apmeklē. |
| Kur tas atrodas? | Viens fails vietnē https://example.com/robots.txt | Pašā lapā vai kā galvenes rinda, ko nosūta serveris |
| Kam to izmanto? | Lai vadītu indeksēšanas robotu plūsmu, piemēram, izlaistu savas vietnes meklēšanas rezultātu lapas | Lapām, kuras paliek pieejamas, bet nedrīkst būt Google |
Neviens no šiem risinājumiem nav drošības pasākums. Jūsu robots.txt var izlasīt ikviens, un lapa ar noindex paliek vienkārši pieejama. Ja kaut kam tiešām jābūt aizsargātam, ievietojiet to aiz paroles. Skatiet Mapes aizsardzība ar paroli DirectAdmin.
Kā izmantot noindex
Ievietojiet šo rindu lapas <head> daļā:
<meta name="robots" content="noindex">
Failiem bez HTML, piemēram, pdf, serveris var nosūtīt to pašu norādi kā galvenes rindu: X-Robots-Tag: noindex. Rezultāts ir tāds pats.
Parasti Jums tas pašiem nav jāraksta:
- MI Bouwer: atveriet sadaļu SEO, izvēlieties lapu un sadaļā Vairāk par šo lapu izslēdziet pārslēgu Šī lapa atrodama Google. Lapa paliks pieejama, bet iegūs noindex atzīmi. Pēc tam publicējiet to atkārtoti.
- WordPress: SEO spraudnim ir katrai lapai iestatījums, lai lapu neindeksētu. Atzīme Atturēt meklētājprogrammas no šīs vietnes indeksēšanas sadaļā Iestatījumi, Lasīšana attiecas uz visu vietni.
- Citi vietņu veidotāji: meklējiet iestatījumu, piemēram, "slēpt no meklētājprogrammām".
robots.txt izveide vai pielāgošana
Hostinga pakotnē robots.txt atrodas Jūsu domēna tīmekļa mapē, DirectAdmin gadījumā mapē public_html. Failu izveidojat vai rediģējat, izmantojot Failu pārvaldnieku vai FTP, skatiet Failu pārvaldnieka atvēršana: mapes Jūsu pakotnē. Piemērs:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *attiecas uz visiem meklēšanas robotiem.Disallow:ar ceļu aizliedz visu, kas sākas ar šo ceļu.Disallow: /aizliedz visu vietni.- Ja izveidojat arī grupu
User-agent: Googlebot, Google seko tikai šai grupai un ignorē grupu*. Tāpēc tur atkārtojiet visus noteikumus, kas attiecas arī uz Google. - Nebloķējiet mapes ar stila lapām, skriptiem vai attēliem, kas nepieciešami Jūsu lapai.
- Ja robots.txt nav, tas nav problēma: tad viss ir atļauts. Ja adrese atgriež servera kļūdu, Google īslaicīgi pārtrauc ielādi.
WordPress pats izveido robots.txt, kamēr tīmekļa mapē nav neviena faila. MI Bouwer publicēšanas laikā pats izveido robots.txt ar Sitemap: rindu.
Google parasti saglabā Jūsu robots.txt līdz 24 stundām. Search Console sadaļā Iestatījumi atradīsiet robots.txt pārskatu: kuru versiju Google pēdējo reizi ielādēja, ar kļūdām un brīdinājumiem, kā arī pogu, lai to liktu ielādēt atkārtoti.
Dzēsta lapa: 404 vai 410, nevis soft 404
Ja esat dzēsuši lapu, tās adresei jāatgriež statusa kods 404 (nav atrasts) vai 410 (pazudis). Nākamajā apmeklējumā Google tad izņems adresi no meklēšanas rezultātiem. Ja lapai ir pēctece, novirziet veco adresi ar 301 uz jauno lapu, skatiet Site Omleiden: domēna vai lapas novirzīšana.
Soft 404 ir lapa, kas norāda, ka tās nav, vai kas ir gandrīz tukša, bet tomēr atgriež kodu 200 (atrasts). Google to bieži atpazīst un šādu lapu neiekļauj. Search Console tas redzams kā iemesls Soft 404. Arī visu dzēsto lapu novirzīšana uz sākumlapu var tikt uzskatīta par soft 404. Tāpēc ļaujiet lapai, kas tiešām ir pazudusi, atgriezt īstu 404 vai 410 kodu.
Vai lapa ātri jāizņem no rezultātiem, piemēram, tāpēc, ka tajā nejauši bija personas dati? Izmantojiet Search Console sadaļu Noņemšanas. Tas darbojas īslaicīgi, aptuveni sešus mēnešus. Tāpēc arī parūpējieties, lai lapai būtu 404, 410, parole vai noindex.
Lasiet tālāk
- Google: Indeksēšanas bloķēšana ar noindex (angļu valodā)
- Google: Ievads robots.txt (angļu valodā)
- Google: robots.txt pārskats
- Failu bloķēšana, izmantojot .htaccess
Vai izmantojat WordPress? Bezmaksas WordPress kursa nodarbībā Atrodamība: pamati uzzināsiet vairāk par robots.txt un atzīmi par meklētājprogrammu atturēšanu.