MI rāpuļprogrammu atļaušana vai bloķēšana: robots.txt un llms.txt
MI pakalpojumi, piemēram, ChatGPT, Claude, Gemini un Perplexity, ielādē tīmekļa lapas, lai apmācītu modeļus, sniegtu atbildes meklēšanā vai atbildētu uz lietotāja jautājumu. Ar robots.txt Jūs norādāt, kuri no šiem robotiem drīkst apmeklēt Jūsu vietni. Pastāv arī priekšlikums llms.txt. Šajā rakstā uzzināsiet, kādi roboti pastāv, kā tos atļaut vai bloķēt un ko llms.txt dara un ko nedara. Kā piemēru izmantojam example.com.
1. Svarīgākie MI roboti
Lielākā daļa MI uzņēmumu izmanto atsevišķus nosaukumus apmācībai, meklēšanai un lapu ielādei pēc lietotāja pieprasījuma. Tādējādi Jūs, piemēram, varat bloķēt apmācību un tomēr palikt redzami meklēšanas atbildēs.
| Nosaukums robots.txt failā | Uzņēmums | Mērķis |
|---|---|---|
GPTBot | OpenAI | Apkopo lapas, kuras var izmantot modeļu apmācībai |
OAI-SearchBot | OpenAI | ChatGPT meklēšanas funkcija. Ja Jūs to bloķējat, Jūsu vietne neparādās ChatGPT meklēšanas atbildēs |
ChatGPT-User | OpenAI | Ielādē lapu, ja lietotājs to pieprasa. Pēc OpenAI teiktā, robots.txt šeit var nebūt spēkā |
ClaudeBot | Anthropic | Apkopo lapas, kuras var izmantot modeļu apmācībai |
Claude-SearchBot | Anthropic | Indeksē lapas Claude meklēšanas funkcijai |
Claude-User | Anthropic | Ielādē lapu, ja lietotājs to pieprasa |
Google-Extended | Nav atsevišķs robots, bet nosaukums, ar kuru Jūs norādāt, vai Google drīkst izmantot Jūsu saturu Gemini modeļu apmācībai un grounding funkcijai. Pēc Google teiktā, tas neietekmē Jūsu vietu Google meklēšanā | |
PerplexityBot | Perplexity | Parāda vietnes un saites uz tām Perplexity meklēšanas rezultātos, netiek izmantots apmācībai |
Perplexity-User | Perplexity | Ielādē lapu, ja lietotājs to pieprasa. Pēc Perplexity teiktā, šis robots parasti ignorē robots.txt |
Saraksts regulāri mainās. Aktuālos nosaukumus skatiet OpenAI, Anthropic, Google un Perplexity dokumentācijā.
2. robots.txt piemērs
Šis piemērs bloķē modeļu apmācību, bet atļauj meklēšanas robotus un parastās meklētājprogrammas:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robots ievēro tikai grupu ar savu nosaukumu, bet, ja tādas nav, grupu
*. Piemērā GPTBot tātad nedrīkst piekļūt nekur, unDisallow: /winkelmand/uz GPTBot neattiecas. - Ja vēlaties atļaut visus MI robotus, Jums nekas nav jādara: ja noteikumu nav, viss ir atļauts.
- Ja Jūs nejauši bloķējat meklēšanas robotu, piemēram,
OAI-SearchBot,Claude-SearchBotvaiPerplexityBot, Jūsu vietne šajos MI meklēšanas pakalpojumos būs grūtāk atrodama. - Bloķēšana darbojas tikai turpmāk. To, kas jau ir ielādēts agrāk, ar to atgūt nevar.
public_html. Jūs to varat izveidot vai rediģēt, izmantojot failu pārvaldnieku vai FTP. WordPress pats izveido robots.txt, kamēr šāda faila nav, un AI Builder to automātiski izveido publicēšanas laikā. Vairāk par robots.txt darbību lasiet rakstā Kā izslēgt lapu no Google: robots.txt vai noindex?.3. Kas ir llms.txt?
llms.txt ir 2024. gada priekšlikums teksta failam adresē https://example.com/llms.txt. Tajā Markdown formātā ievietojat īsu vietnes aprakstu un saites uz svarīgākajām lapām, lai MI pakalpojums ātri redzētu, kur atrodama pareizā informācija. Vienkāršs piemērs:
# Maiznīca Piemērs > Amatnieku maiznīca Rīgā ar maizi, konditorejas izstrādājumiem un tortēm pēc pasūtījuma. ## Svarīgas lapas - [Sortiments](https://example.com/assortiment): maize, konditorejas izstrādājumi un tortes - [Pasūtīt](https://example.com/bestellen): tortes pasūtīšana un saņemšana - [Kontakti](https://example.com/contact): adrese un darba laiks
Noderīgi zināt:
- llms.txt nav oficiāls standarts, bet gan priekšlikums. Nav garantijas, ka MI pakalpojumi šo failu lasa. Google ir paziņojis, ka Google meklēšana to neizmanto.
- llms.txt neko nebloķē. Ja vēlaties atturēt robotus, izmantojiet robots.txt.
- Fails neparādās pats no sevis: Jūs to izveidojat pats vai ļaujat to izveidot spraudnim.
4. llms.txt izveide WordPress
Populārie SEO spraudņi var izveidot un uzturēt llms.txt Jūsu vietā:
- Yoast SEO: atveriet Yoast SEO, Iestatījumi, Vietnes funkcijas un MI funkciju sadaļā ieslēdziet llms.txt. Jūs varat ļaut Yoast izvēlēties lapas vai norādīt tās pašrocīgi.
- Rank Math: Rank Math sadaļā Vadības panelis ieslēdziet moduli LLMS Txt. Iestatījumus pēc tam atradīsiet sadaļā Vispārīgie iestatījumi.
Izvēlņu nosaukumi dažādās versijās atšķiras. Ja neredzat šo iespēju, atjauniniet spraudni. Pēc tam failu varat apskatīt adresē https://jusudomens.lv/llms.txt.
Bez WordPress failu izveidojat pašrocīgi: teksta failu llms.txt mapē public_html, tāpat kā robots.txt.
Detalizēts skaidrojums ar ekrānuzņēmumiem: Sitemap un robots.txt WordPress un Jūsu pašu vietnē un Sitemap un robots.txt AI Builder rokasgrāmatā Atrodamība tiešsaistē.
Vēlaties uzzināt vairāk? Apgūstiet bezmaksas kursu Atrodamība tiešsaistē, nodarbība 3.3 robots.txt: ko bloķēt un ko ne.