Mikä on robots.txt-tiedosto?
Robots.txt on verkkosivuston juurihakemistossa sijaitseva tekstitiedosto, joka kertoo hakukoneiden roboteille, mitä sivuja tai osioita niiden tulisi tai ei tulisi käydä läpi (crawl). Se on elintärkeä työkalu crawl budgetin hallintaan ja turhien osioiden indeksoinnin estämiseen.
Robots.txt-tiedosto on käytännössä ohjeistus hakuboteille. Kun hakukone, kuten Google, vierailee sivustolla, se etsii ensimmäisenä tämän tiedoston. Se käyttää 'Robots Exclusion Protocol' -standardia antaakseen komentoja, kuten 'User-agent' (kenelle sääntö kuuluu) ja 'Disallow' (mitkä polut tulisi ohittaa). Vaikka se on erinomainen estämään bottien ajan tuhlaamista vähäpätöisille sivuille – kuten kirjautumissivuille, sisäisiin hakutuloksiin tai hallintapaneeleihin – on tärkeää huomata, ettei robots.txt ole varma tapa pitää sivu poissa Googlen indeksistä. Jos sivu on estetty robots.txt-tiedostossa, mutta siihen on ulkoisia linkkejä, Google saattaa silti indeksoida URL-osoitteen. Sivun täydellinen poistaminen hakutuloksista vaatii 'noindex'-tagin. Robots.txt-tiedoston väärin konfigurointi on yleinen tekninen SEO-virhe; koko sivuston vahingollinen estäminen voi johtaa täydelliseen näkyvyyden katoamiseen, joten sitä on käsiteltävä huolella.
Vaiheittainen opas
Paikanna tai luo tiedosto
Varmista, että robots.txt-niminen tiedosto löytyy sivustosi juuresta (esim. esimerkki.fi/robots.txt).
Määritä User-Agentit
Määrittele, mitä botteja säännöt koskevat. Käytä tähteä (*) kaikille boteille tai 'Googlebot' tietylle botille.
Aseta Disallow-säännöt
Listaa hakemistot tai polut, jotka haluat pitää hakukoneiden ulottumattomissa.
Lisää Sitemap-linkki
Lisää suora linkki XML-sivustokarttaasi tiedoston loppuun auttaaksesi botteja löytämään sisältösi.
Testaa virheiden varalta
Käytä Google Search Console robots.txt-testaustyökalua varmistaaksesi, ettet estä tärkeitä sivuja.
Pro-vinkit
- Käytä 'Disallow'-komentoa yksityisille tai toistuville sivuille, kuten /wp-admin/ tai /haku/.
- Älä koskaan käytä robots.txt-tiedostoa arkaluontoisen datan piilottamiseen; käytä siihen salasanasuojausta.
- Pidä syntaksi yksinkertaisena; monimutkaiset säännöt voivat johtaa indeksointivirheisiin.
Miten pSeoMatic auttaa
pSeoMatic valvoo automaattisesti robots.txt-tiedostoasi odottamattomien muutosten varalta. Jos kehittäjä vahingossa estää sivustosi vilkkaimman osion, järjestelmämme lähettää välittömästi hälytyksen, estäen katastrofaalisen näkyvyyden laskun ennen kuin se vaikuttaa tulokseesi.
Kokeile pSeoMaticia ilmaiseksiAiheeseen liittyvät kysymykset
Estääkö robots.txt sivun indeksoinnin?
Se estää crawlaamisen, mutta indeksointi voi silti tapahtua, jos muut sivustot linkittävät kyseiseen sivuun. Käytä noindex-tagia täydelliseen poistoon.
Mihin robots.txt-tiedosto sijoitetaan?
Se on sijoitettava verkkosivustosi hostauksen pääjuurihakemistoon.
Onko robots.txt kirjainkokoriippuvainen?
Kyllä, sekä tiedostonimi että sen sisällä olevat polut ovat case-sensitive eli kirjainkoolla on väliä.
Aiheeseen liittyvät oppaat
Oletko valmis siirtymään sanoista tekoihin?
pSeoMatic luo tuhansia SEO-optimoituja sivuja datastasi.