TekoalyDani-Domaintutkimus.

Mitä se hakee.

Julkisia osoitteita, pääosin tavallisilla GET- ja HEAD-pyynnöillä. Etusivu, sivukartasta löytyvät sivut ja alla luetellut tiedostot. Kaikki nämä ovat samoja osoitteita jotka Googlebot ja mikä tahansa selain saa auki ilman kirjautumista. Yksi kartoituksen osa, ostopolkumittaus, poikkeaa tästä ja se on kuvattu omana kohtanaan alempana.

Mitä se ei tee.

• Ei tee ostoja eikä lähetä tilausta.
• Ei täytä eikä lähetä yhteydenotto-, tilaus- tai rekisteröitymislomakkeita.
• Ei luo käyttäjätiliä eikä kirjaudu sisään.
• Ei yritä ohittaa maksumuuria eikä kirjautumista.
• Ei syötä maksutietoja eikä klikkaa maksupainiketta.
• Ei syötä oikeita henkilö- tai yhteystietoja yhteenkään kenttään. Ainoa teksti jonka skanneri kirjoittaa sivustollesi on yleinen hakusana.
• Ei kerää aineistoa tekoälymallin koulutukseen.

Sivukatto ja tahti.

Yksi ajo hakee enintään 75 sivua sivustoa kohden. Jos sivukartassa on enemmän, skanneri poimii niistä edustavan otoksen ja merkitsee raporttiin että katto tuli vastaan. Pyyntöjä on korkeintaan 8 yhtä aikaa. Epäonnistunut pyyntö uusitaan enintään kahdesti, 500 millisekunnin välein, eli sama osoite haetaan pahimmillaan kolme kertaa.

Käytännössä tämä tarkoittaa lokissa yhtä lyhyttä piikkiä, ei tasaista taustakuormaa. Jos skanneri silti näkyy lokissasi häiritsevänä kuormana, kerro siitä, niin tahtia lasketaan.

Ostopolkumittaus, jos kartoitukseen kuuluu sellainen.

Verkkokaupan kartoitukseen voi kuulua mittaus siitä, pääseekö ostaja-agentti kaupassasi eteenpäin. Se on ainoa osa joka käyttää oikeaa selainta eikä pelkkiä HTTP-pyyntöjä, ja ainoa osa joka tekee sivustollasi muutakin kuin lukee.

Syy on se, että kassapolun agenttivalmiutta ei voi mitata ulkopuolelta muuten. Kaupan omasta järjestelmästä sen näkisi suoraan, mutta ulkopuolisella mittaajalla ei ole eikä kuulu olla tunnuksia kauppaasi. Jäljelle jää yksi tapa: kulkea polku läpi niin kuin ostaja kulkisi, ja pysähtyä ennen maksua.

Polku on viisi askelta: etusivu, hakusanan kirjoittaminen hakukenttään ja haun lähettäminen, ensimmäinen tuotesivu, tuotteen lisääminen ostoskoriin ja kassasivun avaus. Näistä kaksi kirjoittaa jotain sivustollesi: haku lähettää hakusanan, ja korinappia painetaan. Hakusana on yleinen tuotesana, oletuksena laptop.

Kassasivulla mittaus pysähtyy. Maksupainike etsitään ja sen teksti luetaan, jotta raporttiin voidaan kirjata löytyikö se, mutta sitä ei klikata. Maksutietoja ei syötetä, tiliä ei luoda, tilausta ei lähetetä, eikä yhtäkään lomaketta täytetä oikealla nimellä, osoitteella tai sähköpostilla. Mikään askel ei siis johda ostoon.

Lokissasi tämä näkyy hakupyyntönä ja ostoskoritapahtumana, ja siksi se kerrotaan tässä. Kauppasi järjestelmässä se voi näkyä hylättynä ostoskorina.

Jos et halua tätä, robots.txt-esto pysäyttää sen siinä missä muunkin haun: selaimen jokainen pyyntö sinun sivustollesi kulkee saman portin läpi.

Yksi asia joka kannattaa tietää etukäteen.

Kartoitus sisältää tietoturvatarkistuksen, joka kokeilee muutamaa tunnettua osoitetta jotka eivät saisi olla julkisesti auki. Näitä ovat esimerkiksi /.env, /.git/config ja /backup.sql. Ne näkyvät lokissasi, ja siksi ne kerrotaan tässä etukäteen. Tarkistus on ehdottomasti HEAD-tasoinen: se katsoo vain vastaako osoite vai ei, eikä koskaan lataa tiedoston sisältöä. Jos jokin niistä vastaa, se on löydös jonka haluat tietää, ja se päätyy raporttiin sinulle.

Miten sen voi estää.

Lisää nämä kaksi riviä sivustosi robots.txt-tiedostoon. Esto koskee vain tätä skanneria, ei muita crawlereita.

User-agent: TekoalyDani-Domaintutkimus
Disallow: /

Esto on lopullinen ja sitä noudatetaan, yhtä poikkeusta lukuun ottamatta, ja se poikkeus kerrotaan heti tämän jälkeen. Skanneri hakee robots.txt-tiedoston ensimmäisenä, ennen mitään muuta osoitetta, ja lukee siitä sekä oman tunnuksensa säännöt että User-agent: * -osion. Kielletyt osoitteet jätetään hakematta kokonaan: pyyntöä ei lähetetä, ja raporttiin merkitään että sivusto kielsi ne. Sama portti koskee molempia kerroksia, sekä varsinaista sivustokartoitusta että sitä täydentäviä erillisiä hakuja ja ostopolun selainta.

Jos kielto koskee koko sivustoa, ainoa pyyntö jonka lokissasi näet tällä tunnuksella on robots.txt itse. Sen hakeminen on standardin mukaan aina sallittua, koska sääntöjä ei voi noudattaa lukematta niitä (RFC 9309, kohta 2.2.2). Jos kielto koskee vain osaa poluista, loput sivustosta mitataan normaalisti.

Voit myös rajata estoa osaan sivustoa. Alla oleva esimerkki päästää skannerin etusivulle ja discovery-tiedostoihin mutta pitää verkkokauppapolut ulkopuolella.

User-agent: TekoalyDani-Domaintutkimus
Allow: /$
Disallow: /checkout/
Disallow: /tili/

Jos haluat eston voimaan heti etkä halua odottaa seuraavaa robots.txt-hakua, voit estää tunnuksen myös palomuurissa tai CDN:n sääntönä. Kumpi tahansa tapa riittää, eikä kumpaakaan tulkita väärinkäsitykseksi.

Kaksi poikkeusta, jotka kerrotaan tässä.

Vaiettu poikkeus on huonompi kuin kerrottu. Näitä on kaksi, ja kumpikin on rajattu.

1. Mittaus joka lähettää tarkoituksella eri tunnuksia.

Kartoitukseen voi kuulua mittaus siitä, miten palvelimesi kohtelee eri botteja. Moni sivusto sallii AI-crawlerit robots.txt:ssä mutta estää ne palomuurissa tietämättään, ja sen huomaa vain kokeilemalla. Ruudukko on kuusi tunnusta kahteen osoitteeseen, eli enintään kaksitoista mitattua hakua. Tunnukset ovat GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot ja tavallinen selaintunnus, ja osoitteet ovat etusivu ja yksi tuotesivu. Pyyntöjen välissä on 1,2 sekuntia. Uudelleenohjaukset seurataan, joten ohjausketju näkyy lokissasi omina pyyntöinään. Jos tuotesivua ei tunnisteta, se sarake jää mittaamatta eikä siitä lähde yhtään pyyntöä.

Ruudukkoa edeltää tuotesivun etsintä: enintään kahdeksan ehdokasosoitetta haetaan 250 millisekunnin välein, jotta ruudukko mittaa oikeaa tuotesivua eikä arvattua. Nämä haut tehdään omalla tunnuksellamme ja ne kulkevat robots.txt-portin läpi normaalisti.

Itse ruudukko ei kulje robots.txt-portin läpi, koska kysymys on nimenomaan siitä mitä palvelin tekee tunnukselle jota se ei tunne. Se tarkoittaa että ruudukon haut voivat lähteä myös silloin kun olet estänyt meidät robots.txt:ssä. Sanotaan tämä suoraan: näissä pyynnöissä lukee toisen botin tunnus, koska juuri sen tunnuksen kohtelu on mittauksen kohde. Pyynnöt tulevat samalta palvelimelta kuin muutkin, ne vain lataavat julkisen sivun, eikä niillä tehdä sivustollasi mitään muuta. Jos haluat myös nämä pois, estä lähde palomuurissa tai CDN:ssä.

2. Ohitus toimeksiannolla.

Robots-esto voidaan ohittaa yksittäisessä ajossa kolmesta syystä, ja syy kirjataan ajoon:

• kohde on Tekoäly-Danin oma sivusto, jolloin robots.txt on meidän omamme
• kartoitus on tilattu ja tilaaja omistaa kohteen
• kyse on kehityksestä tai testauksesta, eikä ajo tuota asiakasmateriaalia

Ohitus on ajokohtainen eikä koskaan globaali: yhden tilatun kartoituksen lippu ei muuta muiden ajojen käytöstä. Kylmä kartoitus ilman toimeksiantoa ei ole listalla eikä sitä lisätä, koska se on juuri se tilanne jota varten robots.txt on olemassa. Jos et ole tilannut kartoitusta, estosi pitää.

Miksi tämä sivu on olemassa.

Nimetön botti on palvelinlokissa pelkkä ongelma, ja oikea reaktio siihen on esto. Googlebot pääsee sallintalistoista läpi osin siksi, että sen tunnuksessa on osoite joka kertoo mikä se on ja miten sen saa pois. Sama vaatimus koskee meitä. Tunnistettavuus on sivuston omistajan oikeus tietää kuka hänen palvelimeltaan hakee ja millä ehdoin, ja se on myös se ainoa tapa jolla estopäätöksen voi tehdä tietoon perustuen eikä arvaamalla.