---
title: "TekoalyDani-Domaintutkimus: botin dokumentaatio | Tekoäly-Dani"
canonical_url: "https://tekoalydani.com/bot/"
summary: "Mikä TekoalyDani-Domaintutkimus -botti on, mitä se hakee sivustoltasi, kuinka usein ja millä tahdilla se mittaa, miten sen voi estää robots.txt:llä ja kehen otat yhteyttä."
generated: "2026-10-23"
source_format: text/html
---

bot · TekoalyDani-Domaintutkimus

# TekoalyDani-Domaintutkimus.

Jos näet tämän tunnuksen palvelinlokissasi, se on Tekoäly-Danin sivustoskanneri. Se lukee julkisia sivuja ja julkisia tiedostoja ja mittaa niistä kolmea asiaa: miten hyvin sivusto on tekoälyagenttien luettavissa, miten se näkyy hakukoneille ja vastausmoottoreille, ja onko teknisessä toteutuksessa korjattavaa.

Tämä ei ole yleinen hakukonerobotti, eikä se kerää aineistoa tekoälymallin koulutukseen. Skanneri mittaa sivustoja jatkuvasti: sama sivusto mitataan uudelleen määrävälein, jotta muutokset näkyvät. Mittaustulokset tallennetaan Tekoäly-Danin omaan kantaan. Samaa skanneria käytetään myös tilatuissa kartoituksissa, ja niissä on muutama lisämittaus, jotka kerrotaan alempana omina kohtinaan.

```
Mozilla/5.0 (compatible; TekoalyDani-Domaintutkimus/1.0; +https://tekoalydani.com/bot)
```

Robots.txt-tunniste on TekoalyDani-Domaintutkimus.

## Kuinka usein ja millä tahdilla.

Sivusto mitataan uudelleen määrävälein. Oletusväli on **30 päivää**.

Mittauksen aikana skanneri hakee sivustoltasi yhden osoitteen kerrallaan, ja seuraava pyyntö lähtee aikaisintaan **sekunnin** kuluttua edellisestä. Sivujen haussa sekunti lasketaan siitä, kun edellinen vastaus saapui, ja sama tahti koskee myös epäonnistuneen pyynnön uusintaa.

Jos robots.txt-tiedostossasi on Crawl-delay, sitä noudatetaan silloin kun se on sekuntia pidempi. Yläraja on viisi sekuntia: sitä pidempi arvo luetaan viitenä sekuntina. Pitkä Crawl-delay pienentää myös sitä, montako sivua mittauskerralla ehditään hakea.

Kaksi kohtaa ei kulje tämän sekuntitahdin mukaan, ja siksi ne kerrotaan tässä. Kun palvelin vastaa uudelleenohjauksella saman sivuston toiseen osoitteeseen, ohjauksen seuraava askel haetaan heti. Etusivun latausmittauksessa sivu avataan selaimessa, jolloin sen kuvat, tyylit ja skriptit ladataan kerralla niin kuin tavallisella kävijällä.

## Mitä se hakee.

Julkisia osoitteita, pääosin tavallisilla GET- ja HEAD-pyynnöillä. Etusivu, sivukartasta löytyvät sivut ja alla luetellut tiedostot. Kaikki nämä ovat samoja osoitteita jotka Googlebot ja mikä tahansa selain saa auki ilman kirjautumista. Tilatun kartoituksen ostopolkumittaus poikkeaa tästä, ja se on kuvattu omana kohtanaan alempana.

/

Etusivu ja siltä linkitetyt saman sivuston sivut.

/robots.txt

Crawl-säännöt ja sivukartan osoite. Haetaan aina ensimmäisenä.

/sitemap.xml

Sivukartta, josta mitattavat sivut poimitaan.

/llms.txt, /ai.txt, /agents.md

Tekoälyagenteille tarkoitetut kuvaustiedostot, jos sellaiset ovat olemassa.

/.well-known/*

Agenttiprotokollien discovery-tiedostot, esimerkiksi agent-card.json, mcp/server-card.json, acp, ucp, ap2, did.json ja api-catalog.

Sivujen JSON-LD

Sivujen omasta HTML:stä luettava rakennedata. Ei erillisiä pyyntöjä.

/products.json

GET-pyyntö, jonka vastauksesta luetaan onko se kelvollinen Shopify-tuotelista. Verkkokauppa-alustan tunnistus. Enintään 512 kilotavua.

/_api/mcp

GET-pyyntö. Kertoo onko kyseessä Wix-kauppa, jolla on alustan oma agenttirajapinta.

/checkout

Yksi GET-pyyntö kassapolun osoitteeseen. Jos sivustosi agents.md ilmoittaa oman kassapolun, haetaan se eikä tätä. Vastaus luetaan, koska siitä tunnistetaan tukeeko kassa agenttimaksuprotokollaa. Mitään ei lähetetä.

Etusivu, Accept: text/markdown

Sama osoite kuin etusivu, mutta pyydettynä markdown-muodossa. Mittaa tarjoatko agenteille kevyemmän muodon sivusta.

Etusivu selaimessa

Etusivun latausmittaus. Selain esittäytyy mobiiliselaimena, jonka tunnuksen perässä on TekoalyDani-Domaintutkimus/1.0, ja sen jokainen pyyntö sivustollesi kulkee robots.txt-portin läpi.

/yhteystiedot, /contact, /meista

Julkinen yhteystietosivu. Jatkuvassa mittauksessa haetaan enintään yksi tällainen sivu, ja vain jos etusivulta ei löydy Y-tunnusta. Sivun tekstistä luetaan Y-tunnus. Tilatussa kartoituksessa sivu haetaan vain kun kartoituksen tarkoitus on yhteydenotto, ja siltä luetaan yrityksen sähköpostiosoite ja puhelinnumero.

### Mitä se ei tee.

- Ei tee ostoja eikä lähetä tilausta.
- Ei täytä eikä lähetä yhteydenotto-, tilaus- tai rekisteröitymislomakkeita.
- Ei luo käyttäjätiliä eikä kirjaudu sisään.
- Ei yritä ohittaa maksumuuria eikä kirjautumista.
- Ei syötä maksutietoja eikä klikkaa maksupainiketta.
- Ei syötä oikeita henkilö- tai yhteystietoja yhteenkään kenttään. Ainoa teksti jonka skanneri kirjoittaa sivustollesi on yleinen hakusana.
- Ei kerää aineistoa tekoälymallin koulutukseen.

### Sivukatto ja uusinnat.

Yksi mittauskerta hakee enintään **75 sivua** sivustoa kohden. Jos sivukartassa on enemmän, skanneri poimii niistä edustavan otoksen ja merkitsee tulokseen että katto tuli vastaan. Epäonnistunut pyyntö (palvelinvirhe tai aikakatkaisu) uusitaan enintään kahdesti, eli sama osoite haetaan pahimmillaan kolme kertaa.

Jatkuvassa mittauksessa pyynnöt sivustollesi kulkevat yksi kerrallaan yllä kerrotulla sekuntitahdilla. Tilatussa kartoituksessa ylärajat ovat 8 pyyntöä yhtä aikaa ja uusinta aikaisintaan 500 millisekunnin kuluttua, ja Crawl-delay noudatetaan samalla tavalla kuin jatkuvassa mittauksessa.

### Ostopolkumittaus, vain tilatussa kartoituksessa.

Tilattuun verkkokaupan kartoitukseen voi kuulua mittaus siitä, pääseekö ostaja-agentti kaupassasi eteenpäin. Jatkuvaan mittaukseen se ei kuulu. Se on ainoa osa joka tekee sivustollasi muutakin kuin lukee.

Syy on se, että kassapolun agenttivalmiutta ei voi mitata ulkopuolelta muuten. Kaupan omasta järjestelmästä sen näkisi suoraan, mutta ulkopuolisella mittaajalla ei ole eikä kuulu olla tunnuksia kauppaasi. Jäljelle jää yksi tapa: kulkea polku läpi niin kuin ostaja kulkisi, ja pysähtyä ennen maksua.

Polku on viisi askelta: etusivu, hakusanan kirjoittaminen hakukenttään ja haun lähettäminen, ensimmäinen tuotesivu, tuotteen lisääminen ostoskoriin ja kassasivun avaus. Näistä kaksi kirjoittaa jotain sivustollesi: haku lähettää hakusanan, ja korinappia painetaan. Hakusana on yleinen tuotesana, oletuksena laptop.

Kassasivulla mittaus pysähtyy. Maksupainike etsitään ja sen teksti luetaan, jotta raporttiin voidaan kirjata löytyikö se, mutta sitä ei klikata. Maksutietoja ei syötetä, tiliä ei luoda, tilausta ei lähetetä, eikä yhtäkään lomaketta täytetä oikealla nimellä, osoitteella tai sähköpostilla. Mikään askel ei siis johda ostoon.

Lokissasi tämä näkyy hakupyyntönä ja ostoskoritapahtumana, ja siksi se kerrotaan tässä. Kauppasi järjestelmässä se voi näkyä hylättynä ostoskorina.

Jos et halua tätä, robots.txt-esto pysäyttää sen siinä missä muunkin haun: selaimen jokainen pyyntö sinun sivustollesi kulkee saman portin läpi.

### Yksi asia joka kannattaa tietää etukäteen.

Jokainen mittauskerta, myös jatkuvassa mittauksessa, sisältää tietoturvatarkistuksen, joka kokeilee muutamaa tunnettua osoitetta jotka eivät saisi olla julkisesti auki. Näitä ovat esimerkiksi /.env, /.git/config ja /backup.sql. Ne näkyvät lokissasi, ja siksi ne kerrotaan tässä etukäteen. Tarkistus on ehdottomasti HEAD-tasoinen: se katsoo vain vastaako osoite vai ei, eikä koskaan lataa tiedoston sisältöä. Jos jokin niistä vastaa, se kirjataan mittaustulokseen löydöksenä. Myös nämä tarkistukset kulkevat robots.txt-portin läpi.

## Miten sen voi estää.

Lisää nämä kaksi riviä sivustosi robots.txt-tiedostoon. Esto koskee vain tätä skanneria, ei muita crawlereita.

```
User-agent: TekoalyDani-Domaintutkimus
Disallow: /
```

Skanneri hakee robots.txt-tiedoston jokaisen mittauskerran alussa, ennen mitään muuta osoitetta, ja lukee siitä sekä oman tunnuksensa säännöt että User-agent: * -osion. Kielletyt osoitteet jätetään hakematta kokonaan: pyyntöä ei lähetetä, ja tulokseen merkitään että sivusto kielsi ne. Sama portti koskee kaikkia kerroksia: varsinaista sivustomittausta, sitä täydentäviä erillisiä hakuja, etusivun latausmittausta ja tilatun kartoituksen ostopolkua. Säännöt luetaan aina skannerin oman nimen mukaan, myös silloin kun skanneri on vaihtanut tunnusta (ks. seuraava kohta).

Koska tiedosto luetaan jokaisen mittauskerran alussa, lisäämäsi esto on voimassa seuraavasta mittauksesta alkaen, ja niin kauan kuin rivi on tiedostossa. Jatkuvassa mittauksessa estolle ei ole poikkeuksia. Tilatussa kartoituksessa on kaksi rajattua poikkeusta, jotka kerrotaan alempana.

Jos kielto koskee koko sivustoa, ainoa pyyntö jonka lokissasi näet tällä tunnuksella on robots.txt itse. Sen hakeminen on standardin mukaan aina sallittua, koska sääntöjä ei voi noudattaa lukematta niitä (RFC 9309, kohta 2.2.2). Jos kielto koskee vain osaa poluista, loput sivustosta mitataan normaalisti.

Voit myös rajata estoa osaan sivustoa. Alla oleva esimerkki päästää skannerin etusivulle ja discovery-tiedostoihin mutta pitää verkkokauppapolut ulkopuolella.

```
User-agent: TekoalyDani-Domaintutkimus
Allow: /$
Disallow: /checkout/
Disallow: /tili/
```

Palomuurin tai CDN:n sääntö, joka estää pelkän skannerin tunnuksen, ei pysäytä mittausta. Skanneri tulkitsee sen estoksi ja jatkaa toisella tunnuksella, viimeisenä tavallisen selaimen tunnuksella. Jos haluat skannerin kokonaan pois, käytä robots.txt-estoa: se pysäyttää kaikki tunnukset.

## Tunnukset ja niiden järjestys.

Skanneri esittäytyy ensin omalla tunnuksellaan. Jos palvelin vastaa siihen estolla, eli HTTP 403 -vastauksella tai bottihaasteella, skanneri vaihtaa tunnusta ja jatkaa loppuun asti uudella tunnuksella. Vastaus 429 (liikaa pyyntöjä) ei vaihda tunnusta. Sivujen haussa järjestys on tämä:

1. Oma tunnus: Mozilla/5.0 (compatible; TekoalyDani-Domaintutkimus/1.0; +https://tekoalydani.com/bot)
2. Sama tunnus ilman Mozilla-alkua, koska osa bottisuojista haastaa jokaisen Mozilla-alkuisen tunnuksen: TekoalyDani-Domaintutkimus/1.0 (+https://tekoalydani.com/bot)
3. Tavallisen Chrome-selaimen tunnus, vain jos kaksi ensimmäistä ovat saaneet eston.

Etusivun erillishaussa ja latausmittauksessa välivaihetta ei ole: jos oma tunnus saa eston, seuraava tunnus on suoraan selaimen tunnus. Selaimen tunnukseen siirrytään siis vain, kun skannerin oma tunnus on saanut eston.

Sanotaan seuraus suoraan: sivusto, joka esti skannerin nimeltä palomuurissa, näkee lokissaan kolmannessa vaiheessa tavallisen selaimen. Pyynnöt lähtevät samalta koneelta kuin ensimmäisetkin, ne kulkevat saman robots.txt-portin läpi, ja niissä on sama tahti. Tarkoitus on saada mitattua myös sivustot, jotka estävät tunnistetut botit palomuurissa mutta eivät robots.txt:ssä. Jos et halua tätä, robots.txt-esto pysäyttää myös selaimen tunnuksen.

## Tilatun kartoituksen kaksi poikkeusta.

Vaiettu poikkeus on huonompi kuin kerrottu. Näitä on kaksi, kumpikin on rajattu, ja kumpikin koskee vain tilattua kartoitusta. Jatkuva mittaus ei käytä kumpaakaan.

### 1. Mittaus joka lähettää tarkoituksella eri tunnuksia.

Tilattuun kartoitukseen voi kuulua mittaus siitä, miten palvelimesi kohtelee eri botteja. Moni sivusto sallii AI-crawlerit robots.txt:ssä mutta estää ne palomuurissa tietämättään, ja sen huomaa vain kokeilemalla. Ruudukko on kuusi tunnusta kahteen osoitteeseen, eli enintään kaksitoista mitattua hakua. Tunnukset ovat GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot ja tavallinen selaintunnus, ja osoitteet ovat etusivu ja yksi tuotesivu. Pyyntöjen välissä on 1,2 sekuntia. Uudelleenohjaukset seurataan, joten ohjausketju näkyy lokissasi omina pyyntöinään. Jos tuotesivua ei tunnisteta, se sarake jää mittaamatta eikä siitä lähde yhtään pyyntöä.

Ruudukkoa edeltää tuotesivun etsintä: enintään kahdeksan ehdokasosoitetta haetaan 250 millisekunnin välein, jotta ruudukko mittaa oikeaa tuotesivua eikä arvattua. Nämä haut tehdään omalla tunnuksellamme ja ne kulkevat robots.txt-portin läpi normaalisti.

Itse ruudukko ei kulje robots.txt-portin läpi, koska kysymys on nimenomaan siitä mitä palvelin tekee tunnukselle jota se ei tunne. Se tarkoittaa että ruudukon haut voivat lähteä myös silloin kun olet estänyt meidät robots.txt:ssä. Sanotaan tämä suoraan: näissä pyynnöissä lukee toisen botin tunnus, koska juuri sen tunnuksen kohtelu on mittauksen kohde. Pyynnöt tulevat samalta palvelimelta kuin muutkin, ne vain lataavat julkisen sivun, eikä niillä tehdä sivustollasi mitään muuta. Jos haluat myös nämä pois, estä lähde palomuurissa tai CDN:ssä.

### 2. Ohitus toimeksiannolla.

Robots-esto voidaan ohittaa yksittäisessä ajossa kolmesta syystä, ja syy kirjataan ajoon:

- kohde on Tekoäly-Danin oma sivusto, jolloin robots.txt on meidän omamme
- kartoitus on tilattu ja tilaaja omistaa kohteen
- kyse on kehityksestä tai testauksesta, eikä ajo tuota asiakasmateriaalia

Ohitus on ajokohtainen eikä koskaan globaali: yhden tilatun kartoituksen lippu ei muuta muiden ajojen käytöstä, eikä jatkuva mittaus käytä ohitusta lainkaan. Kylmä kartoitus ilman toimeksiantoa ei ole listalla eikä sitä lisätä, koska se on juuri se tilanne jota varten robots.txt on olemassa. Jos et ole tilannut kartoitusta, estosi pitää.

## Miksi tämä sivu on olemassa.

Nimetön botti on palvelinlokissa pelkkä ongelma, ja oikea reaktio siihen on esto. Googlebot pääsee sallintalistoista läpi osin siksi, että sen tunnuksessa on osoite joka kertoo mikä se on ja miten sen saa pois. Sama vaatimus koskee meitä. Tunnistettavuus on sivuston omistajan oikeus tietää kuka hänen palvelimeltaan hakee ja millä ehdoin, ja se on myös se ainoa tapa jolla estopäätöksen voi tehdä tietoon perustuen eikä arvaamalla. Siksi tämä sivu kertoo myös sen, milloin skanneri esittäytyy selaimena.

## Tallennettu tieto.

Mittaustulokset tallennetaan Tekoäly-Danin omaan kantaan. Tarkemmin tallennetusta tiedosta kerrotaan [tietosuojaselosteessa](https://tekoalydani.com/tietosuoja/).

## Yhteystiedot.

Skanneria ylläpitää Dani Forsberg, Tekoäly-Dani, Pori. Jos haluat tietää miksi sivustosi mitattiin, pyytää ajon tulokset itsellesi tai pyytää kohteesi tiedot poistettaviksi, laita viestiä. Vastaan myös silloin kun asia on pelkkä lokista noussut kysymys.

[dani@tekoalydani.com](mailto:dani@tekoalydani.com)

Kerro viestissä sivuston osoite ja suunnilleen milloin näit pyynnöt lokissa, niin löydän oikean ajon nopeammin.