ChatGPT keresőrobotok és robots.txt: mit engedj be a weboldaladra?
Be szeretnéd engedni a ChatGPT keresőjét a szolgáltatási oldalaidra, de külön döntenél a modelltréningről? Az OpenAI robotjainál ez két külön beállítás. Egy általános „AI-robotok tiltása” szabály könnyen többet zár ki, mint amennyit eredetileg terveztél.
OAI-SearchBot, GPTBot és ChatGPT-User: három eltérő szerep.
Az OpenAI hivatalos robotdokumentációja szerint az OAI-SearchBot a ChatGPT keresési funkcióihoz kapcsolódik. A GPTBot olyan tartalmat térképezhet fel, amely modelltréninghez használható. A két robots.txt-beállítás egymástól független.
A ChatGPT-User bizonyos felhasználói kérések nyomán nyithat meg oldalakat. Nem automatikus keresőrobot, és az OpenAI szerint ezekre a felhasználó által kezdeményezett kérésekre a robots.txt szabályai nem feltétlenül vonatkoznak. A keresési megjelenés szabályozásához az OAI-SearchBot beállítását vizsgáld.
Ez egy lehetséges döntési minta, nem kész javítás a webhelyedhez.
Ha a nyilvános oldalaidat elérhetővé tennéd a ChatGPT kereséséhez, miközben a GPTBot számára tiltást jeleznél, ezt a két csoportot külön írhatod le:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /A példát ne másold be a teljes meglévő fájl helyére. Előbb mentsd az eredetit, és ellenőrizd a többi robots.txt-csoportot, a keresők számára fontos útvonalakat és a webhelytérkép hivatkozását. Ez a minta nem módosítja a webhelyedet, és nem jelent garantált hivatkozást a ChatGPT válaszaiban.
A robots.txt nem védi meg a bizalmas adatot.
A Google robots.txt-útmutatója szerint a fájl a feltérképezés szabályozását szolgálja, és nem megfelelő eszköz a privát információ védelmére. A hozzáférést valódi jogosultságkezeléssel vagy hitelesítéssel korlátozd. A kizárt útvonal neve önmagában is nyilvános lehet.
A feltérképezés tiltása és az indexelés tiltása szintén külön kérdés. Ne abból indulj ki, hogy egy Disallow szabály minden körülmények között eltünteti az URL-t a keresőből. A webhely üzemeltetőjével együtt válaszd ki az adott feladathoz szükséges megoldást.
Egy robots.txt-szabály mellett is maradhat hozzáférési hiba.
A tűzfal, a CDN robotvédelme vagy egy kihívásoldal akkor is megállíthat egy kérést, ha a robots.txt engedélyezi. A robot nevét tartalmazó kérésfejléc önmagában nem bizonyítja, hogy valóban az adott szolgáltató küldte a kérést. Az üzemeltető a hivatalos robotazonosítási adatokkal és a szervernaplóval ellenőrizze a forrást.
Változtatás előtt ezt érdemes végignézni.
- Melyik nyilvános szolgáltatási oldal fontos a vevő döntéséhez?
- Mit enged az adott robotnak a jelenlegi robots.txt?
- Van-e külön tűzfalas vagy CDN-es tiltás?
- Betöltődik-e a tényleges tartalom és a fontos belső link?
- Megmaradt-e az eredeti fájl és a visszaállítás lehetősége?
A hozzáférés ellenőrzése után az ajánlat érthetőségét és a bizonyítékokat is nézd meg. A bizalomépítésről szóló útmutató ebben segít. Ha előbb a technikai és tartalmi kiindulópontot vizsgálnád, használd az Beszélgessünk az AI-ról.
