Feltérképezés és indexelés
Robots.txt vagy noindex: az elvárt eredményhez válassz eszközt
A robots.txt a feltérképezést szabályozza. A noindex azt, hogy egy lekért oldal megjelenjen-e az azt támogató keresőkben. A hitelesítés a hozzáférést kezeli. Eltérő problémák, és tiszta modell nélkül együtt használva az ellenkező eredményt adhatják.
A lényegi különbség
Ha a robots.txt blokkolja a robotot, az nem tölti le az oldalt, így a benne lévő noindexet sem látja. A blokkolt URL linkekből továbbra is ismert lehet. Érzékeny tartalomhoz hitelesítés kell; keresési kizáráshoz a noindex feldolgozásáig engedni kell a lekérést.
1. Határozd meg: crawl, index, hozzáférés vagy összevonás
Indulj a kívánt eredményből. A lényegtelen URL-terek lekérésének csökkentése crawlkezelés. Nyilvános oldal keresőből kivétele indexkezelés. Staging, fiók vagy bizalmas dokumentum védelme hozzáférés-vezérlés. Duplikált oldalak egyesítése canonicalizálás.
- Robots.txt-t a ritkán feltérképezendő útvonalmintákra használj, ne adatvédelmi határként.
- Noindexet HTML-ben vagy X-Robots-Tagben használj, ha egy nyilvánosan lekérhető erőforrás ne jelenjen meg keresőben.
- Hitelesítést vagy access gatewayt használj, ha jogosulatlan látogató és robot nem kaphatja meg az erőforrást.
2. Kerüld a saját felfedezésüket megakadályozó szabályokat
A noindexet le kell tölteni a feldolgozáshoz. Ha a robots.txt előbb blokkolja az URL-t, a robot nem látja megbízhatóan az oldalszintű direktívát. Már indexelt terület kivezetésekor tedd elérhetővé a noindex választ, szüntesd meg a belső népszerűsítést, és figyeld az eltávolítást.
- Ne írj noindexet a robots.txt-be; ez nem támogatott robots.txt szabály a Google Search számára.
- Ne blokkolj oldalt pusztán a találatokból eltávolításhoz, és a snippet hiányát ne keverd össze az indexből való hiánnyal.
- A direktíva legyen következetes nyelvi, eszköz-, cache- és user-agent változatok között.
3. Életciklus-változáshoz használj átirányítást és állapotkódot
Ha a tartalom elköltözött, valóban egyenértékű célra irányítsd. Ha végleg megszűnt helyettesítő nélkül, adj 404 vagy 410 választ. A 200-as soft-404 kétértelmű. A canonical duplikátumokra való, nem eltávolítási vagy hozzáférési mechanizmus.
- Az átirányítás legyen közvetlen, a belső link és sitemap pedig a végső célra frissüljön.
- A kivezetett URL-t távolítsd el a navigációból, hreflangból, strukturált adatból és sitemapből.
- Ne irányíts minden törölt oldalt a kezdőlapra; legyen releváns cél vagy őszinte hiányállapot.
4. A nem éles környezetet a hozzáférési rétegen védd
A staging gyakran valós szöveget, URL-t és integrációt tartalmaz, amely nem nyilvános. A hitelesítés vagy access gateway az elsődleges védelem; a noindex kiegészítő réteg. Ne hagyj éles canonicalt és sitemapet staging válaszban tudatos átírási szabály nélkül.
- Hitelesített böngészőmunkamenet nélkül teszteld, hogy a környezet valóban nem érhető-e el nyilvánosan.
- Stagingen deploymentfüggő válaszpolitikával alkalmazz globális noindexet, ne könnyen kihagyható kézi címkékkel.
- Az éles oldalt külön ellenőrizd, hogy a staging védelem véletlenül se tiltsa le a nyilvános webhelyet.
Vezérlőválasztási ellenőrzőlista
- 01 Írd le a célt: feltérképezés csökkentése, kizárás, hozzáférés tiltása, összevonás, költözés vagy törlés.
- 02 Privát tartalomhoz hitelesítést használj, a robots.txt-t soha ne tekintsd biztonsági kontrollnak.
- 03 A robot le tudja kérni az URL-t, amikor annak noindex direktíváját fel kell dolgoznia.
- 04 Egyenértékű költözéshez közvetlen átirányítást, helyettesítő nélküli megszűnéshez 404 vagy 410 választ adj.
- 05 A kizárt vagy kivezetett URL-t távolítsd el belső linkből, sitemapből, canonicalból és hreflang-csoportból.
- 06 Teszteld az élő választ és figyeld a Search Console-t ahelyett, hogy csak a fájlból következtetnél.
A mechanizmust a kívánt határhoz igazítsd
A robots.txt feltérképezési, a noindex indexelési utasítás, a hitelesítés pedig hozzáférési határ. Ezek tiszta szerepe mellett az átirányítás, canonical és állapotkód ellentmondás nélkül kezelheti az URL életciklusát.
Elsődleges források
Folytasd egy kapcsolódó útmutatóval
Ezek az ellenőrzések hatnak egymásra. A következő útmutatóval a környező jeleket is vizsgáld meg, ne csak egy címkét vagy pontszámot.