phpBB.nl

Het is mij niet helemaal duidelijk hoe het spider/robots gedeelte werkt.
Ik heb de bots als volgt staan:

Google [Bot] 24 nov 2008, 03:37 Deactiveren Wijzig Verwijder

Als de optie op "deactiveren" staat, is de toegang dan geweigerd voor de bot of niet?

Nee, de toegang is niet geweigerd dan. Je zal met robots.txt of permissies moeten werken om de toegang te weigeren.

Aha, dat maakt een hoop duidelijk wat betreft de logfiles waarin ik de googlebot zag langskomen.
Maar waarvoor is deze optie dan? Ik zie nergens documentatie waarin dat uitgelegd wordt. Of ik kijk er dwars overheen...

Het is ervoor dat hij gewoon als normale gebruiker wordt gezien en niet als bot.