Het is mij niet helemaal duidelijk hoe het spider/robots gedeelte werkt.
Ik heb de bots als volgt staan:
Google [Bot] 24 nov 2008, 03:37 Deactiveren Wijzig Verwijder
Als de optie op "deactiveren" staat, is de toegang dan geweigerd voor de bot of niet?
Spiders/Robots
Forumregels
phpBB 3.0 is End of support per 1 januari 2017. Dit forum is hier enkel ter archief. Het wordt aangeraden te upgraden naar phpBB 3.2
phpBB 3.0 is End of support per 1 januari 2017. Dit forum is hier enkel ter archief. Het wordt aangeraden te upgraden naar phpBB 3.2
Re: Spiders/Robots
Nee, de toegang is niet geweigerd dan. Je zal met robots.txt of permissies moeten werken om de toegang te weigeren.
Re: Spiders/Robots
Aha, dat maakt een hoop duidelijk wat betreft de logfiles waarin ik de googlebot zag langskomen.
Maar waarvoor is deze optie dan? Ik zie nergens documentatie waarin dat uitgelegd wordt.
Of ik kijk er dwars overheen... 
Maar waarvoor is deze optie dan? Ik zie nergens documentatie waarin dat uitgelegd wordt.
Of ik kijk er dwars overheen... Re: Spiders/Robots
Het is ervoor dat hij gewoon als normale gebruiker wordt gezien en niet als bot.