Op mijn forum heb ik Search Bot Indexing MOD v1.3.1
Altijd goed gegaan.
Nu krijg ik langzaam een probleem, want ze komen met steeds meer.
Afgelopen dagen zijn er tijden geweest dat er 500-1000 bots online waren.
Zo veel dat de server op een bepaald moment geen database connecties meer kon maken.
Het gaat volgens mij vooral om Yahoo aangezien die het meeste keer online is.
Google, Yahoo, Yahoo, Yahoo, Yahoo, Yahoo, Yahoo, Yahoo Slurp, Yahoo Slurp, Yahoo, Yahoo Slurp, etc, etc
Heeft iemand al eens zoiets gehad?
Wat denken jullie ervan? Yahoo gewoon eruit gooien?
Of sessietijd terug naar 5 zetten? Die staat nu volgens mij op 10 of 15...
Extreem veel indexing search bots
Forumregels
Sinds 1 januari 2009 wordt phpBB2 niet meer ondersteund.
Onderstaande informatie is verouderd en dient uitsluitend als archief.
Sinds 1 januari 2009 wordt phpBB2 niet meer ondersteund.
Onderstaande informatie is verouderd en dient uitsluitend als archief.
-
break down
- Berichten: 18
- Lid geworden op: 26 jan 2006, 19:52
Re: Extreem veel indexing search bots
Als je site effectief bot probleem krijgt dan moet je mss wel beter ze wat rustiger maken, maar ik denk dat je server gewoon iets anders aan het doen was, want het is normaal dat ze zo gezegt op de pagina blijven plakken.
Als je een google account hebt kun je je eigen site identificeren en de googlebot snelheid instellen. Ook kun je nutteloze bots weghalen als je denk dat ze toch niet zo interesant zijn, zoals yahoo is niet zo vaak gebruikt in nl/be dus als je yahoo insteld op visit once a week of zo.
succes.
Als je een google account hebt kun je je eigen site identificeren en de googlebot snelheid instellen. Ook kun je nutteloze bots weghalen als je denk dat ze toch niet zo interesant zijn, zoals yahoo is niet zo vaak gebruikt in nl/be dus als je yahoo insteld op visit once a week of zo.
succes.
-
break down
- Berichten: 18
- Lid geworden op: 26 jan 2006, 19:52
Re: Extreem veel indexing search bots
maar denk je niet dat het iets te maken heeft met die 15 min.?
want als er door die 15 min. zoveel bots online blijven zorgt dat voor veel connecties.
aangezien die bots alle 100.000 berichten doorspitten :s
want ik neem aan dat de grote van mijn forum ook een rolletje speelt waarom er zoveel komen.
want als er door die 15 min. zoveel bots online blijven zorgt dat voor veel connecties.
aangezien die bots alle 100.000 berichten doorspitten :s
want ik neem aan dat de grote van mijn forum ook een rolletje speelt waarom er zoveel komen.
Re: Extreem veel indexing search bots
dat is enkel die mod die kijkt over een bepaalde periode of bots op een pagina zijn, dusja over 15 minuten hebben ze misschien 1000 pagina's aangeroepen. Als je dat op 5 minuten zet dan ga je effectief een statistische vermindering zien, maar als je echt in de problemen komt door die bots, dan zal dat niet aan die 5/15 minuten liggen.