Ik heb sinds november mijn eerste phpbb forum online. In januari had ik 1gig dataverkeer en deze maand verwacht ik op 1,5gig te komen. Maar het gaat sinds gisteren ineens heel hard en in mijn webalizer statistieken is te zien dat het komt door googlebots.
In januari hadden de googlebots in totaal 10mb dataverkeer gegenereerd. Gisteren ging het van een paar mb naar 100mb dataverkeer (nu dus 100mb van de 400mb op mijn site).
Hoe kan dat? Zo groot is mijn site helemaal niet. Dus als het het indexeert dan doet dat het wel erg omslachtig. Mijn database is 3,5mb en ik draai alleen een phpbb forum op dat domein.
Uit mijn webalizer statistieken:
crawl-66-249-65-68.googlebot.com - 15 visits - 74194kbytes data - 3177 files - 3185 hits.
Verder nog een paar googlebots maar die hebben beduidend minder huisgehouden.
Aangezien mijn statistieken slechts 1x per 24uur worden ge-update ben ik benieuwd wat er vandaag gebeurt. Want mijn php administratie paneel zit nu helemaal vol met een andere googlebot.
Is het een worm? Die komen toch met andere IPs als die van google?
Of is google deze dagen mijn site aan het indexeren? Ik draai phpbb 2.0.11
Googlebot raast rond over mijn site (>80mb traffic)
Forumregels
Sinds 1 januari 2009 wordt phpBB2 niet meer ondersteund.
Onderstaande informatie is verouderd en dient uitsluitend als archief.
Sinds 1 januari 2009 wordt phpBB2 niet meer ondersteund.
Onderstaande informatie is verouderd en dient uitsluitend als archief.
-
Erik Geurts
- Berichten: 21
- Lid geworden op: 09 jun 2004, 10:30
- Contacteer:
Hoi,
Googlebot is inderdaad erg grondig in het indexeren van phpbb gebaseerde sites. Je moet je realiseren dat die bot alle links op alle pagina's afloopt. Dat kan dus wel eens een flinke partij zoekwerk worden.
Ter geruststelling, het kan even duren (afhankelijk van de omvang van je forum) maar hij (?) is een keer klaar. Dat kan echter wel enkele uren/dagen duren.
Als je niet wilt dat Google je site doorspit, dan kun je een robots.txt file in je root neerzetten met instructies. Maar: als google je site niet doorzoekt, komt de site ook niet/nooit in de google resultaten terecht.
Succes!
Googlebot is inderdaad erg grondig in het indexeren van phpbb gebaseerde sites. Je moet je realiseren dat die bot alle links op alle pagina's afloopt. Dat kan dus wel eens een flinke partij zoekwerk worden.
Ter geruststelling, het kan even duren (afhankelijk van de omvang van je forum) maar hij (?) is een keer klaar. Dat kan echter wel enkele uren/dagen duren.
Als je niet wilt dat Google je site doorspit, dan kun je een robots.txt file in je root neerzetten met instructies. Maar: als google je site niet doorzoekt, komt de site ook niet/nooit in de google resultaten terecht.
Succes!
Mijn phpBB site: Corsica Prikbord
Hoi Erik,
Bedankt voor je antwoord. Maar is 80mb dataverkeer niet een beetje veel? Mijn site heeft een database van 3,5mb en 2300 berichten waarvan de helft in onzichtbare fora.
En ik ben nu eigenlijk helemaal verbaasd want ik heb eventjes naar statistieken van een 2de domein van mij gekeken. Opdat domein staat alleen een phpbb 2.0.11 forum met 4 berichtjes (het was een testje) en het domein wordt ook nergens gelinkt (dacht ik) normaal is er ook 0.0 verkeer op. Maar gisteren had ook dat kleine forumpje bezoek van een overijverige googlebot. Resultaat 74mb dataverkeer... Op een site met 3users, 4 onderwerpen en 4 berichten.
Vandaag ook continue op het 2de domein 40-80 gasten (met ip van googlebot) en ze bezochten tussen 10:00-16:00 alleen de forum index. Sinds 16:00 hebben ze ook 1 van de subfora ondekt.
Op mijn echte site zit de googlebot alleen nog op de forum index. Echt vaag.
Bedankt voor je antwoord. Maar is 80mb dataverkeer niet een beetje veel? Mijn site heeft een database van 3,5mb en 2300 berichten waarvan de helft in onzichtbare fora.
En ik ben nu eigenlijk helemaal verbaasd want ik heb eventjes naar statistieken van een 2de domein van mij gekeken. Opdat domein staat alleen een phpbb 2.0.11 forum met 4 berichtjes (het was een testje) en het domein wordt ook nergens gelinkt (dacht ik) normaal is er ook 0.0 verkeer op. Maar gisteren had ook dat kleine forumpje bezoek van een overijverige googlebot. Resultaat 74mb dataverkeer... Op een site met 3users, 4 onderwerpen en 4 berichten.
Vandaag ook continue op het 2de domein 40-80 gasten (met ip van googlebot) en ze bezochten tussen 10:00-16:00 alleen de forum index. Sinds 16:00 hebben ze ook 1 van de subfora ondekt.
Op mijn echte site zit de googlebot alleen nog op de forum index. Echt vaag.
dan maar geen google 
Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.
KNAVIVO DIERENHULP
Stimuleer verdraagzaamheid. Wees eens wat vaker irritant.
Stimuleer verdraagzaamheid. Wees eens wat vaker irritant.
http://home.concepts.nl/~hooms/robots.txtXP-Rene schreef:Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.
Laat even weten als je hem hebt.
Met groet, The Sting
Dank U, en het staat er al op, ben benieuwd.....
KNAVIVO DIERENHULP
Stimuleer verdraagzaamheid. Wees eens wat vaker irritant.
Stimuleer verdraagzaamheid. Wees eens wat vaker irritant.
Ik zal het over precies een week even laten weten hoe een en ander gelopen is.
KNAVIVO DIERENHULP
Stimuleer verdraagzaamheid. Wees eens wat vaker irritant.
Stimuleer verdraagzaamheid. Wees eens wat vaker irritant.
Is de bedoeling dat je dat txt file gewoon in de root word geplaatst ??The Sting schreef:http://home.concepts.nl/~hooms/robots.txtXP-Rene schreef:Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.
Laat even weten als je hem hebt.
Wat doe die robots.txt eigelijk die blokeert die zoekrobots ?
Wat net als bij jullie heb ik er dus ook last van nog niet zo veel maar toch om het ergst te voorkomen. wil ik ook van die dingen af.
Hij blokt ze inderdaad en in de root, dus bij de index.php.Roelof schreef:Is de bedoeling dat je dat txt file gewoon in de root word geplaatst ??The Sting schreef:http://home.concepts.nl/~hooms/robots.txtXP-Rene schreef:Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.
Laat even weten als je hem hebt.
Wat doe die robots.txt eigelijk die blokeert die zoekrobots ?
Wat net als bij jullie heb ik er dus ook last van nog niet zo veel maar toch om het ergst te voorkomen. wil ik ook van die dingen af.
Maar dat wist je denk ik wel, zeg het erbij omdat dat vaak de volgende vraag is
Met groet, The Sting
hihiThe Sting schreef:Hij blokt ze inderdaad en in de root, dus bij de index.php.Roelof schreef:Is de bedoeling dat je dat txt file gewoon in de root word geplaatst ??
Wat doe die robots.txt eigelijk die blokeert die zoekrobots ?
Wat net als bij jullie heb ik er dus ook last van nog niet zo veel maar toch om het ergst te voorkomen. wil ik ook van die dingen af.
Maar dat wist je denk ik wel, zeg het erbij omdat dat vaak de volgende vraag is
weet voldoende maar het is gewoon dat txt bestandje he veder niks aan doen ?? gewoon er neer plakken en whola ?Oke :thumb: Gedaan. Volgens mij werkt het direct alThe Sting schreef:Ja, dat moet het doen :thumb:Roelof schreef:hihi
Normaal waren er al zo'n 20 de zelfde ip's aan het zoeken nu nog enkele.
soms 2 Hmm valt nog mee te leven
Thanks
Grtzz Roelof
Ik noem het niet erg, wel raar.Cheeta schreef:noemen jullie 80mb erg
ik heb msnbot 600mb 100mb per dag en buurtzaken.nl 150mb per dag
Vooral het feit dat de googlebot nu wel heel raar doet op een ander niet actief forum van mij. Het is een domein dat nergens gelinkt wordt, het bevat alleen phpbb 2.0.11 met 4 berichten. En er komt normaal geen verkeer op. Wat doet googlebot?
1 februari 0 byte dataverkeer
2 februari 0 byte dataverkeer
3 februari 0 byte dataverkeer
4 februari 0 byte dataverkeer
5 februari 2 kbyte dataverkeer
6 februari 7697 kbyte dataverkeer
7 februari 73334 kbyte dataverkeer
8 februari 108094 kbyte dataverkeer
900 kbyte is dataverkeer door mij de rest is van googlebot
Daar heeft googlebot dus 180mb gedownload binnen 2 dagen op een mini phpbb pagina. Het lijkt me een bug van phpBB of van google of komt dit ook voor op andere pagina's? Bv pagina's met alleen html?