phpBB.nl

Ik heb sinds november mijn eerste phpbb forum online. In januari had ik 1gig dataverkeer en deze maand verwacht ik op 1,5gig te komen. Maar het gaat sinds gisteren ineens heel hard en in mijn webalizer statistieken is te zien dat het komt door googlebots.

In januari hadden de googlebots in totaal 10mb dataverkeer gegenereerd. Gisteren ging het van een paar mb naar 100mb dataverkeer (nu dus 100mb van de 400mb op mijn site).

Hoe kan dat? Zo groot is mijn site helemaal niet. Dus als het het indexeert dan doet dat het wel erg omslachtig. Mijn database is 3,5mb en ik draai alleen een phpbb forum op dat domein.

Uit mijn webalizer statistieken:
crawl-66-249-65-68.googlebot.com - 15 visits - 74194kbytes data - 3177 files - 3185 hits.

Verder nog een paar googlebots maar die hebben beduidend minder huisgehouden.

Aangezien mijn statistieken slechts 1x per 24uur worden ge-update ben ik benieuwd wat er vandaag gebeurt. Want mijn php administratie paneel zit nu helemaal vol met een andere googlebot.

Is het een worm? Die komen toch met andere IPs als die van google?
Of is google deze dagen mijn site aan het indexeren? Ik draai phpbb 2.0.11

Hoi,

Googlebot is inderdaad erg grondig in het indexeren van phpbb gebaseerde sites. Je moet je realiseren dat die bot alle links op alle pagina's afloopt. Dat kan dus wel eens een flinke partij zoekwerk worden.

Ter geruststelling, het kan even duren (afhankelijk van de omvang van je forum) maar hij (?) is een keer klaar. Dat kan echter wel enkele uren/dagen duren.

Als je niet wilt dat Google je site doorspit, dan kun je een robots.txt file in je root neerzetten met instructies. Maar: als google je site niet doorzoekt, komt de site ook niet/nooit in de google resultaten terecht.

Succes!

Hoi Erik,

Bedankt voor je antwoord. Maar is 80mb dataverkeer niet een beetje veel? Mijn site heeft een database van 3,5mb en 2300 berichten waarvan de helft in onzichtbare fora.

En ik ben nu eigenlijk helemaal verbaasd want ik heb eventjes naar statistieken van een 2de domein van mij gekeken. Opdat domein staat alleen een phpbb 2.0.11 forum met 4 berichtjes (het was een testje) en het domein wordt ook nergens gelinkt (dacht ik) normaal is er ook 0.0 verkeer op. Maar gisteren had ook dat kleine forumpje bezoek van een overijverige googlebot. Resultaat 74mb dataverkeer... Op een site met 3users, 4 onderwerpen en 4 berichten.

Vandaag ook continue op het 2de domein 40-80 gasten (met ip van googlebot) en ze bezochten tussen 10:00-16:00 alleen de forum index. Sinds 16:00 hebben ze ook 1 van de subfora ondekt.

Op mijn echte site zit de googlebot alleen nog op de forum index. Echt vaag.

bij mij ook alleen op index... kan het liggen aan de premissies?

ook last van gehad.. nu robot.txt dan maar geen google

Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.

XP-Rene schreef:Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.

http://home.concepts.nl/~hooms/robots.txt

Laat even weten als je hem hebt.

Dank U, en het staat er al op, ben benieuwd.....

noemen jullie 80mb erg

ik heb msnbot 600mb 100mb per dag en buurtzaken.nl 150mb per dag

XP-Rene schreef:Dank U, en het staat er al op, ben benieuwd.....

Laat het nog eens weten?.

Ik zal het over precies een week even laten weten hoe een en ander gelopen is.

The Sting schreef:

XP-Rene schreef:Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.

http://home.concepts.nl/~hooms/robots.txt

Laat even weten als je hem hebt.

Is de bedoeling dat je dat txt file gewoon in de root word geplaatst ??
Wat doe die robots.txt eigelijk die blokeert die zoekrobots ?

Wat net als bij jullie heb ik er dus ook last van nog niet zo veel maar toch om het ergst te voorkomen. wil ik ook van die dingen af.

Roelof schreef:

The Sting schreef:

XP-Rene schreef:Waar is die robot text ergens te vinden? Ik heb er namelijk ook nogal veel last van.

http://home.concepts.nl/~hooms/robots.txt

Laat even weten als je hem hebt.

Is de bedoeling dat je dat txt file gewoon in de root word geplaatst ??
Wat doe die robots.txt eigelijk die blokeert die zoekrobots ?

Wat net als bij jullie heb ik er dus ook last van nog niet zo veel maar toch om het ergst te voorkomen. wil ik ook van die dingen af.

Hij blokt ze inderdaad en in de root, dus bij de index.php.
Maar dat wist je denk ik wel, zeg het erbij omdat dat vaak de volgende vraag is

The Sting schreef:

Roelof schreef:

The Sting schreef: http://home.concepts.nl/~hooms/robots.txt

Laat even weten als je hem hebt.

Is de bedoeling dat je dat txt file gewoon in de root word geplaatst ??
Wat doe die robots.txt eigelijk die blokeert die zoekrobots ?

Wat net als bij jullie heb ik er dus ook last van nog niet zo veel maar toch om het ergst te voorkomen. wil ik ook van die dingen af.

Hij blokt ze inderdaad en in de root, dus bij de index.php.
Maar dat wist je denk ik wel, zeg het erbij omdat dat vaak de volgende vraag is

hihi weet voldoende maar het is gewoon dat txt bestandje he veder niks aan doen ?? gewoon er neer plakken en whola ?

Roelof schreef:hihi weet voldoende maar het is gewoon dat txt bestandje he veder niks aan doen ?? gewoon er neer plakken en whola ?

Ja, dat moet het doen :thumb:

The Sting schreef:

Roelof schreef:hihi weet voldoende maar het is gewoon dat txt bestandje he veder niks aan doen ?? gewoon er neer plakken en whola ?

Ja, dat moet het doen :thumb:

Oke :thumb: Gedaan. Volgens mij werkt het direct al
Normaal waren er al zo'n 20 de zelfde ip's aan het zoeken nu nog enkele.
soms 2 Hmm valt nog mee te leven

Thanks

Grtzz Roelof

Cheeta schreef:noemen jullie 80mb erg

ik heb msnbot 600mb 100mb per dag en buurtzaken.nl 150mb per dag

Ik noem het niet erg, wel raar.

Vooral het feit dat de googlebot nu wel heel raar doet op een ander niet actief forum van mij. Het is een domein dat nergens gelinkt wordt, het bevat alleen phpbb 2.0.11 met 4 berichten. En er komt normaal geen verkeer op. Wat doet googlebot?

1 februari 0 byte dataverkeer
2 februari 0 byte dataverkeer
3 februari 0 byte dataverkeer
4 februari 0 byte dataverkeer
5 februari 2 kbyte dataverkeer
6 februari 7697 kbyte dataverkeer
7 februari 73334 kbyte dataverkeer
8 februari 108094 kbyte dataverkeer

900 kbyte is dataverkeer door mij de rest is van googlebot

Daar heeft googlebot dus 180mb gedownload binnen 2 dagen op een mini phpbb pagina. Het lijkt me een bug van phpBB of van google of komt dit ook voor op andere pagina's? Bv pagina's met alleen html?

Werkt jou phpBB met sessies in de link? Dan gaan het goochelen met sessies en gaat het verkeerd indexeren.

bee schreef:Werkt jou phpBB met sessies in de link? Dan gaan het goochelen met sessies en gaat het verkeerd indexeren.

Wil je dit eens uitleggen, begrijp het niet, wat zijn sessies in de link?.

Je hebt van die links, waarin een volledige sessienummer staat. Google kan niet zo goed opschieten met die sessies, want die lijken steeds te veranderen, daardoor veranderd volgens google de link, en daardoor ziet hij telkens andere pagina's