Crawlerfout (Google Adsense) i.c.m. robots.txt bestandje

[SatusNovus]

• Adres van je forum: http://beursig.nl/forum
  Event. modificaties op je forum: N.v.t.
  Wanneer ontstond het probleem? waarschijnlijk na het vernieuwen (eigenlijk 'updaten') van de stijlen
  phpBB versie: 3.0.10
  Heb je onlangs iets veranderd aan je forum? niet noemenswaardig
  
  Wat is het probleem?

Ik zie bij Google Adsense meldingen van crawlerfouten voor mijn forum. Ik zou dit moeten kunnen oplossen door een robot.txt bestandje te bewerken met de tekst:

User-agent: Mediapartners-Google
Disallow:

Maar ik kan dit bestand nergens vinden. Is dit bestand er wel, zo ja waar kan ik dit vinden? Of moet ik zelf een txt bestand in een map plaatsen om dit probleem op te lossen?


Zoals enkelen al hebben opgemerkt ben ik hier niet echt een held in maar met de beschrijving van phpbb denk ik er uit te gaan komen. Als ik het in de root plaats kan het forum dan ook geïndexeerd worden?

Uitleg over het maken/plaatsen van het robots.txt bestandje: http://wiki.phpbb.nl/Robots.txt

[Pola]

Wat is het probleem?[/list] Ik zie bij Google Adsense meldingen van crawlerfouten voor mijn forum. Ik zou dit moeten kunnen oplossen door een robot.txt bestandje te bewerken met de tekst:

User-agent: Mediapartners-Google
Disallow:

Ik begrijp dit niet goed. Wat voor crawler fouten zie je? En waarom zou een robot.txt bestand met aangehaalde tekst dat oplossen?
Het bestand robot.txt is bedoeld om zoekrobots te vertellen waar ze niet moeten zoeken. Aangezien er niets bij Disallow: staat, werkt dit hetzelfde als wanneer je geen robot.txt bestand hebt.

[PhilipvD]

SatusNovus, graag de volgende niet keer niet dubbelposten binnen 24 uur. Bedankt!
Ik heb je berichten nu samengevoegd.

[SatusNovus]

Sorry, dan heb ik wat verkeerd gedaan of ik was er niet helemaal met mijn hoofd bij.

@Pola, dat dacht ik dus ook. Het bestandje kan wel uitsluiten maar zonder het bestand zou de crawler overal toegang tot moeten hebben. Als voorbeeld is dit een link -edit-

Er komt dan in beeld dit te staan: Het forum wat u geselecteerd heeft bestaat niet.

Nu ik er zo over nadenk kan het denk ik geen kwaad maar er zijn inmiddels meer dan 100 meldingen over die url gekomen.

[marian0810]

Als voorbeeld is dit een link http://www.beursig.nl/forum/viewforum.php

Deze link zal nooit werken, dat heeft niks met robots.txt te maken. Hij werkt niet omdat er geen forum id gespecificeerd is, de link is dus gewoon incompleet.

[SatusNovus]

Is de link dan wel te verwijderen zonder gevolgen? Volgens mij ben ik een bestandje tegen gekomen dat viewforum.php heet maar omdat ik weinig kennis heb van phpbb weet ik niet of ik het dan ook zomaar kan verwijderen.

Edit: het probleem komt vaker voor volgens mij, ik heb hier een ouder topic gevonden: viewtopic.php?t=53930&p=418958

Een hele nieuwe herupload zorgt toch ook voor het terugzetten van alle standaard instellingen, etc?

[marian0810]

Waar wil je die link van verwijderen? Staat die zo ergens op je forum dan?
Dat bestandje zou ik zeker niet verwijderen nee, dan krijg je grote problemen.

Edit: het probleem komt vaker voor volgens mij, ik heb hier een ouder topic gevonden: viewtopic.php?t=53930&p=418958

Ik zie daar zo gauw geen enkele overeenkomst met jouw vraag in

Wat voor crawler fouten zie je?

[SatusNovus]

Ik had een paar schermpjes openstaan van hier die over viewforum.php gingen, volgens mij heb ik daarstraks de verkeerde aangegeven en moet het deze zijn: viewtopic.php?t=40009

Maar de 'fout' die wordt aangegeven is deze:

"Onze crawler kan uw pagina niet openen om de bijbehorende inhoud te bepalen en relevante advertenties weer te geven. Wanneer onze crawler de inhoud niet kan openen, geven we vaak geen advertenties weer."

Volgens mij kan het weinig kwaad dat Google mijn pagina die leeg is niet kan indexeren maar als het even zou kunnen probeer ik het op te lossen en wat ik begrijp hoort het dus niet zo te zijn dat die url geen inhoud weergeeft.

[marian0810]

Maar waar heb je die dan staan zo? Die url hoort zo helemaal niet voor te komen.

[SatusNovus]

Het is dat ik per toeval via het Adsense menu hier op stuitte. Ik heb verder niet veel raars gedaan, hier en daar een banner geplaatst (o.a. in de overall header en footer). Een redirect na het uitloggen om naar de website te gaan en dat was het meest ingrijpende. Ik snap ook niet dat ik nergens op die pagina kan uitkomen maar dat Google dit nu aangeeft als 'on-indexeeebaar', Google geeft dus aan dat ze het niet kunnen lezen.


Edit: iemand anders geeft mij net de mogelijke oplossing maar die persoon heeft niet ervaring met phpbb: http://www.metatags.nl/rel_nofollow

[marian0810]

Je geeft geen antwoord op mijn vraag. Wáár op je site komt die link

Code: Selecteer alles

http://www.beursig.nl/forum/viewforum.php

dan precies voor? Want die hoort helemaal niet te bestaan dus Google kan die ook nooit tegenkomen. Het hoort er zo uit te zien:

Code: Selecteer alles

http://www.beursig.nl/forum/viewforum.php?f=2

dus ALTIJD met ?f=2 erachter, waarbij de 2 ook een ander getal kan zijn afhankelijk van welk forum het is.

[SatusNovus]

Ik heb eigenlijk geen idee waar de link vandaan komt, die heb ik dus (bij toeval) gevonden via mijn Adsense menu. Ergens is er dus wat verkeerd gegaan maar misschien kan ik het oplossen door wat ik in de edit plaatste in mijn vorige bericht. Ik ben bang dat ik eens een boek moet gaan aanschaffen

[marian0810]

Kun je eens een screenprint maken van die foutmelding?

[SatusNovus]

In het menu komt een 'gele ballon' met de tekst: "Uw advertenties zijn onlangs verschenen op websites die u niet heeft geautoriseerd. Autoriseer alle sites waar u uw advertenties wilt laten weergeven in uw accountinstellingen."

De ballon is aan te klikken en dan zie ik dit:



Bij oplossing geeft Google aan dat ik een robots.text bestandje moet plaatsen in mijn root maar dat is volgens mij niet de oplossing omdat die url niet zichtbaar moet zijn voor Google en misschien zit de oplossing dan in: http://www.metatags.nl/rel_nofollow


Ergens anders krijg ik deze oplossing aangedragen:

In de index aangeven dat <a rel="nofollow" href="http://www.beursig.nl/forum/viewforum.php"> niet geindexeerd moet worden.

[Pola]

Ik heb geen ervaring met Google adsense, dus ik weet niet precies hoe deze crawlerfouten worden gedetecteerd. Wel lees ik in een Knowledgebase artikel op phpbb.com (Knowledge Base - Advertisements in phpBB3) dat Google Adsense niet toestaat dat de advertenties in de header/footer geplaatst worden. Nogmaals, ik weet dit niet zeker, maar het zou misschien een reden kunnen zijn voor de foutmeldingen.

[SatusNovus]

Ik denk dat de puzzelstukjes langzaam op hun plek vallen en dat ik het begin te begrijpen. Volgens mij is het niet erg dat er advertenties in de header en footer staan zolang er maar content is maar die ontbreekt op deze pagina.

Kan ik het dan wel oplossen door de Google spider/crawler geen toegang te verlenen tot:

-edit-

Als ik dan hier lees http://www.metatags.nl/rel_nofollow dan zou ik het volgende moeten plaatsen in een bestandje:

<a rel="nofollow" href="http://www.beursig.nl/forum/viewforum.php">

Dit kan dan in het viewforum.php bestandje toch? Als dat klopt, waar moet het dan precies geplaatst worden?

[SatusNovus]

Ik heb nog even het topic erbij gezocht waardoor ik de ads in de header en footer heb geplaatst:

viewtopic.php?f=40&t=56379

Verder zie ik veel meer gebruikers die ads in hun header en footer hebben geplaatst en ik kan me bijna niet voorstellen dat ik de enige ben met de crawler fouten. De beste oplossing is denk ik dus Google van die pagina houden maar ik weet dus niet wat ik dan waar moet invullen (script) en in welk bestand (ik neem aan het viewforum.php bestandje).


Edit: òf toch het robots.txt bestandje maken en op de juiste plek zetten volgens de omschrijving van hier: http://wiki.phpbb.nl/Robots.txt

Voorbeeld 2

User-agent: *
Disallow: /cgi-bin/
Disallow: /test/
Disallow: /prive/

In het tweede voorbeeld zien we een asterisk staan: * achter User-agent:. Dit betekent: "alle robots". Alle robots mogen in dit voorbeeld dus alle directories bezoeken behalve de directories cgi-bin, test en prive.

Op deze manier kan ik de crawler/robot/spider/etc. de toegang ontzeggen naar /viewforum.php en inmiddels ook /viewforum.php?f=17

Het robots.txt bestandje moet dus volgens de beschrijving en met mijn url's dit worden:

User-agent: *
Disallow: /viewforum.php
Disallow: /viewforum.php?f=17

Nu afwachten of het op de juiste plek staat, kan ik het zelf ook controleren of moet ik afwachten tot een crawler/robot/spider/etc. weer langs is geweest want dan zullen de crawlerfouten moeten verdwijnen.

[Pola]

Ik zou niets blokkeren. Als je viewforum.php blokkeert, dan maak je het volgens mij alleen maar erger, want dan zorg je er namelijk ook voor dat de crawler elke geldige forum overzicht pagina niet meer kan bereiken. Daarmee zou je volgens mij alleen maar meer foutmeldingen creëren, omdat je daar wel de advertenties vertoond.

Ik zie ook het probleem van de crawlerfouten niet. Als ik lees wat er bovenaan staat in de door jou geplaatste afbeelding, dan is het enige "probleem" dat adsense op die niet-bestaande pagina's geen bijpassende advertenties kan plaatsen. Tsja, wat maakt dat uit. Op die pagina's is toch niets te lezen voor de normale gebruikers, dus die zullen daar normaal gesproken ook niet komen.

Heb je enig idee van wanneer deze foutmeldingen zijn? Kan het zijn dat deze meldingen ontstaan zijn, toen je de adsense code aan het installeren was en de crawler tijdens het installeren/uitproberen op niet bestaande links terecht kwam?

Doordat de links vandaag in dit topic geplaatst zijn, zijn er mogelijk nog wat hits bijgekomen, maar ik zou het voorlopig even aanzien en kijken of en hoe snel de tellers van de onbereikbare pagina's omhoog gaan.

[SatusNovus]

Ik was al bijna op weg naar bed maar ik zie nog een reactie... het probleem is ontstaan nadat ik de ads heb geplaatst in de header en de footer. Kort daarna begonnen de 'fouten' op te lopen. Wat betreft het mogelijk schenden van hun voorwaarden wil ik natuurlijk geen problemen krijgen maar ik heb de voorwaarden doorgelezen en daar kan ik niks over terug vinden.

[SatusNovus]

Ik heb nu de ads uit de overall footer en header gehaald omdat ik dacht dat het dan niet meer hier vertoond zou worden.

Ik ben wat verder gaan inlezen in de werking van Adsense en het blijkt dat wanneer ergens een advertentie van Adsense staat dat Google de pagina wil gaan indexeren. Voor de pagina -edit- wil ik dus het indexeren onmogelijk maken dus dan moeten daar de reclames weg worden gehaald. Ik weet alleen niet hoe en in welk bestandje ik dan iets moet wijzigen. Volgens mij zit er dan nog de moeilijkheid in dat pagina's met dezelfde url maar dan een aanvulling zoals http://www.beursig.nl/forum/viewforum.php?f=2 wel de advertenties moeten laten zien.

Ik ga denk ik eens kijken of ik het hier op het prikbord o.i.d. kan zetten want dit is mij wel wat waard om op te laten lossen. In ieder geval bedankt voor de moeite die jullie erin steken om mij te helpen.


EDIT: ik ben alle bestandjes langs gegaan waar ik de ads had geplaatst en ik heb nu in message_body.txt de banners weggehaald en op -edit- zie ik nu geen banners meer ik denk dat dit de oplossing is en jullie willen niet weten hoe klein mijn oogjes nu zijn na wat korte nachten slaap