Googlebot crawl error (memberlist & viewprofile)

[luchtzak]

Beste phpbb.nl leden,

ik kreeg vanmorgen deze mail van google, blijkbaar hebben ze problemen met het crawlen van deze pagina's, hun bot krijgt een 403-error. Hoe los ik dit het beste op ?

Googlebot heeft een toename gedetecteerd in het aantal URL's op http://www.luchtzak.be/ dat niet kan worden geopend zonder toegangsrechten. Deze pagina's geven een inlogpagina weer of retourneren een HTTP 403-reactiecode (verboden). Als gevolg hiervan hebben gebruikers mogelijk helemaal geen toegang tot uw inhoud en kan Google uw pagina's mogelijk niet weergeven.

forums/memberlist.php?mode=viewprofile&u=247

forums/memberlist.php?mode=team

[El torro]

Hoe staat je (google)bot permissies?

[luchtzak]

Hoe staat je (google)bot permissies?

Momenteel geen robots.txt aanwezig.

[El torro]

De bot permissies in het beheer van je forum bedoel ik.

[Ger]

De memberlist is toch standaard niet toegankelijk voor gasten en bots, of ben ik nu abuis?

[luchtzak]

De memberlist is toch standaard niet toegankelijk voor gasten en bots, of ben ik nu abuis?

Dat klopt, maar hoe kan ik dat instellen dat bots niet meer passeren langs de profielen ?

[El torro]

Ik ga er vanuit dat als je bot instellingen goed staan dat alles dan in orde is.
Eventueel inderdaad een robots.txt maken die de toegang verbied tot die files.

[luchtzak]

Ik ga er vanuit dat als je bot instellingen goed staan dat alles dan in orde is.
Eventueel inderdaad een robots.txt maken die de toegang verbied tot die files.

Graag een hint

[El torro]

Beheer => permissies => forumpermissies => kies forum = kies "bots" => kies forumpermissies wijzigen = kies "botstoegang."


Voor de robots.txt

Code: Selecteer alles

User-agent: *
Disallow: /memberlist.php
Disallow: /alleanderefiles.php

Wel even testen in googles webmasterhulp