Pagina 1 van 1
Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 12:47
door luchtzak
Beste phpbb.nl leden,
ik kreeg vanmorgen deze mail van google, blijkbaar hebben ze problemen met het crawlen van deze pagina's, hun bot krijgt een 403-error. Hoe los ik dit het beste op ?
Googlebot heeft een toename gedetecteerd in het aantal URL's op
http://www.luchtzak.be/ dat niet kan worden geopend zonder toegangsrechten. Deze pagina's geven een inlogpagina weer of retourneren een HTTP 403-reactiecode (verboden). Als gevolg hiervan hebben gebruikers mogelijk helemaal geen toegang tot uw inhoud en kan Google uw pagina's mogelijk niet weergeven.
forums/memberlist.php?mode=viewprofile&u=247
forums/memberlist.php?mode=team
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 12:59
door El torro
Hoe staat je (google)bot permissies?
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 14:51
door luchtzak
El torro schreef: ↑25 jan 2017, 12:59
Hoe staat je (google)bot permissies?
Momenteel geen robots.txt aanwezig.
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 15:09
door El torro
De bot permissies in het beheer van je forum bedoel ik.
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 15:20
door Ger
De memberlist is toch standaard niet toegankelijk voor gasten en bots, of ben ik nu abuis?
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 15:22
door luchtzak
Ger schreef: ↑25 jan 2017, 15:20
De memberlist is toch standaard niet toegankelijk voor gasten en bots, of ben ik nu abuis?
Dat klopt, maar hoe kan ik dat instellen dat bots niet meer passeren langs de profielen ?
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 15:28
door El torro
Ik ga er vanuit dat als je bot instellingen goed staan dat alles dan in orde is.
Eventueel inderdaad een robots.txt maken die de toegang verbied tot die files.
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 15:37
door luchtzak
El torro schreef: ↑25 jan 2017, 15:28
Ik ga er vanuit dat als je bot instellingen goed staan dat alles dan in orde is.
Eventueel inderdaad een robots.txt maken die de toegang verbied tot die files.
Graag een hint
Re: Googlebot crawl error (memberlist & viewprofile)
Geplaatst: 25 jan 2017, 15:52
door El torro
Beheer => permissies => forumpermissies => kies forum = kies "bots" => kies forumpermissies wijzigen = kies "botstoegang."
Voor de robots.txt
Code: Selecteer alles
User-agent: *
Disallow: /memberlist.php
Disallow: /alleanderefiles.php
Wel even testen in googles webmasterhulp