Pagina 1 van 1
Robots txt
Geplaatst: 01 sep 2017, 16:55
door Nickkesss
Goedemiddag,
Ik wil graag dat alle bots en spiders mijn forum indexeren. De link is forum.onlinecryptocurrency.nl
Echter heb ik het tekstbestand aangemaakt met bepaalde groepen disallow. Er komt maar geen bot op het forhm, iemand enig idee wat ik verkeerd doe?
Re: Robots txt
Geplaatst: 01 sep 2017, 18:45
door El torro
phpbb heeft een eigen bot systeem, hoe heb je dat ingesteld?
beheer=> permissies => forumpermissies => "selecteer forum" => geef bots "bots rechten"
Verder krijg je geen bots op je forum met een robots.txt maar wel door linken op het www naar je forum te plaatsen.
En je site aanmelden bij Google via webmasterhulp helpt ook.
Verder helpt het ook niet als je alleen maar disallow zet in je robots.txt, want je moet al erg goed weten waar je mee bezig bent opdat je niet perongeluk alle bots de toegang weigert tot je forum.
Re: Robots txt
Geplaatst: 02 sep 2017, 18:02
door Nickkesss
El torro schreef: ↑01 sep 2017, 18:45
phpbb heeft een eigen bot systeem, hoe heb je dat ingesteld?
beheer=> permissies => forumpermissies => "selecteer forum" => geef bots "bots rechten"
Verder krijg je geen bots op je forum met een robots.txt maar wel door linken op het www naar je forum te plaatsen.
En je site aanmelden bij Google via webmasterhulp helpt ook.
Verder helpt het ook niet als je alleen maar disallow zet in je robots.txt, want je moet al erg goed weten waar je mee bezig bent opdat je niet perongeluk alle bots de toegang weigert tot je forum.
ik heb dit in kladblok geschreven, en opgeslagen als robots.txt:
User-agent: *
Disallow: /forums/admin/
Disallow: /forums/images/
Disallow: /forums/includes/
Disallow: /forums/language/
Disallow: /forums/templates/
Disallow: /forums/common.php
Disallow: /forums/config.php
Disallow: /forums/groupcp.php
Disallow: /forums/memberlist.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/profile.php
Disallow: /forums/privmsg.php
Disallow: /forums/viewonline.php
Disallow: /forums/search.php
Disallow: /forums/faq.php
Kan dit een probleem vormen?
Re: Robots txt
Geplaatst: 02 sep 2017, 18:58
door Ger
En hoop van wat er tussen staat zit al 10 jaar niet meer in phpBB. Voor de rest is het ook zinloos.
Verwijder het bestand maar liever.