Pagina 1 van 1
Robots.txt leeg? wat voor invloed heeft dat?
Geplaatst: 02 feb 2011, 18:51
door Imense
- Adres van je forum: http://www.sweetlovetalk.eu
Event. modificaties op je forum:nvt
Wanneer ontstond het probleem?geen idee
phpBB versie:nieuwste versie
Heb je onlangs iets veranderd aan je forum?nvt
Wat is het probleem?
Ik zie dat mijn robot.txt leeg is er staat alleen ;
Ik zie dat de zoekmachines wel indexeren maar op google sta ik nog steeds met oude topics.
Zou dit door dit bestand komen, iemand die mij hier iets over kan vertellen?
Re: Robots.tst leeg? wat voor invloed heeft dat?
Geplaatst: 03 feb 2011, 09:25
door Jim
Dat bestand zorgt ervoor dat zoekmachines je forum niet zullen indexeren.
Re: Robots.tst leeg? wat voor invloed heeft dat?
Geplaatst: 04 feb 2011, 20:59
door Imense
Jim schreef:Dat bestand zorgt ervoor dat zoekmachines je forum niet zullen indexeren.
Maar dat wist ik inmiddels wel, alleen staat hij bij mij wel goed ingevult?
Krijg ik door dit zinnetje
nu juist totaal geen zoekmachines of juist wel?
Re: Robots.tst leeg? wat voor invloed heeft dat?
Geplaatst: 05 feb 2011, 16:06
door AirWarrior
Disallow = niet toestaan
Dus zoekmachine's hebben geen toestemming.
Re: Robots.tst leeg? wat voor invloed heeft dat?
Geplaatst: 07 feb 2011, 19:47
door Imense
AirWarrior schreef:Disallow = niet toestaan
Dus zoekmachine's hebben geen toestemming.
En hoe moet ik hen dan invullen zodat ik wél weer zoekmachines krijg?
Heb je daar een voorbeeld van zodat ik dat kan copieren?
Re: Robots.tst leeg? wat voor invloed heeft dat?
Geplaatst: 07 feb 2011, 19:54
door AirWarrior
Imense schreef:AirWarrior schreef:Disallow = niet toestaan
Dus zoekmachine's hebben geen toestemming.
En hoe moet ik hen dan invullen zodat ik wél weer zoekmachines krijg?
Heb je daar een voorbeeld van zodat ik dat kan copieren?
en als je delen wil afschermen.
Code: Selecteer alles
User-agent: *
Disallow: /images/
Disallow: /forum/cache/
Disallow: /courses/
Disallow: /stk/
Volgens mij werkt het op deze manier, maar ik kan me vergissen.
Nog wat info op gezocht voor je om het te verduidelijken.
robot.txt uileg
Re: Robots.tst leeg? wat voor invloed heeft dat?
Geplaatst: 07 feb 2011, 22:24
door Imense
Wat voor zaken zijn raadzaam om af te schermen?
Re: Robots.txt leeg? wat voor invloed heeft dat?
Geplaatst: 08 feb 2011, 10:09
door Ger
Standaard hoef je niets af te schermen. Als je dus geen bijzondere reden hebt om iets af te schermen, kun je het bestand net zo goed verwijderen.
Denk erom dat het bestand alleen gebruikt wordt door legitieme robots zoals Google. Voor beveiliging tegen foute bots die in jouw bestanden willen kijken helpt het niets. Tenzij er dus een bijzondere map is die je liever niet met Google wilt delen of die Google (nog) niet mag zien om bepaalde redenen, kun je het net zo goed verwijderen.
Re: Robots.txt leeg? wat voor invloed heeft dat?
Geplaatst: 09 feb 2011, 17:48
door Imense
Maar als ik het bestand helemaal verwijder, dan komt er toch helemaal geen zoekmachine of begrijp ik het verkeerd? Want dat is het laatste wat ik wil voorkomen.
Re: Robots.txt leeg? wat voor invloed heeft dat?
Geplaatst: 09 feb 2011, 18:28
door marian0810
Robots zoeken er altijd naar dus als je het helemaal weglaat loopt wel je foutenlog bij je host vol.
Een veilige en snelle manier is denk ik om gewoon een robots.txt te kopiëren
Bijvoorbeeld
http://www.phpbb.nl/robots.txt of
http://www.phpbb.com/robots.txt
Mappen die jij niet hebt kun je daar uiteraard uit verwijderen.
Re: Robots.txt leeg? wat voor invloed heeft dat?
Geplaatst: 13 feb 2011, 17:11
door Imense
Bedankt Marian voor je reactie, ik zie dat er nu weer zoekmachines indexeren dus het probleem is opgelost.