Robots.txt leeg? wat voor invloed heeft dat?

[Imense]

• Adres van je forum: http://www.sweetlovetalk.eu
  Event. modificaties op je forum:nvt
  Wanneer ontstond het probleem?geen idee
  phpBB versie:nieuwste versie
  
  
  Heb je onlangs iets veranderd aan je forum?nvt
  Wat is het probleem?

Ik zie dat mijn robot.txt leeg is er staat alleen ;

Code: Selecteer alles

User-agent: *
Disallow: /

Ik zie dat de zoekmachines wel indexeren maar op google sta ik nog steeds met oude topics.
Zou dit door dit bestand komen, iemand die mij hier iets over kan vertellen?

[Jim]

Dat bestand zorgt ervoor dat zoekmachines je forum niet zullen indexeren.

[Imense]

Dat bestand zorgt ervoor dat zoekmachines je forum niet zullen indexeren.

Maar dat wist ik inmiddels wel, alleen staat hij bij mij wel goed ingevult?
Krijg ik door dit zinnetje

Code: Selecteer alles

User-agent: *
Disallow: /

nu juist totaal geen zoekmachines of juist wel?

[AirWarrior]

Disallow = niet toestaan
Dus zoekmachine's hebben geen toestemming.

[Imense]

Disallow = niet toestaan
Dus zoekmachine's hebben geen toestemming.

En hoe moet ik hen dan invullen zodat ik wél weer zoekmachines krijg?
Heb je daar een voorbeeld van zodat ik dat kan copieren?

[AirWarrior]

Disallow = niet toestaan
Dus zoekmachine's hebben geen toestemming.

En hoe moet ik hen dan invullen zodat ik wél weer zoekmachines krijg?
Heb je daar een voorbeeld van zodat ik dat kan copieren?

Code: Selecteer alles

User-agent: *

en als je delen wil afschermen.

Code: Selecteer alles

User-agent: *
Disallow: /images/
Disallow: /forum/cache/
Disallow: /courses/
Disallow: /stk/

Volgens mij werkt het op deze manier, maar ik kan me vergissen.

Nog wat info op gezocht voor je om het te verduidelijken.
robot.txt uileg

[Imense]

Wat voor zaken zijn raadzaam om af te schermen?

[Ger]

Standaard hoef je niets af te schermen. Als je dus geen bijzondere reden hebt om iets af te schermen, kun je het bestand net zo goed verwijderen.
Denk erom dat het bestand alleen gebruikt wordt door legitieme robots zoals Google. Voor beveiliging tegen foute bots die in jouw bestanden willen kijken helpt het niets. Tenzij er dus een bijzondere map is die je liever niet met Google wilt delen of die Google (nog) niet mag zien om bepaalde redenen, kun je het net zo goed verwijderen.

[Imense]

Maar als ik het bestand helemaal verwijder, dan komt er toch helemaal geen zoekmachine of begrijp ik het verkeerd? Want dat is het laatste wat ik wil voorkomen.

[marian0810]

Robots zoeken er altijd naar dus als je het helemaal weglaat loopt wel je foutenlog bij je host vol.
Een veilige en snelle manier is denk ik om gewoon een robots.txt te kopiëren

Bijvoorbeeld http://www.phpbb.nl/robots.txt of http://www.phpbb.com/robots.txt

Mappen die jij niet hebt kun je daar uiteraard uit verwijderen.

[Imense]

Bedankt Marian voor je reactie, ik zie dat er nu weer zoekmachines indexeren dus het probleem is opgelost.