Bots die indexeren

jh0nny · Bericht door **jh0nny** » 02 mar 2005, 20:47

Tsja vrijwel iedereen wil er meer op zijn forum maar ik wil er vanaf, het bannen van de ip's die ze "gebruiken" helpt niets en ook met robots.txt in de root werkt overduidelijk niet.
Iemand een idee hoe ik deze "figuren" kan verbannen?

Wie zitten er nu op het forum?
Gebruikersnaam Inloggen Laatste Update Forum Locatie IP Adres Provider
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:42 Wo 02 Mrt 2005, 20:42 Bericht plaatsen 66.196.91.106 lj1326.inktomisearch.com
Gast Wo 02 Mrt 2005, 20:42 Wo 02 Mrt 2005, 20:42

abcde · Bericht door **abcde** » 02 mar 2005, 23:20

Als je van ze af wil kan is een statement in robots.txt genoeg voor deze want die houden zich eraan. Een derde alternatief is de bots via META tags te blokkeren.

Maar ik denk dat je een foutje hebt in je robots.txt want deze bots houden zich aan de regels, of het zijn geen echte bots, wat uitstekend kan aangezien het IP-blokeren niet helpt. Maar post het stukje uit robots.txt hier.

jh0nny · Bericht door **jh0nny** » 03 mar 2005, 16:08

Ik had eerst een hele waslijst staan in die robots.txt .
Heb nu alle verdachte ip's gebanned en dit erin gezet:

User-Agent: *
Disallow: /

Dat lijkt te werken.

MaFKeeZ · Bericht door **MaFKeeZ** » 11 apr 2005, 14:43

kunnen jullie mij vertellen wat er in die robots.txt moet staan? ik blijf er ook last van hebben...

alvast bedankt! :thumb:

abcde · Bericht door **abcde** » 11 apr 2005, 19:42

Kijk maar eens op http://www.robottxt.org (of zo iets).

Kaza · Bericht door **Kaza** » 11 apr 2005, 22:27

MaFKeeZ schreef:kunnen jullie mij vertellen wat er in die robots.txt moet staan? ik blijf er ook last van hebben...

alvast bedankt! :thumb:

Misschien zoiets:

Code: Selecteer alles

User-agent: msnbot
Disallow: /