Pagina 1 van 1

Bots die indexeren

Geplaatst: 02 mar 2005, 20:47
door jh0nny
Tsja vrijwel iedereen wil er meer op zijn forum maar ik wil er vanaf, het bannen van de ip's die ze "gebruiken" helpt niets en ook met robots.txt in de root werkt overduidelijk niet.
Iemand een idee hoe ik deze "figuren" kan verbannen? :D
Wie zitten er nu op het forum?
Gebruikersnaam Inloggen Laatste Update Forum Locatie IP Adres Provider
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:44 Wo 02 Mrt 2005, 20:44 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:43 Wo 02 Mrt 2005, 20:43 De leukste plaatjes 65.54.188.71 msnbot.msn.com
Gast Wo 02 Mrt 2005, 20:42 Wo 02 Mrt 2005, 20:42 Bericht plaatsen 66.196.91.106 lj1326.inktomisearch.com
Gast Wo 02 Mrt 2005, 20:42 Wo 02 Mrt 2005, 20:42

Geplaatst: 02 mar 2005, 23:20
door abcde
Als je van ze af wil kan is een statement in robots.txt genoeg voor deze want die houden zich eraan. Een derde alternatief is de bots via META tags te blokkeren.

Maar ik denk dat je een foutje hebt in je robots.txt want deze bots houden zich aan de regels, of het zijn geen echte bots, wat uitstekend kan aangezien het IP-blokeren niet helpt. Maar post het stukje uit robots.txt hier.

Geplaatst: 03 mar 2005, 16:08
door jh0nny
Ik had eerst een hele waslijst staan in die robots.txt .
Heb nu alle verdachte ip's gebanned en dit erin gezet:

User-Agent: *
Disallow: /

Dat lijkt te werken. :bier:

Geplaatst: 11 apr 2005, 14:43
door MaFKeeZ
kunnen jullie mij vertellen wat er in die robots.txt moet staan? ik blijf er ook last van hebben...

alvast bedankt! :thumb:

Geplaatst: 11 apr 2005, 19:42
door abcde
Kijk maar eens op http://www.robottxt.org (of zo iets).

Geplaatst: 11 apr 2005, 22:27
door Kaza
MaFKeeZ schreef:kunnen jullie mij vertellen wat er in die robots.txt moet staan? ik blijf er ook last van hebben...

alvast bedankt! :thumb:

Misschien zoiets:

Code: Selecteer alles

User-agent: msnbot
Disallow: /