Robots.txt

[nl1sms]

Kan iemand een voorbeeld geven van een robots.txt geschikt voor een phpbb forum? Dank

[El torro]

Wat wil je er iets speciaals inzetten?
De mijne ziet er zo uit:

User-agent: *
Disallow:
SITEMAP: https://www.website.be/sitemap.xml

Waar de link naar mijn sitemap gaat.

[nl1sms]

Sitemap? Wasdat? En waarom disable je die? Ik probeer meer seo te krijgen.

[El torro]

https://www.gonect.nl/sitemap-website-nodig/
Ik disable juist niets.

Of je meer SEO krijgt door een robots text bestand betwijfel ik ten zeerste, die is juist bedoelt om delen van je website te blokkeren en of bots gedeeltelijk of geheel te blokkeren.
Sitemap dient er voor om moeilijk te crawlen sites iets toegankelijker te maken voor bots, bij phpbb is dit ook niet echt nodig maar kan ook geen kwaad.

[nl1sms]

Snap er nu al weinig van. Als het niet nodig is dan laat ik het hierbij. Thx

[gouwepeer_nl]

Heb jij bepaalde bots die jij wilt blokkeren? Je kan hiervoor ook een robots.txt generator gebruiken.

Wat wil je er iets speciaals inzetten?
De mijne ziet er zo uit:

User-agent: *
Disallow:
SITEMAP: https://www.website.be/sitemap.xml

Waar de link naar mijn sitemap gaat.

Ik zie maar 5 items in jouw sitemap (met een 2019 datum). Vanwaar die priority tags?

[El torro]

Geen bepaalde reden, gewoon gedaan om toch iets van sitemap te hebben
Bots blokkeer ik tegenwoordig in Cloudflare, via de robots.txt heeft toch geen nut voor de "bad bots"

[gouwepeer_nl]

Ik neem aan dat jij dat xml bestand handmatig aan heb gemaakt? Heeft phpBB geen automatische sitemap script?

[El torro]

Er is een extensie voor https://www.phpbb.com/customise/db/exte ... o_sitemap/
Echter nog nooit gebruikt dus weet niet hoe hij werkt.
Ik heb de sitemap inderdaad handmatig gemaakt.

[gouwepeer_nl]

Het nadeel van een handgemaakte sitemap is dat het ook handmatig bijgehouden moet worden. Google zoekt namelijk graag naar sitemaps om eventuele nieuwe content sneller te vinden.

Er is een extensie voor https://www.phpbb.com/customise/db/exte ... o_sitemap/

Die extensie zal ik eens uit gaan proberen zodra ik weer met phpBB aan de slag ga

[El torro]

Ik weet het, maar hecht niet zoveel belang aan een sitemap voor phpbb, de url structuur binnen phpbb is zeer eenvoudig te volgen en Google (of andere bots) hebben de sitemap daarom niet echt nodig.

[gouwepeer_nl]

Zolang de bots maar toegang hebben (de juiste permissies) zal elk forum wel goed geïndexeerd kunnen worden door o.a. Google.