robot.txt bestand onvindbaar maar toch aanwezig

[maan1]

• Wat is het probleem? ik zou graag meer bots hebben die mijn forum crawlen
  Wanneer ontstond het probleem? na update phpbb3.3
  Adres van je forum: http://www.vertiersite.nl
  Extensies op je forum:heeel veel
  Huidige stijl:prosilver
  phpBB versie: 3.3
  Waar is je forum gehost:neostrada
  Heb je onlangs iets veranderd aan je forum?

nee

Ik zie dat mijn robot.txt bestand iets blokkeert zoals de afbeelding toont, maar ik kan het bestand niet openen met mijn url en robot.txt
dan zegt mijn scherm van mijn site op alle 4 url's :

Informatie

De opgevragen pagina werd niet gevonden.

Graag hulp

[El torro]

1) je hebt geen robots.txt bestand, dus kan die ook niet geopend worden.
2) je site zou nooit via htpp en https toegankelijk mogen zijn, zorg voor een redirect naar https

Waarom wil je meer bots, Google en Bing bots is toch genoeg?

[maan1]

hoe doe ik die redirect naar https?

[El torro]

Probeer 1 van deze twee eens, afhankelijk van wat je wilt, met of zonder www

Apache Configuration

To configure the redirects, add the following redirect rule either to the Apache config file if you have access to it, or to the .htaccess in the root of your site:

RewriteEngine On
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} ^www\. [NC]
RewriteCond %{HTTP_HOST} ^(?:www\.)?(.+)$ [NC]
RewriteRule ^ https://%1%{REQUEST_URI} [L,NE,R=301]

If instead of example.com you want the default URL to be www.example.com, then simply change the third and the fifth lines:

RewriteEngine On
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} !^www\. [NC]
RewriteCond %{HTTP_HOST} ^(?:www\.)?(.+)$ [NC]
RewriteRule ^ https://www.%1%{REQUEST_URI} [L,NE,R=301]

Plaats dit boven in je htaccess maar gebruik maar 1x de RewriteEngine On !!

[maan1]

in de ht.access van de root of de andere?

[El torro]

In de root.

[maan1]

is gelukt hoor, dankjewel