Google indexeert private fora

Discussieer hier over alles rondom phpBB.
Forumregels
LEES: Algemene Voorwaarden. Dit forum is niet voor technische vragen!
Plaats reactie
Omkara
Berichten: 4
Lid geworden op: 28 dec 2006, 19:48

Google indexeert private fora

Bericht door Omkara » 07 jun 2007, 14:38

Hallo allemaal,

Ik zit met een ernstig veiligheids probleem op mijn forum..
Het forum bestaat al enkele jaren onder versie 2.0. Er zijn x-aantal privé fora waar enkel users in een bepaalde usergroep toegang tot hebben.
Sinds kort heb ik de update gedaan naar phpBB3.0 RC1 en aan de permissies is niets veranderd. Nu heeft de googlebot onlangs het forum geïndexeerd en tot m'n verbazing zijn ook alle private fora geîndexeerd. Meer zelfs, gehele topics zijn op te vragen via de cache..

Na wat zoeken blijkt dat bij Forum Permissions de user group "Bots" op ieder forum "no role assigned" had staan. Voor geregistreerde gebruikers is dat ook zo, met enig verschil dat zij NIET op de privé fora geraken..
Ik heb snel bij de betreffende fora "no access" gezet, maar volgens mij is dit toch een bug, aangezien bots wél op die fora geraakten terwijl andere gebruikers er niet op geraakten.. Nu ik de permissies voor de bots heb aangepast, kan iemand bevestigen dat ze 100% zeker geen toegang hebben?

Aanvullende vraag:
Weet iemand of het mogelijk is deze opgeslagen pagina's uit de cache van google te laten verwijderen, zodat men met de juiste zoektermen niet alle privé fora kunnen doorbladeren?

ElbertF
Berichten: 5803
Lid geworden op: 12 okt 2004, 08:34
Contacteer:

Re: Google indexeert private fora

Bericht door ElbertF » 07 jun 2007, 14:55

Het is geen bug, tegenwoordig werkt phpBB niet meer met privé forums maar alleen met permissies. Je zal deze dus voor iedere groep moeten instellen, ook voor bots.

Om inhoud te verwijderen van Google kun je hier even kijken:

http://www.google.com/support/webmaster ... topic=8459

..maar bij de volgende crawls zullen de pagina's sowieso langzaam uit de cache verdwijnen.

pa.do
Berichten: 104
Lid geworden op: 19 apr 2006, 12:32
Locatie: Soest

Re: Google indexeert private fora

Bericht door pa.do » 16 jun 2007, 21:32

Ik vind dit toch een vreemd verhaal Elbert. Ik heb ook een gesloten forum waar niemand zonder grondige screening op mag komen. Daarom reageer ik hierop. Op mijn (RC1) testforum heb ik e.e.a. ingesteld zoals ik dat ook straks met phpBB3 wil hebben. Als je dan bij de permissies de groep BOTS laat staan op "Geen rol toegewezen" en je kijkt bij "Geavanceerde permissies" dan staat alles op NEE. Dat betekent dat er dus géén enkele toegang is tot het forum waarvoor die instelling geldt. Als je dat verandert in "Geen toegang" blijven ook bij de "Geavanceerde permissies" alle rondjes op NEE staan. Dus het maakt niet uit welke van die twee permissies je gebruikt!

Dat betekent dat Omkara wel degelijk een punt lijkt te hebben dat er iets niet klopt. Ik ga er vanuit dat als ik de permissie: "Geen rol toegewezen" gebruik, dat er dan geen enkele toegang is, óók niet voor BOTS!

Zie ik dat goed? Zo ja dan zit er of een bug in het systeem of Omkara heeft een andere instelling gebruikt :mrgreen:

Salomon
Berichten: 3878
Lid geworden op: 14 feb 2006, 16:15

Re: Google indexeert private fora

Bericht door Salomon » 17 jun 2007, 08:54

Bij private fora zou ik iig alle onbevoegden géén toegang geven, en niet "geen rol toegewezen"... Om er zeker van te zijn ;)

pa.do
Berichten: 104
Lid geworden op: 19 apr 2006, 12:32
Locatie: Soest

Re: Google indexeert private fora

Bericht door pa.do » 17 jun 2007, 12:54

Ja natuurlijk Salomon, dat heb ik inmiddels al gedaan, maar toch is het goed dat hier duidelijkheid over komt want anders gaan hier meer forumbeheerders (die dit niet hebben gelezen) de mist mee in en dat zou heel vervelend zijn, om het maar eens zacht uit te drukken :(

Gebruikersavatar
Paul
Beheerder
Beheerder
Berichten: 20298
Lid geworden op: 23 okt 2003, 11:38
Locatie: Utrecht
Contacteer:

Re: Google indexeert private fora

Bericht door Paul » 17 jun 2007, 16:38

Geen rol aangewezen betekent niet automatische dat een user geen permissie heeft!!!
Wanneer je iets aanpast voor die user (Bijvoorbeeld PM rechten afneemt), en daarvoor had ie al een rol, veranderd de selectbox naar geen rol aangewezen. Maar er zijn dan wel degelijk JA's gekozen!

Nee is alleen nooit wanneer er verder nergens een ja is. Wil je echt nooit toegang geven, moet je nooit selecteren. Die wordt niet overschreven.

pa.do
Berichten: 104
Lid geworden op: 19 apr 2006, 12:32
Locatie: Soest

Re: Google indexeert private fora

Bericht door pa.do » 17 jun 2007, 21:05

OK Paul, ik begrijp het. Het is goed om dat te weten. Ik hoop dat anderen dat nu ook lezen, want het is niet altijd logisch.

Het systeem zou altijd zo moeten zijn dat er er default nooit toegang is en dat er voor iedere vorm van toegang expliciet een permissie moet worden gegeven. Zo hoort een goed beveiligingssysteem te werken. Als dat op sommige punten niet duidelijk is, gebeuren er ongelukken :!:

Maar ik weet nu genoeg, bij iedere permissie check, check en recheck en nog eens recheck de geavanceerde permissies en daarna ook nog eens testen, want anders loop je echt risico's.

Het is een mooi systeem met erg veel instelmogelijkheden maar je moet het voor 100% controleren om zeker te zijn.

Mvgr. Paul

Gebruikersavatar
Paul
Beheerder
Beheerder
Berichten: 20298
Lid geworden op: 23 okt 2003, 11:38
Locatie: Utrecht
Contacteer:

Re: Google indexeert private fora

Bericht door Paul » 17 jun 2007, 21:47

Zo werkt het ook, default is alles nee, maar wanneer er ergens ja staat is het ja. Enkel een never kan dan weer overschrijven.

De trace permissies is perfect om te checken of goed staat. Wanneer je goed gebruikt zie je zelfs voor welke gebruik je precies die permissie op ja/nee/never hebt staan.

OOk de permissies transfer is handig om te checken. Ikzelf test altijd even of het goed staat, en ik gebruk het systeem al ruim eenn jaar.

Gebruikersavatar
Fridge
Berichten: 1028
Lid geworden op: 25 sep 2006, 19:22
Locatie: Rotterdam
Contacteer:

Re: Google indexeert private fora

Bericht door Fridge » 22 jun 2007, 11:31

TS heeft mij toch aan het denken gezet over dit probleem, permissies staan prima op mijn forum en alle bots blijven netjes buiten, behalve de Google Adsense bot.
Ik heb dus Google ads in mijn footer staan en die zorgen ervoor dat deze bot wel toegang heeft (als enige bot) tot mijn verborgen fora, nu is het eenvoudig om de ads te verwijderen natuurlijk maar dat is natuurlijk iets wat ik niet wil.

Dus dacht ik aan een aangepaste footer enkel voor dat forum, nu word de footer ge-included in zowel de index.html, viewforum.html als viewtopic.html en deze worden weer aangeroepen door index.php, viewforum.php en viewtopic.php

Maar is denk ik niet zo simpel te realiseren, of wel ?
Iemand ideetje ?

Gebruikersavatar
Stef
Berichten: 9080
Lid geworden op: 04 jun 2003, 20:47

Re: Google indexeert private fora

Bericht door Stef » 22 jun 2007, 12:20

Een aparte footer voor de Google AdSense bot?

Gebruikersavatar
Fridge
Berichten: 1028
Lid geworden op: 25 sep 2006, 19:22
Locatie: Rotterdam
Contacteer:

Re: Google indexeert private fora

Bericht door Fridge » 22 jun 2007, 12:27

Misschien leg ik het een beetje krom uit maar bedoel dat er in de afgeschermde fora een andere footer wordt getoond waarin dus de adsense code niet in is verwerkt.

Gebruikersavatar
Stef
Berichten: 9080
Lid geworden op: 04 jun 2003, 20:47

Re: Google indexeert private fora

Bericht door Stef » 22 jun 2007, 12:34

Mmm, moet niet zo moeilijk zijn. Je zou dan een de var moeten hebben die per gebruiker de toegang weigert ja of nee.

En dan is het een kwestie van:

Code: Selecteer alles

<!-- IF TOEGANGSVAR == TRUE -->
 <!-- INCLUDE PRIVE_FOOTER.HTML -->
<!-- ELSE -->
 <!-- INCLUDE OVERALL_FOOTER.HTML -->
<!-- ENDIF -->

Gebruikersavatar
Paul
Beheerder
Beheerder
Berichten: 20298
Lid geworden op: 23 okt 2003, 11:38
Locatie: Utrecht
Contacteer:

Re: Google indexeert private fora

Bericht door Paul » 22 jun 2007, 12:53

Let wel op, dat in de who is online staat dat ze daar zijn betekent niet dat ze het ook echt kunnen zien! Wanneer ze daar komen worden ze automatische geredirect naar de index, maar wordt wel opgeslagen dat ze daarvoor op die pagina waren!

Gebruikersavatar
Fridge
Berichten: 1028
Lid geworden op: 25 sep 2006, 19:22
Locatie: Rotterdam
Contacteer:

Re: Google indexeert private fora

Bericht door Fridge » 22 jun 2007, 12:54

Werkt prima :)

heb alleen de caps moeten veranderen in normale letters anders zag die de originele en andere footer niet.

Code: Selecteer alles

<!-- IF TOEGANGSVAR == TRUE -->
<!-- INCLUDE prive_footer.html -->
<!-- ELSE -->
<!-- INCLUDE overall_footer.html -->
<!-- ENDIF -->

Gebruikersavatar
Stef
Berichten: 9080
Lid geworden op: 04 jun 2003, 20:47

Re: Google indexeert private fora

Bericht door Stef » 22 jun 2007, 13:02

Ehm.. "toegangsvar" is ook geen bestaande var hè.

ElbertF
Berichten: 5803
Lid geworden op: 12 okt 2004, 08:34
Contacteer:

Re: Google indexeert private fora

Bericht door ElbertF » 22 jun 2007, 13:06

Fridge schreef:TS heeft mij toch aan het denken gezet over dit probleem, permissies staan prima op mijn forum en alle bots blijven netjes buiten, behalve de Google Adsense bot.
Zover ik weet publiceert de Adsense bot de geïndexeerde informatie nergens, maar zal alleen de reclame op de betreffende pagina er op aanpassen. De ads blijven daardoor werken zonder dat die info voor anderen zichtbaar is?

Gebruikersavatar
Fridge
Berichten: 1028
Lid geworden op: 25 sep 2006, 19:22
Locatie: Rotterdam
Contacteer:

Re: Google indexeert private fora

Bericht door Fridge » 22 jun 2007, 13:30

Klopt idd wat je zegt, ondanks het feit dat ik ze niet meer zie staan ze er wel gewoon en blijft de adsense bot gewoon dat forum crawlen, dus maar weer terug aangepast :D

Gebruikersavatar
Paul
Beheerder
Beheerder
Berichten: 20298
Lid geworden op: 23 okt 2003, 11:38
Locatie: Utrecht
Contacteer:

Re: Google indexeert private fora

Bericht door Paul » 22 jun 2007, 13:45

ElbertF schreef:
Fridge schreef:TS heeft mij toch aan het denken gezet over dit probleem, permissies staan prima op mijn forum en alle bots blijven netjes buiten, behalve de Google Adsense bot.
Zover ik weet publiceert de Adsense bot de geïndexeerde informatie nergens, maar zal alleen de reclame op de betreffende pagina er op aanpassen. De ads blijven daardoor werken zonder dat die info voor anderen zichtbaar is?
de adsense bot ziet die pagina niet, en zal dus ook geen goede advertenties kunnen geven (Mits permissies goedstaan)

Plaats reactie