Berichten Yahoo-group beschikbaarstellen op phpBB-forum

[pa.do]

• Wat is het probleem? Berichten Yahoo-forum beschikbaar stellen op ons phpBB-forum.
  Wanneer ontstond het probleem? Onlangs.
  Adres van je forum: http:// Niet van belang, gesloten lotgenotenforum. (Footer niet gewijzigd!)
  Modifications op je forum: diverse.
  Huidige stijl: standaard subsilver met gewijzigde kleuren.
  phpBB versie: 3.0.RC1/2.0.22? Live 2.0.22 en in test RC2 met prosilver.
  Waar is je forum gehost: YourHosting.nl
  Heb je onlangs iets verandert aan je forum? nee. (verandert moet met een D!)

Ons oude Yahoo-forum willen we afstoten en de berichten beschikbaar stellen op het phpBB-forum. Het gaat om ca. 6.200 berichten en nog een aantal files.

Omdat Yahoo geen export-mogelijkheid heeft, ben ik nu bezig om alle files te downloaden met en speciaal downloadprogramma waarmee ik per bericht een HTML-bestand krijg van ongeveer 50 kb. De totale omvang is dus ruim 300 MB. Bij een database van nu nog geen 15 MB (met ruim 4000 berichten en 220 gebruikers) is dat te veel van het goede.

Ik vraag mij daarom af of er een mogelijkheid is om deze berichten in de eerste plaats te ontdoen van alle "nu overbodige Yahoo-informatie" en in de tweede plaats alleen de clean text als bericht op te slaan in mijn phpBB-database zodat de forumleden die informatie ook via een zoek-opdracht kunnen vinden.

Ik heb op phpBB.com wel een topic hierover kunnen vinden uit 2006, maar dat stopt zonder resultaat.

Iemand een idee hoe ik dat het beste kan doen?

Mvrgr. Paul

[ElbertF]

Lastig! Met een goede editor zou je met regex search&replace de onnodige code kunnen weghalen, en misschien zelfs wel naar een grote SQL query kunnen aanpassen om vervolgens te importeren in de database. Dit vergt echter wel veel tijd en moeite, en enige kennis van zaken is vereist. Kun je een gedeelte van je code laten zien? Bijv. 1 of 2 berichten?

[pa.do]

Bedankt voor je snelle reactie Elbert.

Ik verwacht ook niet dat het eenvoudig op te lossen is, maar niet geschoten, is altijd mis, toch?

Ik zal kijken of ik er eentje uit kan vissen om te laten zien. Wordt vervolgd!

Ik heb inmiddels een eerste poging gedaan. 90% is ballast.... Het probleem is alleen dat overal informatie over emailadressen van de poster en de forum-owner staat en ook URL's die ik niet openbaar wil maken.

Het komt erop neer dat ik de volgende gegevens moet hebben:

De afzender (From: ), de forumnaam en eventueel het emailadres, de datum en tijd en natuurlijk de tekst. De rest mag weg.

Het vervelende is dat berichten die een antwoord zijn op andere berichten een andere struktuur hebben dan de enkele berichten en ook die zijn niet allemaal gelijk van struktuur. Dat maakt herkenning erg lastig.

Een mogelijkheid is om de HTML-files eerst om te zetten met een conversieprogramma naar en txt-bestand. Dan wordt het al wat eenvoudiger. Ik denk dat ik dat eerst maar eens ga proberen.

De download van de Yahoo-group is inmiddels weer gestopt wegens het bereiken van een limiet. Zit bijna op de helft. Morgen maar weer verder.

[pa.do]

Heb inmiddels een ander programma (PG-Offline) gevonden waarmee je ook alle berichten van een Yahoo-group kunt downloaden. Deze berichten worden dan in een Access-database geplaatst (.mdb-file) en met dit programma kun je dan die berichten bekijken. Er is ook een mooie zoek-funktie bij.

Perfecte manier om je Yahoo-berichten off-line te zetten en te kunnen lezen. Alleen heeft iedere user die de berichten op deze manier wil benaderen, een licentie nodig van dat programma en ondanks de lage kosten ($ 20) denk ik dat niet alle users dat doen.

Ik zoek dus nog een manier om de berichten uit de Access-database (ca. 67 MB) te importeren in mijn phpBB-database en ze ook op het phpBB-forum benaderbaar te maken. Wat mij betreft zou het best één topic mogen zijn met 6000 berichten achter elkaar als ik ze maar per bericht kan benaderen en de zoek-funktie kan gebruiken.

Heeft iemand een idee hoe ik dat moet aanpakken?

[Tom V]

Er bestaan programma's om access database om te zetten in sql, waarschijnlijk dat je er dan meer met bent, maar.

Maar dan nog moet je waarschijnlijk alles omzetten. Zodat je ze in een topic//forum kunt zetten.

[pa.do]

Ja, voor die conversie naar sql zal wellicht iets te vinden zijn. Het probleem is dan inderdaad nog, hoe krijg ik die berichten in een forum-topic.

Ik denk zelf aan het aanmaken van een nieuw topic "Yahoo-forum" en dat te vullen met alle berichten. Het plaatsen in de juiste tabellen in de database zal ook wel gaan denk ik, maar hoe doe ik dat zo dat ik ze ook inderdaad kan zien op het forum?

Aanvulling: Met de "Upsizing Wizard" van MS-Access kan ik kennelijk de conversie naar SQL uitvoeren. Blijft de cruciale vraag, en dan......?

[Tom V]

Kun je eens de sql geven van 1 bericht of meerdere?

[pa.do]

Dit zijn de tabel-gegevens en de berichten nr. 5365 en 5366 na de proefconversie naar sql. Heb uiteraard de gegevens zelf veranderd maar je kunt wel de struktuur zien:

Code: Selecteer alles

# MySQL dump
#
# Database is ported from MS Access
#--------------------------------------------------------
# Program Version 2.0.57

CREATE DATABASE IF NOT EXISTS `movedb`;
USE `movedb`;

#
# Table structure for table 'Yahoo_forum'
#

DROP TABLE IF EXISTS `Yahoo_forum`;

CREATE TABLE `Yahoo_forum` (
  `YahooMessageID` INTEGER NOT NULL DEFAULT 0, 
  `From` VARCHAR(255) NOT NULL, 
  `Subject` VARCHAR(255) NOT NULL, 
  `RecDate` DATETIME, 
  `Message` TEXT NOT NULL, 
  INDEX (`From`), 
  PRIMARY KEY (`YahooMessageID`), 
  INDEX (`RecDate`)
) TYPE=InnoDB;

#
# Dumping data for table 'Yahoo_forum'
#

INSERT INTO `Yahoo_forum` VALUES (5365, 'Paul', 'Re: Voor XYZ', '2006-03-28 16:00:00', '<table border=0 cellpadding=2 cellspacing=\"0\"><tr><td>\n<pre>Dit is de tekst van een bericht.\nDit is de 2e regel<br></pre>\n\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0');
INSERT INTO `Yahoo_forum` VALUES (5366, 'Paul', 'Onderwerp', '2006-03-28 16:08:00', '<table border=0 cellpadding=2 cellspacing=\"0\"><tr><td>\n<pre>Dit is ook de tekst van een bericht<br></pre>\n\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0');

[Stef]

Aanvulling: Met de "Upsizing Wizard" van MS-Access kan ik kennelijk de conversie naar SQL uitvoeren. Blijft de cruciale vraag, en dan......?

En dit is wel volgens de phpBB structuur? Anders heb je er weinig aan.

[pa.do]

Ik weet het niet Stef. Daarom stel ik die vraag hier.

[Stef]

Beetje zelf initiatief komen, kom je het verste mee. Kijk even hier; http://www.phpbb.com/community/viewforum.php?f=10

Sushi.

- ElbertF

Poffertjes

- Stef

[ElbertF]

Negeer Stef even.

Ik denk dat dit bijna niet te doen is, vreemd genoeg staat er allemaal HTML opmaak in die gestript moet worden, de date-format moet omgecijferd worden naar UNIX formaat, er moet gecontroleerd worden of de gebruiker bestaat en zo niet, aanmaken. Verder kan ik hier niet uit halen welk topic_id of forum_id bij het bericht hoort, etc. etc..

Kortom, de kans dat iemand hier iets voor gaat schrijven is erg klein, vooral omdat er eigenlijk geen vraag naar is. Ik ben bang dat je gewoon met een fris forum moet beginnen.

[pa.do]

Ik ben al tevreden als alle 6000 berichten op volgorde achterelkaar in één topic (bv. Yahoo-forum) komen te staan onder één gebruiker. Het gaat mij erom dat de forumleden die oude berichten kunnen lezen en er op kunnen zoeken. Het moet in feite een gesloten "alleen lezen" archief worden.

In de tekst moeten dan wel alle gegevens staan: Yahoo-user-id (from), Yahoo-onderwerp, datum/tijd en de eigenlijke tekst.

Dus ik stel mij voor om een nieuw onderwerp "Yahoo-forum" aan te maken. Daarin moeten dan alle berichten worden geplaatst op volgorde van de Yahoo-id.

Mijn vraag is dus, hoe ziet het stukje SQL eruit om dat voor elkaar te krijgen? Kan het met de SQL die ik boven heb gegeven?

[Tom V]

1- mogelijk met deze sql: ja, maar moeilijk.
2- Iemand die zo'n script gaat maken: nee, tenzij je ervoor betaald.

De gegeven sql is "moeilijk" om te converteren, maar zo goed als alles is doenbaar.
Omdat jij waarschijnlijk één van de enige bent die dit wilt converteren heeft waarschijnlijk niemand dit ooit gedaan, en is niemand van plan dit gratis te maken.

(eigenlijk zeg ik nu net hetzelfde als ElbertF

[ElbertF]

Ik ben al tevreden als alle 6000 berichten op volgorde achterelkaar in één topic (bv. Yahoo-forum) komen te staan onder één gebruiker.

Dit moet wel te doen zijn, maar zal nog steeds wel een uur kosten om te scripten voor een PHP/regex/MySQL wizzard.

Neus eens rond op het prikbord, of plaats er een verzoek.

[pa.do]

Ok heren, bedankt voor jullie tijd en jullie adviezen.

Kennelijk zijn er op phpbb.nl geen anderen die dezelfde wens hebben. Internationaal zijn ze er wel degelijk, maar het is volgens mij nog niemand gelukt met een phpBB-forum. Een mooie uitdaging dus.

Ik denk dat ik zelf er in ga duiken en het op mijn testforum ga uitproberen. Zodra ik iets heb wat werkt, meld ik dat uiteraard weer hier.

Fijn weekend verder,
Paul