FileMaker Magazin

FM7 handling großer Datenmengen / Performance

Hallo zusammen. Ich bin seit Mitte letzten Jahres mit dem Umstieg auf FM7 mit einer umfangreichen FM5 Datenbanklösung beschäftigt.

Aufgrund der Größe des bestehenden Konstruktes kam nur eine Neuentwicklung in Frage.
Das Datenmodell war schnell realisiert. Per Stand heute ist der Großteil der Daten migriert und die Lösung hat folgende Dimensionen:

Dateigröße: 5.5 GB, Tabellen: 50, Sätze insgesamt: 12 Millionen, Beziehungen: 100

Systemumgebung: FM7 client 7.0v3 unter WIN XP , FM7 Server advanced 7.0.v2 auf Server G4/733/ OSX 10.3. ,
Client 3GHz/512MB WIN XP Prof., Netzwerk: 100MB Ethernet

Da ich in diesem Forum schon ein paar Anfragen und Diskussionen zum Thema Performance gelesen habe, möchte ich unsere Erfahrungen
hierzu beisteuern.

Solange kleine Tabellen (bis ca. 100.000 Datensätze) mit nur wenigen indizierten Feldern Verwendung finden, ist die Performance im Zusammenspiel mit dem FM7 advanced Server OK. Dies ändert sich jedoch zum Teil dramatisch, wenn die Tabellen größer werden bzw. die Anzahl der voll indizierten Felder steigt.

Da unsere Datenbank vor allem eine Datenbank für Auswertungen ist, die nachts mit Datenänderungen aus SAP versorgt wird, ist das Thema Performance in Bezug auf Suchgeschwindigkeit und Datendurchsatz bei Schreibvorgängen für uns von besonderer Bedeutung.

Probleme bereiten uns vor allem zwei große Tabellen, die sehr viele voll indizierte Felder aufweisen, da in diesen Feldern eine performante Suchmöglichkeit unbedingt benötigt wird. Zum Teil enthalten diese Felder Volltext, der auch schon mal ein paar KB groß sein kann.

Da ich eine dieser Tabellen kürzlich komplett neu importieren musste, kann ich hier genauere Angaben machen:
Der Import aus einem Textfile mit 1,3 Millionen Sätzen bei 60 Feldern (33 voll indizierte Texte + 3 voll indizierte Texte mit größeren Inhalten bis 1000 Zeichen + 4 voll indizierte Textformeln) hat auf einem aktuellen 3GHz WIN-XP-Rechner mit reichlich RAM und freier Festplatte sage und schreibe 51 Stunden gedauert. Die Operation fand lokal statt (nicht über das Netzwerk) und es wurden keine automatischen Eingabeoptionen ausgeführt. Auffällig war folgendes: Der Import begann mit 100% CPU-Nutzung, die im Laufe der Zeit gegen null konvergierte. Der Systemcache lief kontinuierlich gen Maximum.

Wenn ich nun noch unterstelle, das nachher im Betrieb so eine Operation auf dem Server nicht schneller abläuft, komme ich zu dem vorläufigen Ergebnis, dass die Datenbank bei so einer Größe schon nicht mehr handhabbar ist.

Der Import sämtlicher Tabellen war übrigens nötig geworden, da ich der Datei nach 6-monatiger Entwicklungszeit mal eine neue aufgeräumte Datenebene spendieren wollte. Nach Anstoß der Dateipflegeoption erkannte ich jedoch schnell, dass die Dauer dieser Operation sich auf jeden Fall im Bereich von etlichen Tagen bewegen würde. Dann doch lieber gleich den Befehl „Wiederherstellen“ verwenden. Hierbei stürzten jedoch 2 verschieden Macs (OSX 10.3) und ein PC (XP) nach kurzer Zeit ab. Also Clone erzeugt (problemlos und schnell) und mal eben alle Tabellen neu importieren, dachte ich. Gedacht, getan. Dauer: ca. 80 Stunden (hiervon allein 2 Tabellen über 70 Stunden).

Ich bin absolut begeistert von den grundsätzlichen Möglichkeiten in FM7. Anhand der gemachten Erfahrung was die Handhabung größerer Datenmengen angeht, mache ich mir für den geplanten Umstieg auf diese Lösung allerdings große Sorgen. Hat jemand ähnliche Erfahrungen gemacht, oder mache ich irgendwas völlig falsch ?

Stefan Unger

S.Unger