Speicherplatz Absolut Notwendig
Storage Area Network (SAN) löst Platzprobleme

von Peter Marksteiner (Ausgabe 06/1, März 2006)

 

Plattenplatz? Bitte warten!

Auf den verschiedenen Servern des Zentralen Informatikdienstes lagern große Mengen an Daten. Die genaue Zahl lässt sich schwer abschätzen; es sind aber sicher mehr als 20 Terabyte, und täglich werden es mehr. Der größte Brocken sind die Fileserver, aber auch die Mailserver beherbergen in Summe mehrere Terabyte an Daten (hauptsächlich Spam). Weitere Services mit großem Platzbedarf sind die Datenbanken der Universitätsverwaltung, die Webservices, die Lernplattform WebCT Vista und noch etliche andere.

Um diese Daten unterzubringen, sind die Server mit leistungsfähigen Platten-Subsystemen ausgerüstet. Allen diesen Plattensystemen ist eines gemeinsam: Sie sind stets zu klein. Ständig werden neue Platten hineingeschraubt, Plattensysteme umkonfiguriert und Daten hin und her geschaufelt. Trotzdem ist die Nachfrage immer größer als das Angebot. Besonders eklatant ist der Platzmangel im Bereich der Fileservices. Diese sind erfolgreicher, als uns lieb ist: Ständig werden wir mit - vollkommen verständlichen und legitimen - Wünschen nach Plattenplatz für Projekte konfrontiert, die wir nicht oder nur zum Teil erfüllen können. Es ist nicht abzusehen, dass die Nachfrage je nachlassen wird: Multimedia-Anwendungen werden immer wichtiger, und der Platzbedarf von Bild-, Audio- und Video-Daten kennt keine Grenzen.

Aus diesem Grund hat sich der Zentrale Informatikdienst zu einem radikalen Schritt - und einer Investition von mehreren Millionen Euro - entschlossen: All diese Plattensysteme werden durch ein einziges Storage Area Network (kurz SAN) ersetzt. Sobald dieses in Betrieb geht - das wird voraussichtlich im Herbst 2006 der Fall sein - sollte es mit den Platzproblemen für längere Zeit vorbei sein. Diese gute Nachricht ist die Kernaussage des vorliegenden Artikels; im Folgenden sind einige Hintergrundinformationen über Storage-Technologien, die Problematik der Verwaltung großer Datenmengen und die Funktionsweise eines Storage Area Network zu finden.

Massenspeichertechnologien - einst und jetzt

Plattenkapazität

Die Kapazität von Festplatten hat sich in den letzten Jahren durchschnittlich alle 18 Monate verdoppelt. Heute sind bereits Spitzenmodelle zu 500 GB erhältlich, Platten mit 250 GB sind weit verbreitet. Zum Vergleich: In einen IBM-Katalog aus dem Jahr 1998 werden 2,2 GB- und 4,5 GB-Platten angeboten, sowie - zu einem horrenden Preis - das neueste Topmodell mit 9,1 GB. Zehn Jahre davor war am EDV-Zentrum der Uni Wien ein Plattensystem IBM 3380 in Betrieb, das mehrere Schränke füllte. Es bestand aus 8 Platten mit je einem GB und weiteren 8 Platten mit je einem halben GB.

Schnittstellen

Während die prinzipielle Bauweise der Festplatten in praktisch allen Systemen gleich ist, gibt es essentielle Unterschiede bei den Schnittstellen: Diese definieren, auf welche Weise Daten zwischen den Platten und den angeschlossenen Computern ausgetauscht werden.

Im PC-Bereich ist ATA (Advanced Technology Attachment) die weitestverbreitete Schnittstelle. Von ATA gibt es mehrere Varianten; eine davon ist auch als IDE (Integrated Disc Electronics) bekannt. Im Server-Bereich hingegen wird hauptsächlich SCSI eingesetzt, das Small Computer System Interface. Von 1986 (SCSI 1) bis heute (Ultra-320) entstanden sehr viele Varianten des SCSI-Protokolls, wobei die Bandbreite kontinuierlich gesteigert wurde - von ursprünglich 5 MB/s auf 320 MB/s.1) Etliche dieser SCSI-Versionen sind nicht miteinander kompatibel, auch werden viele verschiedene Varianten von Steckern und Kabeln eingesetzt.

Sowohl SCSI als auch ATA sind parallele Schnittstellen, d.h. die Übertragungsrate wird dadurch erhöht, dass mehrere Bits gleichzeitig über mehrere Leitungen übertragen werden. Das wird allerdings mit wesentlichen Nachteilen erkauft (dickere und damit teurere Kabel, begrenzte Kabellänge), sodass in letzter Zeit wieder serielle Architekturen an Bedeutung gewinnen. Von IBM wurde die Serial Storage Architecture (SSA) entwickelt, die sich allerdings nicht durchsetzen konnte, sodass IBM die Entwicklung eingestellt hat. Seit einigen Jahren kommen immer mehr Platten mit Serial ATA-Schnittstellen (S-ATA) auf den Markt. Trotz des Namens hat S-ATA relativ wenig mit der parallelen Vorgängerversion gemeinsam.

Unter den neueren Entwicklungen sind vor allem zwei zu nennen: Fibre Channel, wo der Anschluss über ein Glasfaserkabel erfolgt und Bandbreiten bis zu 4 Gbit/s möglich sind, und iSCSI, das SCSI über IP(Internet Protocol)-Netze transportiert.

Zugriffszeiten und Performance

Während die Kapazitäten und die Busgeschwindigkeiten enorm gewachsen sind, gab es bei den Umdrehungsgeschwindigkeiten der Festplatten nur bescheidene Fortschritte. PC-Festplatten rotieren üblicherweise mit 5400 bis 7200 Umdrehungen pro Minute. Im Serverbereich werden auch Platten mit 10000 und 15000 Umdrehungen eingesetzt, letztere sind schon sehr teuer. Allzu große Fortschritte sind hier auch nicht zu erwarten.

Zwei Kenngrößen charakterisieren die Leistungsfähigkeit einer Festplatte: Einerseits die Datenmenge, die pro Sekunde geschrieben bzw. gelesen werden kann ("Datendurchsatz"; dieser liegt bei etlichen Megabyte pro Sekunde, Spitzenmodelle bringen es auf 100 MB/s und mehr), andererseits die Zugriffszeit ("Latenz"), für welche die Umdrehungsgeschwindigkeit ausschlaggebend ist: Um ein bestimmtes Datenelement zu lesen oder zu schreiben, muss im ungünstigsten Fall eine volle Umdrehung abgewartet werden, bis die entsprechende Position der Festplatte am Lese-/Schreibkopf vorbeikommt. Bei den schnellsten Platten entspricht das vier Millisekunden. Zum Vergleich: Bei Hauptspeicher (RAM) liegen die Zugriffszeiten im Bereich von wenigen Nanosekunden, RAM-Zugriff ist also fast eine Million Mal so schnell.

Um trotz dieser langen Zugriffszeiten eine akzeptable Performance zu erreichen, werden verschiedene Techniken eingesetzt; die wichtigsten davon sind Caching und Striping. Caching bedeutet, dass Daten nicht sofort auf Platte geschrieben, sondern in wesentlich schnelleren Speichern (Disk Caches) zwischengelagert werden; nach einer gewissen Verzögerung werden dann größere Datenmengen auf einmal geschrieben, was wesentlich effizienter ist. Beim Striping werden einzelne Dateien bzw. Filesysteme auf mehrere Platten verteilt, um einen höheren Datendurchsatz zu erreichen.

Haltbarkeit

Die elektronischen Bauteile eines Computers wie CPU und Hauptspeicher sind ziemlich unverwüstlich und werden nur selten defekt - wenn überhaupt, dann meistens als Folgeschäden (z.B. durch Überhitzung infolge eines defekten Lüfters). Die schnell rotierenden Platten sind jedoch hohen mechanischen Belastungen ausgesetzt. Die Lebensdauer von Platten ist begrenzt; in einem Betrieb wie dem ZID, wo mehr als tausend Platten im Einsatz sind, kann man mit Sicherheit damit rechnen, dass von Zeit zu Zeit einige davon den Geist aufgeben.

Es gibt verschiedene Techniken, um Betriebsunterbrechungen und vor allem Datenverlust durch defekte Platten zu vermeiden. Die wichtigste davon ist RAID, Redundant Array of Inexpensive Disks (alternativ wird das I manchmal als Independent gedeutet). Es gibt verschiedene Varianten (Level) von RAID; welche im Einzelfall die beste ist, hängt von den Anforderungen an Datensicherheit und Performance ab, sowie davon, wie viel Bruttokapazität man zu opfern bereit ist. Die am häufigsten verwendeten RAID-Level sind RAID 1 und RAID 5. Bei RAID 1, auch Mirroring genannt, werden alle Daten auf zwei physischen Platten gespeichert, sodass der Ausfall einer der beiden Platten mit keinem Datenverlust verbunden ist. Bei RAID 5 werden die Daten auf mehrere Platten (mindestens drei, üblicherweise aber mehr) verteilt und zusätzliche Paritätsdaten geschrieben. Mit Hilfe dieser Paritätsinformationen lassen sich die Daten jeder Platte aus den Daten aller anderen Platten des RAID-Set rekonstruieren. Der Ausfall einer Platte führt daher zu keiner Betriebsunterbrechung und zu keinem Datenverlust. Die oben beschriebene Technik des Striping wird manchmal als RAID 0 bezeichnet, trägt aber natürlich nichts zur Datensicherheit bei.

Der Plattenbestand der Server des Zentralen Informatikdienstes

Ein Rundgang durch die Serverräume des ZID gleicht einem Besuch in einem Museum der Storage-Technologien der letzten Jahre: Von den oben beschriebenen Technologien sind dort praktisch alle zu finden. Etliche Jahre lang waren SSA-Platten sehr beliebt, die trotz des höheren Preises gegenüber SCSI deutliche Vorteile hatten. Aber auch verschiedene RAID-Systeme auf SCSI-Basis werden eingesetzt, in letzter Zeit immer mehr RAID-Systeme auf Fibre Channel-Basis sowie für geringere Ansprüche auch IDE-RAID. Praktisch alle Plattensysteme sind redundant ausgelegt - für große Datenmengen wird meistens RAID 5 eingesetzt, besonders wichtige Daten (z.B. die Datenbanken der Universitätsverwaltung) werden gespiegelt (RAID 1). Diese Maßnahmen haben sich bewährt: In den letzten Jahren gab es viele defekte Platten am Zentralen Informatikdienst, wobei die meisten Ausfälle keinerlei Auswirkungen auf den Betrieb hatten. Nur in seltenen Fällen entstanden durch Plattendefekte Betriebsunterbrechungen; Datenverlust durch Hardware-Schäden kam nicht vor. Dennoch wird in Zukunft noch wesentlich mehr in die Vorbeugung von Datenverlust investiert werden, vor allem im Hinblick auf Katastrophenfälle (Brand, Hochwasser usw.).

Es mag überraschen, wie klein die in vielen Server-Systemen eingesetzten Platten sind. Einerseits liegt das daran, dass im Server-Bereich mehr Gewicht auf Verlässlichkeit gelegt wird, sodass neue, größere Plattengenerationen erst später auf den Markt kommen. Andererseits liegt das am Durchschnittsalter der Server: Die Lebensdauer eines Servers beträgt meistens zwischen drei und fünf Jahren, dann ist ein Austausch auf ein leistungsfähigeres System erforderlich. Die alten Server werden üblicherweise nicht sofort verschrottet, sondern für weniger anspruchsvolle Aufgaben, Testsysteme usw. eingesetzt. Beispielsweise dient ein Server, der 1998 für DCE angeschafft wurde, seit 2003 als Applikationsserver für UNIVIS online. Die Platten älterer Server sind entsprechend kleiner: Der erwähnte Server hat vier Platten zu je 4,5 GB; es sind auch noch etliche Plattensysteme mit 9 GB- und 18 GB-Platten im Einsatz. Die derzeitige Massenspeicherausstattung des Zentralen Informatikdienstes hat einige gravierende Nachteile:

  • Zu geringe Kapazitäten und chronischer Platzmangel;

  • hoher "Verschnitt" durch ungenutzte Kapazitäten auf Servern mit geringerem Platzbedarf;

  • Performance-Probleme, speziell auf Servern mit relativ geringem Platzbedarf, aber vielen Lese- und Schreiboperationen, die auf wenige Platten konzentriert sind (z.B. bei manchen Datenbanken);

  • hoher Wartungsaufwand und geringe Flexibilität aufgrund der Inkompatibilität der verschiedenen Storage-Systeme.

Was ist ein SAN?

Die Grundidee eines SAN (Storage Area Network) ist es, den Massenspeicher physisch von den Servern zu trennen und alle Komponenten über ein Netzwerk ? üblicherweise Glasfaser ? miteinander zu verbinden.

SAN-Komponenten

  • Ein (oder mehrere) Storage-System(e): Die Platten in diesen Systemen beruhen meist auf Fibre Channel-Technologie; für weniger hohe Ansprüche wird auch S-ATA eingesetzt. Große Caches sorgen für entsprechende Performance. Alle Komponenten sind von höchster Qualität (und entsprechend teuer): Prozessoren, Caches, Netzteile usw. sind redundant ausgelegt.

  • Die erforderliche Netzwerk-Infrastruktur: Diese besteht neben der Glasfaser-Verkabelung aus speziellen Switches; besonders leistungsfähige Switches nennt man Direktoren. Ein in sich geschlossener Bereich eines solchen Netzwerks wird als Fabric bezeichnet (engl. für "Gewebe").

  • Der Anschluss der Server (Hosts) an das Storage-Netzwerk erfolgt über so genannte Host Bus Adapter.

  • Neben der Hardware ist auch die Software zur Administration ein wichtiger Bestandteil eines SAN: Diese ermöglicht die Konfiguration von verschiedenen RAID-Sets, die Definition von Teilen eines RAID-Sets als LUNs (Logical Units ? virtuelle Platten), die Zuweisung von LUNs zu Hosts usw.

Ein Beispiel einer typischen SAN-Konfiguration ist in Abb. 1 (siehe rechte Spalte) zu sehen. Das Netzwerk besteht aus zwei getrennten Fabrics (mittels durchgezogener bzw. gestrichelter Linien dargestellt). Je nach Anforderungen an die Ausfallssicherheit sind Server über eine oder beide Fabrics angeschlossen. Der mit S1 bezeichnete Server mit seinen Daten in D1 ist gegen alle Arten von Ausfall gesichert: Nicht nur den Ausfall einer Fabric (z.B. durch eine Fehlkonfiguration oder einen defekten Switch) übersteht er unbeschadet; selbst im Katastrophenfall, wenn einer der beiden Standorte komplett zerstört werden sollte, kommt es zu keiner Unterbrechung ? die Daten sind am anderen Standort in D2 gespiegelt, und der Server S2 kann automatisch die Aufgaben von S1 übernehmen.

Vorteile

  • Ausfallsicherheit: Wie im obigen Beispiel beschrieben, kann ein SAN hoch ausfallsicher konfiguriert werden. Wichtig für die Katastrophenvorsorge ist, dass sich ein solches Storage-Netzwerk auch über große Entfernungen erstrecken kann. Distanzen von einigen Kilometern sind überhaupt kein Problem, mit speziellen Technologien ist auch wesentlich mehr möglich. Beispielsweise haben viele US-amerikanische Firmen ein SAN, das Rechenzentren an der Ost- und der Westküste miteinander verbindet.

  • Performance: Viele Faktoren tragen zu der hohen Performance bei, die mit SAN-Systemen erreicht werden kann: Schnelle Platten mit bis zu 15000 Umdrehungen pro Minute; bis zu 4 Gbit/s Bandbreite im Netzwerk; sehr große Caches; die Möglichkeit, Lese- und Schreiboperationen auf viele Platten zu verteilen. Durch Kombination von Filesystemen mit hohen Anforderungen (z.B. Datenbanken) und wenig belasteten Filesystemen wie Archiven lässt sich eine gleichmäßige Auslastung erreichen.

  • Flexibilität: In einem großen Betrieb mit vielen Servern wie dem ZID ändert sich der Massenspeicherbedarf der einzelnen Server ständig. Mit einem SAN können die erforderlichen Anpassungen der Konfiguration wesentlich einfacher, schneller, komfortabler und meistens ohne Hardware-Umbauten durchgeführt werden.

  • Features: Hochwertige Storage-Systeme haben etliche Funktionen, die weit über das hinausgehen, was z.B. mit preiswerten RAID-Systemen möglich ist. Ein Beispiel sind Snapshots, womit in Sekundenbruchteilen eine "Momentaufnahme" einer (logischen) Platte erstellt werden kann. Solche Snapshots werden unter anderem zur Datensicherung eingesetzt.

Nachteile

  • Ein Storage Area Network ist teuer. Auch wenn durch bessere Ausnutzung und das Vermeiden von Verschnitt einiges eingespart werden kann, sind die Kosten pro Terabyte deutlich höher als bei konventionellen Speichersystemen. Berücksichtigt man jedoch auch Nebenkosten wie Personalaufwand usw. (Total Cost of Ownership - TCO), so schneidet ein Storage Area Network häufig besser ab.

  • Auch wenn es in Summe weniger Aufwand ist, ein einziges großes SAN zu administrieren als viele kleine Einzelsysteme, so ist die Konfiguration und Administration eines solchen Netzwerks keine triviale Aufgabe und erfordert einiges an Know-how.

  • Ein solide konzipiertes Storage Area Network vermeidet alle Single Points of Failure (SPOFs) und ist daher hoch ausfallsicher; dennoch lassen sich bei keinem System der Welt Ausfälle hundertprozentig ausschließen. Bei stark zentralisierten Storage-Systemen können die Auswirkungen von Hardware-Schäden oder Konfigurationsfehlern gravierender sein als bei mehreren kleineren Einzelsystemen.

Die neue Storage-Lösung des ZID

Die Anschaffung des geplanten Storage-Systems erfolgt über eine EU-weite Ausschreibung, die am 7. Februar 2006 veröffentlicht wurde. Die Angebotseröffnung erfolgt am 31. März 2006. Die Bewertung der Angebote muss spätestens am 30. Juni 2006 abgeschlossen sein; es ist jedoch damit zu rechnen, dass der Zuschlag schon wesentlich früher erfolgen kann.

Im Leistungsverzeichnis der Ausschreibung wurden nur die wichtigsten Eckdaten spezifiziert - die Details bleiben den Anbietern überlassen:

  • Das neue Storage-System muss über eine Gesamtkapazität von 200 TB brutto verfügen.

  • Das System wird auf zwei getrennte Standorte verteilt. Der primäre Standort ist einer der Systemräume des ZID im Neuen Institutsgebäude; für den sekundären Standort wird ein Raum im Universitäts-Hauptgebäude adaptiert, der früher als Öltank diente.

  • Es werden verschiedene Storage-Klassen mit unterschiedlichen Anforderungen an Performance und Ausfallsicherheit definiert. Ein kleiner Teil dient für kritische Daten - beispielsweise die Oracle-Datenbanken der Universitätsverwaltung - und muss hochperformant und ausfallsicher sein (Mirroring über beide Standorte, zwei getrennte Fabrics).

  • Das derzeitige Backup-System des ZID stößt bereits an die Grenzen seiner Leistungsfähigkeit und ist für die Sicherung der Daten des neuen Storage-Systems auf jeden Fall zu klein. Deshalb wird auch ein neues Backup-System ausgeschrieben.

Falls Sie für ein Projekt ein Terabyte Platz am Fileserver haben wollen, müssen wir Sie derzeit noch enttäuschen. Wir bitten aber um etwas Geduld: Bis zum nächsten Winter wird sich das ändern. 

 

 

1) Damit ist die Entwicklung von SCSI am Ende angelangt: Der ursprünglich geplante Ultra-640-Standard mit 640 MB/s wird nicht mehr weiterverfolgt.