Was ist Google File System?
Google File System (GFS) ist ein skalierbares verteiltes Dateisystem (DFS), das von Google Inc. erstellt und entwickelt wurde, um den wachsenden Datenverarbeitungsanforderungen von Google Rechnung zu tragen. GFS bietet Fehlertoleranz, Zuverlässigkeit, Skalierbarkeit, Verfügbarkeit und Leistung für große Netzwerke und verbundene Knoten. GFS besteht aus mehreren Speichersystemen, die aus kostengünstigen Standardhardwarekomponenten aufgebaut sind.
Es wurde optimiert, um den unterschiedlichen Anforderungen von Google an die Datennutzung und -speicherung gerecht zu werden, beispielsweise an der Suchmaschine, die riesige Datenmengen generiert, die gespeichert werden müssen. Das Google File System basiert auf der Stärke von Standardservern und minimiert gleichzeitig Hardware-Schwachstellen. GFS wird auch als GoogleFS bezeichnet.
Der GFS-Knotencluster ist ein einzelner Master mit mehreren Chunkservern, auf die von verschiedenen Clientsystemen kontinuierlich zugegriffen wird. Chunk-Server speichern Daten als Linux-Dateien auf lokalen Festplatten. Gespeicherte Daten werden in große Blöcke (64 MB) unterteilt, die mindestens dreimal im Netzwerk repliziert werden. Die große Chunk-Größe reduziert den Netzwerk-Overhead.
GFS wurde entwickelt, um die großen Cluster-Anforderungen von Google zu erfüllen, ohne Anwendungen zu belasten. Dateien werden in hierarchischen Verzeichnissen gespeichert, die durch Pfadnamen identifiziert werden. Metadaten wie Namespace, Zugriffskontrolldaten und Zuordnungsinformationen werden vom Master gesteuert, der mit den Statusaktualisierungen jedes Chunk-Servers über zeitgesteuerte Heartbeat-Nachrichten interagiert und diese überwacht.
GFS-Funktionen umfassen:
– Fehlertoleranz
– Kritische Datenreplikation
– Automatische und effiziente Datenwiederherstellung
– Hoher aggregierter Durchsatz
– Reduzierte Client- und Master-Interaktion wegen großer Chunk-Server-Größe
– Namespace-Verwaltung und Sperren
– Hohe Verfügbarkeit
Die größten GFS-Cluster verfügen über mehr als 1.000 Knoten mit einer Speicherkapazität von 300 TB. Dies kann von Hunderten von Kunden auf einer kontinuierlichen Basis zugegriffen werden.