Spannungsversorgung

Mit jeder neuen Generation von KI-Anwendungen steigt der Energiebedarf von Rechenzentren. Ein einzelnes generiertes Bild verbraucht rund drei Wattstunden. Zum Vergleich: Eine Smartphone-Ladung liegt bei etwa 20 Wattstunden. Ein generiertes Video von fünf Sekunden Länge benötigt dagegen rund das Tausendfache der Energie, die ein Bild kostet.

Diese Last muss die Stromversorgung eines Rechenzentrums sicher tragen, im Normalbetrieb ebenso wie beim Ausfall der Einspeisung. Dieser Beitrag folgt dem Energiefluss von der Einspeisung bis zur zusätzlichen Stromversorgung und zeigt, welche Entscheidungen dabei bereits in der Planung fallen.

Stromversorgung und -verteilung

Die Standortwahl hängt an zwei Größen, nämlich der Fläche des Rechenzentrums und dem geplanten Energiebedarf. Beides gehört in die Risikoanalyse.

Das gilt besonders dann, wenn bestehende Flächen für den Ausbau eines Rechenzentrums umgenutzt werden. Aus der Praxis kennen wir Rechenzentrumsflächen in Mischgebäuden, in denen auf derselben Etage die Lagerfläche eines Onlineshops und der Serverbereich liegen.

Bei gemieteten Flächen hat der Betreiber wenig Einfluss auf die vorhandene Infrastruktur. Die verfügbare Leistung gibt der Hausanschluss vor, das bestehende Netzsystem wird übernommen, und auch der Anschluss an das öffentliche Versorgungsnetz steht nicht zur Wahl. Spätestens ab dem definierten Übergabepunkt muss deshalb das Netzsystem sauber eingehalten werden.

Die Stromversorgung und -verteilung innerhalb von Rechenzentren bezieht sich hauptsächlich auf zwei Bereiche:

1. Stromversorgung und -verteilung des Rechenzentrums
2. Stromversorgung und -verteilung der allgemeinen Versorgung

Stromversorgung

Die DIN EN 50600-2-2 (VDE 0801-600-2-2) unterscheidet zwischen drei Systemen der Stromversorgung:

1. Primärstromversorgung
   Hauptversorgung, die unter normalen Betriebsbedingungen Strom für das Rechenzentrum bereitstellt
2. Sekundärstromversorgung
   Stromversorgung, die unabhängig von der Primärversorgung ist und jederzeit verfügbar ist, um das Rechenzentrum bei einer Unterbrechung der Primärversorgung mit Strom zu versorgen
3. zusätzliche Stromversorgung
   Stromversorgung, die bei Ausfall der Primär- und/oder Sekundärversorgung Strom liefert

Wann es bei der zweiten Einspeisung tatsächlich um eine Sekundärversorgung handelt, wird in der Praxis oft falsch interpretiert. Die Norm stellt das in einer Anmerkung zum Begriff klar: Eine zweite Speiseleitung zu einem separaten Transformator aus demselben Netz genügt nicht. Gefordert ist eine Versorgung, die von einem Ausfall der Primärversorgung nicht mitbetroffen ist.

Die Primärversorgung erfolgt als Normalversorgung über das öffentliche Versorgungsnetz, entweder über einen Mittelspannungsanschluss oder über einen Niederspannungsanschluss (HAK). Sie lässt sich in den Redundanzstufen xN und N+x ausführen (siehe Teil 1, Rechenzentrum planen: Verfügbarkeit und Redundanz ^[1]). Solange die Versorgung aus einem Mittelspannungsring oder aus demselben Umspannwerk stammt, handelt es sich um eine Primärversorgung.

Für die Sekundärversorgung wird eine unabhängige Versorgung benötigt. Vergleichbares kennen wir aus der DIN VDE 0100-560 (Einrichtungen für Sicherheitszwecke). Dort dürfen zwei getrennte Einspeisungen aus dem Versorgungsnetz nur dann als Stromquelle für Sicherheitszwecke dienen, wenn zugesichert ist, dass ein gleichzeitiger Ausfall beider Einspeisungen unwahrscheinlich ist.

Als zusätzliche Stromversorgung kommen eine Netzersatzanlage, eine USV-Anlage oder ein Batteriespeicher in Betracht. Die einzelnen Bauarten und ihre Unterschiede folgen weiter unten.

Welche Verfügbarkeitsklasse das Rechenzentrum erreichen soll, entscheidet darüber, wie diese drei Systeme ausgeführt werden. Deshalb gehört die Festlegung an den Anfang der Standortplanung.

Hinweis: Die drei Systeme der Stromversorgung nach DIN EN 50600-2-2, also Primärstromversorgung, Sekundärstromversorgung und zusätzliche Stromversorgung, sollten bereits ab der Niederspannungsebene sauber getrennt und eindeutig beschriftet werden.

Verfügbarkeitsklassen

Vor der Planung der elektrischen Versorgung legt die Risikobewertung fest, welche Verfügbarkeitsklasse angestrebt wird. Das gilt für den Neubau ebenso wie für die Sanierung.

Für die Verfügbarkeitsklasse 3 nennt die Norm zwei Wege. Variante b (Primär- und Sekundärversorgung) setzt eine Sekundärversorgung voraus, die die oben beschriebenen Anforderungen erfüllt. Zweifelsfrei gelingt das nur in Abstimmung mit dem zuständigen Energieversorger, der den Nachweis einer unabhängigen Einspeisung erbringt. Alternativ kommt eine zusätzliche Versorgung in Form einer Netzersatzanlage in Betracht.

Verfügbarkeitsklasse 1

Ein Einzelfehler in einem funktionellen Element kann zum Verlust der Funktionsfähigkeit führen. Für geplante Instandhaltungen ist möglicherweise eine Lastabschaltung erforderlich.

Verfügbarkeitsklasse 2

Ein Einzelfehler in einer Quelle darf nicht zum Verlust der Funktionsfähigkeit des Pfades führen, und die Routineinstandhaltung einer Quelle ist ohne Lastabschaltung möglich. Der Pfad selbst bleibt jedoch ein einzelner Ausfallpunkt. Fällt er aus, bleiben allgemeinstromversorgte und kurzzeitunterbrochene ersatzstromversorgte Steckdosen ohne Spannung.

Verfügbarkeitsklasse 3

Ein Fehler in einem funktionellen Element darf nicht zum Verlust der Funktionsfähigkeit führen, und Instandhaltungen sind ohne Lastabschaltung möglich. Fällt während einer Instandhaltung die jeweils andere Quelle oder der andere Pfad aus, bleibt dennoch ein Restrisiko für Steckdosen ohne Spannung.

Verfügbarkeitsklasse 4

Abbildung 4: Mehrere Pfade, mehrere getrennte Quellen (Quelle: Ensmann Consulting GmbH)

Kein Einzelereignis an einem funktionellen Element darf zu einer Lastabschaltung führen, und Instandhaltungen sind ohne Lastabschaltung möglich. Durch die getrennte zusätzliche Versorgung je Pfad bleibt die Versorgung auch während der Instandhaltung einer anderen Quelle oder eines anderen Pfades erhalten.

Umschalten zwischen Stromversorgungen

In TN-Systemen darf die Umschaltung zwischen zwei Stromversorgungen nur über ein Schaltgerät erfolgen, das die Außenleiter und, sofern vorhanden, auch den Neutralleiter schaltet (DIN VDE 0100-444, 444.4.7). Für die Auswahl des richtigen Schalters ist die Anordnung des zentralen Erdungspunktes (ZEP) ausschlaggebend. Dies erfordert ein ganzheitliches Erdungskonzept mit nur einem wirksamen Sternpunkt im gesamten Versorgungssystem. Das betrifft zum Beispiel die Umschaltung von der Primärversorgung (Transformator) auf eine zusätzliche Versorgung (NEA). Bei der Planung sollte jeder Betriebszustand der Anlage berücksichtigt werden, um möglichen EMV-Problemen vorzubeugen.

Befinden sich eine oder mehrere USV-Anlagen im System, ist die fachlich richtige Ausführung in Fachkreisen umstritten. Die meisten Hersteller benötigen den Neutralleiter, weil die verwendeten Wechselrichter dreiphasige Geräte sind. Der Neutralleiter wird erst am Ausgangstrafo wieder aufgelegt. Bei einem 4-poligen Schalten würde aus dem zuvor geerdeten TN-System ein IT-System mit ungeerdetem und nicht überwachtem Neutralleiter. Bei einem Erdschluss löst dann keine Schutzeinrichtung aus. Hinzu kommt das Floating, wodurch eine gefährliche Berührungsspannung zwischen Neutralleiter (N) und Schutzleiter (PE) entstehen kann.

Die genaue Ausführung ist deshalb mit dem jeweiligen Hersteller abzustimmen, insbesondere die Auslegung der vorgeschalteten Leistungsschalter. Am Markt gibt es auch Hersteller, deren Anlagen ein 4-poliges Schalten ermöglichen. Das sollte jedoch im Vorfeld abgestimmt und bestätigt sein.

Zusätzliche Stromversorgung

Als zusätzliche Stromversorgung kommen mehrere Arten in Frage. Wir unterscheiden Netzersatzaggregate (NEA), unterbrechungsfreie Stromversorgungsanlagen (USV) und Batteriespeicher.

Netzersatzaggregate (NEA)

Das NEA ist in den meisten Rechenzentren eine Ersatzstromanlage. Diese Anlagen dienen ausschließlich wirtschaftlichen Zwecken und sollen einen größeren wirtschaftlichen Schaden abwenden. Das Pendant dazu ist die Sicherheitsstromversorgung, die Sicherheitszwecke erfüllt, zum Beispiel Entrauchung und Sprinklerpumpen. Die Anforderungen an eine Sicherheitsstromversorgung (DIN VDE 0100-560) ergeben sich aus dem Baurecht in Verbindung mit dem Brandschutzkonzept.

Die Umschaltung von der Primärversorgung auf die NEA dauert typischerweise etwa 15 Sekunden. Für Verbraucher, die nicht ausfallen dürfen, lässt sich eine statische USV-Anlage dazwischenschalten, die diese Systeme für einen definierten Zeitraum weiterversorgt.

Versorgt die NEA zusätzlich Einrichtungen für Sicherheitszwecke, gilt für sie die DIN VDE 0100-560. Gefordert ist dann ein geeigneter Standort, also eine bauliche Umhüllung, ein separater Brandabschnitt oder ein separater Raum, damit die Anlage im Brandfall funktionsfähig bleibt. Für die reine Ersatzstromanlage ist das keine Pflicht, hat sich in der Praxis aber bewährt. Für die Kraftstofflagerung gelten daneben die TRGS 509 und 510 sowie die baurechtlichen und wasserrechtlichen Vorgaben.

Dynamische USV-Anlagen

Eine dynamische USV-Anlage arbeitet wie eine NEA, verfügt zusätzlich aber über ein Schwungrad als kinetischen Speicher. Dieses wird beim Einschalten der Anlage einmalig aufgeladen. Bei einem Netzausfall erzeugt die Rotationsenergie die Ausgangsspannung, bis die NEA gestartet ist, wodurch die 15 Sekunden überbrückt werden. Ihr Vorteil liegt in den hohen Kurzschlussströmen, die sie liefern kann, und in der praktisch unbegrenzten Notstromversorgung, denn die Anlage hängt nicht an Batterien, sondern am Treibstoff in Form von Diesel. Der Nachteil sind die sehr hohen Anschaffungskosten gegenüber einer statischen USV-Anlage.

Statische USV-Anlagen

Bei statischen USV-Anlagen haben sich zwei Bauformen durchgesetzt. Anlagen in Einschubmodultechnik lassen sich je nach Hersteller erweitern oder sogar im laufenden Betrieb tauschen. Die Monoblock-Bauweise steht dagegen als geschlossene Anlage ohne Erweiterungsmöglichkeit für sich.

Für die Batterien gibt es ähnliche Möglichkeiten. Kleine Kapazitäten lassen sich über Batterieschränke mit fertigen Einschubmodulen abdecken. Größere Anlagen mit mehr Kapazität benötigen eigene Batterieräume mit eigener Entlüftung. Auch die Statik des Raumes gehört hier auf die Prüfliste.

Bei der Beschaffung der USV-Anlage gehört der externe Wartungsbypass auf die Anforderungsliste. Bei einem Defekt oder während der Wartung bleibt das System dadurch in Betrieb, allerdings ohne USV-Schutz.

Für die Einordnung von USV-Anlagen wird in der Praxis die Klassifizierung nach DIN EN 62040-3 (VDE 0558-530) herangezogen, also VFI, VI und VFD, je nach Verhalten der Ausgangsspannung bei Netzstörungen.

Kurzschlussstrom

Für die Konzeptionierung einer USV-Anlage betrachtet die Netzberechnung häufig nur den lastseitigen Fehler im Netzbetrieb. Der genauso wichtige Fehlerfall im Batteriebetrieb bleibt dabei oft vollständig außer Acht. Kommt es im reinen Batteriebetrieb zu einem Kurz- oder Erdschluss, wird diese Lücke zum Problem.

Im Netzbetrieb liefern USV-Anlagen über den Wechselrichter meist eine Überlast vom 1,25-fachen Nennstrom für 10 Minuten und vom 1,5-fachen Nennstrom für 1 Minute. Die Werte hängen stark vom Hersteller und von der Bauart der Anlage ab.

Ob eine Überlast oder ein Kurzschluss ansteht, erkennt die USV-Anlage über die permanente Überwachung des Laststroms. Bei einem Kurzschlussereignis schaltet sie im Netzbetrieb direkt in den internen Bypass. Dabei unterscheiden wir zwischen generatornahen und generatorfernen Kurzschlüssen (VDE 0102). Damit im Kurzschlussfall kein Selektivitätsproblem entsteht, muss das vorgeschaltete Schutzorgan zur internen Bypass-Sicherung der USV-Anlage selektiv sein. Außerdem müssen das vorgeschaltete Schutzorgan und der Bypass einen höheren Durchlasswert haben als das größte nachgeschaltete Schutzorgan, damit im Kurzschlussfall abgeschaltet wird.

Im Batteriebetrieb kann die USV-Anlage nicht auf den Bypass umschalten, weil in diesem Betriebsfall keine Netzspannung anliegt. Die Planung muss deshalb auch für den Batteriebetrieb eine sichere Versorgung vorsehen. Das nachgelagerte Schutzorgan muss also so ausgelegt sein, dass im Kurzschlussfall die geforderten Abschaltzeiten in Verteiler- und Endstromkreisen eingehalten werden. Bei größeren Anlagen empfiehlt sich der Einsatz von Leistungsschaltern mit elektronischen Auslösern. Bei kleineren Anlagen kann ein vorgeschalteter selektiver Hauptschalter in Verbindung mit einem normalen Leitungsschutzschalter als Absicherung der Verbraucher eine Lösung sein.

Ein Patentrezept gibt es dafür nicht. Bei größeren Rechenzentren lohnt der Blick in die Selektivitäts- und Kurzschlussberechnung, ob diese Punkte bereits berücksichtigt sind. Sonst folgt im Kurzschlussfall das dunkle Erwachen, weil die Anlage den Kurzschluss nicht übernehmen konnte und den Wechselrichter abgeschaltet hat.

Batteriespeicher

Ein Batteriespeicher kann anstelle einer NEA als zusätzliche Versorgung eingesetzt werden. Im Aufbau ähnelt er einer sehr groß ausgelegten statischen USV-Anlage, ist aber auf eine deutlich längere Überbrückungszeit ausgelegt und kann den Netzersatz bei entsprechender Kapazität vollständig ersetzen. Gegenüber der NEA entfallen Verbrennungsabgase und Kraftstofflagerung. Dem stehen hohe Investitionskosten und ein hoher Flächenbedarf gegenüber.

Die Sicherheitsanforderungen an stationäre Batterien regelt die DIN EN IEC 62485-2 (VDE 0510-485-2). Für den sicheren Betrieb stationärer Lithium-Ionen-Batterien gilt ergänzend die DIN EN IEC 62485-5 (VDE 0510-485-5). Wie bei den Batterien statischer USV-Anlagen sind auch hier Statik, Entlüftung und ein geeigneter Brandabschnitt des Aufstellraums zu berücksichtigen.

Die folgende Übersicht ordnet die vier Bauarten nach Überbrückungsdauer, Investitionskosten und Wartungsaufwand ein.

Tabelle 1: Bauarten der zusätzlichen Stromversorgung im Vergleich (Quelle: Ensmann Consulting GmbH)

Prüfpflichten

Für USV-Anlagen und Frequenzumrichter fordert das DKE/UK 221.1 in einer Normauslegung ^[2], dass der Schutz gegen elektrischen Schlag für das gesamte System sichergestellt wird, also auch last- beziehungsweise verbraucherseitig. Der Hersteller beschreibt dazu die Schutzmaßnahmen nach DIN VDE 0100-410. Der Prüfer kontrolliert die Übereinstimmung mit der Herstellerdokumentation und die Durchgängigkeit des Schutzleiters nach DIN VDE 0100-600.

Für alle genannten Technologien ergibt sich die wiederkehrende Prüfung aus der Gefährdungsbeurteilung nach BetrSichV in Verbindung mit der DGUV Vorschrift 3 sowie aus den Wartungsvorgaben des Herstellers.

Resümee

Die Stromversorgung eines Rechenzentrums ist ungleich komplexer als der Hausanschluss, den wir aus dem Alltag kennen. Von der Einordnung in Primär-, Sekundär- und zusätzliche Stromversorgung über die gewählte Verfügbarkeitsklasse bis zur Auslegung von Netzersatzanlage, USV-Anlage und Batteriespeicher hängt die Betriebssicherheit an vielen einzelnen Bausteinen. Festgelegt werden sie in der Planung, korrigieren lassen sie sich im Betrieb nur mit erheblichem Aufwand.

Offen bleiben damit das Netzsystem, die Verteilung bis zur PDU, der Überspannungsschutz und die Schutztechnik. Diese Themen greifen wir im nächsten Teil der Reihe auf. Wer die Bausteine schon in der Planung sauber durchdenkt, schafft die Grundlage für einen wirtschaftlichen und sicheren Betrieb, auch später bei Instandhaltung und Störungssuche.

Quellen & Verweise

1. Ensmann Consulting: Rechenzentren sicher planen, Teil 1 – Verfügbarkeit und Redundanz
2. DKE/UK 221.1: Normauslegung zum Prüfen des Schutzes gegen elektrischen Schlag bei USV-Anlagen und Frequenzumrichtern

Autor: Fabian Rieke, Geschäftsführer und Projektingenieur bei Ensmann Consulting GmbH