Warum ist die Wasserkühlung von Rechenzentren nicht weit verbreitet?

Nach dem, was ich über Rechenzentren lese und höre, gibt es nicht zu viele Serverräume, die Wasserkühlung verwenden, und keiner der größten Rechenzentren verwendet Wasserkühlung (korrigieren Sie mich, wenn ich mich irre). Außerdem ist es relativ einfach, gewöhnliche PC-Komponenten mit Wasserkühlung zu kaufen, während wassergekühlte Rack-Server fast nicht vorhanden sind.

Auf der anderen Seite kann mit Wasser möglicherweise (IMO):

1. Reduzieren Sie den Stromverbrauch großer Rechenzentren, insbesondere wenn es möglich ist, direkt gekühlte Einrichtungen zu schaffen (dh die Einrichtung befindet sich in der Nähe eines Flusses oder des Meeres).

2. Reduzieren Sie Lärm und machen Sie es weniger schmerzhaft für Menschen, in Rechenzentren zu arbeiten.

3. Reduzieren Sie den Platzbedarf für die Server:

   • Auf Serverebene stelle ich mir vor, dass es sowohl bei Rack- als auch bei Blade-Servern einfacher ist, die Wasserkühlungsrohre durchzulassen, als Platz zu verschwenden, damit die Luft hineinströmen kann.
   • Wenn auf Rechenzentrumsebene weiterhin die Gassen zwischen den Servern für den Wartungszugriff auf die Server freigehalten werden müssen, kann der leere Raum unter dem Boden und auf der für die Luft verwendeten Deckenebene entfernt werden.

Warum sind Wasserkühlungssysteme weder im Rechenzentrum noch auf Rack- / Blade-Serverebene weit verbreitet?

Ist es weil:

• Die Wasserkühlung ist auf Serverebene kaum redundant?

• Die direkten Kosten einer wassergekühlten Einrichtung sind im Vergleich zu einem normalen Rechenzentrum zu hoch.

• Es ist schwierig, ein solches System zu warten (das regelmäßige Reinigen des Wasserkühlungssystems, das Wasser aus einem Fluss verwendet, ist natürlich viel komplizierter und teurer als nur das Staubsaugen der Ventilatoren).

Wasser + Strom = Katastrophe

Die Wasserkühlung ermöglicht eine höhere Leistungsdichte als die Luftkühlung. Berechnen Sie also die Kosteneinsparungen durch die zusätzliche Dichte (wahrscheinlich keine, es sei denn, Sie haben sehr wenig Platz). Berechnen Sie dann die Kosten für das Risiko einer Wasserkatastrophe (z. B. 1% * der Kosten Ihrer Einrichtung). Führen Sie dann einen einfachen Risiko-Ertrags-Vergleich durch und prüfen Sie, ob dies für Ihre Umgebung sinnvoll ist.

Also werde ich meine Antwort in mehrere Teile aufteilen:

• Physikalische Eigenschaften von Wasser gegenüber Luft und Mineralöl
• Wassernutzungsrisiken und historisch schlechte Erfahrungen
• Gesamtkosten für die Kühlung eines Rechenzentrums
• Schwächen klassischer Flüssigkeitskühlsysteme

Physikalische Eigenschaften von Wasser im Vergleich zu anderen

Zunächst ein paar einfache Regeln:

• Flüssigkeit kann mehr Wärme transportieren als Gase
• Verdampfung eines flüssigen Extrakts mehr Wärme (im Kühlschrank verwendet)
• Wasser hat von allen Flüssigkeiten die besten Kühleigenschaften.
• Eine sich bewegende Flüssigkeit entzieht der Wärme viel besser als eine sich nicht bewegende Flüssigkeit
• Turbulente Strömung erfordert mehr Energie, um bewegt zu werden, entzieht aber Wärme viel besser als laminare Strömung.

Wenn Sie Wasser und Mineralöl mit Luft vergleichen (bei gleichem Volumen)

• Mineralöl ist rund 1500 mal besser als Luft

• Wasser ist rund 3500 mal besser als Luft

• Öl ist unter allen Bedingungen ein schlechter Stromleiter und wird zur Kühlung von Hochleistungstransformatoren verwendet.

• Öl ist abhängig von seiner genauen Art ein Lösungsmittel und kann Plastik auflösen
• Wasser ist ein guter Stromleiter, wenn es nicht rein ist (Mineralien enthält ...), sonst nicht
• Wasser ist ein guter Elektrolyt. So können mit Wasser in Kontakt gebrachte Metalle unter bestimmten Bedingungen gelöst werden.

Nun einige Kommentare zu dem, was ich oben gesagt habe: Vergleiche werden bei atmosphärischem Druck durchgeführt. In diesem Zustand kocht das Wasser bei 100 ° C, was über der Maximaltemperatur für Verarbeiter liegt. Beim Abkühlen mit Wasser bleibt das Wasser flüssig. Das Kühlen mit organischen Verbindungen wie Mineralöl oder Freon (was im Kühlschrank verwendet wird) ist eine klassische Kühlmethode für einige Anwendungen (Kraftwerke, Militärfahrzeuge ...), aber eine langfristige Verwendung von Öl in direktem Kontakt mit Kunststoff wurde nie durchgeführt im IT-Bereich. Daher ist der Einfluss auf die Zuverlässigkeit von Serverteilen nicht bekannt (Green Evolution sagt kein Wort darüber aus). Es ist wichtig, sich flüssig zu bewegen. Es ist ineffizient, sich auf die natürliche Bewegung in einer sich nicht bewegenden Flüssigkeit zu verlassen, um Wärme abzuführen, und es ist schwierig, eine Flüssigkeit ohne Rohrleitung richtig zu leiten. Aus diesen Gründen,

Technische Probleme

Das Bewegen der Luft ist einfach und Lecks sind keine Gefahr für die Sicherheit (für die Effizienz). Es benötigt viel Platz und verbraucht Energie (15% Ihres Desktop-Verbrauchs gehen an Ihre Fans)

Sich flüssig zu bewegen ist mühsam. Sie benötigen Rohre, Kühlblöcke (Kühlplatten), die an jeder Komponente angebracht sind, die Sie kühlen möchten, einen Tank, eine Pumpe und möglicherweise einen Filter. Darüber hinaus ist die Wartung eines solchen Systems schwierig, da Sie die Flüssigkeit entfernen müssen. Es benötigt jedoch weniger Platz und weniger Energie.

Ein weiterer wichtiger Punkt ist, dass die Entwicklung von Motherboards, Desktops und Servern auf der Basis eines luftbasierten Systems mit Kühlgebläsen intensiv erforscht und standardisiert wurde. Die daraus resultierenden Designs sind für flüssigkeitsbasierte Systeme nicht geeignet. Weitere Infos unter formfactors.org

Risiken

• Wasserkühlungssysteme können auslaufen, wenn Ihre Konstruktion schlecht ausgeführt wird. Heatpipes sind ein gutes Beispiel für ein flüssigkeitsbasiertes System, das keine Undichtigkeiten aufweist ( siehe hier für weitere Informationen ).
• Gängige Wasserkühlungssysteme kühlen nur heiße Komponenten und benötigen daher immer noch einen Luftstrom für andere Komponenten. Sie haben also 2 Kühlsysteme anstelle von einem und verschlechtern die Leistung Ihres Luftkühlsystems.
• Bei Standardausführungen besteht bei einem Wasserleck die große Gefahr, dass es beschädigt wird, wenn es mit Metallteilen in Berührung kommt.

Bemerkungen

• Reines Wasser ist ein schlechter Stromleiter
• Nahezu jeder Teil elektronischer Bauteile ist mit einer nicht leitenden Beschichtung versehen. Nur Lötpads gibt es nicht. So können ein paar Wassertropfen harmlos sein
• Wasserrisiken können durch bestehende technische Lösungen gemindert werden

Kühlluft kann weniger Wasser (Feuchtigkeit) enthalten und es besteht die Gefahr der Kondensation (schlecht für die Elektronik). Wenn Sie also Luft abkühlen, müssen Sie Wasser entfernen. Dies erfordert Energie. Die normale Luftfeuchtigkeit für einen Menschen liegt bei ca. 70% der Luftfeuchtigkeit. Daher ist es möglich, dass Sie nach dem Abkühlen wieder Wasser in die Luft für die Menschen bringen müssen.

Gesamtkosten eines Rechenzentrums

Wenn Sie die Kühlung in einem Rechenzentrum in Betracht ziehen, müssen Sie jeden Teil davon berücksichtigen:

• Konditionieren der Luft (Filtern, Entfernen von überschüssiger Luftfeuchtigkeit, Bewegen der Luft ...)
• Kühle und heiße Luft sollten sich niemals vermischen, da sonst Ihre Effizienz abnimmt und die Gefahr eines Hotspots besteht (Punkte, die nicht ausreichend gekühlt sind).
• Sie benötigen ein System, um die überschüssige Wärme abzuführen, oder Sie müssen die Wärmeproduktionsdichte begrenzen (weniger Server pro Rack).
• Möglicherweise haben Sie bereits Rohre, um die Wärme aus dem Raum abzuleiten (um sie auf das Dach zu transportieren).

Die Kosten eines Rechenzentrums hängen von seiner Dichte (Anzahl der Server pro Quadratmeter) und seinem Stromverbrauch ab. (Einige andere Faktoren werden ebenfalls berücksichtigt, jedoch nicht für diese Diskussion.) Die gesamte Rechenzentrumsfläche wird in die vom Server selbst, vom Kühlsystem, von den Versorgungsunternehmen (Strom ...) und von den Wartungsräumen genutzte Fläche unterteilt. Wenn Sie mehr Server pro Rack haben, benötigen Sie mehr Kühlung und damit mehr Platz für die Kühlung. Dies begrenzt die tatsächliche Dichte Ihres Rechenzentrums.

Gewohnheiten

Ein Rechenzentrum ist etwas sehr Komplexes, das viel Zuverlässigkeit erfordert. Statistiken zu Ausfallzeiten in einem Rechenzentrum besagen, dass 80% der Ausfallzeiten auf menschliches Versagen zurückzuführen sind.

Um ein Höchstmaß an Zuverlässigkeit zu erreichen, sind viele Verfahren und Sicherheitsmaßnahmen erforderlich. Historisch gesehen sind in Rechenzentren alle Verfahren für Luftkühlungssysteme vorgesehen, und Wasser ist auf seine sicherste Verwendung beschränkt, wenn es nicht aus Rechenzentren verbannt wird. Grundsätzlich ist es unmöglich, dass Wasser jemals mit Servern in Kontakt kommt.

Bisher war kein Unternehmen in der Lage, eine ausreichend gute Wasserkühlungslösung bereitzustellen, um diese Tatsachen zu ändern.

Zusammenfassung

• Technisch ist Wasser besser
• Das Design von Servern und Rechenzentren ist nicht an die Wasserkühlung angepasst
• Aktuelle Wartungs- und Sicherheitsverfahren verbieten die Verwendung von Wasserkühlung in Servern
• Kein kommerzielles Produkt ist gut genug, um in Rechenzentren eingesetzt zu werden

Zwar gibt es einige wassergekühlte Racks (HP wissen nicht, ob sie noch hergestellt werden). Heutzutage ist direkte Wasserkühlung etwas altmodisch. Die meisten neuen großen Rechenzentren werden mit Saugtunneln gebaut, in die Sie Ihr Rack schieben. Auf diese Weise wird die Umgebungsluft durchgeleitet und die Wärme, die während des Transports durch die Geräte gesammelt wird, abgeführt oder für die Wiederverwendung aufgefangen. Dies bedeutet, dass überhaupt nicht gekühlt wird, und spart enorme Mengen an Energie, Komplexität und Wartung, obwohl das System auf die Verwendung sehr spezifischer Racks / Größen beschränkt ist und es erforderlich ist, dass an der Vorderseite freier Rack-Platz vorhanden ist.

Wasser ist ein universelles Lösungsmittel. Bei genügend Zeit frisst es ALLES durch.

Die Wasserkühlung würde auch ein Rechenzentrum, auf das Sie in Ihrem Beitrag anspielen, erheblich (und kostspielig) komplexer machen.

Feuerlöschsysteme in den meisten Rechenzentren enthalten aus wenigen, sehr speziellen Gründen kein Wasser. In vielen Fällen kann der Wasserschaden größer sein als der Feuerschaden, und Rechenzentren werden mit einer Betriebszeit (mit Backup-Generatoren für Strom usw.) belastet. Dies bedeutet, dass es ziemlich schwierig ist, die Stromversorgung zu unterbrechen (im Falle eines Feuers), um Wasser darauf zu spritzen.

Können Sie sich also vorstellen, dass in Ihrem Rechenzentrum ein komplexes Wasserkühlungssystem vorhanden ist, das im Brandfall den Geist aufgibt? Huch.

Ich denke, die kurze Antwort ist, dass sie eine beträchtliche Komplexität hinzufügt. Es geht nicht so sehr um Platz.

Wenn Sie mit großen Wassermengen zu kämpfen haben (Rohrleitungen, Abflüsse usw.), erhöhen Sie das Risiko erheblich. Wasser und Strom mischen sich nicht gut (oder sie mischen sich zu gut, je nachdem, wie Sie es betrachten es).

Das andere Problem mit Wasser ist Feuchtigkeit. Im großen Stil wird es alle Ihre Klimaanlagen für eine Schleife werfen. Dann gibt es Mineralablagerungen durch Verdunstung und zweifellos eine Menge anderer Dinge, an die ich hier nicht gedacht habe.

Für die Kühlung des Rechenzentrums sollte NICHT Wasser verwendet werden, sondern ein Mineralöl, das sich sehr gut mit Strom mischt. siehe http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

Obwohl die Lösung neu ist, ist die Technologie ziemlich alt, jedoch wird es sehr schwierig, diese Art der Änderung an vorhandenen Rechenzentren vorzunehmen, da Sie die vorhandenen Racks durch neue Racks ersetzen müssen ...

Der große Nachteil, kein Wasser in Rechenzentren zu verwenden, ist die Tatsache, dass die meisten Wasserkühlungssysteme primitiv sind. Sie alle benötigen eine schnelle Verbindung, um den Server mit der Wasserquelle im Rack zu verbinden. Dies ist eine Fehlerquelle, insbesondere, da möglicherweise Tausende von Servern in einem DC vorhanden sind. Sie erschweren auch die Wartung der Server und in den meisten Fällen benötigen Sie noch Lüfter. Sie erhöhen also die Komplexität.

Auf der menschlichen Seite widersetzen sich die meisten Facility Manager Veränderungen. Sie beherrschen die Luftkühlung sehr gut und ein Umstieg auf Flüssigkeit würde diese Fähigkeiten überflüssig machen. Darüber hinaus wird sich jeder OEM einer Änderung widersetzen, da dies eine vollständige Wiederholung der Produktlinie implizieren würde.

Änderungen werden nur mit a) besseren Konstruktionen für die Flüssigkeitskühlung und b) Gesetzen zur Erzwingung von Änderungen einhergehen

Sie tun es, aber Sie benötigen kundenspezifische Komponenten. OVH (eines der größten Rechenzentrumsunternehmen der Welt) verwendet seit mehr als 10 Jahren Wasserkühlung.

Schauen Sie sich diesen Link an, wo Sie ihre Racks sehen können: http://www.youtube.com/watch?v=wrrZxmfevoE

Das Hauptproblem für klassische Unternehmen ist, dass Sie etwas Forschung und Entwicklung betreiben müssen, um diese Technologie zu nutzen.

Wassergekühlte Datenzentren sind sehr effizient und sparen Energie, vorausgesetzt, Sie haben gereinigtes Wasser. Die Gefahren sind jedoch größer, wenn sie in engem Kontakt stehen. 1) Feuchtigkeits- / Feuchtigkeitsgehalt
2) Wasser gegen Elektrizität.

Wasser ist möglicherweise nicht die beste Flüssigkeit. Wie bereits erwähnt, wird sich mit der Zeit alles auflösen. Sicherlich hat Wasser eine gute Verwendung für Kühlanwendungen, aber die Umgehung ist nicht die beste. Auch wenn Mineralöl ins Spiel kommen kann, ist es auch nicht die beste Wahl.

Es sind spezielle Wärmeträgeröle erhältlich, die im Gegensatz zu Wasser nicht korrodieren und speziell für die Verwendung als Wärmeträgerflüssigkeit entwickelt wurden. Paratherm macht bereits eine Vielzahl von diesen.

Das Problem wäre, Dinge an einen Wärmetauscher mit geschlossenem Kreislauf anzuschließen, und wir sprechen von einer großen Anzahl.

Die Lösung ist bereits hergestellt, wird jedoch nicht in Elektronikumgebungen verwendet und stammt von Landmaschinen. Hydraulik, um es zu nennen. Die Schnellschnappschlauchenden sind auslaufsicher. Wenn sie aus irgendeinem Grund nicht angeschlossen sind, verschließen sie sich selbst sowohl am männlichen als auch am weiblichen Ende. im schlimmsten Fall würde man beim Trennen nicht mehr als 1-2 kleine Tröpfchen haben.

Also können wir diesen Teil beseitigen. Die Entwicklung geeigneter Kupferteile für jeden einzelnen Chip / Schaltkreis, der gekühlt werden muss, ist jedoch eine anspruchsvolle Aufgabe. Wie bei der Flüssigkeitskühlung muss jedes einzelne Teil, das überschüssige Wärme abführen muss, abgedeckt werden. Eine Pumpe mit relativ hohem Druck, Drucksensoren und Reduzierstücke wären erforderlich, um sicherzustellen, dass in jedem Gestell die richtige Menge an Flüssigkeit zirkuliert, und um einen Ausfall zu verhindern. Es wären auch elektronische Absperrventile erforderlich. Dies ist nichts Neues, da diese Teile bereits hergestellt wurden, auch wenn sie in erster Linie aus unterschiedlichen Gründen hergestellt wurden. Viele kleine Lüfter haben den Vorteil der Redundanz, sodass mehrere Pumpeneinheiten wünschenswert wären, um die Wahrscheinlichkeit eines Ausfalls eines einzelnen Punkts zu vermeiden.

Abgesehen davon würde es sich natürlich auszahlen, ein Wärmeträgerfluid mit niedriger Viskosität anstelle einer großen Luftmenge zu bewegen, wenn es sich um einen echten Kreislauf handelt.

Tatsächlich hätte es mehrere Möglichkeiten, dies zu tun. Erstens würden die Kosten für die Klimaanlage und den Betrieb des Lüfters gesenkt. Unterschätze niemals diese Kosten. Sogar ein kleiner Lüfter kann einige Watt Leistung aufnehmen und Lüfter fallen nach einiger Zeit aus. Eine Hydraulikpumpe kann - unter Berücksichtigung des geringen Drucks, der mit dieser Anwendung verbunden ist - buchstäblich rund um die Uhr laufen und eine große Anzahl von Ventilatoren ersetzen. Server-Chips halten dem Missbrauch stand und können im Vergleich zu Desktop-Geräten bei sehr hohen Temperaturen betrieben werden. Trotzdem halten Sie sie kühler und die erwartete Lebensdauer wird länger, was angesichts des Preises dieser Dinge niemals zu unterschätzen ist. Eine Luftfilterung zur Vermeidung von Staub und Feuchtigkeit wäre nicht mehr erforderlich.

Diese Faktoren übersteigen die Nachteile dieser Art von Kühltechnologie bei weitem. Die Anfangsinvestition ist jedoch höher. Sicherlich kann die Lösung Server-Setups mit höherer Dichte bereitstellen, aber derzeit wird die Investition von Rechenzentren einfach nicht in Betracht gezogen. Der Umbau einer vorhandenen Kühllösung würde Zeit kosten und Zeit ist Geld. Die Wartung wäre auch sehr einfach, da sperrige Kühlkörper einfach nicht erforderlich wären und auch keine Lüfter. Die Reduzierung der Anzahl potenzieller Fehlerpunkte (jeder einzelne Lüfter ist einer von ihnen) ist zu beachten. Auch redundante Pumpen können ohne Interaktion der Bediener eingesetzt werden. Auch Lüfter heizen sich selbst. Stellen Sie sich eine Einheit mit jeweils 20 Lüftern vor, die nur nicht mehr als 5 Watt leisten. Das Endergebnis wären weitere 100 Watt Wärme, die irgendwie abgeführt werden müssten. Pumpen und die Antriebsmotoren würden auch Wärme erzeugen, aber nicht in einem Gestell. Eher vom Zielsystem getrennt und isoliert. Im Falle eines Kurzschlusses, beispielsweise eines Kurzschlusses eines aktiven Netzteilelements, kann diese Art der Flüssigkeitskühlung tatsächlich genügend Wärme transportieren und somit die Wahrscheinlichkeit einer Brandausbreitung verringern. Frische Luft in die Nähe eines Feuers zu bringen, ist nicht die beste Idee. Auch Kunststoffteile schmelzen und Kunststoffteile sind brennbar. Wärmeübertragungsflüssigkeit funktioniert problemlos bei Temperaturen, bei denen die Lüfter abschmelzen und möglicherweise eine andere Kurzschlussquelle entstehen kann. Auch Kunststoffteile schmelzen und Kunststoffteile sind brennbar. Wärmeübertragungsflüssigkeit funktioniert problemlos bei Temperaturen, bei denen die Lüfter abschmelzen und möglicherweise eine andere Kurzschlussquelle entstehen kann. Auch Kunststoffteile schmelzen und Kunststoffteile sind brennbar. Wärmeübertragungsflüssigkeit funktioniert problemlos bei Temperaturen, bei denen die Lüfter abschmelzen und möglicherweise eine andere Kurzschlussquelle entstehen kann.

Wäre also eine Flüssigkeitskühlung gefährlich? Ich denke, aus Sicherheitsgründen sind Haufen kleiner Fans weitaus gefährlicher. Aus Sicht der Lebensdauer wird meiner Meinung nach die Flüssigkeitskühlung bei weitem mehr bevorzugt. Die einzigen Nachteile sind die Schulung des Personals und die anfänglichen Investitionen. Abgesehen davon ist es eine weitaus rentablere Lösung, die sich auch mittelfristig auszahlt.

Es funktioniert einfach hervorragend, ist jedoch teuer und zeitaufwendig für die Einrichtung von Tausenden von Maschinen und benötigt viel Platz. Plus es ist nicht notwendig. Gaming-Rigs haben viel zu viele Möglichkeiten, sich zusammenzuschließen. Alles mit anständiger Belüftung wird mit einem schönen 70f-Luftstrom gut funktionieren, selbst wenn er zu 100% läuft, was kaum jemals der Fall ist.