Prompts in ChatGPT verbrauchen täglich so viel Strom wie 49.000 deutsche Haushalte. Für die Stromversorgung von KI unterstützt Google seit Oktober 2024 den Bau von modularen Atomreaktoren. Es gibt jedoch auch andere Lösungsansätze, um den Energieverbrauch von generativer KI zu senken. //von Maximilian Salz und Sebastian Huhn
ChatGPT verdoppelte seine User-Zahlen seit November 2023 und hat 200 Mio. monatliche Nutzer im November 2024. Generative KI ist eine Bezeichnung für künstliche Intelligenz, die neue Inhalte als Texte, Audio, Bilder oder Videos generieren soll. Allerdings verbrauchen generative KIs sehr viel Strom in der Benutzung und im Training. Da eine Anfrage bei ChatGPT schätzungsweise zehnmal so viel Energie benötigt wie eine Google Suche, setzen große Tech-Konzerne auf modulare Atomreaktoren. Google will ab 2030 den ersten modularen Atomreaktor in Betrieb nehmen, 2035 sollen weitere Folgen. Die Standorte der Reaktoren sind allerdings noch nicht bekannt. Sie arbeiten mir dem US-Start-Up Kairos zusammen, was saubere und kostengünstige Energie durch Reaktor-Technologien gewährleisten möchte.
Der Stromverbrauch hinter der KI
Die Umweltbelastung einer generativen KI entsteht in erster Linie durch ihre physische Infrastruktur. Die Rechenzentren, die die KI betreiben, haben einen hohen Stromverbrauch und je nachdem, aus welcher Quelle dieser Strom kommt, Kohlenstoffdioxid-Emissionen.
Zum Schutz Ihrer persönlichen Daten wurde die Verbindung zu YouTube blockiert.
Klicken Sie auf „Video laden“, um die Blockierung zu YouTube aufzuheben.
Durch das Laden des Videos akzeptieren Sie die Datenschutzbestimmungen von YouTube.
Neue Technologie als Lösung
Alexander Hagg promovierte zum Thema ko-kreative Prozesse zwischen Mensch und KI. Als eine Lösung zur Reduzierung des Stromverbrauchs bei der Nutzung von KI nennt er das “Neuromorphic Computing“. Dabei imitiert ein Computer die neuronale Struktur des menschlichen Gehirns. Durch diese Struktur gestalten sich Mustererkennungen der generativen KI deutlich effizienter, daran wird aber noch geforscht. Bei herkömmlichen Computer-Architekturen werden Daten im Speicher gespeichert und der Prozessor bezieht sequenziell Befehle aus diesem. Die Hardware rechnet beim “Neuromorphic Computing“ direkt im Speicher. Dadurch entfallen einige Rechenprozesse, was Energie einspart. Diverse Firmen forschen daran und einige setzen die neue Technologie bereits ein. Unter anderem hat Intel den Loihi-2 Chip seit dem 30. September 2021 auf dem Markt. Mit voller Leistung können die Chips noch nicht arbeiten, da neue Bauelemente und Architekturen fehlen. Nach Alexander Hagg könnte diese Technologie bis zu 1000-mal effizienter sein als bisherige CPUs.
Modelle müssen nicht immer neu trainiert werden
Auch auf der Software-Ebene soll es nach Hagg schon Lösungsansätze geben. Die sogenannte Wissensdestillation zielt darauf ab, von einem großen “Lehrermodell“ Wissen auf ein kleineres “Schülermodell“ zu übertragen. Dadurch können die kompakteren Schülermodelle die komplexeren Lehrermodelle nachahmen. Die Schülermodelle sollen das Lehrermodell als kleinere und effizientere Modelle so gut wie möglich abbilden. Dadurch sparen sie viel Energie in der Inferenz-Phase. Das ist die Phase, in der die KI neue Inhalte mit Prompts von Nutzenden erstellt.
Mehr Ziele als nur Genauigkeit
Daphne Theodorakopoulos, Wissenschaftlerin am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), nennt als weiteren Lösungsansatz die sogenannte “Multiobjective Optimization“. Das bedeute, dass im Training einer generativen KI nicht nur versucht wird, die bestmögliche Genauigkeit zu erzielen: Es sollen weitere Merkmale wie beispielsweise Stromverbrauch oder CO2-Äquivalente mit in den Entwicklungsprozess einbezogen werden. Dabei spiele Software, die den Energieverbrauch einer KI berechnen kann, eine zentrale Rolle.
Wie Deutschland den Energieverbrauch senken will
Das Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit (BMUV) startete 2019 eine Förderinitiative, das “Fünf-Punkte-Programm“. Hierbei fördert das BMUV Projekte rund um das Thema KI und Nachhaltigkeit. Der Fokus liegt dort gleichzeitig darauf, wie KI einen Nutzen für die Umwelt haben kann und wie KI selbst nachhaltiger gestaltet werden kann. Das Bundesministerium schreibt dazu auf seiner Website: “Hierzu gehören etwa Projekte, die weniger rechenintensive KI-Verfahren entwickeln, Nachhaltigkeitskennzahlen der digitalen Infrastruktur von KI erheben oder mittels spezialisierter Hardware den Energiebedarf von KI-Anwendungen reduzieren“.
Den Energiebedarf einer KI messen
Ein Projekt des Fünf-Punkte-Programms ist NADIKI. Es wird seit 2019 durchgeführt. Das Projekt sieht als größte Herausforderung das Problembewusstsein für den Energieverbrauch von KI. Das Team hinter NADIKI entwickelt eine Software, die Anwendenden zeigt, wie hoch der Energieverbrauch ist und wie er sich verändert, wenn neue KI-Systeme trainiert werden. Ermittelt werden zum Beispiel physische Ressourcenverbräuche oder CO2-Äquivalente. Außerdem soll die Software vorhersagen können, wie eine effizientere Nutzung möglich wäre. Ziel ist es, dass Entwickler von KIs den Energie- und Ressourcenverbrauch mit in den Entwicklungsprozess einbeziehen können. Bis zum 31. Mai 2025 soll die Software fertiggestellt sein und für alle Projekte Open Source zur Verfügung stehen.
Politische Anregungen durch Forschungsprojekte
SustAIn, gegründet 2019 in Deutschland, war weltweit eines der ersten Projekte, das sich die Frage stellte, wie nachhaltig KI wirklich ist. Durch die Anregung des Forschungsteams hat die Europäische Union Empfehlungen für die KI-Verordnung übernommen, darunter die Dokumentationspflicht für den Energie- und Ressourcenverbrauch bei KI-Systemen. SustAIn veröffentlichte im Oktober 2023 ein Bewertungstool, das die Nachhaltigkeit einer KI bewertet. Aus einer Zusammenfassung des Projektes geht hervor, dass 43 von SustAIn geförderte Projekte bis zum April 2024 ihre spezifischen Zielsetzungen, die Umweltbelastung zu verringern, erreichen oder erreicht haben.
Die Verantwortung von Unternehmen
Die Wissenschaftlerin Daphne Theodorakopoulos denkt, dass der Fokus bei generativer KI wahrscheinlich nicht auf der Energieeffizienz liegen wird. Unternehmen würden hauptsächlich wirtschaftlich handeln. Solange es für diese Unternehmen billiger sei, eigene Rechenzentren oder Atomkraftwerke zu bauen, um dem hohen Energieverbrauch von KI gerecht zu werden, würden sie das auch tun. Theodorakopoulos sieht hier gesetzliche Richtlinien als Möglichkeit, dem entgegenzuwirken.
Generative KI und der Energieverbrauch in der Zukunft
Alexander Hagg denkt, dass die Wissensdestillation beim Training von generativer KI in Zukunft an Bedeutung gewinnen wird, wobei das auch schon heute der Fall ist. Er vermutet, dass die Trainingsdaten für große Modelle ausgehen werden. Das führe dazu, dass Modelle nicht mehr größer werden und vor allem immer weniger große Basismodelle trainiert werden müssen. Seiner Meinung nach werden mehr “Schülermodelle“ aus der Wissensdestillation hervorgehen. Dadurch werde weniger Energie im Training und in der Inferenz-Phase verbraucht.
Daphne Theodorakopoulos sieht Handlungsbedarf beim Energieverbrauch von generativer KI: “KI macht einen ganz schön großen CO2-Fußabdruck aus und wird einen immer größeren ausmachen. […] Da zu sagen ‘Ach, ist uns egal.‘, das wird auf Dauer nicht funktionieren.“
Teaserbild: Das Training von GPT-3 stieß ungefähr so viele Tonnen Kohlenstoffdioxid aus wie 3 Mio. km Autofahren // Bild: Sebastian Huhn
Die Autoren
Sebastian Huhn
Maximilian Salz
