Large Language Models haben großen Einfluss auf die Cybersicherheit. Sie haben das Potenzial, sowohl als Verteidigungswerkzeuge und auch als Waffen für Cyberkriminelle eingesetzt zu werden. // von Khushi Bhardwaj und Yasmina Kozan

Large Language Models (LLMs) verändern die Cybersicherheit grundlegend. Die zunehmende Digitalisierung macht Cyberangriffe zu einer ernsthaften Bedrohung, und die Angriffe werden immer komplexer. Eine Studie aus August 2024 der Indiana University Bloomington hat erstmals den systematischen Missbrauch großer Sprachmodelle durch Cyberkriminelle beleuchtet. Dabei wurde untersucht, wie sogenannte „Mallas“ gezielt Schutzmechanismen öffentlicher LLM-Dienste umgehen, um schädliche Inhalte zu erstellen. „Mallas“ sind gezielte Angriffsstrategien, mit denen Cyberkriminelle die Schutzmechanismen großer KI-Modelle umgehen, um schädliche Inhalte zu erzeugen. Die Ergebnisse zeigen, wie stark diese Technologien die Bedrohungslage in der Cybersicherheit beeinflussen.

Wie LLMs zur Verteidigung beitragen

Die Abwehr von Cyberangriffen wird zunehmend durch den Einsatz großer Sprachmodelle (LLMs, Large Language Models) unterstützt. Sie helfen zum Beispiel dabei, Schwachstellen in Kommunikationsprotokollen in Echtzeit zu finden, automatisierte Sicherheitsüberprüfungen (sogenannte Penetrationstests) durchzuführen und Schadsoftware (Malware) effizient zu untersuchen. Durch diese automatisierten Prozesse werden IT-Systeme widerstandsfähiger gegenüber Angriffen, während gleichzeitig Sicherheitsmaßnahmen schneller und präziser umgesetzt werden können.

Gefahren und Missbrauch der KI

So beeindruckend die Fähigkeiten großer Sprachmodelle (LLMs, Large Language Models) auch sind, ihre potenzielle Gefährlichkeit sollte laut Julien Siebert, leitender KI-Experte in der Abteilung Data Science des Fraunhofer-Institut für Experimentelles Software Engineering (IESE), nicht unterschätzt werden. Cyberkriminelle nutzen diese Technologien, um täuschend echte Phishing-Mails zu erstellen. Diese betrügerischen E-Mails zielen darauf ab, sensible Daten wie Passwörter oder Kreditkartendaten zu stehlen.

Schadsoftware und Social Engineering

Durch den Einsatz von LLMs können schädliche Programme (Schadsoftware oder Malware) entwickelt und gezielte Manipulationsangriffe, sogenannte Social-Engineering-Angriffe, geplant werden. Hierbei werden Opfer gezielt getäuscht oder ausgenutzt, um Informationen preiszugeben oder bestimmte Aktionen auszuführen. Professor Hannes Tschofenig, der an der Hochschule Bonn-Rhein-Sieg im Bereich Netzwerksicherheit lehrt, betont: „Social Engineering bleibt ein Evergreen unter den Angriffsmethoden. KI-Systeme wie LLMs machen diese Angriffe durch realistischere und stimmigere Inhalte noch effizienter, was für Endbenutzer eine Herausforderung darstellt.“

Die Funktionsweise großer Sprachmodelle und ihr Sprachverständnis

Große Sprachmodelle (Large Language Models, LLMs) wie GPT-4 basieren auf künstlichen neuronalen Netzwerken, die mithilfe riesiger Mengen an Textdaten trainiert werden. Der Trainingsprozess beginnt mit dem sogenannten Vortraining (Pre-Training). Dabei analysiert das Modell Texte, um die Beziehungen zwischen Wörtern und Sätzen zu erkennen. Die Texte werden dabei in kleinere Bestandteile, sogenannte Tokens, zerlegt. Das Ziel des Modells ist es, vorherzusagen, welches Token im Text als nächstes kommt. Diese Methode ermöglicht es den Modellen, Muster und Zusammenhänge in der Sprache zu lernen. Siebert beschreibt diese Modelle als „Objekte, die trainiert werden, um Sprache zu verstehen und Aufgaben wie die Vorhersage des nächsten Wortes zu erledigen. Dadurch können sie Benutzeranweisungen folgen und Probleme lösen“. Besonders wichtig ist das Vortraining, bei dem große Datenmengen aus dem Internet verwendet werden.

Instruction-Tuning und Prompt Engineering

Nach dem Vortraining werden diese Modelle durch sogenanntes Instruction-Tuning auf bestimmte Aufgaben spezialisiert. Ein weiteres Konzept ist das Prompt Engineering. Dabei werden gezielte Eingaben wie "Few-Shot"- oder "Zero-Shot"-Prompts genutzt, um spezifische Aufgaben zu lösen.  Dieser Ansatz ermöglicht es, Modelle flexibel einzusetzen, ohne dass umfangreiche Anpassungen erforderlich sind. Dadurch werden sie zu flexiblen Werkzeugen, die in vielen Bereichen eingesetzt werden können.

Fehleranfälligkeit und Personalisierung

Es ist jedoch auch Vorsicht geboten: Solche Systeme können fehlerhafte oder unvollständige Analysen erstellen, was neue Schwachstellen in den IT-Systemen hervorrufen könnte. Deshalb ist es laut Professor Tschofenig entscheidend, diese Technologien regelmäßig zu prüfen und zu verbessern, um ihre Zuverlässigkeit und Sicherheit zu gewährleisten. Eine der Fähigkeiten, die Kriminelle nutzen, ist die Analyse öffentlich zugänglicher Daten, um detaillierte Informationen über potenzielle Opfer zu sammeln. Das macht die Angriffe besonders effektiv, da sie oft personalisiert und dadurch glaubwürdiger wirken.

Thinglink: Chancen und Risiken von Large Language Models in der Cybersecurity // Quelle: Khushi Bhardwaj und Yasmina Kozan

Die Do-Anything-Now-Attacke und Prompt-Injection-Angriffe

Ein weiteres Beispiel für den Missbrauch solcher Technologien ist die sogenannte Do-Anything-Now-Attacke (DAN-Attacke). Hierbei handelt es sich um eine Vorgehensweise, mit der Sicherheitsmechanismen umgangen werden, die normalerweise verhindern sollen, dass ein Sprachmodell gefährliche oder illegale Inhalte erstellt. Die DAN-Attacke zielt darauf ab, das Modell dazu zu bringen, alle Sicherheitsmechanismen vollständig zu ignorieren, während sogenannte Prompt-Injection-Angriffe gezielt mit manipulierten Eingaben arbeiten, um die Sicherheitsfilter zu überlisten. Siebert erklärt, dass große Sprachmodelle trotz eingebauter Sicherheitsvorkehrungen durch Prompt-Injection-Angriffe manipuliert werden können. Dabei handelt es sich um eine Technik, bei der Angreifer gezielt formulierte Eingaben (Prompts) verwenden, um das Modell dazu zu bringen, unerwünschte oder schädliche Inhalte zu generieren. Selbst wenn die Modelle mit strengen Filtern ausgestattet sind, die solche Aktionen verhindern sollen, finden Angreifer oft Wege, diese Schutzmechanismen zu umgehen. Ein Beispiel wäre das Stellen hypothetischer oder stark verschachtelter Fragen, um die Filter zu überlisten.

Zwischen Regulierung und Verantwortung

Initiativen wie die EU-AI-Verordnung bieten Orientierung, doch die Entwicklung und Umsetzung globaler Standards bleibt eine anspruchsvolle Aufgabe, die langfristiges Engagement erfordert. Professor Tschofenig betont, dass Regulierungen allein nicht ausreichen und Unternehmen und Entwickler ebenfalls ihre Verantwortung wahrnehmen und Sicherheitslücken proaktiv beheben müssten. Nur durch die Kombination aus technologischen Fortschritten, gesetzlichen Rahmenbedingungen und ethischem Bewusstsein könne eine sichere Nutzung von LLMs gewährleistet werden.

Teaserbild: Cyberangriffe durch Phishing-Methoden werden durch Künstliche Intelligenz immer effizienter. // Bild: Yasmina Kozan