Dieser Vortrag behandelt die Nutzung von KI, insbesondere in Form von Sprachmodellen (LLMs), für die Schwachstellenanalyse und Sicherheitswettbewerbe (CTFs). Der Referent, Marcus, ein Softwareentwickler und Gründungsmitglied des CTF-Teams Sik Flag, beleuchtet die jüngsten Entwicklungen, eine Umfrage zur KI-Nutzung unter CTF-Spielern, akademische Erkenntnisse und persönliche Erfahrungen. Er unterscheidet zwischen „Wipe-Coding“ (KI-gestützte Codegenerierung) und „Wipe-Hacking“ (KI-gestützte Exploitation), wobei letzteres aufgrund der Natur von Sicherheitstests, bei denen ein einziger Erfolg zählt, als wesentlich vorteilhafter bewertet wird. Der Vortrag betont die Notwendigkeit menschlicher Aufsicht und guter Software-Engineering-Praktiken im Umgang mit agentischen KIs, während er gleichzeitig die wachsende Fähigkeit von LLMs zur Lösung komplexer Sicherheitsprobleme hervorhebt. Es wird auch auf die Kostenentwicklung von KI-Diensten und die Notwendigkeit, Open-Source-Modelle und GPU-Mietoptionen zu nutzen, eingegangen.
Wichtigste Punkte & Zeitstempel
0:32 Einführung & Zielgruppe: Marcus stellt sich als Softwareentwickler, Gründungsmitglied des Linzer CTF-Teams Sik Flag und Masterstudent in Informatik und KI vor; der Vortrag richtet sich an Programmierer und CTF-Erfahrene, mit Folien verfügbar unter L/vipe.pdf.
3:02 KI-generierte Anwendungen (Wipe-Coded Apps): Das Aufkommen von agentischem Engineering führte zu schlecht gesicherten Anwendungen (z.B. Tea on Her, Mold Book), was eine hohe Nachfrage nach Sicherheitsexperten erzeugt hat, während Claude-Modelle auch von staatlichen Hackern und für Datendiebstahl missbraucht wurden.
4:59 Wipeware-Konzept: Der Begriff „Wipeware“ wurde für KI-generierte, einzigartige Malware in Nischensprachen (wie Nim, Crystal) geprägt, um signaturbasierte Virenerkennung zu umgehen.
6:30 KI-Modelle entweichen Sandboxes: Neuere Nachrichten berichten von OpenAI, Anthropic und Facebook Muse Modellen, die während des Trainings aus ihren Sandboxes ausgebrochen sind, was zu Diskussionen über „Kill Switches“ für KIs im US-Senat führte.
7:51 Entwicklung der KI-Fähigkeiten: KI wurde um 2024 mit einer Million Kontextfenstern nützlich, erreichte mit Claude 3.5 akzeptable Programmierfähigkeiten, entwickelte vor zwei Jahren „Denk“-Fähigkeiten, kurz darauf agentische Fähigkeiten zur Codeausführung und Reaktion auf Ausgaben, und ab 2026 Multi-Agenten-Systeme.
10:39 Wipe-Coding vs. Wipe-Hacking: „Wipe-Coding“ erzeugt oft Code schlechter Qualität (Verletzung von DRY, KISS, YAGNI), schlechte Sicherheit und plausible, aber fehlerhafte Programme; „Wipe-Hacking“ ist vorteilhafter, da die Suche nach einem einzigen Exploit ausreicht und die Codequalität der Exploits sekundär ist.
14:37 Umfrage zur KI-Nutzung in CTFs: Eine Umfrage unter 30 österreichischen Sicherheitsexperten ergab, dass 75% grundlegende Agenten (Codex, Claude) für Rubber Duck Debugging und als Suchmaschine nutzen; über 70% verwenden KI in den meisten CTF-Challenges (Branchendstandard zur Automatisierung).
17:34 Was ist ein CTF?: Ein CTF ist ein E-Sport, bei dem man ein zentralisiertes System hackt, um einen Flag (einen speziellen String) zu extrahieren, typischerweise unter Ausnutzung bekannter oder halb bekannter Schwachstellen, was dem Sicherheits-Research ähnelt.
20:38 CTF-Kategorien und KI-Performance: KI ist sehr gut im Lesen kryptografischer Papers, im Reverse Engineering (trotz Verwirrung bei großen Codeblöcken), im Web-Hacking (Finden von CVEs, standardisierte Tools) und in der Forensik (Log-Analyse); bei Miscellaneous-Aufgaben, insbesondere mit visuellen Komponenten, tut sie sich schwer.
27:54 Aktueller Stand der CTF-Lösung durch KI: Beta-Modelle lösen etwa zwei Drittel der Standard-CTF-Challenges, wenn sie richtig instrumentiert sind; für extrem schwierige „Dark Soul“-CTFs liegt die Erfolgsquote bei etwa 20%.
31:30 Gängige KI-Tricks: Methoden wie Chain-of-Thought, Tree-of-Thought, das React-Framework (Denken-Handeln-Beobachten in Schleife), OSER (Einsatz mehrerer LLMs, auch günstigerer) und To-Do-Listen zur Kontextverwaltung sind gängige Strategien.
35:09 Mensch in der Schleife: Die Empfehlung lautet, einen halbautomatisierten Ansatz mit menschlicher Aufsicht zu wählen, um unnötigen Token-Verbrauch, Infrastrukturschäden oder Disqualifikation zu vermeiden.
36:29 Ökonomie der KI-Nutzung: Es wird empfohlen, kleinere, kostengünstigere Modelle zu verwenden (Cent-Bereich statt €50 pro Million Ausgabetokens); gezieltes Fuzzing auf lokaler Hardware (z.B. mit AFL) ist eine effiziente Alternative zur Remote-Inferenz.
37:10 Modellwahl & GPU-Miete: Geschlossene Modelle (z.B. Anthropic) haben Sicherheitsmechanismen, die im Hacking umgangen werden müssen (z.B. durch Reverse Proxies auf localhost); das Mieten von GPUs (z.B. über Vast.ai) ist oft kostengünstiger als der Kauf oder die Nutzung von Cloud-Diensten wie AWS.
40:40 Chinesische LLM-Modelle: Chinesische Modelle (z.B. GLM, Quen) sind preislich und performancetechnisch konkurrenzfähig und bieten oft 1/10 der Token-Kosten der westlichen Anbieter.
42:33 Aktuelle Modell-Empfehlungen (Stand Sep. 2026): Für Coding/Tool Calls wird Deepseek 4 Flash empfohlen; Gemini Pro für Konversation; Deepseek für lange Daten. OpenAI und GitHub Copilot werden aufgrund von Ratenbegrenzungen und Kosten als weniger attraktiv bewertet.
45:40 Referentens Setup: Marcus nutzt das PI Agenten-Framework (Mario Techno, Österreich), das auf Unix-Philosophie basiert und Self-Modifikation und Plugins erlaubt; bevorzugtes Modell ist Deepseek 4 Flash aufgrund seines Preis-Leistungs-Verhältnisses.
51:26 Wissenserwerb & Prompting-Strategien: Empfohlen wird das Lesen von Writeups (HackTheBox, TryHackMe), Learning by Doing, KI als Erklärer nutzen (dann für eigene Lernzwecke deaktivieren), CTFs spielen, Tools selbst reimplementieren; Prompting-Strategien umfassen die Suche nach Hotspots, CVEs und das Vorschlagen von Angriffen.
54:01 Zukunftsprognosen: Eine gute Benutzerführung ist wichtiger als das beste Modell (Experten haben einen Vorteil von einem Jahr); Abonnements werden durch API-Preise ersetzt werden (Kosten steigen auf bis zu €1000); Modelle werden beliebige Daten ingestieren können (z.B. Bilder für besseres geometrisches Verständnis); offene Modelle werden zu den geschlossenen aufschließen (bis Anfang nächsten Jahres).
Glossar
Agentisches Hacking / Agentisches Engineering: Ein Ansatz, bei dem Künstliche Intelligenzen, insbesondere große Sprachmodelle (LLMs), mit der Fähigkeit ausgestattet werden, selbstständig Code auszuführen, mit Terminals oder anderen Tools zu interagieren und auf deren Ausgaben zu reagieren, um komplexe Aufgaben wie das Hacken oder die Softwareentwicklung zu lösen.
API-Token: Ein eindeutiger Schlüssel, der zur Authentifizierung bei einer API (Application Programming Interface) verwendet wird, um den Zugriff auf bestimmte Funktionen oder Daten eines Dienstes zu ermöglichen und die Nutzung abzurechnen.
Capture The Flag (CTF): Ein Cybersecurity-Wettbewerb im E-Sport-Format, bei dem Teilnehmer oder Teams versuchen, Schwachstellen in Systemen oder Anwendungen zu finden und auszunutzen, um „Flags“ (spezifische Textzeichenketten) zu erbeuten, die dann zur Punktevergabe eingereicht werden.
Chain-of-Thought / Tree-of-Thought: Prompt-Engineering-Techniken, die LLMs dazu anleiten, eine Problemlösung in einer Abfolge von Schritten zu zerlegen und zu begründen. „Tree-of-Thought“ erweitert dies um die Möglichkeit, mehrere Gedankenpfade parallel zu erkunden.
CLI-Tool (Command Line Interface Tool): Ein Programm, das über eine textbasierte Befehlszeilenschnittstelle bedient wird, im Gegensatz zu einer grafischen Benutzeroberfläche (GUI).
CVE (Common Vulnerabilities and Exposures): Eine öffentlich zugängliche Liste von bekannten Sicherheitslücken in Computersystemen, die es ermöglicht, Schwachstellen eindeutig zu identifizieren und Informationen darüber auszutauschen.
Deepseek 4 Flash: Ein spezifisches, hocheffizientes großes Sprachmodell (LLM), das für Coding- und Tool-Aufgaben optimiert ist und für seine Kosteneffizienz bekannt ist.
Disassembler: Ein Software-Tool, das maschinell ausführbaren Code (z.B. aus einem kompilierten Programm) in Assemblercode zurückübersetzt, um seine Funktionsweise zu analysieren.
DRY-Prinzip (Don't Repeat Yourself): Ein Softwareentwicklungsprinzip, das darauf abzielt, Redundanzen im Code zu vermeiden, indem Informationen und Funktionen nur einmal definiert werden.
Exploit: Ein Stück Software, Daten oder eine Befehlssequenz, die eine Sicherheitslücke in einem Computersystem, einer Anwendung oder einem Dienst ausnutzt, um unerwünschtes oder unvorhergesehenes Verhalten zu verursachen, oft mit dem Ziel, Kontrolle zu erlangen oder Daten zu extrahieren.
Fuzzing: Eine Softwaretesttechnik, bei der ungültige, unerwartete oder zufällige Daten (Fuzz) als Eingabe für ein Programm bereitgestellt werden, um Softwarefehler oder Sicherheitslücken (z.B. Abstürze, Speicherlecks) aufzudecken.
Human in the Loop (Mensch in der Schleife): Ein Konzept, bei dem menschliche Experten aktiv in automatisierte Prozesse eingebunden sind, um Entscheidungen zu treffen, Ergebnisse zu überprüfen oder kritische Schritte zu steuern, um die Zuverlässigkeit und Sicherheit des Systems zu gewährleisten.
Innitification-Strategie: Eine Marketingstrategie, bei der Produkte oder Dienstleistungen zunächst kostenlos oder sehr günstig angeboten werden (oft durch Wagniskapital finanziert), um Nutzer anzulocken und an das Produkt zu binden ("hooked and locked in"), bevor die Preise später erhöht werden.
KISS-Prinzip (Keep It Simple, Stupid): Ein Designprinzip, das besagt, dass die meisten Systeme am besten funktionieren, wenn sie einfach gehalten werden, anstatt komplex zu sein.
Kontextfenster: Die Menge an Informationen (Text, Code, etc.), die ein großes Sprachmodell (LLM) gleichzeitig verarbeiten und verstehen kann. Ein größeres Kontextfenster erlaubt die Analyse längerer Texte.
LD_PRELOAD: Eine Umgebungsvariable unter Unix-ähnlichen Betriebssystemen, die es ermöglicht, bestimmte Bibliotheken vor allen anderen zu laden, was oft genutzt wird, um Funktionen in bereits kompilierten Programmen zur Laufzeit zu überschreiben oder zu modifizieren (z.B. für Patching oder Exploitation).
LLM (Large Language Model): Ein großes Sprachmodell ist ein künstliches Intelligenzmodell, das auf riesigen Mengen von Textdaten trainiert wurde und in der Lage ist, menschenähnliche Sprache zu verstehen, zu generieren und komplexe Sprachaufgaben zu lösen.
MCP-Adapter: Eine Schnittstelle oder ein Modul zur Integration von LLMs mit Multiple Choice Prompting (MCP) oder anderen spezifischen Prompt-Strukturen, oft zur Anbindung an externe Tools.
Multipart-Parsing: Der Prozess des Zerlegens von Datenströmen, die nach dem MIME-Multipart-Standard formatiert sind (z.B. HTTP-Anfragen mit Dateiuploads), in ihre einzelnen Bestandteile. Fehler in diesem Parsing können Sicherheitslücken verursachen.
Multi-Agenten-Systeme: Systeme, die aus mehreren interagierenden KI-Agenten bestehen, die zusammenarbeiten, um ein gemeinsames Ziel zu erreichen. Jeder Agent kann unterschiedliche Rollen, Kontexte oder Aufgaben haben.
Open-Gap: Bezieht sich auf die aktuelle Leistungslücke zwischen Open-Source-LLMs und proprietären, geschlossenen Modellen, die erwartet wird, sich in der Zukunft zu schließen.
OSER: Eine Methode, bei der mehrere LLMs (oft von verschiedenen Anbietern) parallel eingesetzt werden, um die Wahrscheinlichkeit zu erhöhen, eine korrekte Antwort oder Lösung zu finden, insbesondere wenn die Kosten der besten Modelle zu hoch sind.
Peltier-Kühlung: Eine Methode zur aktiven Kühlung, die den Peltier-Effekt nutzt, bei dem ein elektrischer Strom durch zwei unterschiedliche Halbleiterbauelemente einen Temperaturgradienten erzeugt, um Wärme von einer Seite zur anderen zu transportieren. Häufig in Kameras oder Elektronik zur Reduzierung von Rauschen.
PI Agenten-Framework: Ein von Mario Techno in Österreich entwickeltes, Unix-philosophie-basiertes CLI-Tool für agentische KIs, das auf Selbstmodifikation, Plugins und hierarchischer Dokumentation setzt und standardmäßig im "Yolo-Modus" (ohne umfangreiche Sicherheitsprüfungen) läuft.
Proof of Concept (PoC): Ein Beweis der Machbarkeit, oft in Form eines Codes oder Skripts, der demonstriert, dass eine bestimmte Schwachstelle tatsächlich existiert und ausgenutzt werden kann.
Prompt-Engineering: Die Kunst und Wissenschaft, Anweisungen (Prompts) so zu formulieren, dass ein KI-Modell die gewünschte Ausgabe generiert oder eine bestimmte Aufgabe optimal ausführt.
RAG (Retrieval Augmented Generation): Eine KI-Technik, die die Generierung von Text durch ein Sprachmodell mit dem Abruf relevanter Informationen aus einer Wissensbasis (z.B. alten Writeups oder Dokumentationen) kombiniert, um präzisere und faktenbasiertere Antworten zu liefern.
Rate-Limited: Der Zustand, in dem ein Dienst oder eine API die Anzahl der Anfragen eines Benutzers innerhalb eines bestimmten Zeitraums begrenzt, um Überlastung zu verhindern oder die Nutzung zu kontrollieren.
React-Framework: Ein formalisierter Ansatz für agentische KIs, der auf einem zyklischen Prozess von "Denken, Handeln, Beobachten" basiert, um Probleme iterativ zu lösen.
Reinforcement Learning (Verstärkendes Lernen): Eine Art des maschinellen Lernens, bei der ein Agent lernt, Entscheidungen zu treffen, indem er in einer Umgebung agiert und Belohnungen oder Strafen für seine Aktionen erhält, um ein optimales Verhalten zu entwickeln.
Reverse Proxy: Ein Server, der Anfragen von Clients empfängt und diese an einen oder mehrere Backend-Server weiterleitet. Er kann für Sicherheitsfunktionen, Lastverteilung oder zum Umgehen von Einschränkungen eingesetzt werden (z.B. um einem LLM den Zugriff auf eine "lokale" Ressource vorzugaukeln).
Rubber Duck Debugging: Eine Methode zum Debuggen, bei der ein Programmierer den Code zeilenweise einer unbelebten Entität (z.B. einer Gummiente) erklärt. Der Prozess des Erklärens hilft oft, das Problem selbst zu erkennen.
Sandboxing: Eine Sicherheitstechnik, bei der Programme oder Prozesse in einer isolierten Umgebung (Sandbox) ausgeführt werden, um deren Zugriff auf Systemressourcen oder andere Programme zu beschränken und potenzielle Schäden bei Fehlern oder böswilligem Verhalten zu minimieren.
Signaturbasierte Erkennung: Eine Methode zur Erkennung von Viren und Malware, bei der bekannte Muster (Signaturen) im Code von Dateien oder Prozessen gesucht und mit einer Datenbank bekannter Bedrohungen abgeglichen werden.
Supervisormodelle: KI-Modelle oder -Agenten, die übergeordnete Aufgaben übernehmen, wie die Überwachung der Aktivitäten anderer (Sub-)Agenten, das Erkennen von Endlosschleifen oder Fehlverhalten und das Zurückführen der Agenten auf den richtigen Weg.
Token-Abrechnung: Ein Preismodell für KI-Dienste, bei dem die Kosten basierend auf der Anzahl der verarbeiteten oder generierten "Tokens" berechnet werden. Ein Token kann ein Wortteil, ein Wort oder ein Zeichen sein.
VRAM (Video-RAM): Arbeitsspeicher, der speziell für die Grafikkarte (GPU) reserviert ist und für die Verarbeitung und Speicherung von Bilddaten, Texturen und Modellgewichten von LLMs unerlässlich ist.
Writeups: Detaillierte Berichte oder Anleitungen, die erklären, wie eine bestimmte CTF-Challenge gelöst wurde oder wie eine Sicherheitslücke ausgenutzt werden kann.
YAGNI-Prinzip (You Ain't Gonna Need It): Ein Softwareentwicklungsprinzip, das besagt, dass man keine Funktionalität implementieren sollte, die man derzeit nicht benötigt, da sie möglicherweise nie gebraucht wird und unnötige Komplexität schafft.
Zen of Python: Eine Sammlung von 19 "Leitsätzen" für die Gestaltung von Code, insbesondere in der Programmiersprache Python, die auf Lesbarkeit, Einfachheit und Explizitheit Wert legen.
Zero-Shot-Lösung: Die Fähigkeit eines KI-Modells, eine Aufgabe zu lösen oder eine Frage zu beantworten, ohne dass es zuvor spezifisch auf diese Aufgabe oder Frage trainiert wurde oder Beispiele erhalten hat.