Fokus: Sicherheit für KI

Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) hat die zweite Phase ihres Forschungswettbewerbs „Robustes und Sicheres Maschinelles Lernen“ eingeleitet. Nach einer sorgfältigen Evaluierung der elf eingereichten Kurzkonzepte, an der als Jurymitglieder auch Bedarfsträger des BSI und der Bundeswehr teilgenommen haben, werden nun fünf ausgewählte Teams weiterforschen. Ihr Fokus liegt auf der Sicherheit und Robustheit neuronaler KI-Systeme gegenüber gezielten Angriffen und unvorhergesehenen Inputs.

Die erste Phase des Wettbewerbs, die Anfang April 2023 begann, zielte darauf ab, innovative Konzepte für robustes und sicheres Maschinelles Lernen (ML) zu entwickeln. Die Projektausschreibung umfasste fünf Schlüsselbereiche der Forschung: Datenabsicherung, Modellverifikation, Systemeinbettung, Entwicklung von Hybridmodellen aus neuronalen und symbolischen Komponenten sowie Ende-zu-Ende-Verifikation. Das mehrphasige Projekt soll während der fünfjährigen Laufzeit unterschiedliche Innovationsansätze vorantreiben.

Die fünf Konzepte der Konsortien, die sich in der 1. Phase des Wettbewerbs durchsetzen konnten, zeichnen sich durch diverse und spannende Ansätze mit einem hohen Grad an Modularität und Multimodalität aus. Mit der Phase 2 treten die Konsortien in die Langkonzeptphase. Diese wird sich über ein halbes Jahr erstrecken. Anschließend werden drei Konsortien ausgewählt, die die Grundlagenforschung und die Entwicklung von Prototypen weiterführen werden.

„Wir haben insgesamt eine große Bandbreite an Forschungsansätzen – von Software-Frameworks und Toolkits bis hin zu eher hardware-zentrischen und algorithmischen Konzepten – erhalten“, beschreibt Dr. Daniel Gille, Leiter des Projekts und Referatsleiter Künstliche Intelligenz bei der Cyberagentur, das Resultat des Wettbewerbs. „Mit unserer Jury haben wir daher für den Evaluationsprozess genau geprüft, in welchen Angeboten die potenziell bahnbrechenden Ansätze zur Steigerung der Robustheit und Sicherheit verschiedener KI-Methoden in den Bereichen der inneren und äußeren Sicherheit zu erkennen sind.“

Für den „Wettbewerb der Ideen“ wurde das Pre-Commercial Procurement (PCP), vorkommerzielle Auftragsvergabe, angewendet. Dieses spezifische Auftragsvergabeverfahren für Leistungen in Forschung und Innovation garantiert wettbewerbsbasierte und transparente Forschung in mehreren Phasen und eine Risiko-Nutzen-Teilung. Für die Evaluation hat die Cyberagentur eine Expertenjury gebildet, die sich aus eigenen Forscherinnen und Forschern sowie zwei externen Mitgliedern zusammensetzt. Mit den Vertretern des Bundesamts für Sicherheit in der Informationstechnik (BSI) sowie des Zentrums Digitalisierung der Bundeswehr und Fähigkeitsentwicklung Cyber- und Informationsraum (ZDigBw) wurde eine partnerschaftliche und produktive Zusammenarbeit etabliert, die auch in den zukünftigen Phasen fortgesetzt wird. „Damit garantieren wir, dass künftige Nutzer der Forschungsergebnisse bereits in den Wettbewerbsprozess eingebunden sind und mit ihrer fundierten und anwendungsnahen Expertise die Forschungsarbeiten zielorientiert begleiten“, erläutert Dr. Gille die Zusammensetzung der Jury.

Weitere Informationen:

https://www.cyberagentur.de/bevor-maschinen-ueberlistet-werden/

dfwa

https://www.linkedin.com