04-14-2025, 04:02 AM
News GenAI-Security als Checkliste
<div id="remove_no_follow">
<div class="grid grid--cols-10@md grid--cols-8@lg article-column">
<div class="col-12 col-10@md col-6@lg col-start-3@lg">
<div class="article-column__content">
<section class="wp-block-bigbite-multi-title"><div class="container"></div></section>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Das Open Web Application Security Project (OWASP) gibt Unternehmen eine Checkliste für (mehr) GenAI-Sicherheit an die Hand." title="Das Open Web Application Security Project (OWASP) gibt Unternehmen eine Checkliste für (mehr) GenAI-Sicherheit an die Hand." src="https://images.computerwoche.de/bdb/3376704/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Das Open Web Application Security Project (OWASP) gibt Unternehmen eine Checkliste für (mehr) GenAI-Sicherheit an die Hand.</p></figcaption></figure><p class="imageCredit"> Foto: Gannvector | shutterstock.com</p></div><p>Während Unternehmen wie OpenAI, Anthropic, Google oder Microsoft aber auch Open-Source-Alternativen bei ihren <a href="https://www.csoonline.com/article/3492643/generative-aieine-neue-herausforderung-fur-den-ciso.html" title="Generative-AI" target="_blank">Generative-AI</a>– und <a href="https://www.computerwoche.de/article/2823883/was-sind-llms.html" title="Large-Language-Model" target="_blank">Large-Language-Model</a>-Angeboten exponentielle User-Zuwächse verzeichnen, sind IT-Sicherheitsentscheider bemüht, mit der rasanten KI-Entwicklung in ihren Unternehmen Schritt zu halten.</p>
<p>Die Non-Profit-Organisation OWASP trägt dieser Entwicklung mit einer neuen Veröffentlichung Rechnung: der “<a href="https://owasp.org/www-project-top-10-for-large-language-model-applications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1.pdf" title="LLM AI Cybersecurity & Governance Checklist" target="_blank" rel="noopener">LLM AI Cybersecurity & Governance Checklist</a>” (PDF).</p>
<h3 class="wp-block-heading" id="llm-bedrohungskategorien">LLM-Bedrohungskategorien</h3>
<p>Das Thema KI ist ziemlich umfangreich, weswegen die OWASP-Checkliste vor allem darauf abzielt, Führungskräfte dabei zu unterstützen, die <a href="https://www.csoonline.com/article/3494359/der-grose-ki-risiko-guide.html" title="wesentlichen Risiken" target="_blank">wesentlichen Risiken</a> im Zusammenhang mit generativer KI und großen Sprachmodellen möglichst schnell zu identifizieren und entsprechende Abhilfemaßnahmen einzuleiten. Das soll gewährleisten, dass Unternehmen über die nötigen, grundlegenden Sicherheitskontrollen verfügen, um generative KI und LLM-Tools, -Services und Produkte sicher einzusetzen.</p>
<p>Dabei betont OWASP, dass die Checkliste keinen Anspruch auf Vollständigkeit erhebt und sich mit <a href="https://www.csoonline.com/article/3495153/threat-intelligence-mit-gen-ai-5-wege-zur-besseren-bedrohungsabwehr.html" title="zunehmender Reife" target="_blank">zunehmender Reife</a> der Technologie und Tools ebenfalls weiterentwickeln wird. Die Sicherheitsexperten ordnen LLM-Bedrohungen in verschiedene Kategorien ein, wie die nachfolgende Abbildung veranschaulicht:</p>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Die OWASP KI-Bedrohungs-Map." title="Die OWASP KI-Bedrohungs-Map." src="https://images.computerwoche.de/bdb/3376705/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Die OWASP KI-Bedrohungs-Map.</p></figcaption></figure><p class="imageCredit"> Foto: OWASP</p></div><p>Geht es darum, eine <a href="https://www.csoonline.com/article/3491793/genai-und-cloud-risiken-ist-ihre-cloud-security-strategie-bereit-fur-llms.html" title="LLM-Strategie" target="_blank">LLM-Strategie</a> festzulegen, müssen Unternehmen vor allem mit den einzigartigen Risiken umgehen, die generative KI und LLMs aufwerfen. Diese müssen durch organisatorische Governance und entsprechende Security-Kontrollen minimiert werden. Im Rahmen ihrer Veröffentlichung empfehlen die OWASP-Experten Unternehmen einen sechsstufigen Ansatz, um eine wirksame LLM-Strategie zu entwickeln:</p>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Mit OWASP in sechs Schritten zum LLM-Deployment." title="Mit OWASP in sechs Schritten zum LLM-Deployment." src="https://images.computerwoche.de/bdb/3376706/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Mit OWASP in sechs Schritten zum LLM-Deployment.</p></figcaption></figure><p class="imageCredit"> Foto: OWASP</p></div><p>Auch hinsichtlich der Deployment-Typen in Sachen <a href="https://www.csoonline.com/article/3494507/large-language-models-absichern-die-10-haufigsten-llm-schwachstellen.html" title="LLM" target="_blank">LLM</a> empfiehlt OWASP, ganz genau hinzusehen und entsprechende Überlegungen anzustellen:</p>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Welche Art von KI-Modell ist für Sie die richtige?" title="Welche Art von KI-Modell ist für Sie die richtige?" src="https://images.computerwoche.de/bdb/3376707/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Welche Art von KI-Modell ist für Sie die richtige?</p></figcaption></figure><p class="imageCredit"> Foto: OWASP</p></div><h3 class="wp-block-heading" id="die-owasp-ki-checkliste">Die OWASP-KI-Checkliste</h3>
<p>Im Folgenden haben wir die von OWASP veröffentlichte Checkliste etwas “aufgedröselt”. Folgende Bereiche sollten Sie im Rahmen Ihrer Generative-AI- respektive LLM-Initiativen unbedingt prüfen.</p>
<p><strong>Adversarial Risk</strong></p>
<p>Dieser Bereich umfasst sowohl Wettbewerber als auch Angreifer und konzentriert sich nicht nur auf die Angriffs-, sondern auch auf die Unternehmenslandschaft. In diesen Bereich fällt beispielsweise, zu verstehen, wie die Konkurrenz KI einsetzt, um bessere Geschäftsergebnisse zu erzielen und die internen Prozesse und Richtlinien (beispielsweise <a href="https://www.csoonline.com/article/3492511/extended-detection-and-response-losungendie-11-besten-xdr-tools.html" title="Incident-Response-Pläne" target="_blank">Incident-Response-Pläne</a>) zu aktualisieren, um für Cyberangriffe und Sicherheitsvorfälle im Zusammenhang mit generativer KI gewappnet zu sein.</p>
<p><strong>Threat Modeling</strong></p>
<p>Die Bedrohungsmodellierung gewinnt im Zuge des von zahlreichen Security-Institutionen propagierten “Secure-by-Design”-Ansatzes zunehmend an Bedeutung. In diesen Bereich fallen etwa die Überlegungen, wie Angreifer LLMs und generative KI <a href="https://www.csoonline.com/article/3495991/google-prognose-2024-genai-verstarkt-phishing-kampagnen.html" title="für schnellere Exploits nutzen können" target="_blank">für schnellere Exploits nutzen können</a>, wie Unternehmen schadhafte KI-Nutzung erkennen können und wie sich die Technologie über interne Systeme und Umgebungen absichern lässt.</p>
<p><strong>KI-Bestandsaufnahme</strong></p>
<p>“Man kann nichts schützen, von dessen Existenz man nichts weiß” greift auch in der Generative-AI-Welt. Im Bereich der KI-Bestandsaufnahme geht es darum, Assets für intern entwickelte Lösungen und externe Tools und Plattformen <a href="https://www.csoonline.com/article/3496117/exploit-gefahr-gehackt-wegen-geloschter-cloud-assets.html" title="zu erfassen" target="_blank">zu erfassen</a>.</p>
<p>Dabei ist nicht nur wichtig, die Tools und Services zu kennen, die genutzt werden, sondern auch über die Verantwortlichkeiten Bescheid zu wissen. OWASP empfiehlt zudem, KI-Komponenten in <a href="https://www.csoonline.com/article/3492152/software-bill-of-material-umsetzen-die-8-besten-sbom-tools.html" title="SBOMs" target="_blank">SBOMs</a> zu erfassen und Datenquellen nach Sensibilität zu katalogisieren. Darüber hinaus sollte es auch einen Prozess geben, der gewährleistet, dass zukünftige Tools und Services aus dem unternehmerischen Inventar sicher ein- und ausgegliedert werden können.</p>
<p><strong>KI-Security- und -Datenschutz-Schulungen</strong></p>
<p>Der Mensch ist das schwächste Glied in der Sicherheitskette – heißt es oft. Das muss allerdings nicht so sein – vorausgesetzt, Unternehmen integrieren <a href="https://www.csoonline.com/article/3492034/security-awareness-trainings-schulungen-richtig-managen.html" title="KI-Sicherheits- und Datenschutztrainings" target="_blank">KI-Sicherheits- und Datenschutztrainings</a> in ihre GenAI-Journey.</p>
<p>Das beinhaltet beispielsweise, der Belegschaft ein Verständnis über aktuelle AI- und LLM-Initiativen zu vermitteln – genauso wie zur Technologie an sich und den wesentlichen Problemen im Bereich Security. Darüber hinaus ist in diesem Bereich eine Kultur unabdingbar, die von Trust und Transparenz geprägt ist. Das ist auch ein ganz wesentlicher Punkt, um “<a href="https://www.computerwoche.de/article/2832096/so-schuetzen-sie-sich-vor-schatten-ki.html" title="Schatten-KI" target="_blank">Schatten-KI</a>” zu verhindern. Anderenfalls werden Plattformen heimlich genutzt und die Security untergraben.</p>
<p><strong>Business Cases für KI etablieren</strong></p>
<p>Ganz ähnlich wie zuvor bei der Cloud erstellen die meisten Unternehmen keine kohärenten, strategischen Geschäftsmodelle für den Einsatz neuer Technologien – auch nicht, wenn es um generative KI und LLMs geht. Sich von <a href="https://www.computerwoche.de/article/2815709/die-6-groessten-it-hypes.html" title="Hype und FOMO" target="_blank">Hype und FOMO</a> anstecken zu lassen, ist relativ schnell geschehen – ohne soliden Business Case riskieren Unternehmen aber nicht nur, schlechte Ergebnisse zu erzielen.</p>
<p><strong>Governance</strong></p>
<p>Ohne <a href="https://www.computerwoche.de/article/2833069/wie-governance-im-ki-zeitalter-geht.html" title="Governance" target="_blank">Governance</a> ist es nahezu unmöglich, Rechenschaftspflicht und klare Zielsetzungen zu realisieren. In diesen Bereich der OWASP-Checkliste fällt beispielsweise, ein <a href="https://de.wikipedia.org/wiki/RACI" title="RACI" target="_blank" rel="noopener">RACI</a>-Diagramm zu erstellen, dass die KI-Initiativen eines Unternehmens dokumentiert, Verantwortlichkeiten zuweist und unternehmensweite Richtlinien und Prozesse etabliert.</p>
<p><strong>Rechtliches</strong></p>
<p>Die rechtlichen Auswirkungen von KI sollten keinesfalls unterschätzt werden – sie entwickeln sich rasant weiter und können Reputation und finanziellem Gefüge potenziell beträchtliche Schäden zufügen. In diesen Bereich können diverse Aspekte fallen – zum Beispiel:</p>
<ul class="wp-block-list">
<li><p>Produktgarantien im Zusammenhang mit KI,</p></li>
<li><p>KI-EULAs oder</p></li>
<li><p>Intellectual-Property-Risiken.</p></li>
</ul>
<p>Kurzum: Ziehen Sie Ihr Legal-Team oder entsprechende Experten hinzu, um die verschiedenen rechtsbezogenen Aktivitäten zu identifizieren, die für Ihr Unternehmen relevant sind.</p>
<p><strong>Regulatorisches</strong></p>
<p>Aufbauend auf den juristischen Diskussionen entwickeln sich auch die regulatorischen Vorschriften schnell weiter – ein Beispiel ist der <a href="https://www.csoonline.com/article/3491652/ai-act-wie-europas-ki-gesetz-cisos-fordert.html" title="AI Act der EU" target="_blank">AI Act der EU</a>. Unternehmen sollten deshalb die für sie geltenden KI-Compliance-Anforderungen ermitteln.</p>
<p><strong>LLM-Lösungen nutzen oder implementieren</strong></p>
<p>Der Einsatz von LLM-Lösungen erfordert spezifische Risiko- und Kontrollüberlegungen. Die OWASP-Checkliste nennt in diesem Bereich unter anderem die Aspekte:</p>
<ul class="wp-block-list">
<li><p>Access Control <a title="umsetzen" href="https://www.csoonline.com/article/3493543/was-ist-privileged-access-management.html" target="_blank">umsetzen</a>,</p></li>
<li><p>KI-Trainings-Pipelines absichern,</p></li>
<li><p>Daten-Workflows mappen und</p></li>
<li><p>bestehende oder potenzielle Schwachstellen in LLMs und Lieferketten identifizieren.</p></li>
</ul>
<p>Darüber hinaus sind kontinuierliche Audits durch Dritte, Penetrationstests und auch Code-Reviews für Zulieferer empfehlenswert.</p>
<p><strong>Testing, Evaluierung, Verifizierung, Validierung (TEVV)</strong></p>
<p>Der TEVV-Prozess wird vom NIST in seinem <a href="https://www.nist.gov/itl/ai-risk-management-framework" title="AI Framework" target="_blank" rel="noopener">AI Framework</a> ausdrücklich empfohlen. Dieser beinhaltet:</p>
<ul class="wp-block-list">
<li><p><a title="Continuous Testing" href="https://www.csoonline.com/article/3493611/dynamic-static-application-security-testing-die-besten-dast-sast-tools.html" target="_blank">Continuous Testing</a>,</p></li>
<li><p>Evaluierungen,</p></li>
<li><p>Verifizierungen und</p></li>
<li><p>Validierungen sowie</p></li>
<li><p>Kennzahlen zu Funktionalität, Sicherheit und Zuverlässigkeit von KI-Modellen.</p></li>
</ul>
<p>Und zwar über den gesamten Lebenszyklus von KI-Modellen hinweg.</p>
<p><strong>Modell- und Risikokarten</strong></p>
<p>Für den ethischen Einsatz von großen Sprachmodellen sieht die OWASP-Checkliste Modell- und Risiko-“Karten” vor. Diese können den Nutzern Verständnis über KI-Systeme vermitteln und so das Vertrauen in die Systeme stärken. Zudem ermöglichen sie, potenziell negative Begleiterscheinungen wie Bias oder Datenschutzprobleme offen zu thematisieren.</p>
<p>Die Karten können Details zu KI-Modellen, Architektur, Trainingsmethoden und Performance-Metriken beinhalten. Ein weiterer Schwerpunkt liegt dabei auf <a href="https://www.computerwoche.de/article/2832860/die-wichtigsten-fragen-und-antworten-2.html" title="Responsible AI" target="_blank">Responsible AI</a> und allen Fragen in Zusammenhang mit Fairness und Transparenz.</p>
<p><strong>Retrieval Augmented Generation</strong></p>
<p><a href="https://www.computerwoche.de/article/2832846/was-ist-retrieval-augmented-generation-rag.html" title="Retrieval Augmented Generation" target="_blank">Retrieval Augmented Generation</a> (RAG) ist eine Möglichkeit, die Fähigkeiten von LLMs zu optimieren, wenn es darum geht, relevante Daten aus bestimmten Quellen abzurufen. Dazu gehört, vortrainierte Modelle zu optimieren und bestehende auf neuen Datensätzen erneut zu trainieren, um ihre Leistung zu optimieren. OWASP empfiehlt, RAG zu implementieren, um den Mehrwert und die Effektivität großer Sprachmodelle im Unternehmenseinsatz zu maximieren.</p>
<p><strong>KI-Red-Teaming</strong></p>
<p>Last, but not least empfehlen die OWASP-Experten auch, KI-<a href="https://www.csoonline.com/article/3495010/red-vs-blue-vs-purple-teams-so-trainieren-sie-effektiv-den-ernstfall.html" title="Red-Teaming-Sessions" target="_blank">Red-Teaming-Sessions</a> abzuhalten. Dabei werden Angriffe auf KI-Systeme simuliert, um Schwachstellen zu identifizieren und existierende Kontroll- und Abwehrmaßnahmen zu validieren.</p>
<p>OWASP betont dabei, dass Red Teaming für sich alleine keine umfassende Lösung respektive Methode darstellt, um Generative AI und LLMs abzusichern. Vielmehr sollte KI-Red-Teaming in einen umfassenderen Ansatz eingebettet werden. Essenziell ist dabei jedoch laut den Experten insbesondere, dass im Unternehmen Klarheit darüber herrscht, wie die Anforderungen für Red Teaming aussehen sollten. Ansonsten sind Verstöße gegen Richtlinien oder gar juristischer Ärger vorprogrammiert.</p>
<p><strong>Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? </strong><a href="https://www.csoonline.com/de/newsletters/signup/"><strong>Unser kostenloser Newsletter</strong></a><strong> liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.</strong></p>
</div></div></div></div>
https://www.csoonline.com/article/349312...liste.html
<div id="remove_no_follow">
<div class="grid grid--cols-10@md grid--cols-8@lg article-column">
<div class="col-12 col-10@md col-6@lg col-start-3@lg">
<div class="article-column__content">
<section class="wp-block-bigbite-multi-title"><div class="container"></div></section>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Das Open Web Application Security Project (OWASP) gibt Unternehmen eine Checkliste für (mehr) GenAI-Sicherheit an die Hand." title="Das Open Web Application Security Project (OWASP) gibt Unternehmen eine Checkliste für (mehr) GenAI-Sicherheit an die Hand." src="https://images.computerwoche.de/bdb/3376704/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Das Open Web Application Security Project (OWASP) gibt Unternehmen eine Checkliste für (mehr) GenAI-Sicherheit an die Hand.</p></figcaption></figure><p class="imageCredit"> Foto: Gannvector | shutterstock.com</p></div><p>Während Unternehmen wie OpenAI, Anthropic, Google oder Microsoft aber auch Open-Source-Alternativen bei ihren <a href="https://www.csoonline.com/article/3492643/generative-aieine-neue-herausforderung-fur-den-ciso.html" title="Generative-AI" target="_blank">Generative-AI</a>– und <a href="https://www.computerwoche.de/article/2823883/was-sind-llms.html" title="Large-Language-Model" target="_blank">Large-Language-Model</a>-Angeboten exponentielle User-Zuwächse verzeichnen, sind IT-Sicherheitsentscheider bemüht, mit der rasanten KI-Entwicklung in ihren Unternehmen Schritt zu halten.</p>
<p>Die Non-Profit-Organisation OWASP trägt dieser Entwicklung mit einer neuen Veröffentlichung Rechnung: der “<a href="https://owasp.org/www-project-top-10-for-large-language-model-applications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1.pdf" title="LLM AI Cybersecurity & Governance Checklist" target="_blank" rel="noopener">LLM AI Cybersecurity & Governance Checklist</a>” (PDF).</p>
<h3 class="wp-block-heading" id="llm-bedrohungskategorien">LLM-Bedrohungskategorien</h3>
<p>Das Thema KI ist ziemlich umfangreich, weswegen die OWASP-Checkliste vor allem darauf abzielt, Führungskräfte dabei zu unterstützen, die <a href="https://www.csoonline.com/article/3494359/der-grose-ki-risiko-guide.html" title="wesentlichen Risiken" target="_blank">wesentlichen Risiken</a> im Zusammenhang mit generativer KI und großen Sprachmodellen möglichst schnell zu identifizieren und entsprechende Abhilfemaßnahmen einzuleiten. Das soll gewährleisten, dass Unternehmen über die nötigen, grundlegenden Sicherheitskontrollen verfügen, um generative KI und LLM-Tools, -Services und Produkte sicher einzusetzen.</p>
<p>Dabei betont OWASP, dass die Checkliste keinen Anspruch auf Vollständigkeit erhebt und sich mit <a href="https://www.csoonline.com/article/3495153/threat-intelligence-mit-gen-ai-5-wege-zur-besseren-bedrohungsabwehr.html" title="zunehmender Reife" target="_blank">zunehmender Reife</a> der Technologie und Tools ebenfalls weiterentwickeln wird. Die Sicherheitsexperten ordnen LLM-Bedrohungen in verschiedene Kategorien ein, wie die nachfolgende Abbildung veranschaulicht:</p>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Die OWASP KI-Bedrohungs-Map." title="Die OWASP KI-Bedrohungs-Map." src="https://images.computerwoche.de/bdb/3376705/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Die OWASP KI-Bedrohungs-Map.</p></figcaption></figure><p class="imageCredit"> Foto: OWASP</p></div><p>Geht es darum, eine <a href="https://www.csoonline.com/article/3491793/genai-und-cloud-risiken-ist-ihre-cloud-security-strategie-bereit-fur-llms.html" title="LLM-Strategie" target="_blank">LLM-Strategie</a> festzulegen, müssen Unternehmen vor allem mit den einzigartigen Risiken umgehen, die generative KI und LLMs aufwerfen. Diese müssen durch organisatorische Governance und entsprechende Security-Kontrollen minimiert werden. Im Rahmen ihrer Veröffentlichung empfehlen die OWASP-Experten Unternehmen einen sechsstufigen Ansatz, um eine wirksame LLM-Strategie zu entwickeln:</p>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Mit OWASP in sechs Schritten zum LLM-Deployment." title="Mit OWASP in sechs Schritten zum LLM-Deployment." src="https://images.computerwoche.de/bdb/3376706/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Mit OWASP in sechs Schritten zum LLM-Deployment.</p></figcaption></figure><p class="imageCredit"> Foto: OWASP</p></div><p>Auch hinsichtlich der Deployment-Typen in Sachen <a href="https://www.csoonline.com/article/3494507/large-language-models-absichern-die-10-haufigsten-llm-schwachstellen.html" title="LLM" target="_blank">LLM</a> empfiehlt OWASP, ganz genau hinzusehen und entsprechende Überlegungen anzustellen:</p>
<div class="extendedBlock-wrapper block-coreImage"><figure class="wp-block-image size-large"><img decoding="async" alt="Welche Art von KI-Modell ist für Sie die richtige?" title="Welche Art von KI-Modell ist für Sie die richtige?" src="https://images.computerwoche.de/bdb/3376707/1200x.jpg" width="1200" loading="lazy" /><figcaption class="wp-element-caption"><p class="foundryImageCaption">Welche Art von KI-Modell ist für Sie die richtige?</p></figcaption></figure><p class="imageCredit"> Foto: OWASP</p></div><h3 class="wp-block-heading" id="die-owasp-ki-checkliste">Die OWASP-KI-Checkliste</h3>
<p>Im Folgenden haben wir die von OWASP veröffentlichte Checkliste etwas “aufgedröselt”. Folgende Bereiche sollten Sie im Rahmen Ihrer Generative-AI- respektive LLM-Initiativen unbedingt prüfen.</p>
<p><strong>Adversarial Risk</strong></p>
<p>Dieser Bereich umfasst sowohl Wettbewerber als auch Angreifer und konzentriert sich nicht nur auf die Angriffs-, sondern auch auf die Unternehmenslandschaft. In diesen Bereich fällt beispielsweise, zu verstehen, wie die Konkurrenz KI einsetzt, um bessere Geschäftsergebnisse zu erzielen und die internen Prozesse und Richtlinien (beispielsweise <a href="https://www.csoonline.com/article/3492511/extended-detection-and-response-losungendie-11-besten-xdr-tools.html" title="Incident-Response-Pläne" target="_blank">Incident-Response-Pläne</a>) zu aktualisieren, um für Cyberangriffe und Sicherheitsvorfälle im Zusammenhang mit generativer KI gewappnet zu sein.</p>
<p><strong>Threat Modeling</strong></p>
<p>Die Bedrohungsmodellierung gewinnt im Zuge des von zahlreichen Security-Institutionen propagierten “Secure-by-Design”-Ansatzes zunehmend an Bedeutung. In diesen Bereich fallen etwa die Überlegungen, wie Angreifer LLMs und generative KI <a href="https://www.csoonline.com/article/3495991/google-prognose-2024-genai-verstarkt-phishing-kampagnen.html" title="für schnellere Exploits nutzen können" target="_blank">für schnellere Exploits nutzen können</a>, wie Unternehmen schadhafte KI-Nutzung erkennen können und wie sich die Technologie über interne Systeme und Umgebungen absichern lässt.</p>
<p><strong>KI-Bestandsaufnahme</strong></p>
<p>“Man kann nichts schützen, von dessen Existenz man nichts weiß” greift auch in der Generative-AI-Welt. Im Bereich der KI-Bestandsaufnahme geht es darum, Assets für intern entwickelte Lösungen und externe Tools und Plattformen <a href="https://www.csoonline.com/article/3496117/exploit-gefahr-gehackt-wegen-geloschter-cloud-assets.html" title="zu erfassen" target="_blank">zu erfassen</a>.</p>
<p>Dabei ist nicht nur wichtig, die Tools und Services zu kennen, die genutzt werden, sondern auch über die Verantwortlichkeiten Bescheid zu wissen. OWASP empfiehlt zudem, KI-Komponenten in <a href="https://www.csoonline.com/article/3492152/software-bill-of-material-umsetzen-die-8-besten-sbom-tools.html" title="SBOMs" target="_blank">SBOMs</a> zu erfassen und Datenquellen nach Sensibilität zu katalogisieren. Darüber hinaus sollte es auch einen Prozess geben, der gewährleistet, dass zukünftige Tools und Services aus dem unternehmerischen Inventar sicher ein- und ausgegliedert werden können.</p>
<p><strong>KI-Security- und -Datenschutz-Schulungen</strong></p>
<p>Der Mensch ist das schwächste Glied in der Sicherheitskette – heißt es oft. Das muss allerdings nicht so sein – vorausgesetzt, Unternehmen integrieren <a href="https://www.csoonline.com/article/3492034/security-awareness-trainings-schulungen-richtig-managen.html" title="KI-Sicherheits- und Datenschutztrainings" target="_blank">KI-Sicherheits- und Datenschutztrainings</a> in ihre GenAI-Journey.</p>
<p>Das beinhaltet beispielsweise, der Belegschaft ein Verständnis über aktuelle AI- und LLM-Initiativen zu vermitteln – genauso wie zur Technologie an sich und den wesentlichen Problemen im Bereich Security. Darüber hinaus ist in diesem Bereich eine Kultur unabdingbar, die von Trust und Transparenz geprägt ist. Das ist auch ein ganz wesentlicher Punkt, um “<a href="https://www.computerwoche.de/article/2832096/so-schuetzen-sie-sich-vor-schatten-ki.html" title="Schatten-KI" target="_blank">Schatten-KI</a>” zu verhindern. Anderenfalls werden Plattformen heimlich genutzt und die Security untergraben.</p>
<p><strong>Business Cases für KI etablieren</strong></p>
<p>Ganz ähnlich wie zuvor bei der Cloud erstellen die meisten Unternehmen keine kohärenten, strategischen Geschäftsmodelle für den Einsatz neuer Technologien – auch nicht, wenn es um generative KI und LLMs geht. Sich von <a href="https://www.computerwoche.de/article/2815709/die-6-groessten-it-hypes.html" title="Hype und FOMO" target="_blank">Hype und FOMO</a> anstecken zu lassen, ist relativ schnell geschehen – ohne soliden Business Case riskieren Unternehmen aber nicht nur, schlechte Ergebnisse zu erzielen.</p>
<p><strong>Governance</strong></p>
<p>Ohne <a href="https://www.computerwoche.de/article/2833069/wie-governance-im-ki-zeitalter-geht.html" title="Governance" target="_blank">Governance</a> ist es nahezu unmöglich, Rechenschaftspflicht und klare Zielsetzungen zu realisieren. In diesen Bereich der OWASP-Checkliste fällt beispielsweise, ein <a href="https://de.wikipedia.org/wiki/RACI" title="RACI" target="_blank" rel="noopener">RACI</a>-Diagramm zu erstellen, dass die KI-Initiativen eines Unternehmens dokumentiert, Verantwortlichkeiten zuweist und unternehmensweite Richtlinien und Prozesse etabliert.</p>
<p><strong>Rechtliches</strong></p>
<p>Die rechtlichen Auswirkungen von KI sollten keinesfalls unterschätzt werden – sie entwickeln sich rasant weiter und können Reputation und finanziellem Gefüge potenziell beträchtliche Schäden zufügen. In diesen Bereich können diverse Aspekte fallen – zum Beispiel:</p>
<ul class="wp-block-list">
<li><p>Produktgarantien im Zusammenhang mit KI,</p></li>
<li><p>KI-EULAs oder</p></li>
<li><p>Intellectual-Property-Risiken.</p></li>
</ul>
<p>Kurzum: Ziehen Sie Ihr Legal-Team oder entsprechende Experten hinzu, um die verschiedenen rechtsbezogenen Aktivitäten zu identifizieren, die für Ihr Unternehmen relevant sind.</p>
<p><strong>Regulatorisches</strong></p>
<p>Aufbauend auf den juristischen Diskussionen entwickeln sich auch die regulatorischen Vorschriften schnell weiter – ein Beispiel ist der <a href="https://www.csoonline.com/article/3491652/ai-act-wie-europas-ki-gesetz-cisos-fordert.html" title="AI Act der EU" target="_blank">AI Act der EU</a>. Unternehmen sollten deshalb die für sie geltenden KI-Compliance-Anforderungen ermitteln.</p>
<p><strong>LLM-Lösungen nutzen oder implementieren</strong></p>
<p>Der Einsatz von LLM-Lösungen erfordert spezifische Risiko- und Kontrollüberlegungen. Die OWASP-Checkliste nennt in diesem Bereich unter anderem die Aspekte:</p>
<ul class="wp-block-list">
<li><p>Access Control <a title="umsetzen" href="https://www.csoonline.com/article/3493543/was-ist-privileged-access-management.html" target="_blank">umsetzen</a>,</p></li>
<li><p>KI-Trainings-Pipelines absichern,</p></li>
<li><p>Daten-Workflows mappen und</p></li>
<li><p>bestehende oder potenzielle Schwachstellen in LLMs und Lieferketten identifizieren.</p></li>
</ul>
<p>Darüber hinaus sind kontinuierliche Audits durch Dritte, Penetrationstests und auch Code-Reviews für Zulieferer empfehlenswert.</p>
<p><strong>Testing, Evaluierung, Verifizierung, Validierung (TEVV)</strong></p>
<p>Der TEVV-Prozess wird vom NIST in seinem <a href="https://www.nist.gov/itl/ai-risk-management-framework" title="AI Framework" target="_blank" rel="noopener">AI Framework</a> ausdrücklich empfohlen. Dieser beinhaltet:</p>
<ul class="wp-block-list">
<li><p><a title="Continuous Testing" href="https://www.csoonline.com/article/3493611/dynamic-static-application-security-testing-die-besten-dast-sast-tools.html" target="_blank">Continuous Testing</a>,</p></li>
<li><p>Evaluierungen,</p></li>
<li><p>Verifizierungen und</p></li>
<li><p>Validierungen sowie</p></li>
<li><p>Kennzahlen zu Funktionalität, Sicherheit und Zuverlässigkeit von KI-Modellen.</p></li>
</ul>
<p>Und zwar über den gesamten Lebenszyklus von KI-Modellen hinweg.</p>
<p><strong>Modell- und Risikokarten</strong></p>
<p>Für den ethischen Einsatz von großen Sprachmodellen sieht die OWASP-Checkliste Modell- und Risiko-“Karten” vor. Diese können den Nutzern Verständnis über KI-Systeme vermitteln und so das Vertrauen in die Systeme stärken. Zudem ermöglichen sie, potenziell negative Begleiterscheinungen wie Bias oder Datenschutzprobleme offen zu thematisieren.</p>
<p>Die Karten können Details zu KI-Modellen, Architektur, Trainingsmethoden und Performance-Metriken beinhalten. Ein weiterer Schwerpunkt liegt dabei auf <a href="https://www.computerwoche.de/article/2832860/die-wichtigsten-fragen-und-antworten-2.html" title="Responsible AI" target="_blank">Responsible AI</a> und allen Fragen in Zusammenhang mit Fairness und Transparenz.</p>
<p><strong>Retrieval Augmented Generation</strong></p>
<p><a href="https://www.computerwoche.de/article/2832846/was-ist-retrieval-augmented-generation-rag.html" title="Retrieval Augmented Generation" target="_blank">Retrieval Augmented Generation</a> (RAG) ist eine Möglichkeit, die Fähigkeiten von LLMs zu optimieren, wenn es darum geht, relevante Daten aus bestimmten Quellen abzurufen. Dazu gehört, vortrainierte Modelle zu optimieren und bestehende auf neuen Datensätzen erneut zu trainieren, um ihre Leistung zu optimieren. OWASP empfiehlt, RAG zu implementieren, um den Mehrwert und die Effektivität großer Sprachmodelle im Unternehmenseinsatz zu maximieren.</p>
<p><strong>KI-Red-Teaming</strong></p>
<p>Last, but not least empfehlen die OWASP-Experten auch, KI-<a href="https://www.csoonline.com/article/3495010/red-vs-blue-vs-purple-teams-so-trainieren-sie-effektiv-den-ernstfall.html" title="Red-Teaming-Sessions" target="_blank">Red-Teaming-Sessions</a> abzuhalten. Dabei werden Angriffe auf KI-Systeme simuliert, um Schwachstellen zu identifizieren und existierende Kontroll- und Abwehrmaßnahmen zu validieren.</p>
<p>OWASP betont dabei, dass Red Teaming für sich alleine keine umfassende Lösung respektive Methode darstellt, um Generative AI und LLMs abzusichern. Vielmehr sollte KI-Red-Teaming in einen umfassenderen Ansatz eingebettet werden. Essenziell ist dabei jedoch laut den Experten insbesondere, dass im Unternehmen Klarheit darüber herrscht, wie die Anforderungen für Red Teaming aussehen sollten. Ansonsten sind Verstöße gegen Richtlinien oder gar juristischer Ärger vorprogrammiert.</p>
<p><strong>Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? </strong><a href="https://www.csoonline.com/de/newsletters/signup/"><strong>Unser kostenloser Newsletter</strong></a><strong> liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.</strong></p>
</div></div></div></div>
https://www.csoonline.com/article/349312...liste.html