Wie sicher ist KI? Safety und Security!

Ein erschreckendes Beispiel für einen KI-Fehler gab es kürzlich in Kanada. Ein Mann hatte Probleme mit dem Übertragen seiner Facebook-App auf ein neues Telefon und suchte nach Hilfe. Facebook bietet dort keinen telefonischen Support an, aber er fand trotzdem eine angebliche Facebook-Nummer. Wie in allen Awareness-Trainings immer gelehrt wird, wollte er die Nummer aber zuerst verifizieren. Also fragte er den Meta-AI-Chatbot und dieser bestätigte die Echtheit der Nummer. So rief er vertrauensvoll dort an. Das Resultat: Die Betrüger brachten ihn dazu, ihnen Zugriff auf sein Handy zu gewähren, und konnten so auf seine Kosten PayPal-Guthaben und Bitcoins erwerben.

„Beispiele wie diese zeigen uns, dass sich mittlerweile beim Einsatz von KI-Tools ganz neue Sicherheitsdimensionen ergeben. Die bekannten Begriffe „Safety“ und „Security“ müssen für den Einsatz von KI erweitert werden. Gerade bei der KI-Safety geht es nicht nur um klassische Maschinen, die Menschen körperlich wehtun können, sondern auch um andere negative Auswirkungen der KI auf die Gesellschaft und die Menschen. 

Mein Kollege Constantin Kirsch hat diese Aspekte in einem neuen Blogpost ausführlich dargelegt.

https://www.cbc.ca/news/canada/manitoba/facebook-customer-support-scam-1.7219581

Wenn versteckte Informationen öffentlich werden

Passend zum Top-Thema schauen wir uns jetzt eine ungewollte Veröffentlichung an, die passenderweise über die legendäre Full-Disclosure-Mailingliste bekannt gemacht wurde.

Ausgangspunkt war ein Forumsbeitrag, in dem mutmaßlich ein Microsoft-Mitarbeitender über einen Absturz berichtete und einen Crashdump anhängte. Crashdumps sind sehr hilfreich, um Abstürze zu rekonstruieren. Da man im Fehlerfall nicht weiß, was der Auslöser war, werden in den Crashdumps in der Regel recht großzügig Ausschnitte aus dem Hauptspeicher und andere Zustandsinformationen abgespeichert. Mit dieser Menge an Informationen kann ein Entwickelnder nicht nur den Zustand des Programms selbst, sondern auch mögliche Wechselwirkungen einsehen.

In diesem Fall wurde der Crashdump auf einem Entwickler-PC erstellt, auf dem auch mit Microsofts DRM-Lösung PlayReady gearbeitet wurde. Die notwendigen Konfigurationen und Quelldateien waren also vorhanden und – da kürzlich damit gearbeitet wurde – auch so geladen, dass sie im Crashdump mitgeliefert wurden. Der Crashdump enthielt damit alles Nötige, um den Kopierschutz selbst zu übersetzen. Da solche DRM-Lösungen das Brechen des Kopierschutzes primär durch Verschleierungen verzögern, war das ein schwerer Verlust.

Dass diese Daten sich so leicht rekonstruieren ließen, war dem Fragenden vermutlich nicht bewusst, obwohl die Forumsregeln explizit auf das Risiko hinweisen. Doch man braucht nicht erst auf solch technische Datenformate wie Crashdumps schauen – Ähnliches passiert auch regelmäßig mit Änderungsinformationen in Word-Dokumenten oder, wie letztes Jahr publik wurde, bei unvollständig abgeschnittenen Bildern.

https://seclists.org/fulldisclosure/2024/Jun/7

Threat Intelligence jetzt in unserem Blog

Bei unseren Einsätzen, in denen wir Kunden bei Sicherheitsvorfällen begleiten, erfahren wir auch viel über typische Vorgehensweisen von Angreifenden. Diese sogenannte Threat Intelligence kann sehr hilfreich sein, wenn wir bei weiteren Vorfällen auf die gleiche Angreifergruppe oder die gleichen Angriffstools stoßen. Um die Datenbasis für die Threat Intelligence zu vergrößern, tauschen wir uns auch mit Partnern aus.

Nun gehen wir noch einen Schritt weiter und veröffentlichen anonymisierte Erkenntnisse zu besonders häufigen Vorfällen auch in unserem Blog. Die Beiträge richten sich an Vorfallexpertinnen und -experten, die ähnliche Spuren gefunden haben und dann mit unserer Analyse weitere Anhaltspunkte erhalten, in welche Richtung sich eine vertiefende Suche lohnt. Sie sollen auch den Abgleich mit eigenen Erfahrungen anderer Teams ermöglichen.

Den Anfang macht unser Beitrag zum Fernsteuerungstool (remote access tool, RAT) CSHARP-STREAMER.

Seitenkanal des Monats: Das Bild, das den Nutzer beobachtet

Forschende der TU Graz haben einen spannenden Aufbau entwickelt, um herauszufinden, auf welchen Webseiten ein Nutzer surft. Dafür reicht ihnen ein offener Browser-Tab, in dem ein Bild sehr langsam vor sich hin lädt.

Das Szenario setzt voraus, dass der Angreifende es geschafft hat, das Opfer auf eine Webseite zu locken, und dass diese Seite in einem Browser-Tab weiterhin offen ist. Grundsätzlich sorgt der Browser wirksam dafür, dass ein Tab nichts von den Inhalten der anderen erfahren kann. Bei dem Angriff wird jedoch ausgenutzt, dass die Kommunikation zu den verschiedenen Webseiten durch den gemeinsam genutzten Internetzugang verläuft und sich dort die Bandbreite teilen muss. Die Forschenden haben jetzt einen Server so aufgesetzt, dass er sehr langsam ein Bild ausliefert und dabei genau beobachtet, wie schnell die Fragmente ausgeliefert werden können. Damit kann das Lastprofil des Internetzugangs des Opfers so gut rekonstruiert werden, dass typische Muster von populären Webseiten wiedererkannt werden können.

Zur besseren Veranschaulichung lohnt sich ein Blick auf die Beispielwebseite mit einer gelungenen Erläuterung und Demonstration. Außerdem haben die Forschenden die Latte für das Marketing zukünftiger Sicherheitslücken noch einmal etwas höher gehängt: Die Lücke hat nicht nur ein Logo, einen prägnanten Namen und eine Webseite, sondern auch noch ein Musikvideo.

https://www.snailload.com

Seitenkanal des Monats: Laser, die auf Bits schießen

Das BSI hat das Fraunhofer AISEC gebeten, sich das Signaturverfahren XMSS (eXtended Merkle Signature Scheme) anzuschauen – und zwar im Wortsinn „unter dem Mikroskop“. Dieses Verfahren ist gut gegen mögliche zukünftige Angriffe mithilfe von Quantencomputern gewappnet und bietet sich auch an, um die Integrität der Firmware von IoT-Geräten zu sichern. Im konkreten Anwendungsfall ist aber ein direkter Angriff auf das Gerät auch sehr wahrscheinlich – schließlich sind die Geräte außerhalb von gesicherten Rechenzentren verbaut und lassen sich stehlen.

Die Frage lautete also, wie sich dieses Signaturverfahren gegen Angreifer wehren kann, die physischen Zugriff auf das Gerät haben. Um das herauszufinden, nahmen sich die Fraunhofer-Forscher Mikroskop und Laser, um die entscheidenden Bits zu kippen, damit eine gefälschte Signatur als rechtmäßig durchgeht. Das hat auch grundsätzlich geklappt, aber für die Risikoabwägung ist auch wichtig, wie kompliziert der Angriff ist und wie sicher er funktioniert. In der BSI-Studie sind die Schritte beschrieben, wie die Forscher den Prozessor präpariert haben, durch Beobachtungen das Speicherlayout auf dem Chip nachvollzogen haben, die physischen Koordinaten einer Speicheradresse herausgefunden haben, den richtigen Zeitpunkt durch von außen beobachtbare Signale bestimmt haben und dann einen 1.600-ns-Laserimpuls zur richtigen Zeit auf die richtige Stelle gefeuert haben. In 50 bis 80 Prozent der Versuche brachte das den gewünschten Erfolg. In der Studie für das BSI sind die Schritte detailliert beschrieben, wobei auch dort hinter jedem kurzen Satz eine längere Experimentierserie steckt.

BSI-Studie mit dem technischen Ablauf: https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/Publications/Studies/LFI_Attack_XMSS/LFI_Attack_XMMS.pdf

Artikel mit mehr mathematischen Details: https://eprint.iacr.org/2023/1572.pdf

BMI veröffentlicht Security Scanner als Open Source

Durch die Veröffentlichung eines Security Scanners als Open-Source-Software möchte das Bundesinnenministerium (BMI) Dienstleistungen nach dem Gesetz zur Verbesserung des Onlinezugangs zu Verwaltungsleistungen (Onlinezugangsgesetz, OZG) in Zukunft sicherer machen.

Mit dem „Best Practice Scanner“ zielt das BMI auch darauf ab, für das Thema Sicherheit in der Verwaltung insgesamt die Werbetrommel zu rühren, etwa durch „Self Checks“ der teilnehmenden Behörden.

Hervorgegangen ist der Scanner aus der verwaltungsinternen „OZG-Security-Challenge 2023“ für OZG-Dienstverantwortliche. Im Mittelpunkt stand dabei ein Schnelltest, der den Umsetzungsgrad von sechs ausgewählten IT-Sicherheitsmaßnahmen auf den eingegebenen Webseiten analysierte.

Der Test sollte Potenziale zur Stärkung der IT-Sicherheit aufzeigen und bot Hilfestellungen zur Umsetzung an. Leicht zugängliche Angebote sowie begleitende Workshops und Sprechstunden zur Implementierung von sechs besonders relevanten IT-Sicherheitsmaßnahmen waren ebenfalls Schwerpunkt der Challenge, die die IT-Sicherheit der OZG-Dienste nachhaltig verbessern sollen.

Der Schnelltest kann einen vollständigen Web-Check und tiefgründige Audits nicht ersetzen, aber gut als erster Indikator für leicht zu lösende Themen dienen.

OZG-Scanner: https://gitlab.opencode.de/bmi/ozg-rahmenarchitektur/ozgsec/ozgsec-best-practice-scanner

Mehr zu der Challenge: https://www.digitale-verwaltung.de/SharedDocs/kurzmeldungen/Webs/DV/DE/2024/05_ozg_security_challenge.html

Wenn der Dienstleister des Dienstleisters die Daten verliert

Wenn man sich als Veranstalter auf seine Veranstaltung konzentrieren will, übergibt man den Ticketverkauf an einen Dienstleister. Und schon kann man die Sorgen mit verschiedenen Zahlungsdienstleistern, einer möglichen Überlast zum Vorverkaufsstart und der Absicherung der persönlichen Daten der Besucher den Profis überlassen. Einer der Großen in diesem Geschäft ist TicketMaster: Dort wollte man einen Teil der IT auch den Profis überlassen und hat daher Dienste vom Cloud-Anbieter Snowflake genutzt.

Im Ergebnis bietet jetzt die Angreifergruppe Shinyhunters die Daten von 560 Millionen Ticketmaster-Kunden feil – also den Besuchern der Veranstalter, die genau diese Sorge loswerden wollten. Da mehrere Snowflake-Kunden gleichzeitig betroffen sind, vermuten einige, dass die Angreifer sich Zugriff auf den Cloud-Dienstleister selbst verschafft haben. Der bestätigt die Vorfälle, sieht die Ursache aber nicht bei sich, sondern eher bei seinen Kunden. Laut Snowflake sollen die Zugangsdaten zu Snowflake-Diensten den Kunden anderweitig gestohlen worden seien.

Wie auch immer der genaue Ablauf war: Am Ende müssen sich nun doch die Veranstalter um das digitale Wohl ihrer Besucher sorgen.

https://www.golem.de/news/nicht-nur-ticketmaster-datenlecks-bei-mehreren-kunden-des-gleichen-cloudanbieters-2406-185640.html

Mehr Bänder, mehr Back-ups!

Das Ende der Magnetbänder wurde schon aus verschiedenen Gründen angekündigt – seien es Virtual Tape Librarys oder Cloud-Back-ups. Ungeachtet dessen spielen sie weiter ihre Vorteile beim Back-up aus, und dazu passt die beruhigende Nachricht des LTO-Konsortiums: 2023 vertrieben die drei Hersteller dieses Bandtyps in Summe mehr Bandkapazität als je zuvor. Gerade bei Offline-Back-ups, die in Zeiten von Ransomware für Firmen überlebenswichtig sind, und bei der Archivierung können die Bänder punkten.

Ein Band der aktuellen Generation LTO-9 kann komprimiert 45 TB fassen und mit 1 GBit/s beschrieben werden. Und dazu kann man es leicht auswerfen und sicher verwahren.

DORA kommt und BAIT geht

Regulatorische Vorgaben zum Umgang mit IT-Risiken helfen, branchenweit ein gleiches Mindestmaß herbeizuführen. Aber dabei kann auch schnell ein „Zuviel“ an konkurrierenden Vorgaben entstehen. Daher ging ein Aufatmen durch die Finanzbranche, als die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) in ihrem Juni-Rundschreiben ankündigte, dass mit dem Inkrafttreten der europäischen DORA-Verordnung Anfang nächsten Jahres die bisherigen Regeln der BAIT auslaufen.

Wer bisher bereits die nationalen Regeln der BaFin umgesetzt hat, setzt damit auch schon einen guten Teil der DORA-Anforderungen um. Aber es gibt Abweichungen im Detail und gänzlich neue Themen. Im Bereich des Outsourcings gibt es beispielsweise neue Anforderungen an das Notfallmanagement der Dienstleister und zu Exit-Strategien, falls es bei einem Dienstleister zu Problemen kommen sollte. Auch die Vorgaben zu Schulungen und Übungen sind strenger als zuvor. Was unsere Kollegen bei Kunden auch beobachten, ist die Unsicherheit darüber, wie einzelne Regeln konkret ausgelegt werden sollen. Es ist also noch einiges zu tun, um bis zum Inkrafttreten am 17.01.2025 alles umgesetzt zu haben. HiSolutions begleitet Sie gerne dabei, Ihre Sicherheitsdisziplinen auf das DORA-Level zu heben und effizient miteinander zu verzahnen.

Informationen zu DORA: https://www.bafin.de/DE/Aufsicht/DORA/DORA_node.html

Juni-Rundschreiben der BaFin: https://www.bafin.de/SharedDocs/Downloads/DE/Rundschreiben/dl_2024-05-29_MaRisk_Anschreiben_an_die_Verbaende_pdf_BA.pdf

Zum DORA-Beratungsangebot von HiSolutions: https://www.hisolutions.com/dora

Was ist echt? Was ist falsch?

Die folgende Geschichte klingt erst mal wenig passend für unseren Digest: Bei eBay wurde der Firmenausweis der Apple-Mitarbeiterin Nummer 10 zum Verkauf angeboten. Der Zugang zum heutigen Hauptsitz Apple Park ist damit wohl kaum möglich, aber für Sammler sind solche Originale sehr wertvoll. Aber stand dort wirklich ein Original zum Verkauf? Cabel Sasser, der sich öfter mit der Aufdeckung von gefälschten Erinnerungsstücken beschäftigt, stellte sich und später auch dem Verkäufer diese Frage.

Vermutlich ahnen Sie schon die Antwort, daher nehmen wir uns ein Artefakt der Unterhaltung heraus: eine deutsche Rechnung, mit der der Verkäufer die Provenienz beweisen wollte. Werfen Sie doch mal einen Blick auf die Rechnung und zählen Sie, wie viele Dinge Ihnen auffallen, die komplett falsch sind oder die Sie so nicht auf einer Rechnung des DRK erwarten würden. Da kommt einiges zusammen, aber lassen Sie uns gleich noch den Spieß umdrehen: Wie viele der Fehler haben Sie schon auf einer regulären privaten oder beruflichen Rechnung gesehen? Sicherlich nicht so geballt wie hier, aber einzeln passiert das schon mal.

Die Erkennung von gefälschten Nachrichten und Rechnungen bleibt ein schwieriges Feld – womit wir wieder bei unserem Thema Sicherheit und Prävention von Phishing und CEO-Fraud sind. Vielleicht können Sie besagte Rechnung auch gut als Aufhänger für die nächste Diskussion zur Awareness nutzen.

Zum Bild der gefälschten Rechnung: https://cabel.com/2024/05/16/the-forged-apple-employee-badge/#jp-carousel-4219

Der Blogartikel mit mehr Kontext und der Auflösung: https://cabel.com/2024/05/16/the-forged-apple-employee-badge/