Kurzes Durchatmen im KI-Hype liefert vielleicht die Studie von Cameron Jones und Benjamin Bergen, die zeigt, dass auch aktuelle große Sprachmodelle (LLM) den Turing-Test nicht bestehen. Informatik-Pionier Alan Turing hat schon 1950 diesen Test vorgeschlagen, in dem eine künstliche Intelligenz und ein Mensch mit einem Menschen chatten. Der Turing-Test gilt als bestanden, wenn der Mensch den Computer nicht sicher erkennen kann. Inzwischen wird der Test eher so aufgebaut, dass die menschlichen Teilnehmenden am Ende einer Sitzung eine Schätzung abgeben müssen. Denken sie dabei in mehr als der Hälfte der Fälle, dass sie gerade mit einem Menschen gesprochen haben, gilt der Test für die KI als bestanden. GPT-4 war noch unter der Schwelle, kam ihr aber mit 41 % recht nah.
Um Sicherheit angemessen bei KI-Projekten zu berücksichtigen, haben 23 Cybersicherheitsbehörden, darunter auch das BSI, einen gemeinsamen Leitfaden entwickelt und veröffentlicht. Der Leitfaden stellt kompakt wichtige Sicherheitsaspekte bei der Entwicklung und beim Betrieb von KI-Systemen vor. Einige überschneiden sich deutlich mit klassischen Anforderungen in den jeweiligen Phasen, aber am Ende sind KI-Systeme auch nur Computer.
Does GPT-4 Pass the Turing Test? https://arxiv.org/abs/2310.20216
Guidelines for secure AI system development: https://www.ncsc.gov.uk/files/Guidelines-for-secure-AI-system-development.pdf
