Deepfakes
Stimme, Gesicht, Vertrauen
Worum es in dieser Folge geht
Vier dokumentierte Fälle, eine neue technische Realität: Diese Folge handelt von Deepfakes — Stimme und Gesicht synthetisch reproduziert, in einer Qualität, die die menschliche Wahrnehmung nicht mehr zuverlässig unterscheiden kann. Die zentrale These: Vertrauen war an Sinneswahrnehmung gekoppelt — diese Kopplung ist 2026 gebrochen. Wir spannen den Bogen von der spektakulärsten Schadenssumme bis zum erst dieses Jahr publik gewordenen Schweizer Fall.
Die Technik in einem Satz
Chris erklärt die Architektur am Beispiel Microsofts VALL-E (arXiv:2301.02111). Das Modell behandelt Sprache nicht als Wellenform, sondern als Sequenz diskreter Codec-Tokens — strukturell ähnlich wie GPT Text behandelt. Drei Sekunden Audio des Zielsprechers genügen, um den Sprecher-Embedding-Vektor zu extrahieren. Danach kann das Modell beliebigen Text in dieser Stimme generieren, inklusive Emotion und akustischer Umgebung. Die produktive Variante davon ist auf dem Markt: ElevenLabs bietet Instant Voice Cloning mit einer Minute Audio, Professional Voice Cloning mit dreissig Minuten Studio-Material. Open-Source-Modelle wie XTTS-v2 erreichen auf einer Consumer-GPU vergleichbare Qualität. Lukas verweist auf die Validierung aus Queen Mary University London vom September 2025: In einer kontrollierten Studie können durchschnittliche Hörer:innen geklonte und echte menschliche Stimmen nicht mehr über Zufallsrate unterscheiden. Die akustische Diskriminierung als Schutzschicht ist als Schutzschicht weggefallen. Video-Generierung in Echtzeit ist 2024 ebenfalls produktionsreif geworden — Microsofts Forschungsprojekt VASA-1 zeigt im April 2024, dass aus einem einzelnen Foto und einer Audiospur ein bewegtes Gesicht mit synchroner Mimik in Echtzeit auf einer einzigen RTX-4090 entsteht.
Vier Fälle, vier Lehren
Arup Hongkong, Januar 2024. Eine Mitarbeiterin der Finance-Abteilung erhält eine Mail vom angeblichen CFO aus dem Londoner Büro, gefolgt von einer Video-Einladung. Auf dem Call sieht und hört sie den CFO, mehrere Senior-Kollegen, externe Beraterinnen — alle Gesichter und Stimmen Deepfake-generiert, sie selbst die einzige echte Person im Anruf. Fünfzehn Transfers an einen Tag, 200 Millionen Hongkong-Dollar, rund 25 Millionen US-Dollar. Chris hebt hervor: Es war keine Privatperson, die getäuscht wurde. Es war eine professionelle Finance-Fachkraft. Das ist nicht «hätte aufpassen sollen» — das ist «die normalen Aufpass-Werkzeuge haben nicht mehr funktioniert».
Ferrari, Juli 2024. Der Gegenfall, abgewehrt durch eine simple Frage. Ein Ferrari-Executive bekommt WhatsApp-Nachrichten von einer unbekannten Nummer, die wie CEO Benedetto Vigna klingen. Anrufende Stimme mit südlichem italienischem Akzent, plausibel. Aber der Executive bemerkt minimale Tonfall-Inkonsistenzen und stellt eine Frage zurück: Welches Buch hatten Sie mir vor ein paar Tagen empfohlen? Antwort kommt nicht. Verbindung weg. Lukas klassifiziert das in der Forschung als «shared secret out-of-channel» — die menschliche Antwort auf einen technischen Angriff, eine geteilte Erinnerung, die ein Angreifer nicht haben kann.
Biden-Robocall New Hampshire, Januar 2024. Die politische Dimension. Tausende registrierte Demokraten erhalten am Vorabend der Primary einen Robocall mit Biden-Stimme: «Bewahrt eure Stimme für November, geht morgen nicht zur Vorwahl.» Verantwortlich ist ein politischer Berater namens Steve Kramer. Er beauftragt für 150 Dollar einen New-Orleans-Magier, der die Stimme mit ElevenLabs generiert. FCC verhängt 6 Millionen Dollar Busse gegen Kramer, 1 Million gegen den Carrier Lingo Telecom. New Hampshire klagt Kramer wegen 13 Counts Voter Suppression an. Innerhalb eines Monats nach dem Vorfall regelt die FCC, dass AI-generierte Anrufe unter den Telephone Consumer Protection Act fallen.
Schwyz, Januar 2026. Der Schweizer Fall. Ein Unternehmer aus dem Kanton Schwyz, mehrere Telefonate über zwei Wochen, die Stimme eines bekannten Geschäftspartners — perfekt geklont. Am Ende mehrere Millionen Franken auf ein asiatisches Konto. Bemerkenswert: Es war nicht ein einzelner Schock-Anruf, sondern eine sorgfältig aufgebaute mehrwöchige Vertrauenslinie. Der Partner war wirklich echt, seine Stimme im Telefon aber nicht. Die Ermittlungen laufen, die Ausgangsmeldung kam vom SRF.
Defense in drei Schichten
Chris beschreibt die technische Schicht: Voice-Liveness-Detection — ein Modell, das nicht den Inhalt analysiert, sondern Vocoder-Artefakte sucht, fehlende Atemmuster, ungewöhnliche Frequenz-Phasen. Aurigin.ai integriert das seit November 2025 in die Schweizer Identitäts-Infrastruktur von Swisscom Digital Trust. Bei Video gibt es die analoge Liveness — Mikro-Bewegungen, Pupillen-Reflexionen, Licht-Konsistenz. Robert fügt die organisatorische Schicht hinzu: Vier-Augen-Prinzip ab definiertem Schwellenwert, Out-of-Band-Verifikation auf Stammverzeichnis-Nummern, Codewörter in der Geschäftsleitung. Lukas benennt die vierte Schicht: Verhaltensanomalie im Anruf selbst — Sprechtempo, Pausen, Latenzen unter 200 Millisekunden Antwortzeit. Pindrop, ein amerikanischer Anbieter, hat damit nach dem Arup-Schock einen US-Versicherer aufgerüstet.
Was Sie aus dieser Folge mitnehmen
Codewörter sind 2026 keine Spielerei mehr. Vereinbart heute Abend ein Codewort mit den Menschen, die euch wichtig sind — privat und beruflich. Bei Familienangehörigen, bei Treasury-Mitarbeitenden, in der Geschäftsleitung. Es kostet zehn Minuten und kann ein Vermögen retten.
Quellen und Referenzen
- CNN Business. (2024, May 16). Arup revealed as victim of $25 million deepfake scam involving Hong Kong employee. CNN. https://www.cnn.com/2024/05/16/tech/arup-deepfake-scam-loss-hong-kong-intl-hnk
- Fortune Europe. (2024, May 17). A deepfake 'CFO' tricked British design firm Arup in $25 million fraud. Fortune. https://fortune.com/europe/2024/05/17/arup-deepfake-fraud-scam-victim-hong-kong-25-million-cfo/
- AI Incident Database. (n.d.). Incident 634: Alleged deepfake CFO scam reportedly costs multinational engineering firm Arup $25 million. https://incidentdatabase.ai/cite/634/
- Lynch, S. (2024, July 27). Ferrari exec foils deepfake attempt by asking the scammer a question only CEO Benedetto Vigna could answer. Fortune. https://fortune.com/2024/07/27/ferrari-deepfake-attempt-scammer-security-question-ceo-benedetto-vigna-cybersecurity-ai/
- MIT Sloan Management Review. (2024). How Ferrari hit the brakes on a deepfake CEO. https://sloanreview.mit.edu/article/how-ferrari-hit-the-brakes-on-a-deepfake-ceo/
- New Hampshire Department of Justice. (2024, May). Steven Kramer charged with voter suppression over AI-generated President Biden robocalls. https://www.doj.nh.gov/news-and-media/steven-kramer-charged-voter-suppression-over-ai-generated-president-biden-robocalls
- Federal Communications Commission. (2024, September). FCC issues $6M fine for N.H. robocalls. https://www.fcc.gov/document/fcc-issues-6m-fine-nh-robocalls
- Biometric Update. (2026, January). Deepfake voice fraud dupes Swiss businessman into transferring millions. https://www.biometricupdate.com/202601/deepfake-voice-fraud-dupes-swiss-businessman-into-transferring-millions
- Wang, C., Chen, S., Wu, Y., Zhang, Z., Zhou, L., Liu, S., Chen, Z., Liu, Y., Wang, H., Li, J., He, L., Zhao, S., & Wei, F. (2023). Neural codec language models are zero-shot text to speech synthesizers (VALL-E) (arXiv:2301.02111). arXiv. https://arxiv.org/abs/2301.02111
- Xu, S., Chen, G., Guo, Y.-X., Yang, J., Li, C., Zang, Z., Zhang, Y., Tong, X., & Guo, B. (2024). VASA-1: Lifelike audio-driven talking faces generated in real time (arXiv:2404.10667). arXiv. https://arxiv.org/abs/2404.10667
- Biometric Update. (2025, September). Voice clones can sound as real as human voices, says new research. https://www.biometricupdate.com/202509/voice-clones-can-sound-as-real-as-human-voices-says-new-research
- ElevenLabs. (n.d.). Voice cloning. https://elevenlabs.io/voice-cloning
- Biometric Update. (2025, November). Aurigin adds voice liveness detection to Swisscom identity infrastructure. https://www.biometricupdate.com/202511/aurigin-adds-voice-liveness-detection-to-swisscom-identity-infrastructure
- Deloitte Center for Financial Services. (2024). Generative AI is expected to magnify the risk of deepfakes and other fraud. Deloitte Insights. https://www2.deloitte.com/us/en/insights/industry/financial-services/deepfakes-in-banking-cybersecurity.html
- OST – Ostschweizer Fachhochschule. (2026). CAS AI-Driven Cybersecurity and Strategic Defence [Programmseite, 15 ECTS, 14 Präsenztage, Campus Rapperswil-Jona]. https://www.ost.ch/de/weiterbildung/weiterbildungsangebot/informatik/cybersecurity-networks/cas-ai-driven-cybersecurity-and-strategic-defence