Millionenfach genutzte Deepfake-Apps lassen sich wohl ohne Vorkehrungen für Pornos oder sexualisierte Gewalt zweckentfremden. Eine gemeinsame Recherche von Netzpolitik.org und Spiegel kommt zu dem Schluss, dass derzeit vielfach genutzte Deepfake-Apps nicht oder nur unzureichend vor “bildbasierter, sexualisierter Gewalt” schützen. So lassen sich mit den Apps etwa direkt Gesichter in Porno-Videos oder auch auf Bikini-Bildern und Ähnlichem austauschen. Und selbst wenn diese Art Kategorie gebannt werde, seien immer noch sexualisierte Inhalte möglich. Die sogenannte Deepfake-Technik ermöglicht es, mit Hilfe von Machine Learning in Videos etwa täuschend echt Gesichter auszutauschen. Das lässt sich für klassische Film- und Fernsehproduktionen nutzen, aber auch für pornografische Inhalte. (…) Konkret untersucht haben die Beteiligten die Apps Facemagic, Faceplay und Reface. Insbesondere Facemagic fällt dabei negativ auf. Denn eine Überprüfung der erstellten Inhalte findet durch den Dienst offenbar überhaupt nicht statt. In dem Bericht heißt es: “So ließen sich bei unserem Test mit der Bezahlversion von Facemagic problemlos Deepfake-Pornos erstellen.” Auf Nachfrage wird diese Möglichkeit jedoch vom Hersteller verneint. Das Erstellen von Deepfake-Pornos mit Facemagic sei demnach nicht erlaubt. Dazu, warum das Unternehmen dies dennoch technisch ermöglicht, wird jedoch keine Stellung bezogen. Diese Möglichkeit wird laut Netzpolitik außerdem wohl zahlreich genutzt und in entsprechenden Foren aktiv weiterempfohlen. Auch einige in dem Dienst von Facemagic verfügbare und von Nutzern erstellte Vorlagen stellten demnach sexualisierte Inhalte dar, heißt es. Ob es der Dienst wirklich ernst meint damit, dass das Erstellen von pornografischen Inhalte mit der eigenen App wirklich verboten ist, bleibt auch unabhängig von den konkreten Möglichkeiten fraglich. So ergaben Recherchen des Magazins Motherboard im Frühjahr dieses Jahres bereits, dass die Macher der App womöglich mit der Nutzung für Deepfake-Pornos auf Pornowebseiten im Internet geworben hatten. Vorkehrungen möglich, aber nicht konsequent umgesetzt Dass es auch anders geht, als Deepfake-Pornos offenbar ohne jede Einschränkung zuzulassen, zeigen die Apps Faceplay und Reface. Hier sind explizite pornografische Inhalte nicht mit Hilfe der Dienste durch Nutzer erstellbar. Mit Faceplay sei es etwa überhaupt nicht möglich, eigene Vorlagen für die Deepfakes hochzuladen. Die App biete aber auch eine Kategorie für Bikini-Bilder und damit sexualisierte Inhalte.
via golem: MACHINE LEARNING: Deepfake-Apps schützen zu wenig vor Porno-Missbrauch
siehe auch: Millionenfach installierte Apps: Porno-Deepfakes per Knopfdruck Ein Foto genügt, um ein fremdes Gesicht per Deepfake in einen Porno zu montieren. Unsere Recherche mit dem SPIEGEL zeigt: Auch mit populären Smartphone-Apps lassen sich innerhalb von Sekunden sexualisierte Deepfakes erstellen. Passende Videovorlagen finden Nutzer:innen direkt in den Apps. I. produziert Pornofilme, aber seine Darsteller:innen wissen davon nichts. Für seine Produktionen nutzt er Material aus dem Internet. Er kombiniert die Körper von Pornodarsteller:innen mit den Gesichtern anderer Menschen. Eine Software erkennt Mimik und Bewegungen und lässt das neue Gesicht mit der Videovorlage verschmelzen. Solche Videos nennt man Deepfakes. Und die Software dafür musste er nicht etwa in einer geheimen Ecke des Internets auftreiben. Er benutzt einfach eine populäre Smartphone-App. (…) Wir haben der Beratungsstelle HateAid die Ergebnisse der Recherche vorgelegt. „Wir sind sehr besorgt“, schreibt HateAid-Juristin Josephine Ballon. „Die Tatsache, dass Deepfakes der breiten Masse auf diese Weise zugänglich werden, birgt aus unserer Sicht diverse Gefahren.“ Deepfakes könnten Betroffene psychisch und gesellschaftlich belasten. „Vor allem Frauen sind hier besonders im Fokus.“ Das Team hinter FaceMagic schreibt auf Anfrage, es würde das Hochladen pornografischer Inhalte weder erlauben noch dazu ermutigen oder es befürworten. „Nutzer:innen sollten für die von ihnen hochgeladenen und produzierten Inhalte verantwortlich sein.“ Die E-Mail kam von einer Sammeladresse und wurde nicht namentlich unterzeichnet. Es ist unklar, wer sie verfasst hat. Auch auf unsere direkte Nachfrage hin wollte die Person ihre Identität nicht offenlegen.