Die Übertragung von Gesichtsausdrücken in Echtzeit auf digitale Charaktere ist ein wichtiger Bestandteil moderner Animations- und Visualisierungsprozesse. Mit der Live Link Face App von Epic Games und Unreal Engine 5 lassen sich Gesichtsbewegungen eines realen Menschen präzise auf einen digitalen Metahuman-Charakter übertragen. Voraussetzung dafür ist ein iPhone mit integrierter TrueDepth-Kamera, das über ein lokales Netzwerk mit dem Rechner verbunden wird, auf dem Unreal Engine läuft. In diesem Tutorial wird gezeigt, wie die Live Link Face App eingerichtet und mit der Engine verbunden wird, wie der Metahuman korrekt vorbereitet wird und wie schließlich die Gesichtsdaten live übertragen werden. Ziel ist es, eine funktionierende Echtzeitverbindung herzustellen, bei der sich der Metahuman synchron zur Mimik der realen Person bewegt.
Dieser Bildschirm erscheint beim Start der Live Link Face App und dient zur Auswahl des gewünschten Aufnahmemodus. Live Link (ARKit): Nutzt Apples ARKit-Framework, um direkt auf dem Gerät Gesichtsanimationen zu erfassen. Die Blendshape-Daten werden über das lokale Netzwerk in Echtzeit an Unreal Engine übertragen. Dies ist der Standardmodus für Live-Gesichtsanimation mit Metahumans.
Apples ARKit-Framework ist eine Entwicklungsumgebung für iOS, die Augmented Reality ermöglicht. Es nutzt Kamera, Bewegungssensoren und Tiefenerkennung, um die reale Umgebung zu erfassen und digitale Inhalte präzise darin zu platzieren – etwa zur Gesichtserkennung und -verfolgung.
Nach Auswahl von „Live Link (ARKit)” wird ein drahtgitterartiges Mesh über das Gesicht gelegt, das die erkannten Gesichtsbewegungen in Echtzeit darstellt. Die App nutzt dazu die Frontkamera des iPhones und verfolgt Mimik, Augenbewegungen und Kopfposition.
Hier kann die Streaming Einstellung vorgenommen werden.
Damit die Verbindung funktioniert, muss zunächst die lokale IPv4-Adresse des Rechners ermittelt werden.
Diese IP-Adresse wird anschließend in der Live Link Face App eingetragen. Der Stream wird dann in Echtzeit an diese Adresse im lokalen Netzwerk gesendet.
Die Option „Head Rotation” steuert, ob die Kopfbewegungen (Drehung, Neigung, Nickbewegung) des Gesichts erfasst und an Unreal Engine übertragen werden. Ist sie deaktiviert, wird nur die Mimik übertragen, während der Kopf des digitalen Charakters in seiner Position bleibt. Das kann z. B. sinnvoll sein, wenn nur die Gesichtsausdrücke benötigt werden, aber keine Kopfbewegung.
Als nächstes starten wir Unreal Engine und erstellen ein leeres Projekt unter der Kategorie „Film / Video & Live Events“. Diese Kategorie eignet sich besonders für Projekte mit Metahumans und Gesichtsanimation, da sie auf cineastische Anwendungen ausgelegt ist. Wir wählen das Template „Blank“, um eine minimal vorbereitete Umgebung zu nutzen, in der wir alle notwendigen Komponenten selbst konfigurieren können.
Als nächstes müssen wir die benötigten Plugins aktivieren.
Plugin: MetaHuman SDK
Plugin: Live Link
Plugin: Live Link Control Ring
Plugin: Apple ARKit
Plugin: Apple ARKit Face Support
Quixel Bridge ist eine integrierte Bibliothek in Unreal Engine, mit der du auf eine große Sammlung fotorealistischer 3D-Assets, Texturen und Materialien aus der Megascans-Datenbank zugreifen kannst. Die Inhalte lassen sich per Mausklick direkt ins Unreal-Projekt importieren und sind besonders nützlich für realistische Umgebungen, Charaktere oder Details. Quixel Bridge ist kostenlos für alle Unreal-Engine-Nutzer und erleichtert die Erstellung hochwertiger Szenen ohne eigene Modellierung.
Quixel Bridge bietet eine große Auswahl an bereits fertig modellierten und texturierten Charakteren, die direkt in Unreal Engine verwendet werden können.
Als nächste können wir den ausgewählten Charakter via drag & drop in die Szene ziehen.
Im Details-Panel eines Metahuman-Charakters (hier BP_Aoi) wird die Verbindung zur Live Link Face App hergestellt. Die Felder dienen dazu, den Datenstrom der Gesichts- und ggf. Körperanimation mit dem Metahuman zu verknüpfen:
- ARKit Face Subj: Hier wird die Quelle für die Gesichtsdaten angegeben. In diesem Fall ist „iPhone“ ausgewählt – das bedeutet, dass die Blendshape-Daten von der Live Link Face App auf dem iPhone stammen.
- Use ARKit Face: Aktiviert oder deaktiviert die Verwendung der ARKit-Daten. Ist dieses Feld aktiviert, nutzt der Metahuman die Live-Daten für die Mimik.
- Live Link Body Subj: Gibt die Quelle für Körperbewegungsdaten an. Auch hier steht „iPhone“, obwohl in diesem Beispiel offenbar keine Körperdaten übertragen werden – dieses Feld bleibt in der Regel leer, wenn nur Gesichtsdaten genutzt werden.
