Die Übungen folgen im Grossen und Ganzen auf das Tutorial von Kevin Hutson aka "Futurpedia", dort könnt ihr die Übungen nochmals durchspielen (1).

29.1.2025 // Session 01

Erstelle ausgehend von einem Flyer mit Hilfe von ChatGPT einen (gesprochenen) Text zum ausgewählten Event oder Institution. Dieser kann informativ, witzig oder aktivierend sein.

1) Scanne als Erstes den Flyer oder Poster mit deinem Smartphone ein und erstelle einen Account auf ArtiVive ein. Flyer/Poster sind Dein Triggerbild: hier erscheint später Dein Video.

2) Du brauchst zwei Aufnahmen Deiner Person, welche Du später durch einen Avatar ersetzen wirst. Drehe 1.) mit dem Smartphone eine kurze Szene für den Bewegungsablauf der Figur, welche später im AR-Video erscheint (gut sichtbar von vorne). 2.) Eine Aufnahme Deines Gesichtes wie es in die Kamera schaut (ca. 10 Sek.).

3) Erstelle nun einen Character, den du in die Szene einfügen möchtest. Verwende dafür eine generative AI (z.B. mit Adobe Firefly, Free Credits). Lade (A) eine Vorlage für deinen Character (Google Bildsuche oder Fotografie) und (B) das Bild einer Figur in T-Pose (Google Bildsuche) herunter.

4) Ersetze anschliessend die Person im Video in viggle.ai (Account erstellen) durch den Character.

5) Die Videoqualität kannst Du mit dem Krea Upscaler verbessern. Dazu passt das Video (02) betreffend Frame-Interpolation und Animation.

6) Gestalte als nächstes einen Hintergrund in den Dein Avatar eingesetzt werden soll (mit den gleichen Dimensionen wie Dein Trigger-Bild). Nutze die Text-zu-Bild Funktion von AI-Programmen wie Adobe Firefly oder Runway um Bilder zu entwickeln oder um Bildinhalte wegzuretouchieren (Runway: Erase and Replace). Denkbar sind auch animierte Hintergründe (Runway Generate Image).

7) Erstelle einen Videofilm. Setze das Viggle-Video in Dein Runway-Projekt ein und stelle deinen Character frei (Remove Background). Hier kannst Du auch Dein Video schneiden.

8) Lade beides (Triggerbild & Video) auf Artivive hoch und teste die Anwendung mit der Artivive-App.

optional:
8) Die Figur in T-Pose kann mit Animated Drawings AI animiert werden (Laufen, Tanzen, Hüpfen, etc.). Videos herunterladen (Share).

9) Mit Genmo AI animierte Sequenzen aus statischen Bildern erstellen (Text-to-Video Funktion) und als Video speichern.

10) Drehe weitere kurze Szenen für Deinen Film und wiederhole die Bearbeitungsschritte. Untersuche, wie sich Dein Character in verschiedenen Drehsituationen und Kameraeinstellungen verhält (z.B. Nahaufnahme, Zoom, komplexere Bewegungen, etc.)

11) Video-Footage in Runway stilistisch überarbeiten, also in der gewünschten Ästhetik umsetzen (Video-to-Video Funktion).

5.1.2025 // Session 02

1) Nun erstellen wir eine Sprechszene mit Deinem Character. Sprich eine Textzeile aus Deinem Skript ein und nimm Dich dabei (Nah- oder Halbnah) auf Video auf (Smartphone, Tablet oder Computer).

2) Übersetze mit Hilfe von HeyGen (Free: 3 Videos, max. 3 Min. pro Monat) diese Aufnahme in eine andere Sprache übersetzen. Optional: auf Elevenlabs Stimme verändern.

3) Anschliessend Standbild erstellen (Videostill) und in Runway oder Adobe Firefly überarbeiten um es visuell Deinem Character anzunähern.

4) Lade das überarbeite Bild (Dein Character in Grossaufnahme) zusammen mit der Tonspur (Video in fremder Sprache) auf Hedra und generiere eine lippensynchrone Animation Deines sprechenden Characters.

5) Account erstellen und Projekt einrichten im Online-Video-Editor CapCut. Alle Videosequenzen importieren, zusammenschneiden und bearbeiten.

6) Erstelle Untertitel mit Veed.io

7) Versuche Hintergrund-Geräusche zu generieren in Elevenlabs (Sound Effects Funktion, Tip: Text
in English schreiben). Diese kannst Du anschliessend herunterladen und in CapCut importieren und
Dein Video vertonen.

8) Animation fertigstellen und hertunterladen. In ArtiVive mit dem Triggerbild verknüpfen.

optional:
9) Wenn ihr die 3D-Funktion von ArtiVive (Free Trial Account erstellen - Kreditkarte!!) ausprobieren möchtet: Zeichnungen oder Grafiken erstellen und in MonsterMash animieren. Anschliessend als 3D-Modell speichern (Export Animation as gITF) und in ArtiVive platzieren.

10) Mit Suno für die Vertonung Filmmusik erstellen um die Szenen zu vertonen.

11) Auf Replicate findet ihr die neusten Open Source Applikationen. Um diese zu nutzen müsst ihr einen GitHub Account erstellen

Character Design & AR mit AI Tools

Add your comment

Reply to:

Confirm copying