Session 11: Working on projects

Date: 2026-06-08

Overview

Students present their practical projects using generative AI tools.

Plan

Compare results and how the agents were used in the projects. Discuss challenges and next steps.

Results

• Joshua: Voice cloning

  • Hermes sollte Tools recherchieren
  • Pipeline wurde erstellt
  • Eingabe sind die Vorlesungsvideos von Uwe Hahne
  • Output ist eine Stimme, die ähnlich klingt wie Uwe Hahne
  • Empfehlung eine RTX3090 zu mieten, um die Pipeline schneller laufen zu lassen
  • Nächste Schritte: Docker Image erstellen, damit die Pipeline auf der anderen VM mit CUDA-Unterstützung laufen kann.

• Sebastian Regelmann: ComfyUI um LoRA mit Uwe Hahne zu trainineren

  • Hermes sollte ComfyUI einrichten, aber das hat nicht geklappt, es wurden falsche Dinge installiert.
  • Mit eigener Konfiguration hat es dann geklappt. Der Agent wurde nur für die Erstellung einer Zusammenfassung der Ergebnisse genutzt.
  • Mit Florence2 die Bildunterschriften aus den Bildern erzeugt.
  • Ergebnisse mit SD1 in ComfyUI lassen Uwe Hahne erkennen, aber wirken unnatürlich.
  • Flux1, SD3.5 werden von ComfyUI nicht unterstützt, daher wurde Kohya_SS als alternatives Tool zum Trainieren von LoRAs ausprobiert, aber es läuft noch nicht richtig.
  • Nächste Schritte: Kohya_SS zum Laufen bringen und damit ein Flux1 LoRA trainieren.

• Sebastian Bauer: Pipeline um Stimme und Bilder zusammen zu fügen und ein Lehrvideo zu erstellen

  • Pipeline wurde erstellt, folgende Tools sind verfügbar: LivePortrait (Avatar), Wav2Lip (Lippenbewegungen), edge-tts (Text2Speech),
    • Eingabe: Stimmaufnahmen und Bilder
  • Dokumentation schon auf der KIMBOT GitHub Seite.
  • Agent hing häufig bei einfachen Aufgaben wie dem Klonen von GitHub Repositories oder dem Installieren von Python Paketen fest, was die Entwicklung der Pipeline erschwert hat.
  • Nächste Schritte: Sobald die VM wieder läuft, soll die Pipeline angeschmissen werden.

Next weeks

• Abschluss der praktischen Arbeit in der nächsten Woche.
  • Ergebnisse sollen auf der KIMBOT GitHub Seite dokumentiert werden. Die Dokumentation soll von den Agenten erstellt werden.
  • Dazu ein persönliches Fazit zu den Erfahrungen mit den Agenten und eine Einschätzung der Ergebnisse
• Gesellschaftliche Auswirkungen werden in den letzten Wochen diskutiert.
  • Johsua: Künstlerische Perspektive: Qualität, Urheberrecht, Arbeitsplätze (Uwe sucht Quellen raus)
  • Sebastian Bauer: Cyber Security + Datenschutz Perspektive: Was sind die Risiken und Chancen von GenAI in Bezug auf Cyber Security? (Uwe sucht Quellen raus, ClaudeMythos als ein Beispiel)
  • Sebastian Regelmann: Deep Fake Bilder und Videos: Sollte es gesetztliche Regelungen geben? Was gibt es aktuell für Regelungen? (Uwe sucht Quellen raus, DeepFake Detection Challenge als Beispiel)