Projektziele
In diesem Projekt soll ein vollständiges FPGA-basiertes Videoverarbeitungssystem für die Erkennung von Gebärdensprache durch neuronale Netze entwickelt werden. Je nach Interesse und Fähigkeiten der Teilnehmer kann der Fokus auf die Vorverarbeitung des Datenstroms, den neuronalen Beschleuniger, oder die Visualisierung gelegt werden. Das System wird auf einem AMD/Xilinx Entwicklungsboard mit ZYNQ System-on-Chip (SoC) implementiert, welches ARM CPU Kerne, programmierbare FPGA Logik und Anschlussmöglichkeiten für Peripheriegeräte bietet. Die folgenden Aufgaben sollten implementiert, bzw. integriert werden:
Videoübertragung von einer (HDMI) Kamera
Vorverarbeitung des Videostreams um Auflösung, Farbraum, Bildrate, etc. anzupassen
Verarbeitung des Videostreams durch einen FINN-generierten Beschleuniger für das neuronale Netz
Kommunikation und Visualisierung der Ergebnisse über einen Monitor oder ein Web-basiertes Jupyter System
