Leibniz Universität Hannover Main Leibniz University Website
Structural Engineering
Water and Environmental Engineering
Geodesy and Geoinformatics
Further facilities

Bildklassifikation und Bildersuche für Seidenstoffe

GeoWerkstatt-Projekt des Monats Oktober 2023

Projekt: SILKNOW

Forschende: apl. Prof. Dr. techn. Franz Rottensteiner, Mareike Dorozynski

Projektidee: Seidenes Erbe in der Wissensgesellschaft: von Lochkarten zu Big Data, Deep Learning und visuellen/greifbaren Simulationen.

Seidenstoffe sind Teil des kulturellen Erbe Europas. Um das Wissen über Seidenstoffe, Webtechniken und weitere Informationen rund um die europäische Seidenkultur zu erhalten, weiterzugeben und für die Forschung bereitzustellen, hat sich das Projekt SILKNOW (http://silknow.eu/) zur Aufgabe gemacht, mit Hilfe modernster IT-Technik  die umfangreichen Sammlungen noch besser aufzubereiten und zugänglich zu machen.

Als Basis dafür ist ein Wissensgraph entstanden, in dem jedes Seidenobjekt einem Rekord entspricht. Darin sind Metadaten wie etwa die Zeit und der Ort der Produktion enthalten und häufig auch Bilder der Seidenobjekte.

Unsere Aufgabe in diesem Projekt lag darin, Methoden der Künstlichen Intelligenz Verfahren zu entwickeln, mit denen sich die Metadaten automatisch aus den Bildern ableiten lassen (Bildklassifizierung) und mit denen man über Bilder im Wissensgraph nach Objekten suchen kann (Bildabfrage).

Für die Bildklassifizierung haben wir ein Convolutional Neural Network (CNN) entwickelt. Dieses CNN kann die Metadaten „Produktionsort“, „Produktionszeit“, „Produktionstechnik“, „Material“ und „Darstellung“ gleichzeitig aus Bildern von Seidenobjekten prädizieren. Das ist hilfreich, wenn bei Objekten nicht alle Metadaten im Datensatz eingetragen sind. Dann kann das CNN die fehlenden Metadaten aus den Bildern prädizieren und den Wissensgraphen dadurch automatisch vervollständigen. Die erreichte Genauigkeit lag je nach Variable zwischen 53% und 86%.

Für die Bildabfrage haben wir ein CNN entwickelt, welches aus einem Bild einen Merkmalsvektor (Deskriptor) ableitet. Zunächst mussten wir uns ein Modell überlegen, mit dem sich die Ähnlichkeit der Seidenobjekte beschreiben lässt. Wir haben dafür vor allem die Metadaten herangezogen, aber auch die Farbverteilung der Bilder berücksichtigt. Daraus haben wir eine Trainingsmethode für das CNN entwickelt. Nach dem Training ließ sich für jedes Bild im Wissensgraph ein Deskriptor berechnen. Bei der Bildabfrage sucht das CNN nun die dem Deskriptor des Suchbilds ähnlichsten Deskriptoren und präsentiert die damit verknüpften Objekte als Ergebnis. In Experimenten stimmten die Metadaten der so gefundenen Bilder mit jenen des Suchbilds je nach Variable zwischen 44% und 89% überein.

Diese Bildklassifizierung und Bildabfrage sind in die Plattform „ADAsilk“ eingebettet. Über die Plattform lassen sich alle im  SILKNOW Wissensgraphen enthaltene Seidenobjekte suchen: https://ada.silknow.org/

© IPI
Beispiel für ein Suchbild (Query Image) und die im Wissensgraphen abgefragten ähnlichsten Bilder (Search Results), wie sie auf Adasilk (HTTPS://ADA.SILKNOW.ORG/) dargestellt werden.