Punkt, Punkt, Komma, Strich – fertig ist die Fotomontage. So ähnlich soll eine Software arbeiten, die eine Gruppe von Informatikern aus China, Singapur und Israel vorstellt. Photosketch nennen sie ihr Programm und genau so funktioniert die Demoversion auch: Der Anwender sieht eine arg vereinfachte Landschaft. In der Mitte ein Horizont, sonst zwei leere Flächen. Wie diese gefüllt werden sollen, bestimmt man mit einem Textfenster: “Tree” zum Beispiel.

Was wohin in den Vordergrund soll, bestimmt der Anwender nach demselben Prinzip: Mit der Maus kann man Formen freihändig zeichnen oder sich ein paar Ellipsen zu der ungefähren Größe und Position des gewünschten Objekts zurechtziehen. Was anstelle dieser simplen Kritzeleien dann gezeigt werden soll, bestimmen Textfelder. “Man throw” schreibt man zum Beispiel unter das Strichmännchen im Vordergrund, unter die merkwürdige Kritzelei rechts, im Mittelgrund vielleicht “dog jump” und dann noch etwas zeichnen, wonach der Hund springen soll. Ein Klecks namens “Frisbee” zum Beispiel.

Was dann passiert, sieht in der Demonstration der Forscher ziemlich beeindruckend aus: Die Software sucht Fotos im Internet nach passendem Material für eine Komposition aus. Photosketch wählt geeignetes Material selbständig mittels mehrerer Algorithmen aus. So werden zum Beispiel Cluster zu einem vorgegebenen Inhalt gebildet. Also zum Beispiel die zur Eingabe “Trees” gefundenen Bilder analysiert und die in dieser Menge im Vergleich zur Mehrheit ungewöhnlich andersartig wirkenden verworfen. Bei den anderen Formen für den Vorder- und Mittelgrund gleicht die Software auch die gewünschte Position und die in der Skizze angedeutete Form der Objekte ab (siehe Video unten).

PhotoSketch: Internet Image Montage from tao chen on Vimeo.

Photosketch errechnet mehrere Kompositionen, aus denen der Anwender dann die für ihn beste wählt. Die verschiedenen Bildelemente strickt Photosketch mithilfe mehrerer Bildbearbeitungs-Algorithmen zusammen, die “nahtlose Kompositionen” ermöglichen sollen, wie die Forscher in ihrem Aufsatz schreiben. Die Arbeit erscheint im Dezember im Fachmagazin “ACM Transactions on Graphics” ( PDF-Version des Papiers) der US-Informatikgesellschaft, auf der ACM-Leistungsshow für Computergrafik Siggraph Asia im Dezember wird Photosketch auch zu sehen sein.

Photosketch soll Ideen visualisieren

Die Ergebnisse sehen manchmal unfreiwillig komisch (Elefant tritt gegen einen lilafarbenen Oldtimer), oft aber ganz brauchbar aus: Zum Beispiel bei Fußballspielern, die zwischen spielende Kinder auf eine Wiese montiert werden. Laut Ping Tan, Informatiker an der National University of Singapore und einer der Autoren der Software, hat das Team das Programm von Bildbearbeitungs-Novizen testen lassen. 45 Bildkompositionen sind bei diesem Test entstanden, laut Tan waren “etwa 80 Prozent der Ergebnisse ganz ordentlich.”

Laut Tan ist eine der größten Fehlerquellen die Zahl der Elemente: “Die aktuelle Version der Software funktioniert am besten, wenn weniger als fünf unterschiedliche Elemente zu einem Bild zusammengefügt werden sollen. Wir können mit Photosketch keine großen Collagen erstellen.”

Der Informatiker ist sich recht sicher, dass die Technik bald in gängiger Software genutzt werden kann. Wofür? Nicht für perfekte Bildmanipulationen. Sondern, so Tan zu SPIEGEL ONLINE: “Photosketch soll Menschen helfen, schnell ein Bild aus ihrem Kopf umzusetzen. Wir wollen ein Werkzeug schaffen, das Ideen schnell visualisiert, damit man sie mit anderen teilen kann.”

Das Team um Tan und seinen Kollegen Shi-Min Hu von der Tsinghua University Peking hat ein Jahr lang an der Software gearbeitet. Mitgearbeitet hat an Photosketch der israelische Forscher Ariel Shamir, dessen Arbeit in neuen Photoshop-Versionen die inhaltssensible Bildskalierung ermöglicht.

Bildbearbeitungs-Experten: “Interessante Idee”

Ob sich die Photosketch-Idee ähnlich schnell durchsetzt? Als verbesserter Ideenkritzler vielleicht. Bildbearbeitungs-Experte Doc Baumann findet die Idee nett und die Demonstration “als Einstieg in eine neue Technik auch recht eindrucksvoll”. Baumann sieht aber zwei Hauptprobleme. Zum einen das Rechtsproblem bei aus dem Internet gesaugten Bildelementen: “Für Anwendungen, die über Hobbyspielereien hinausgehen, müsste für jedes Bild geklärt werden, wie das mit den Urheber- und Persönlichkeitsrechten ist.”

Außerdem sind die meisten der Photosketch-Montagen alles andere als perfekt. Baumann: “Ein Blick auf die gezeigten Bilder bestätigt, dass nahezu alle Kriterien, die ich meinen Lesern immer zur Beachtung nahelege und unter dem Begriff ‘Bildlogik’ zusammenfasse, nicht berücksichtigt werden.” Einige der Punkte, die Photosketch wenig beachtet, so dass die Bilder unecht wirken:

Lichtrichtung und in ihrer Folge Körper- und Schlagschatten
Lichtcharakteristika wie Farbe, Helligkeit, Tonwertumfang, Gerichtetheit, Streuung, Schattenfarbe
Objektintegration in das Umfeld, etwa Spiegelungen, Umgebungsbeleuchtung
Perspektive: relative Größe, Auf- oder Untersicht (Kamerahöhe), Tiefenstaffelung, verwendete Brennweite
Luftperspektive: Kontrastabnahme und Blautönung mit zunehmender Entfernung

Auch das exakte Freistellen gelingt Photosketch nur bei sehr einfachen Vordergrund-Hintergrund-Konstellationen. Baumanns Fazit: “Eine interessante Innovation – für konsistente Montagen würde aber noch sehr viel zusätzliche künstliche Intelligenz benötigt, die dann etwa auch das perspektivisch korrekte Hinzufügen von Schlagschatten unter Berücksichtigung der 3D-Eigenschaften von Objekten und der Oberflächen, auf die sie geworfen werden, voraussetzten.”

Als Werkzeug für perfekte Bildmontage taugt Photosketch nicht, aber vielleicht als digitales Gegenstück zum Scribble-Block.

mehr auf: Spiegel Online – Netzwelt