Comixify to dzieło projektów dyplomowych stworzonych przez studentów Politechniki Warszawskiej. Pomysł powstał na bazie zainteresowań studentów związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego. Bazowano też na wcześniejszych dokonaniach i publikacjach
Zakładu Grafiki Komputerowej Instytutu Informatyki, w tym m.in. tej dotyczącej przewidywania popularności treści w Internecie [1].
W skład zespołu wchodzą: inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz. Pracują pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity i dr. inż. Tomasza Trzcińskiego.
Zasada działania COMIXIFYPrzekształca on dowolny filmu w komiks. Cały proces podzielony jest na dwa główne etapy: ekstrakcję klatek i transfer stylu.Na początku wyodrębniane są reprezentatywne sceny z nagrania. Do tego celu młodzi naukowcy rozwinęli juz istniejący algorytm oparty o
metodę uczenia ze wzmocnieniem (Reinforcement Learning), a mający na celu inteligentne podsumowanie filmu [2]. Dzięki dodaniu modułu estymującego jakość zdjęcia [3] oraz jego popularność [1], Comixify ma możłiwość nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.Po uzyskaniu przez program kadrów odbywa się przeniesienie ich stylu do obrazów, czyli stworzenie ich w charakterystycznym komiksowym stylu. W tym celu naukowcy, z Politechniki Warszawskiej, wdrażają generatywny model sieci neuronowych typu GAN [4].
GAN to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.Na stronie projektu Comixify można zobaczyć komiksy stworzone na podstawie fragmentów filmów "Pulp fiction" i "Gwiezdne wojny: Część I – Mroczne widmo". Narzędzie do modyfikacji filmów w stronę komiksu można bezpłatnie sprawdzić przesyłając swoje pliki (do 50 MB) lub na podstawie linków z YouTube’a. Film nie ma limitów długości. Publikacja studentów dotycząca Comixfy ,opisująca działanie algorytmu, ukazała się w sieci
12 grudnia 2018 roku i z miejsca stała się przebojem na całym świecie: od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tamtym czasie
strona Comixify zanotowała ponad 140 tysięcy odsłon! Za jej pomocą wygenerowano kilkanaście tysięcy komiksów,a twórcy aplikacji spotkali się zainteresowaniem ze strony producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.Studenci i ich opiekunowie chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności. Myślą nad dodaniem kolejnych layoutów oraz rozpoznawania głosu, które umożliwi dodawanie do obrazów także tekstu. Poszukają też nowych możliwości finansowania swoich dalszych prac.W chwili obecnej komiksy (w każdej formie) cieszą się dużą popularnością na całym świecie. [1] T. Trzcinski, P. Rokita. Predicting popularity of online videos using Support Vector Regression. IEEE Trans. Multimedia (TMM). Vol. 19, Nr. 11, p. 2561-2570, 2017.[2] K. Zhou, Y. Qiao, T. Xiang. Deep reinforcement learning for unsupervised video summarization with diversity-representativeness reward. AAAI, p. 7582–7589, 2018.
[3] H. Talebi and P. Milanfar. NIMA: neural image assessment. IEEE Trans. Image Processing, 27(8): 3998–4011, 2018.[4] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. C. Courville, and Y. Bengio. Generative adversarial nets. NIPS, p. 2672–2680, 2014.
