Znajdź swoje wymarzone studia w Warszawie

Studenci PW stworzyli aplikację dla fanów komiksów!

Studenci PW stworzyli aplikację dla fanów komiksów!

Aplikacja stworzona przez zespół studentów Wydziału Elektroniki i Technik Informacyjnych przekształca film w komiks!

Comixify to dzieło projektów dyplomowych stworzonych przez studentów Politechniki Warszawskiej. Pomysł powstał na bazie zainteresowań studentów związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego. Bazowano też na wcześniejszych dokonaniach i publikacjach Zakładu Grafiki Komputerowej Instytutu Informatyki, w tym m.in. tej dotyczącej przewidywania popularności treści w Internecie [1]. W skład zespołu wchodzą: inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz. Pracują pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity i dr. inż. Tomasza Trzcińskiego.

Zasada działania COMIXIFY

Przekształca on dowolny filmu w komiks. Cały proces podzielony jest na dwa główne etapy: ekstrakcję klatek i transfer stylu.

Na początku wyodrębniane są reprezentatywne sceny z nagrania. Do tego celu młodzi naukowcy rozwinęli juz istniejący algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), a mający na celu inteligentne podsumowanie filmu [2]. Dzięki dodaniu modułu estymującego jakość zdjęcia [3] oraz jego popularność [1], Comixify ma możłiwość nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.

Po uzyskaniu przez program kadrów odbywa się przeniesienie ich stylu do obrazów, czyli stworzenie ich w charakterystycznym komiksowym stylu. W tym celu naukowcy, z Politechniki Warszawskiej, wdrażają generatywny model sieci neuronowych typu GAN [4]. GAN to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.

Na stronie projektu Comixify można zobaczyć komiksy stworzone na podstawie fragmentów filmów "Pulp fiction" i "Gwiezdne wojny: Część I – Mroczne widmo". Narzędzie do modyfikacji filmów w stronę komiksu można bezpłatnie sprawdzić przesyłając swoje pliki (do 50 MB) lub na podstawie linków z YouTube’a. Film nie ma limitów długości.

Publikacja studentów dotycząca Comixfy ,opisująca działanie algorytmu, ukazała się w sieci 12 grudnia 2018 roku i z miejsca stała się przebojem na całym świecie: od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tamtym czasie strona Comixify zanotowała ponad 140 tysięcy odsłon! Za jej pomocą wygenerowano kilkanaście tysięcy komiksów,a twórcy aplikacji spotkali się zainteresowaniem ze strony producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.

Studenci i ich opiekunowie chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności. Myślą nad dodaniem kolejnych layoutów oraz rozpoznawania głosu, które umożliwi dodawanie do obrazów także tekstu. Poszukają też nowych możliwości finansowania swoich dalszych prac.

W chwili obecnej komiksy (w każdej formie) cieszą się dużą popularnością na całym świecie.



[1] T. Trzcinski, P. Rokita. Predicting popularity of online videos using Support Vector Regression. IEEE Trans. Multimedia (TMM). Vol. 19, Nr. 11, p. 2561-2570, 2017.

[2] K. Zhou, Y. Qiao, T. Xiang. Deep reinforcement learning for unsupervised video summarization with diversity-representativeness reward. AAAI, p. 7582–7589, 2018. 


[3] H. Talebi and P. Milanfar. NIMA: neural image assessment. IEEE Trans. Image Processing, 27(8): 3998–4011, 2018.

[4] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. C. Courville, and Y. Bengio. Generative adversarial nets. NIPS, p. 2672–2680, 2014. 


Data publikacji: 08-01-2019

Aktualności z Warszawy