Czy kiedykolwiek pragnęliście Państwo po udanym koncercie rockowym
przeżyć go jeszcze raz, równie, lub nawet bardziej, intensywnie?
Niewykluczone, że już wkrótce będzie to możliwe, dzięki finansowanemu
prze UE projektowi badawczemu
SCENENET
, którego uczestnicy opracowują technologię pozwalającą łączyć nagrania
zrealizowane przez publiczność zgromadzoną wokół sceny lub na
stadionie, w celu odtworzenia danego wydarzenia w 3D.
Chen oraz Nizan Sagiv wpadli na powyższy pomysł po koncercie zespołu
Depeche Mode w Tel Awiwie, który odbył się pięć lat temu. "Podczas gdy
ja byłam pochłonięta koncertem, Nizan obserwował publiczność", tłumaczy
Chen, koordynator projektu SCENENET. "Nizan zwrócił uwagę na ogromną
ilość słabego światła, emitowaną przez ekrany telefonów. Ludzie
nagrywali koncert. Nizan uznał, że połączenie ze sobą filmów nakręconych
przez poszczególnych widzów w synergiczny, wzbogacony, a być może nawet
trójwymiarowy obraz stanowi ciekawy pomysł. Przez wiele miesięcy
rozmawialiśmy o tej idei, jednak wydawała nam się zbyt futurystyczna,
ryzykowna i skomplikowana".
Współpraca izraelsko-europejska
Naukowcy postanowili zasięgnąć porady w ISERD, czyli w
izraelsko-europejskim dyrektoracie ds. i rozwoju
, a także skontaktowali się z prof. Peterem Maassem, pracownikiem
Uniwersytetu w Bremie (Niemcy) oraz z prof. Pierrem Vandergheynstem,
pracownikiem Ecole Polytechnique Fédérale (EPFL) w Lozannie
(Szwajcaria), z którym Chen współpracowała wcześniej w ramach
realizowanego pod egidą 7-go Programu Ramowego projektu
UNLOCX .
Efektem powyższych działań jest projekt SCENENET, który uzyskał
wsparcie w kwocie 1,3 mln euro ze strony Komisji Europejskiej.
Koordynatorem projektu jest Chen, a także kierowana przez Nizana,
zlokalizowana w mieście Ra'anana, firma SagivTech, specjalizująca się w
wizji komputerowej i przetwarzaniu równoległym.
Projekt SCENENET, finansowany, podobnie jak miało to miejsce w przypadku inicjatywy UNLOCK, w ramach tematyki
Przyszłe i Powstające Technologie (Future and Emerging Technologies - FET)
, zakończy się w styczniu 2016 roku i obejmuje czterech partnerów
europejskich: Uniwersytet w Bremie, niemiecką organizację Steinbeis
Innovation, European Research Services a także szwajcarską EPFL.
W pierwszym roku prac projektowych uczestnicy inicjatywy stworzyli
infrastrukturę mobilną, pozwalającą gromadzić filmy wideo, oznaczać je
oraz przesyłać na serwery pracujące w chmurze. Badacze opracowali
ponadto podstawowe narzędzia stanowiące interfejs człowiek-maszyna,
które pozwalają użytkownikom oglądać filmy 3D z dowolnego miejsca "w
obrębie stadionu", a także edytować je. Naukowcy wierzą, że powyższe
rozwiązania pomogą stworzyć społeczności internetowe, które będą się
dzielić materiałami, co pozwoli odtworzyć w formie wirtualnej całe
koncerty. Uwzględniając powyższy kontekst uczestnicy projektu planują w
ciągu dwóch najbliższych lat zbadać wyzwania z zakresu piractwa I
własności intelektualnej.
"Pod koniec pierwszego roku prac projektowych, czyli wcześniej, niż
zakładaliśmy, stworzyliśmy techniczne podwaliny rozwiązania SCENENET,
bazujące na najnowocześniejszych komponentach", twierdzi Chen.
Rzeczywiście, wydajne algorytmy z zakresu wizji komputerowej, opracowane
w ramach projektu, z myślą o urządzeniach mobilnych, są pionierskie na
skalę światową I są bacznie obserwowane przez producentów mikroukładów.
Projekt SCENENET wiązał się także z szeregiem wyzwań
technologicznych, takich jak: wstępne przetwarzania w obrębie urządzenia
mobilnego, wymagające ogromnej mocy obliczeniowej, wydajne przesyłanie
strumieni wideo, a także opracowanie dokładnej I szybkiej metody
rejestrowania strumieni wideo I rekonstrukcji 3D. Wszystkie powyższe
mechanizmy powinny pracować w trybie możliwie najbardziej zbliżonym do
czasu rzeczywistego.
"Uważamy, że poszczególne komponenty tworzące system SCENENET, takie
jak mechanizm rejestrowania obrazów I odtwarzania ich w 3D, posiadają
ogromy potencjał w kontekście przetwarzania mobilnego I przetwarzania w
chmurze, dlatego projekt SCENENET stanowi ogromny przełom technologiczny
- zarówno jako całość, jak I na poziomie poszczególnych komponentów",
dodaje Chen.
Więcej niż koncepcje
Wraz z postępem prac projektowych pojawia się coraz więcej
potencjalnych zastosowań technologii SCENENET. Jeśli prawo I kwestie
wyzwania z piractwem na to pozwolą, to powyższe technologie być może
umożliwią odtwarzanie w trójwymiarze nie tylko koncertów, ale także
wiadomości, czy też wydarzeń sportowych, lub znajdą zastosowanie w
turystyce I monitoringu. Partnerzy projektu badają ponadto możliwość
filmowania statycznych I ruchomych obiektów z różnych kątów, w celu
stworzenia zestawów instrukcji, które będą następnie mogły być
przesyłane do drukarek 3D. Z kolei model powiązania urządzeń mobilnych z
serwerami zlokalizowanymi w chmurze mógłby się sprawdzić w przypadku
innych aplikacji, twierdzą naukowcy. Jednak w chwili obecnej badacze
skupiają się na fanach muzyki.
"Projekt SCENENET dotyczy przede wszystkim przenośnych kamer I
trójwymiarowych obrazów. Powszechność kamer umieszczonych w urządzeniach
przenośnych oraz coraz lepsza jakość rejestrowanych przez nie obrazów
oznaczają, że mamy do czynienia z ogromną ilością filmów, które ich
autorzy chcą ulepszyć I którymi chcą się chwalić. Co więcej, obecnie
opracowuje się coraz więcej urządzeń potrafiących "rozumieć" bodźce
wizualne, takich jak Google Glass. Większość tego rodzaju prac bazuje na
przetwarzaniu obrazów oraz na wizji komputerowej. Obrazy trójwymiarowe
stają się coraz ważniejszym elementem wizualizacji, a jednocześnie coraz
łatwiej je analizować", tłumaczy koordynator projektu.
Inicjatywa SCENENET stanowi doskonały przykład współpracy pomiędzy
UE I Izraelem. Około 1 600 izraelskich naukowców czerpało korzyści z
udziału w 7-mym Programie Ramowym, uczestnicząc w około 800 projektach,
wspartych przez Komisję Europejską kwotą 634 milionów euro. Projekty te
obejmowały różnorakie dziedziny, począwszy od TIK, aż po
nanotechnologię, energię oraz zdrowie.
"Projekty te pozwalają nam stać się częścią europejskiej
społeczności naukowej I przemysłowej oraz podjąć współpracę z wiodącymi
partnerami akademickimi I przemysłowymi w Europie", podsumowuje Chen.
Projekt SCENENET uzyskał wsparcie finansowe w ramach Siódmego Programu Ramowego UE (7PR).
Hiperłącza do projektu w serwisie CORDIS:
-
7PR w serwisie CORDIS-
informacje na temat projektu SCENENET w serwisie CORDIS
Hiperłącze do strony internetowej projektu:
-
strona internetowa projektu "SCENENET"
Inne hiperłącza:
-
strona internetowa Komisji Europejskiej poświęcona agendzie cyfrowej
-
«Uncertainty principles versus localization properties»
-
HORIZON 2020 - Future and Emerging Technologies