Sekretna rzeczywistość rozszerzona Pinscreen i CGI

Rozszerzona rzeczywistość i zamiana twarzy wydają się być gorącymi kandydatami do następnych aplikacji mobilnych; Wystarczy spojrzeć na zakup Facebooka przez MSQRD lub przejęcie Looksery przez Snapchat. Ale jeden starter AR o nazwie Pinscreen, obecnie wspierany w wysokości 1,8 miliona dolarów przez Lux Capital i Colopl VR Fund, stara się robić w tej dziedzinie rzeczy inaczej. Odwrotność rozmawiał wyłącznie z założycielem Pinscreen, Hao Li, o tym, co może wyprzedzić tę tajemniczą firmę.

Być może nie słyszałeś o Hao Li, ale prawdopodobnie widziałeś badania profesora USC w akcji w kilku przebojowych filmach. Pracując w studio efektów wizualnych Industrial Light & Magic, Li pomógł w opracowaniu narzędzi, które umożliwiły przechwytywanie wydajności w czasie rzeczywistym. Pomysł polegał na tym, że aktor mógł siedzieć przed komputerem z kamerą internetową, odgrywać scenę, a następnie ten występ byłby tłumaczony - w czasie rzeczywistym - na postać CG.

Li przeprowadził również szeroko zakrojone badania w innych dziedzinach, w tym w zakresie tworzenia modeli 3D prawdziwych ludzi w czasie rzeczywistym i uchwycenia ważnych części ich podobieństwa, zwłaszcza twarzy i włosów. Ostatnio Li zaprezentował wyniki badań, które on i inni przeprowadzili w celu uchwycenia spektaklu od osoby za pomocą jednej kamery i przetłumaczenia go na postać cyfrową.

Na początku nie brzmi to tak nowatorsko. Opracowano już szereg rozwiązań do śledzenia twarzy, zarówno dla aplikacji mobilnych, jak i znacznie bardziej zaawansowanych systemów, takich jak Faceshift (zakupione przez Apple w 2015 r.). Ale wiele z nich opiera się na czujnikach głębokości, których technologia Li nie wymaga. To podejście, mówi, jest bardzo różne.

„Jeśli posiadasz czujnik głębokości, wystarczy zoptymalizować parametry modelu twarzy, aby model pasował do wejścia 3D tak blisko, jak to możliwe” - wyjaśnia Li. „Jednak w przypadku czystego wejścia RGB cały świat jest wyświetlany na dwuwymiarowym obrazie bez znanych parametrów kamery, takich jak ogniskowe. Tak więc dokładny model twarzy 3D należy wywnioskować z tego wyświetlanego obrazu i być w stanie obsłużyć szeroki zakres warunków oświetleniowych, a także wygląd różnych przedmiotów. ”

Stąd znaczenie badań Li na awatarach 3D. Podczas mapowania ludzkiej twarzy wiele programów mapujących ma problemy z wizualnymi przeszkodami, takimi jak włosy i okulary. Aby uniknąć tego problemu, Pinscreen „zbudował głęboką splotową sieć neuronową, która może nauczyć się segmentować obszar twarzy w całkowicie nieograniczonym obrazie”.

Więc co to jest Pinscreen wykorzystujący tę szaloną zaawansowaną technologię?

„Będziemy nowym typem platformy mediów społecznościowych / komunikacji z ciekawymi możliwościami AR”, mówi Li. „To nie będzie aplikacja podobna do obiektywów Snapchat czy MSQRD, która dla większości ludzi jest interesująca tylko przez kilka minut”.

Tak więc na razie to niewiele więcej niż buzzwords. Jednak patrząc głębiej, jego wcześniejsze prace sugerują, że mają nadzieję rozwinąć umiejętność śledzenia czyjejś twarzy pomimo jakichkolwiek włosów, okularów lub innych przedmiotów, które utrudniają widok pojedynczej kamery. Dodaj do rzeczywistości rozszerzonej, a niebo jest limitem dla filmów, mediów społecznościowych i gier.

Brzmi raczej przełomowo, ale ważne jest, aby pamiętać, że Li i jego zespół nie są jedynymi badaczami w tej dziedzinie. Disney niedawno przedstawił swoje podejście do przechwytywania wydajności twarzy w czasie rzeczywistym, podobnie jak inni badacze za pomocą narzędzia o nazwie Face2Face. Tam też wspomniana zmiana twarzy, a także Facebook i Snapchat, którzy również zaczęli demonstrować swoje produkty.

Czym więc różni się technika Pinscreen? Li sugeruje, że rozwiązanie jego firmy jest „o wiele bardziej wytrzymałe i może bardziej precyzyjnie określić modele 3D, ponieważ wyraźnie radzimy sobie z okluzjami”.

„Naszą najważniejszą innowacją jest technologia, która pozwala nam zbudować kompletny model głowicy 3D, w tym włosy z dowolnego obrazu automatycznie”, stwierdza. „Ten typ zadania tradycyjnie wymaga wykwalifikowanego modelera i riggera do produkcji, ale możemy to wygenerować w pełni automatycznie. Najnowsze artykuły prezentowane w SIGGRAPH (wiodącej konferencji poświęconej grafice komputerowej i technikom interaktywnym) również wymagają wielu obrazów wejściowych jako danych wejściowych - skupiamy się na rozwiązaniu z minimalnym wymaganiem wejściowym, jednym obrazem 2D ”.

Oczywiście, dopóki ludzie nie zobaczą i nie wykorzystają żadnej aplikacji ze strony Pinscreen, jury pozostanie bez odpowiedzi na temat swoich możliwości. Różnica polega jednak na tym, że Li z pewnością ma za sobą solidną historię badań i innowacji, zwłaszcza w zakresie tworzenia cyfrowych awatarów.

Li jest wyraźnie przekonany o możliwościach Pinscreen w przestrzeni mediów społecznościowych. „Ponieważ nasza technologia zdemokratyzuje generowanie awatarów 3D, będzie miała oczywiste zastosowania w grach, aplikacjach VR / AR do wciągającej komunikacji lub agentach AI”, mówi, „ale myślę, że sami stworzymy najfajniejszą aplikację, którą jest rozwijana przez nas społeczna platforma medialna.

„Co najważniejsze,” dodaje, „chcemy zbudować coś, co pozwala ludziom tworzyć naprawdę interesującą treść bez potrzeby korzystania z dzisiejszych drogich potoków VFX i korzystać z naprawdę przyjemnej treści AR, aby połączyć się ze sobą”.

Brzmi to tak, jakby Pinscreen obejmował zakres technologii, nad którymi pracował Li i jego zespół. Ale, mówi, to tylko część planu. „Demo technologiczne jest tylko cechą tego, co planujemy wykorzystać”, zauważa. „Pinscreen będzie czymś znacznie większym, a technika będzie na początku ciekawą funkcją. Będziemy też zupełnie inni niż inne platformy mediów społecznościowych. ”

Na razie Pinscreen jest wciąż trochę tajemnicą i wygląda na to, że będziemy musieli poczekać, aby zobaczyć, co mają w sklepie.