Face the Music: Jak „Eye Conductor” pomaga Paralytics Rock the Fuck Out

Andreas Refsgaard, projektant interakcji i twórczy koder mieszkający w Amsterdamie, zaprojektował interfejs muzyczny, który pozwala osobom niepełnosprawnym fizycznie tworzyć muzykę. Eye Conductor wykorzystuje oprogramowanie do śledzenia wzroku i kamerę internetową do tłumaczenia ruchów twarzy na różne komponenty kompozycji muzycznej. Użytkownicy mogą ćwiczyć się, by grać z twarzą, co oznacza, że ​​sparaliżowani ludzie - ludzie, którzy nie mogą już grać na instrumentach - mogą mieć drugą szansę na wykonanie pięknych (lub po prostu głośnych) dźwięków. Właściwe spojrzenie dosłownie uderza w wynalazek Refsgaarda. Właściwe wyrażenie wyraża się głośno.

Odezwał się Refsgaard Odwrotność o motywacji stojącej za jego projektem, o zmaganiach, z jakimi się zetknął, i o tym, czego się dowiedział, co dał ludziom, którzy stracili możliwość zrobienia muzyki kolejną szansą.

Jakie jest twoje tło muzyczne?

Nie nazwałbym siebie muzykiem, ponieważ gram tylko dla zabawy, ale gram na gitarze i basie. Ableton to program muzyczny, cyfrowa stacja robocza podobna do nagrywania oprogramowania, takiego jak Logic lub Protools lub Garage Band. Wziąłem kurs na ten temat i nie byłem zbyt dobry w tworzeniu muzyki, ale byłem zafascynowany możliwościami, które widziałem. Potem zaczęliśmy współpracować i robić więcej artystycznych instalacji, w których projektował dźwięki, a ja podłączałem czujniki, na przykład aparat głębinowy, więc gdy ludzie przechodzili obok, kontrolowaliby niektóre aspekty projektu.

Jesteś projektantem interakcji i twórcą kodu. Czy mógłbyś wyjaśnić, co oznaczają te tytuły?

Wszystkie rzeczy, które projektuję, są interaktywne. Więc gdybym miał zrobić jakieś meble, to miałby pewną funkcjonalność, która sprawiłaby, że zareagowałby na coś. Jestem także twórcą kodu. W porównaniu z wieloma innymi ludźmi - na przykład studiowałem w Kopenhadze w Kopenhaskim Instytucie Wzornictwa Interakcji, gdzie ludzie pochodzą z wielu różnych środowisk - jestem trochę bardziej w stronę kodowania. Nazywam się także „twórczym koderem”, ponieważ nie jestem odpowiednim koderem. Nie jestem w tym dobry, ale mogę robić rzeczy naprawdę szybko i mogę łączyć rzeczy, a ja jestem dobry w wymyślaniu nowych pomysłów.

Co zainspirowało Cię do pomocy osobom niepełnosprawnym fizycznie w tworzeniu muzyki?

Po ukończeniu szkoły średniej przez dwa lub trzy miesiące byłem opiekunem kogoś z dystrofią mięśniową. Bycie z nim przez cały czas uświadomiło mi niektóre rzeczy, z którymi nie mogłem mu pomóc. Jeden z nich wyrażał się w twórczy sposób. To nie było tak, że myślałem: „Dobra, tu jest problem, który muszę rozwiązać”, ponieważ byłem wtedy młody i nie miałem żadnych umiejętności zawodowych. Ale to utkwiło we mnie.

A co z inspiracją techniczną?

Projekt Eyewriter, który widziałem około rok temu, to program do malowania, który został zaprojektowany dla faceta, który kiedyś był artystą graffiti, ale został sparaliżowany. Niektórzy z jego przyjaciół byli koderami i przygotowali dla niego narzędzie do śledzenia oczu, dzięki któremu mógł rysować. A ponieważ bawiłem się czujnikami i oprogramowaniem muzycznym, nawiązałem połączenie. Zrobiłem to jako mój ostatni projekt w szkole.

Jak muzyka skończyła się jako pole twórcze, które chciałeś odkryć?

Myślę, że może dlatego, że bardzo lubię muzykę i czas, jaki miałem na projekt. Po prostu stało się jasne, że muzyka jest tym, z czym chciałem pracować. Potem bardzo zainspirował mnie Eyewriter pod względem tworzenia grafiki.

Muzyka wydaje się świetnym wyborem, ponieważ jest uniwersalna. Nie mogę myśleć o kimś, kto nie lubi muzyki.

Na początku chciałem sprawdzić, jak ważna jest muzyka dla grupy, dla której projektowałem. Pierwsze kroki polegały na obserwowaniu, jak ludzie z różnymi niepełnosprawnościami fizycznymi wchodzą w interakcję z muzyką. Jeden dom, który odwiedziłem, miał czwartki muzyki. Niektórzy mogą wskazać trochę lub zagrać trochę na klawiaturze, a niektórzy nic nie mogą zrobić, ale faktem jest, że pojawiają się w czwartki muzyki.

Jak długo trwało obserwowanie, a potem tworzenie urządzenia?

Często w procesie projektowania byłyby to dwie odrębne rzeczy, ale nie podoba mi się to podejście. Lubię budować od samego początku, a potem, gdy rozmawiam o tym, co zbudowałem. Następnie modyfikuję lub udoskonalam.

Jak to było widzieć ludzi, którzy korzystali z niego po raz pierwszy?

To było całkiem miłe, tak. Ponieważ niektórzy ludzie nie mogli mówić, połączenie może być trudne. Ale kiedy użyli mojego dyrygenta oka, naprawdę się połączyliśmy. Patrzyli na mnie i uśmiechali się lub zachowywali się naprawdę szczęśliwie, a kiedy po prostu demo pokazywałem, byli naprawdę skupieni. Był to piękny przykład sposobu, w jaki muzyka może pomagać ludziom w interakcji i wyrażaniu emocji.

Jaki był największy problem, na który natknąłeś się, projektując Eye Conductor, bez zbytniego przygotowania technicznego?

Aby system działał, musisz siedzieć w takiej samej pozycji, w jakiej siedzimy teraz przed naszymi laptopami, ponieważ obraz, który teraz widzisz, jest prosty i dobry do śledzenia mojej twarzy i oczu. Ale jeśli jesteś z kimś na wózku inwalidzkim, który na przykład nie ma kontroli nad swoją postawą, plecami lub szyją, czasami siadają bardziej na boki, a system nie może śledzić ich ruchów twarzy. A potem czasami byłoby mi niewygodnie próbować powiedzieć: „Ok, żeby to zadziałało, musisz siedzieć prosto”. A potem, gdy są niewerbalne, jak to komunikujemy?

Jeśli czyjaś głowa była przechylona w taki sposób, czy teoretycznie mogłabyś trzymać laptop w sposób, który podnosi jego gesty twarzy?

Tak. Tak więc nie zająłem się rozwiązywaniem tego problemu, ale wiele osób ma zamontowane komputery na swoich wózkach, a komputer jest na słupie, a na tym biegunie znajduje się urządzenie montażowe i ustawiają je pod odpowiednim kątem, aby wskazać twarz osoby. Nie ma pozycji, która byłaby właściwa lub zła, chodzi tylko o to, aby czujniki - czyli kamera internetowa i urządzenie do śledzenia wzroku - były na głowie. To było trochę trudne. Był to raczej sprzęt, ponieważ w przeciwnym razie musiałbym spróbować zbudować strukturę, która byłaby niechlujna. Nie jestem w tym taki dobry.

Czy zrobiłeś wszystko sam lub napotkałeś problemy techniczne, które tylko inni ludzie potrafili rozwiązać?

Zrobiłem to sam, ale po stronie dźwięku otrzymałem pomoc od tego profesora, o którym ci mówiłem. Zasadniczo po prostu projektowanie dźwięku. Miałem też doradcę, który dał mi kilka wskazówek w zakresie języka programowania o nazwie Max, w którym był naprawdę świetny. Po prostu pomógł mi czuć się bardziej komfortowo z niektórymi szczegółami programowania. Oczywiście wiele z nich było nowych, ale podstawy tego już znałem z poprzednich doświadczeń. Stworzyłem Eye Conductor w ciągu ośmiu tygodni, a ludzie mówili: „Och, to szalone, jak można to zrobić w ciągu ośmiu tygodni?”. Ale zrobiłem kilka innych rzeczy, które są również zaawansowane pod względem pracy z czujnikami i oprogramowaniem muzycznym, a to trwało dłużej, ponieważ Nie wiedziałem, jak to zrobić. Teraz, kiedy wiem, że nie jest to takie trudne, nawet jeśli ten projekt był bardziej skomplikowany. Ważne jest także dla mnie, aby podkreślić, że jest to w pełni funkcjonalny prototyp, ale nie jest to produkt. Więc ludzie nie mogą wyjść i kupić go i zainstalować na moim komputerze.

Chciałem cię zapytać, czy masz zamiar go sprzedać?

Właściwie nie chcę go sprzedać, chcę go oddać. Chcę, aby stało się to czymś open source, ale teraz nic nie mogę obiecać. Nie mam jeszcze środków na to, a mam pracę i inne rzeczy do zrobienia. Dostałem wiadomość od faceta z Michigan, na przykład, który był producentem, a potem dostał ALS. Muszę to jakoś udostępnić wszystkim tym ludziom. W pewnym momencie jest to dla mnie bardzo ważne i nie mogę obiecać, kiedy, ale mam nadzieję, dość szybko, zapakuję je w taki sposób, aby ludzie mogli albo pobrać to wszystko jako jedną rzecz, a uruchomiłoby się to na większości komputerów, albo faktycznie wypróbować w przeglądarce. Pomysł stworzenia rzeczy przeglądarkowej wymagałby tylko posiadania komputera z dostępem do Internetu, a następnie zastąpienia myszy, którą mogliby mieć na swoim komputerze. Jeśli zrobię z niego open source, mogę dostarczyć podstawowe demo, a następnie ludzie mogą dodawać własne zwroty, aby uczynić go własnym.

Miło słyszeć, że robisz to, ponieważ chcesz pomóc ludziom, a nie dlatego, że chcesz się wzbogacić lub coś takiego.

Narzędzia, które zbudowałem - przynajmniej działający prototyp - są open source. Dlaczego miałbym dostać kredyt? Na przykład system śledzenia twarzy, którego używam dla mojego prototypu, który umożliwia ludziom tworzenie dźwięku poprzez podnoszenie brwi lub otwieranie ust, to coś, co nazywa się FaceOSC stworzone przez faceta o imieniu Kyle McDonald i to jest system open source. Nie sądzę, abym dotarł tak daleko, jak bez tego oprogramowania.