Princeton Undergrad tworzy Deepjazz A.I. Music Maker

Ji-Sung Kim spędził wczesny poranek pierwszego weekendu kwietnia na kofeinie i kodowaniu na swoim komputerze, gdy opracował deepjazz, generator muzyki do głębokiego uczenia się. 20-letni student informatyki Princeton miał zaledwie 36 godzin na ukończenie deepjazzu podczas swojego pierwszego hackathonu, HackPrinceton, który odbył się 1-3 kwietnia na uniwersytecie. Po zakończeniu maratonu kodowania stworzył stronę internetową dla deepjazz i opublikował kod źródłowy na GitHub.

Ale ku zaskoczeniu Kima program wystrzelił. Deepjazz stale się rozwija w Pythonie i GitHubie - osiągając najwyższy poziom w siódmym programie na GitHub. Została nawet przedstawiona na pierwszej stronie HackerNews i nadal wywołuje ożywioną dyskusję.

„Nigdy nie spodziewałem się, że mój pierwszy projekt poboczny będzie tak popularny pod względem popularności”, mówi Kim Odwrotność. „To było dość szalone i zabawne”.

deepjazz - Jazzowa generacja oparta na głębokim uczeniu się przy użyciu Keras & Theano! http://t.co/G5wscglzO7 #python

- Python Trending (@pythontrending) 11 kwietnia 2016 r

Pomiędzy jedzeniem, spaniem i ukończeniem innych zajęć Kim przekonała się, że opracowanie kodu źródłowego do deepjazz zajęło mu około 12 godzin. Jednak wpadł na pomysł generatora muzyki sztucznej inteligencji na długo przed HackPrinceton. Podczas letniego stażu na University of Chicago natknął się na Google Deep Dream, generator zdjęć, który interpretuje wzory na obrazie i przekształca je w inne znane mu obiekty. Rezultatem są krzykliwe obrazy, które wyglądają, jakby wyszły z dzikiego snu.

„Pomysł wykorzystania głębokiej nauki do interpretacji sztuki był dla mnie bardzo interesujący” - mówi Kim. „Ten rodzaj Deep Dream, który Google zaprezentował i opublikował, był naprawdę fascynujący, ponieważ tworzysz nowe dzieła sztuki z istniejących dzieł”.

Deepjazz używa uczenia maszynowego do generowania muzyki jazzowej - „A.I. zbudowany, aby tworzyć jazz ”, jak podaje jego profil SoundCloud. Kim, która nie uczyła się teorii muzyki, ale gra na klarnecie od siedmiu lat, wybrała muzykę jazzową ze względu na niekonwencjonalne melodie. A.I. muzyka systemu „może mieć nietypowe wyjścia, więc myślę, że jazz był szczególnie dobrze dostosowany do idei generowania muzyki w locie”, mówi.

Przebudował istniejący generator muzyki zoptymalizowany pod kątem muzyki jazzowej, który jego przyjaciel Evan Chow nazwał JazzML, używając kodu do uzyskania odpowiednich danych, ale przekształcając je w macierz binarną, która jest kompatybilna z dwiema głębokimi bibliotekami uczenia Keras i Theano.

Deepjazz tworzy z niego dwuwarstwowy LSTM, który jest rodzajem sztucznej sieci neuronowej, opisuje Kim. Po poznaniu początkowej sekwencji początkowej nut (Kim używał fragmentów „And Then I Knew” Pata Metheny'ego) przypisuje prawdopodobieństwa do notatek i generuje następną notatkę w oparciu o te prawdopodobieństwa. Na przykład, jeśli podasz programowi skalę A, B, C, istnieje duże prawdopodobieństwo, że następna uwaga wygenerowana przez deepjazz będzie miała postać D, wyjaśnia Kim.

Historycznie rzecz biorąc, krytycy twierdzą, że generatory muzyki sztucznej inteligencji są nękane produkcją piosenek, które brzmią zbyt robotycznie i sterylnie - brakuje koloru słyszanego w muzyce komponowanej przez ludzi. Jeffrey Bilmes, były student MIT, który napisał pracę magisterską na komputerach odtwarzających rytmy muzyczne w 1993 roku, powiedział Odwrotność w listopadzie:

„Kiedy uczysz się grać muzykę i uczysz się grać jazz, istnieje narzędzie do intuicyjnego zrozumienia tego, co dotyczy muzyki, która czyni ją człowiekiem” - powiedział Bilmes. „Ludzie są istotami intuicyjnymi, a ludzie często nie są w stanie opisać, w jaki sposób są w stanie robić ludzkie rzeczy. Czułem wtedy, że może naruszyłem świętą przysięgę w definiowaniu tych rzeczy dla programów komputerowych. ”

Kiedy Kim robił badania na deepjazz, natknął się na wiele systemów generujących muzykę, która brzmiała jak robota.

„Muzyka i sztuka to rzeczy, które uważamy za głęboko ludzkie” - mówi Kim. „Aby brzmiał bardziej ludzko i bardziej realistycznie, trudno jest go skategoryzować.” Kim sugeruje, że generatory mogą tworzyć utwory, które brzmią bardziej ludzko, programując je tak, aby brzmiały mniej podobnie do oryginalnego utworu.

Inni programiści skontaktowali się z Kimem i są zainteresowani rozszerzeniem deepjazz, aby więcej osób mogło z nim współpracować. Kim może pewnego dnia zobaczyć deepjazz, który przekształci się w partnera improwizującego, który może sztucznie wygenerować backtrack dla muzyka, z którego mógłby riffować. Jeszcze dalej, może zobaczyć aplikacje, które tworzą nową, podobną muzykę do twoich ulubionych utworów lub mogą sugerować nowe akordy i progresje dla muzyków.

Kim przyznaje, że nadal nie jest ekspertem w głębokiej nauce, ale jego doświadczenie w rozwijaniu deepjazzu i treningów na stażach i Princeton dało mu cenny wgląd w tę dziedzinę.

„A.I. nie jest już snem science fiction. Jest to coś bardzo realnego i zbliża się w bardzo szybkim tempie ”, mówi Kim. „Miejmy nadzieję, że ten student, który nie jest jeszcze klasą wyższą, był w stanie zrobić coś w hackathonie, zachęcając innych uczniów, którzy walczą o naukę komputerową”.