Muzyka wzrokowych potencjałów wywołanych

W dniu 12 lutego 2016 telewizja BBC wyemitowała materiał Disabled musicians create music from brainwaves¹, w którym mowa o  najnowszym projekcie Eduardo Recka Mirandy i współpracującego z nim zespołu naukowców z Uniwersytetu w Plymouth i Royal Hospital for Neuro-Disability w Londynie. Dzięki pracy tego zespołu osiągnięto imponujący efekt: sparaliżowani od wielu lat muzycy mogli znów współtworzyć wykonanie utworu muzycznego. Było to możliwe dzięki zastosowaniu aparatury EEG (elektroencefalografu), za pomocą której monitorowano fale mózgowe wspomnianych muzyków. Specjalne oprogramowanie muzycznie interpretowało sygnały pochodzące z mózgów „neurowykonawców”, a następnie generowało partyturę, którą a vista odgrywał kwartet smyczkowy.

Przetwarzanie fal mózgowych na muzykę ma już ponad pięćdziesięcioletnią tradycję², zapoczątkowaną w 1965 roku utworem Music for Solo Performer Alvina Luciera³, jakkolwiek już w latach 30. XX wieku były prowadzone badania naukowe, w których do obrazowania fal mózgowych wykorzystywano dźwięki⁴. Eksperymenty te były dziełem Edgara Douglasa Adriana i Bryana Matthewsa – brytyjskich naukowców, uważanych za odkrywców zjawiska wzrokowych potencjałów wywołanych (visual evoked potentials, VEP), czyli zmian w zapisie EEG spowodowanych stymulacją badanej osoby bodźcami świetlnymi. Właśnie dzięki temu odkryciu, po ponad osiemdziesięciu latach od jego dokonania, grupa sparaliżowanych muzyków w londyńskim szpitalu może tworzyć muzykę poprzez generowanie fal mózgowych.

Eduardo Reck Miranda jest twórcą, dla którego granica między sztuką, nauką i najnowszymi technologiami wydaje się nie stanowić żadnej przeszkody. Komponuje, prowadzi badania naukowe, dużo publikuje, pracuje jako profesor. W roku 2015 zorganizował 11th International Symposium on Computer Music Multidisciplinary Research – Music, Mind, and Embodiment⁵. Rok wcześniej pod jego redakcją została wydana książka Guide to Brain-Computer Music Interfacing⁶, w której szeroko dyskutowana jest problematyka przetwarzania fal mózgowych na muzykę. W książce przedstawione są różne podejścia do tego tematu, a poszczególne zagadnienia bywają zilustrowane fragmentami kodów źródłowych omawianych aplikacji. Dla każdego zainteresowanego problematyką „neuromuzyki” wspomniana pozycja powinna stanowić lekturę obowiązkową. W jednym z rozdziałów Miranda opisał także projekt zrealizowany w Royal Hospital for Neuro-Disability w Londynie.

BCMI-Piano

Przed systemem zaprezentowanym ostatnio w londyńskim szpitalu, w 2005 roku Miranda wraz z zespołem opracowali system BCMI-Piano (BCMI – Brain-Computer Music Interface)⁷, w skład którego wchodziły: urządzenie EEG, 2 komputery i pianino wyposażone w interfejs MIDI. Wyniki pomiaru EEG były poddane analizie spektralnej (z zastosowaniem algorytmu FFT⁸) oraz analizie złożoności (zgodnie z metodą Hjortha⁹), a wyniki tych analiz stanowiły dane wejściowe dla muzycznego systemu generatywnego. Od wartości parametru złożoności uzależniono tempo generowanej muzyki, natomiast do poszczególnych zakresów częstotliwości przypisano wybór stylu generowanej muzyki (np. falom alfa przypisano styl Roberta Schumanna, a falom beta styl Ludwiga van Beethovena)¹⁰. Po kilku sesjach korzystania z BCMI-Piano członkowie zespołu badawczego wytrenowali u siebie umiejętność zwiększania i zmniejszania mocy fal alfa zgodnie ze swoją wolą, tak więc w praktyce mogli decydować, czy generowana muzyka była utrzymana w stylu Schumanna, czy też Beethovena.

Miranda był jednak przede wszystkim zainteresowany stworzeniem interfejsu, którym można sterować w sposób świadomy i wolicjonalny, w takim sensie, aby można było zastosować ten system np. w terapii osób z zespołem zamknięcia. System BCMI-Piano niestety nie dostarczał użytkownikowi wrażenia, że to użytkownik sam komponuje, czy też wykonuje muzykę. Wszystkie przebiegi muzyczne były generowane jednak przez komputer. Po konsultacjach z zespołem, Miranda doszedł do wniosku, że cały kreatywny proces powinien odbywać się po stronie użytkownika, nawet jeśli miałoby to wiązać się jedynie ze stworzeniem najprostszej melodii. Postawienie sobie takiego celu wymagało przemyślenia algorytmu i uwzględnienia w nim większej liczby parametrów kontrolowanych przez użytkownika.

Światło w (neuro)muzyce

Nad nowym systemem Miranda pracował ze specjalistami z Uniwersytetu w Plymouth i Royal Hospital for Neuro-Disability w Londynie. W stosunku do projektu BCMI-Piano nieco zmienione zostało podejście – zamiast bazowania na pomiarach fal mózgowych w poszczególnych przedziałach częstotliwości, wykorzystano metodę potencjałów wywołanych, czyli reakcji elektrofizjologicznych mózgu powstających w skutek poddania badanego człowieka działaniu określonego bodźca. Miranda i jego współpracownicy postanowili wykorzystać  zjawisko wzrokowych potencjałów wywołanych stanu ustalonego (ang. Steady State Visual Evoked Potentials, SSVEP), które występuje podczas stymulacji bodźcami świetlnymi powtarzającymi się ze stałą częstotliwością¹¹. Na wykresie EEG (w odprowadzeniach potylicznych¹²) można zaobserwować wówczas rytmiczną aktywność o częstotliwości odpowiadającej częstotliwości stymulacji.

Badanie reakcji na stymulację światłem jest standardową procedurą w badaniu EEG¹³, ale jest też często wykorzystywane przez projektantów aplikacji BCI (Brain-Computer Interface) – może być np. wykorzystane w tworzeniu sterowanej mózgiem klawiatury komputerowej (przy poszczególnych literach znajdują się źródła światła pulsującego z różnymi częstotliwościami – w zależności od skupienia wzroku na odpowiedniej literze, w przebiegu EEG zostanie zaobserwowany wzrost amplitudy w zakresie częstotliwości pulsowania światła przy wybranej literze)¹⁴. Miranda badał różne możliwości wykorzystania zjawiska SSVEP do sterowania strukturami muzycznymi i wraz z zespołem stworzył system, w którym można wybierać jedno z czterech „zadań muzycznych” poprzez koncentrację na jednym z czterech migających kwadratów. Jednocześnie poprzez stopień skupienia można sterować parametrem tego zadania. Wspomniane zadania można zaprojektować na bardzo wiele sposobów – przy migających kwadratach można umieścić pojedyncze nuty, motywy muzyczne albo inne struktury, a poprzez zmianę poziomu skupienia można zmieniać wysokość dźwięku, dynamikę lub inne parametry¹⁵. Mechanizm ten Miranda zastosował w swoim znanym utworze Activating Memory (2014).

Kontekst dla badań Mirandy stanowi również rosnąca popularność techniki EEG m.in. dzięki stosunkowo tanim urządzeniom przeznaczonym na rynek „konsumencki” (o czym już była mowa na łamach „Glissanda”)¹⁶. W efekcie zagadnienia związane z SSVEP powoli stają się coraz mniej obce użytkownikom środowisk Max/MSP, PureData, czy Processing. Urządzenie Emotiv Epoc wyposażone jest w elektrody zlokalizowane w punktach O₁ i O₂ (czyli nad korą wzrokową w płacie potylicznym)¹⁷, zatem powinno umożliwiać pomiar wzrokowych potencjałów wywołanych stanu ustalonego¹⁸. Jesienią 2015 Alfredo Novello i Ivo Bol zaprezentowali w Amsterdamie projekt dźwiękowo-wizualny My Brain, Your Brain, w którym wykorzystują stymulację światłem stroboskopowym dwojga wykonawców podłączonych właśnie do aparatury Emotiv Epoc.

Związki muzyki i elektroencefalografii już dzisiaj nie ograniczają się jedynie do zastosowań terapeutycznych, czy eksperymentalnych kompozycji. Bardziej konserwatywnie nastawionych muzyków, których nie interesują eksperymentalne nurty związane z elektroniką, mogą zainteresować choćby obiecujące wyniki badań poświęconych zastosowaniom treningów EEG-biofeedback do poprawy umiejętności wykonawczych¹⁹. Dzisiaj być może nawet nie jesteśmy sobie w stanie wyobrazić nowych obszarów neuromuzyki, jakie otworzą przed nami Badania prowadzone w interdyscyplinarnych zespołach, takich jak ten Mirandy.

——————————————