Muzyka wzrokowych potencjałów wywołanych

Beniamin Głuszek / 17 Lut 2016

2016_02_17_12_51_22_The_Paramusical_Ensemble_performs_Activating_Memory_on_Vimeo

W dniu 12 lutego 2016 telewizja BBC wyemitowała materiał Disabled musicians create music from brainwaves1, w którym mowa o  najnowszym projekcie Eduardo Recka Mirandy i współpracującego z nim zespołu naukowców z Uniwersytetu w Plymouth i Royal Hospital for Neuro-Disability w Londynie. Dzięki pracy tego zespołu osiągnięto imponujący efekt: sparaliżowani od wielu lat muzycy mogli znów współtworzyć wykonanie utworu muzycznego. Było to możliwe dzięki zastosowaniu aparatury EEG (elektroencefalografu), za pomocą której monitorowano fale mózgowe wspomnianych muzyków. Specjalne oprogramowanie muzycznie interpretowało sygnały pochodzące z mózgów „neurowykonawców”, a następnie generowało partyturę, którą a vista odgrywał kwartet smyczkowy.

Przetwarzanie fal mózgowych na muzykę ma już ponad pięćdziesięcioletnią tradycję2, zapoczątkowaną w 1965 roku utworem Music for Solo Performer Alvina Luciera3, jakkolwiek już w latach 30. XX wieku były prowadzone badania naukowe, w których do obrazowania fal mózgowych wykorzystywano dźwięki4. Eksperymenty te były dziełem Edgara Douglasa Adriana i Bryana Matthewsa – brytyjskich naukowców, uważanych za odkrywców zjawiska wzrokowych potencjałów wywołanych (visual evoked potentials, VEP), czyli zmian w zapisie EEG spowodowanych stymulacją badanej osoby bodźcami świetlnymi. Właśnie dzięki temu odkryciu, po ponad osiemdziesięciu latach od jego dokonania, grupa sparaliżowanych muzyków w londyńskim szpitalu może tworzyć muzykę poprzez generowanie fal mózgowych.

Eduardo Reck Miranda jest twórcą, dla którego granica między sztuką, nauką i najnowszymi technologiami wydaje się nie stanowić żadnej przeszkody. Komponuje, prowadzi badania naukowe, dużo publikuje, pracuje jako profesor. W roku 2015 zorganizował 11th International Symposium on Computer Music Multidisciplinary ResearchMusic, Mind, and Embodiment5. Rok wcześniej pod jego redakcją została wydana książka Guide to Brain-Computer Music Interfacing6, w której szeroko dyskutowana jest problematyka przetwarzania fal mózgowych na muzykę. W książce przedstawione są różne podejścia do tego tematu, a poszczególne zagadnienia bywają zilustrowane fragmentami kodów źródłowych omawianych aplikacji. Dla każdego zainteresowanego problematyką „neuromuzyki” wspomniana pozycja powinna stanowić lekturę obowiązkową. W jednym z rozdziałów Miranda opisał także projekt zrealizowany w Royal Hospital for Neuro-Disability w Londynie.

BCMI-Piano

Przed systemem zaprezentowanym ostatnio w londyńskim szpitalu, w 2005 roku Miranda wraz z zespołem opracowali system BCMI-Piano (BCMI – Brain-Computer Music Interface)7, w skład którego wchodziły: urządzenie EEG, 2 komputery i pianino wyposażone w interfejs MIDI. Wyniki pomiaru EEG były poddane analizie spektralnej (z zastosowaniem algorytmu FFT8) oraz analizie złożoności (zgodnie z metodą Hjortha9), a wyniki tych analiz stanowiły dane wejściowe dla muzycznego systemu generatywnego. Od wartości parametru złożoności uzależniono tempo generowanej muzyki, natomiast do poszczególnych zakresów częstotliwości przypisano wybór stylu generowanej muzyki (np. falom alfa przypisano styl Roberta Schumanna, a falom beta styl Ludwiga van Beethovena)10. Po kilku sesjach korzystania z BCMI-Piano członkowie zespołu badawczego wytrenowali u siebie umiejętność zwiększania i zmniejszania mocy fal alfa zgodnie ze swoją wolą, tak więc w praktyce mogli decydować, czy generowana muzyka była utrzymana w stylu Schumanna, czy też Beethovena.

Miranda był jednak przede wszystkim zainteresowany stworzeniem interfejsu, którym można sterować w sposób świadomy i wolicjonalny, w takim sensie, aby można było zastosować ten system np. w terapii osób z zespołem zamknięcia. System BCMI-Piano niestety nie dostarczał użytkownikowi wrażenia, że to użytkownik sam komponuje, czy też wykonuje muzykę. Wszystkie przebiegi muzyczne były generowane jednak przez komputer. Po konsultacjach z zespołem, Miranda doszedł do wniosku, że cały kreatywny proces powinien odbywać się po stronie użytkownika, nawet jeśli miałoby to wiązać się jedynie ze stworzeniem najprostszej melodii. Postawienie sobie takiego celu wymagało przemyślenia algorytmu i uwzględnienia w nim większej liczby parametrów kontrolowanych przez użytkownika.

2016_02_17_13_38_07_The_Paramusical_Ensemble_performs_Activating_Memory_on_Vimeo

Światło w (neuro)muzyce

Nad nowym systemem Miranda pracował ze specjalistami z Uniwersytetu w Plymouth i Royal Hospital for Neuro-Disability w Londynie. W stosunku do projektu BCMI-Piano nieco zmienione zostało podejście – zamiast bazowania na pomiarach fal mózgowych w poszczególnych przedziałach częstotliwości, wykorzystano metodę potencjałów wywołanych, czyli reakcji elektrofizjologicznych mózgu powstających w skutek poddania badanego człowieka działaniu określonego bodźca. Miranda i jego współpracownicy postanowili wykorzystać  zjawisko wzrokowych potencjałów wywołanych stanu ustalonego (ang. Steady State Visual Evoked Potentials, SSVEP), które występuje podczas stymulacji bodźcami świetlnymi powtarzającymi się ze stałą częstotliwością11. Na wykresie EEG (w odprowadzeniach potylicznych12) można zaobserwować wówczas rytmiczną aktywność o częstotliwości odpowiadającej częstotliwości stymulacji.

Badanie reakcji na stymulację światłem jest standardową procedurą w badaniu EEG13, ale jest też często wykorzystywane przez projektantów aplikacji BCI (Brain-Computer Interface) – może być np. wykorzystane w tworzeniu sterowanej mózgiem klawiatury komputerowej (przy poszczególnych literach znajdują się źródła światła pulsującego z różnymi częstotliwościami – w zależności od skupienia wzroku na odpowiedniej literze, w przebiegu EEG zostanie zaobserwowany wzrost amplitudy w zakresie częstotliwości pulsowania światła przy wybranej literze)14. Miranda badał różne możliwości wykorzystania zjawiska SSVEP do sterowania strukturami muzycznymi i wraz z zespołem stworzył system, w którym można wybierać jedno z czterech „zadań muzycznych” poprzez koncentrację na jednym z czterech migających kwadratów. Jednocześnie poprzez stopień skupienia można sterować parametrem tego zadania. Wspomniane zadania można zaprojektować na bardzo wiele sposobów – przy migających kwadratach można umieścić pojedyncze nuty, motywy muzyczne albo inne struktury, a poprzez zmianę poziomu skupienia można zmieniać wysokość dźwięku, dynamikę lub inne parametry15. Mechanizm ten Miranda zastosował w swoim znanym utworze Activating Memory (2014).

Kontekst dla badań Mirandy stanowi również rosnąca popularność techniki EEG m.in. dzięki stosunkowo tanim urządzeniom przeznaczonym na rynek „konsumencki” (o czym już była mowa na łamach „Glissanda”)16. W efekcie zagadnienia związane z SSVEP powoli stają się coraz mniej obce użytkownikom środowisk Max/MSP, PureData, czy Processing. Urządzenie Emotiv Epoc wyposażone jest w elektrody zlokalizowane w punktach O1 i O2 (czyli nad korą wzrokową w płacie potylicznym)17, zatem powinno umożliwiać pomiar wzrokowych potencjałów wywołanych stanu ustalonego18. Jesienią 2015 Alfredo Novello i Ivo Bol zaprezentowali w Amsterdamie projekt dźwiękowo-wizualny My Brain, Your Brain, w którym wykorzystują stymulację światłem stroboskopowym dwojga wykonawców podłączonych właśnie do aparatury Emotiv Epoc.

Związki muzyki i elektroencefalografii już dzisiaj nie ograniczają się jedynie do zastosowań terapeutycznych, czy eksperymentalnych kompozycji. Bardziej konserwatywnie nastawionych muzyków, których nie interesują eksperymentalne nurty związane z elektroniką, mogą zainteresować choćby obiecujące wyniki badań poświęconych zastosowaniom treningów EEG-biofeedback do poprawy umiejętności wykonawczych19. Dzisiaj być może nawet nie jesteśmy sobie w stanie wyobrazić nowych obszarów neuromuzyki, jakie otworzą przed nami Badania prowadzone w interdyscyplinarnych zespołach, takich jak ten Mirandy.

——————————————

1http://www.bbc.com/news/science-environment-35557908

2http://joeleaton.co.uk/bci-research/history/

3O przełomowej roli tego utworu w historii muzyki pisałem na łamach „Glissanda”, zob. Beniamin Głuszek, Manifest neuromuzyki? Music for Solo Performer Alvina Luciera, „Glissando”, 2014, nr 25, s. 124-127.

4Edgar Douglas Adrian, Bryan Matthews, The Berger Rhythm: Potential Changes From The Occipital Lobes In Man, „Brain” 1934 nr 57 (4), s. 355-385.

5http://cmr.soc.plymouth.ac.uk/cmmr2015/index.html

6Guide to Brain-Computer Music Interfacing, red. Eduardo Reck Miranda, Julien Castet, Springer Dordrecht Heidelberg London New York 2014.

7Eduardo Reck Miranda, Andrew Brouse, Interfacing the Brain Directly with Musical Systems: On Developing Systems for Making Music with Brain Signals, „Leonardo” 2005 nr 4, s. 331-336 (http://cmr.soc.plymouth.ac.uk/publications/mirandabrouse_leonardo_bci.pdf).

8FFT (Fast Fourier Transform) – szybka transformacja Fouriera to algorytm wyznaczajacy wartość transformaty Fouriera dla sygnału próbkowanego (a więc dyskretnego). Transformacja Fouriera topodstawowe narzędzie analizy harmonicznej, a także teorii analizy i przekształcania sygnału [przyp. red.].

9Metoda Hjortha oznacza zastosowanie parametrów statystycznej analizy własciwości sygnału wprowadzonych przez Bo Hjrotha w roku 1970 [przyp. red.].

10Sposób działania programu dokładnie opisano w artykule: E.R. Miranda, A. Brouse, op. cit.

11http://haar.zfb.fuw.edu.pl/edu/index.php/Pracownia_EEG/SSVEP_1

12Chodzi o punkty pomiaru umieszczone na potylicy badanego [przyp. red.].

13Zob. A.J. Rowan, E. Tolunsky, Podstawy EEG z miniatlasem, Wrocław 2004, s. 37.

14Przykład wykorzystania SSVEP w aplikacji sterującej grą w labirynt: Mateusz Pawluk, Opracowanie aplikacji Brain Computer Interface (BCI) dla systemu OpenViBE, praca inżynierska, Warszawa 2014, https://repo.pw.edu.pl/docstore/download.seam?fileId=WUT3bcec48b27eb4328bf59eafed146f22a

15Zob. Guide…, s. 12.

16Beniamin Głuszek, Zabawki, muzyka i mózg, „Glissando” 2015 nr 27, s. 14-17.

17https://en.wikipedia.org/wiki/10-20_system_(EEG)

18Temat ten jest dyskutowany w cytowanej pracy inżynierskiej, zob. M. Pawluk, op. cit.

19Gruzelier, J.H., et al., Immediate effects of alpha/theta and sensory-motor rhythm feedback on music performance, Int. J. Psychophysiol. (2014), http://dx.doi.org/10.1016/j.ijpsycho.2014.03.009