Propozycja metod pomiaru zależności między słyszeniem i widzeniem

Artykuł stanowi podstawę teoretyczną do przygotowania multimedialnej ankiety sprawdzającej jak reagujemy na przekaz audiowizualny. Przedmiotem badań słyszenia są: głośność, częstotliwość drgań oraz tembr dźwięku. Natomiast widzenia - umiejscowienie, wielkość, jasność, kształt i barwa świecącej powierzchni. Celem badania jest zbudowanie kolejnego modelu percepcji synestetycznej oraz odnalezienie przyczyn dla których występują skojarzenia między doznaniami słuchowymi i wzrokowymi.

Dotychczasowe osiągnięcia

Obecnie można wyodrębnić dwa rodzaje badań statystycznych związanych z synestezją. Pierwsze z nich polega przede wszystkim na wyodrębnieniu grupy ludzi, którzy bodźce działające na jeden zmysł odbierają wieloma zmysłami¹. Bardziej szczegółowe dane przedstawiają różne powiązania między zmysłami. Drugim rodzajem badań są ankiety służące do określenia skojarzeń międzyzmysłowych pojawiających się w wyobraźni. Różnice między sposobami badań wynikają przede wszystkim z różnic w rozumieniu zjawiska synestezji. Badanie, które chciałbym zaproponować jest zbieżne z drugim opisanym przeze mnie rodzajem.

Podobne badanie zostało przeprowadzone przez pracowników Instytutu Estetyki Eksperymentalnej „Prometeusz” w Kazaniu w roku 1968 oraz 2002². Z najistotniejszych z mojego subiektywnego punktu widzenia wniosków wyciągniętych przez naukowców było to, że wiedza i doświadczenie respondentów wpłynęły na wyniki badań³. Ponadto dowiedziono, że większość muzyków podobnie postrzega jasność, wielkość oraz kształt krawędzi dźwięku.

Ankieta była skierowana do rosyjskich kompozytorów, więc z łatwością mogli oni wyobrazić sobie dźwięki opisane w pytaniach. Jednak różnice w wyobraźni muzycznej poszczególnych kompozytorów mogły powodować szum informacyjny szczególnie przy trudniejszych pytaniach. Stąd - moim zdaniem - pojawia się potrzeba przygotowania ankiety w formie multimedialnej. Dodatkowo dzięki zastosowaniu Internetu pozwoli to na powiększenie grupy odbiorców.

Główne założenia ankiety

Przedmiotem badań będą te cechy dźwięku, które łatwo można przedstawić za pomocą różnego rodzaju obrazów. Stale powtarzającym się schematem będzie jeden dźwięk i różne ruchome obrazy, spośród których badani będą wybierać ten, który według nich najbardziej pasuje do odtwarzanego dźwięku. Z racji tego, że większość społeczeństwa posiada słuch relatywny - badane będą relacje między dźwiękami i obrazami pokazane w sposób ciągły jako zmiana poszczególnych cech dźwięku i obrazu. Jest to rozwiązanie mające na celu uproszczenie i ujednolicenie dźwięków i obrazów.

Spośród dodatkowych informacji służących do określenia przyczyn pojawienia się podobnych odpowiedzi ankietowani będą poproszeni o podanie płci, wieku, narodowości, prawo- i leworęczności oraz krótkiego opisu dotyczącego zdolności muzycznych i plastycznych. Dodatkowo będzie rejestrowany czas spędzony na przemyśliwaniu odpowiedzi oraz ilość wyświetleń kolejnych obrazów.

Informacje statystyczne zebrane podczas badań będą mogły być użyte jako wytyczne do projektowania komunikacji multimedialnej. W muzyce świetlnej mogą przydać się podczas świadomego poszukiwania zaskakujących środków wyrazu.

Zależności

Narzędziem do badania poszczególnych związków między słyszeniem i widzeniem będą cztery różne dźwięki: pierwszy z nich, to równomiernie podgłaśniająca się sinusoida o stałej częstotliwości 440 Hz⁴. Ten dźwięk wystąpi tylko w jednej próbie dotyczącej głośności dźwięku. Pozostałe dwa dźwięki to sinusoida o stałej głośności z równomiernie zwiększającą się częstotliwością drgań od 440 do 880 Hz⁵, oraz równomiernie zmieniające się natężenie alikwotów instrumentu (od najbardziej basowych do najbardziej sopranowych). Celowo chciałbym posługiwać się tymi dwoma dźwiękami nierozłącznie, ponieważ w podobny sposób oddają one zmiany dwóch bardzo ważnych cech dźwięku: wysokość i tembr. Ostatnim z dźwięków będzie płynne przejście od czystej sinusoidy o częstotliwości 440 Hz do szumu. Dźwięk ten będzie użyty w próbie na nasycenie barwy dźwięku. Przyjrzyjmy się poszczególnym analogiom wzrokowo-słuchowym.

Jasność dźwięku wynikająca z jego głośności

Ilość światła emitowanego przez obraz jest ściśle związana z wielkością oraz jasnością świecącej powierzchni. Istotnym czynnikiem w tym wypadku jest jasność tła na którym pojawia się świecąca powierzchnia odzwierciedlająca dźwięk. Jeżeli chcemy przedstawić dźwięk za pomocą białego koła na czarnym tle, to ilość światła będzie wprost proporcjonalna do wielkości oraz jasności koła. Sytuacja komplikuje się, kiedy tło będzie białe. Jeżeli zmniejszanie się czarnego koła na białym tle będzie kojarzone z podgłaśnianiem dźwięku - będzie to oznaczało, że ilość światła odpowiada głośności dźwięku.

Test 1 - Czy głośniejsze dźwięki są jaśniejsze?

Położenie dźwięku na płaszczyźnie

Żeby określić położenie punktu na płaszczyźnie, potrzebne są dwie współrzędne. W muzyce funkcjonuje pojęcie wysokości dźwięku. Jest ono jednakowo rozumiane nawet pośród ludzi nie posiadających umiejętności muzycznych. Przyjęło się, że dźwięki o dużej częstotliwości drgań nazywamy wysokimi natomiast o małej częstotliwości - niskimi. Możliwe jednak, że są ludzie, którzy inaczej odbierają ruch w osi pionowej. W gitarze struny o niskich dźwiękach znajdują się dalej od podłogi, co może wpływać na odmienne wyobrażenie wysokości dźwięku. Ta próba będzie składać się z dwóch pytań dotyczących obu współrzędnych - pionowej i poziomej. Dzięki niej postaram się uzyskać informację o tym jak bardzo lokalizacja dźwięku jest związana z jego brzmieniem oraz częstotliwością drgań.

• Test 2 - Czy wysokie dźwięki naprawdę są wysokie?
• Test 3 - Po której stronie znajdują się niskie dźwięki?

Położenie dźwięku w osi głębokości

Leonardo da Vinci twierdził, że istnieje związek między perspektywą zbieżną a wysokością dźwięku⁶. Większość form muzycznych jest zorganizowana tak, że niskie dźwięki występują rzadziej i wyznaczają schematy według których rozbrzmiewają dźwięki coraz wyższe. Przeniesienie tego do wyimaginowanej przestrzeni plastycznej automatycznie sprawia, że wysokie dźwięki znajdują się przed niskimi. Trudnością na jaką z jaką należy się zmierzyć jest jak najprostsze przedstawienie ruchu wzdłuż osi głębokości.

Test 4 - Czy bas gra w tle?

Wielkość dźwięku

Wyobrażanie sobie dźwięków niskich jako dużych plam barwnych wiąże się z wiedzą o tym, że wielkość przedmiotu wydającego dźwięk wpływa na częstotliwość drgań. Należy jednak pamiętać, że w kompozycji plastycznej zwiększanie przedmiotu znajdującego się na pierwszym planie wiąże się ze zmniejszaniem powierzchni tła. Jeżeli tło jest jasne, a plama wizualizująca dźwięk ciemna, to jej zwiększanie będzie przyciemniało cały obraz. A przecież niskie dźwięki są kojarzone z ciemniejszymi kolorami. Stąd pojawia się potrzeba, aby poddać próbie kojarzenie wielkości dźwięku z formami graficznymi przedstawionymi na różnych jasnościach tła.

Test 5 - Czy najwyższe dźwięki są największe?

Kształt krawędzi dźwięku

Badania dokonane w 2002 roku przez pracowników IEE „Prometeusz” wykazały, że koło często bywa kojarzone z niskimi dźwiękami, natomiast trójkąt - z wysokimi. Więcej uwagi poświęcono do tej pory jednak związkowi kształtów i brzmień różnych głosek⁷. Również Wasilij Kandinski zauważył, że brzmienia instrumentów są obłe, lub ostre⁸. Usadnienie tej analogii jest widoczne przede wszystkim na wykresie fali dźwiękowej obrazującym zmiany ciśnienia akustycznego zachodzące w czasie. Zwiększenie częstotliwości drgań wiąże się z zagęszczaniem wykresu i zaostrzaniem grzbietów fali. Niektórzy muzycy idąc tym tropem próbowali tworzyć muzykę metodami plastycznymi poprzez rysowanie wykresów fal, które były zamieniane na dźwięki⁹.

Test 6 - Jaki kształt ma dźwięk trójkąta?

Jasność dźwięku wynikająca z częstotliwości drgań

Kojarzenie wysokich dźwięków z jasnymi punktami może wiązać się ze zwiększoną łatwością ich lokalizacji w przestrzeni. Podobnie jak w przypadku poprzedniej próby oraz tej związanej z głośnością dźwięku - wpływ na wyniki badań może mieć jasność tła, stąd pojawia się konieczność przeprowadzenia dwóch prób.

Test 6 - Jak jasna jest Twoja mowa?

Kolor dźwięku - barwa

Wśród potocznie używanych synestetycznych określeń cech dźwięku najpopularniejsza jest wysokość i barwa. Te dwa pojęcia przeplatają się ze sobą, czego skutkiem były próby przyporządkowania konkretnych dźwięków barwom tęczy. Jednym z naukowców idących tym tokiem myślenia był Izaak Newton¹⁰. Mimo, że teoria o związku kolejnych dźwięków klawiszy fortepianu z konkretnymi kolorami została skutecznie obalona¹¹, to nie ulega wątpliwości, że przemyślenia Newtona są inspirujące. Na podstawie psychofizjologicznego eksperymentu stwierdził on, że zdolność do rozróżniania kolorów jest zbieżna ze zdolnością do rozróżniania dźwięków. W przypadku proponowanego przeze mnie badania jest to sygnał, że warto wziąć pod uwagę możliwość kojarzenia zmiany wysokości dźwięku ze zmianą koloru. Jednak barwa o której mówią muzycy jest bardziej związana z brzmieniem. Występuje ona często jako skutek pośredniej asocjacji z subiektywnym odczuciem temperatury dźwięku.

Utworzenie ruchomego obrazu przedstawiającego zmiany koloru dźwięku wiąże się z dwoma trudnościami. Po pierwsze: kolory - poza tym, że różnią się temperaturą - różnią się jednocześnie jasnością. Rozwiązaniem, które pozwoli na uniknięcie zmiany jasności koloru będzie ograniczenie jego zmiany tak, aby znaleźć kompromis między jak największą różnicą temperatur i jak najmniejszą różnicą jasności. Dodatkową trudnością jest to, że praktycznie każdy z kolorów ma swój zimny i ciepły odpowiednik. Pojawia się zatem pytanie który kolor pokazać?

Test 8 - Czym jest ciepłe brzmienie?

Nasycenie dźwięku

Żeby dokładnie określić kolor można posługiwać się percepcyjnym modelem barw. Jednym z takich modeli jest HSV, który bazuje na barwie, nascyceniu i jasności. Poprzednie pytania sprawdzałyby barwę i jasność. Brakuje zatem tylko jednego parametru koloru do utworzenia percepcyjnego modelu barw. Tym składnikiem jest nasycenie. Jak nasycenie koloru może przekładać się na dźwięk? Myślę, że wiąże się ono z uporządkowaniem tembru instrumentu. Wydaje mi się, że brzmienia o bardziej uporządkowanej strukturze jak na przykład sinusoida mogą być postrzegane, jako czystsze kolory. Szumy natomiast są bliższe szarościom.

Test 9 - Co gra bardziej kolorowo? Flet czy werbel?

Wnioski

Oczywistym jest, że lepiej przygotowana ankieta przyniesie bardziej obiektywne dane. Stąd potrzeba, aby już na etapie założeń była ona jak najlepiej przemyślana. Niniejszy wykład nie jest więc zamkniętym zbiorem informacji na temat przedstawiony w tytule. Zdecydowanie bardziej jest on pytaniem, które można sformułować następująco: w czym się mylę? Jest zaproszeniem do współpracy przede wszystkim w przygotowaniu założeń do ankiety. Na samym początku ankieta będzie przygotowana w języku polskim, rosyjskim i angielskim więc mile widziana byłaby pomoc w tłumaczeniu pytań na języki obce. Kolejną formą udziału może być także popularyzowanie ankiety.

Niniejsze wnioski prawdopodobnie nie pojawiłyby się, gdyby nie wieloletnie badania B. Galiejewa oraz jego żony I. Wanieczkiny, których wkład w rozwój wiedzy o synestezji jest nieoceniony. Korzystając z okazji chciałbym podziękować doktorowi Kazimierzowi Jałowczykowi oraz Maciejowi Zdanowiczowi za wartościowe rozmowy na temat synestezji. Przede wszystkim jednak należy się podziękowanie Bogu, który stworzył dźwięk i sam jest światłem.

Bibliografia

1. Thomas Birch, The history of the Royal Society of London for improving of natural knowledge, A. Millar in the Strand, 1757
2. Ванечкина И.Л., Некоторые итоги анкетного опроса по выявлению закономерностей цветного слуха среди членов союза композиторов СССР, 1968
3. Ванечкина И.Л., Галеев Б.М., „Цветной слух” музыкантов: мифы и реальность, 2003
4. Ванечкина И.Л., Галеев Б.М., Кандинский и Скрябин: мифы и реальность, 1998
5. Ванечкина И.Л., Галеев Б.М., Овсянников А.А., Анкетный опрос „цветного слуха” композиторов России, 2002
6. Wasilij Kandyński, O duchowości w sztuce, Łódź 1999
7. Bartosz Mozyrko, Nazywanie kształtów, kształtowanie nazw. O znaczeniu asemantycznych skojarzeń nazw dla projektowania logo
8. Овсянников А.А., Анкетное исследование „цветного слуха” и „цветового мышления", 2000
9. Oliver Sacks, Muzykofilia - opowieści o muzyce i mózgu, Zysk i S-ka, 2009
10. Maciej H. Zdanowicz, Obrazowanie muzyki - badanie nowych możliwości wizualnej transkrypcji dźwięków, Łódź 2010