В этом исследовании были разобраны примеры сонификаций массивов данных из самых разных сфер. Помимо функциональных преимуществ такого вида представления информации (например, реакция человека на звук, а следовательно и изменения в звуке, намного быстрее чем на визуальные сигналы), эти работы свидетельствуют об огромном импрессионистском и, как следствие, художественном потенциале сонификации.
Выделяется и, с моей точки зрения, главная проблема сонификации: балансирование с одной стороны математически точного представления информации и с другой импульсивной эффективности этого представления.
При сонификации данных, в которых важно отслеживать критические изменения (e.g. системы мониторинга в госпитале, счетчик Гейгера проекты рода WebMelody), эти изменения должны передаваться звуком максимально ярко. Для достижения этой «яркости» часто приносится в жертву точность передачи анализируемых данных. Хаотические системы, используемые в сонификации (e.g. цепи Чуа) позволяют частично решить эту проблему, лучше сохраняя и целостность информации и яркость изменений, однако не является ли достоверность в сонификации в целом рудиментарой? Большая часть активно используемых аудио-дисплеев останавливается на стадии звукового фидбэка. И для этой цели — мониторинга, получение быстрого фидбэка — достоверность данных не является ценной.
То есть актуальная сонификация это либо простые системы звукового фидбэка либо активизм / искусство. Можно послушать точное представление землетрясения в виде жуткого низкого гула, это очень хорошо передает силу за землетрясением, это может заставить задуматься, но не представляет большую ценность для отслеживания сейсмической активности. Напротив, аудио-дисплей созданный для практического применения скорее всего звучал бы намного более похоже на звуки, которые можно услышать в отделении реанимации в госпитале.
Тем не менее, есть неизведанное пространство для развития и огромный потенциал. Сила воздействия и иммерсивность сонификации делают ее сильным инструментом для создания искусства, возможно эти качества проявят себя и в более глубоком анализе данных.
Schertenlieb, A., & Barrass, S. (2010). A social platform for information sonification: many-ears. com. In ICAD 2010: The 16th Annual International Conference on Auditory Display: Sonic Discourse, Expression through Sound (pp. 295-300). International Community of Auditory Display (дата обращения: 27.10.2024).
Raaij, H. V. (2004). Listening to the mind listening. In ICAD (дата обращения: 27.10.2024).
Vickers, P., & Alty, J. (1996). Caitlin: A musical program auralisation tool to assist novice programmers with debugging (дата обращения: 27.10.2024).
Vogt, K., Goudarzi, V., & Höldrich, R. (2012). Chirping Stars. Georgia Institute of Technology (дата обращения: 27.10.2024).
Hooper, G. (2004). EEG Sonification. Information Technology and Electrical Engineering. University of Queensland (дата обращения: 27.10.2024).
Payling, M. D. (2004). Listen (Awakening): A Composition with Auditory Display. In ICAD 2004: The 10th Meeting of the International Conference on Auditory Display, Sydney, Australia, July 6-9 2004, Proceedings (дата обращения: 27.10.2024).
Hayward, C. (1994). Listening to the earth sing. In Santa Fe Institute Studies In the Sciences Of Complexity — Proceedings Volume — (Vol. 18, pp. 369-369). Addison-Wesley Publishing Co (дата обращения: 27.10.2024).
Dean, R., White, G., & Worrall, D. (2004). Mind Your Body. In ICAD (дата обращения: 27.10.2024).
Mayer-Kress, G., Choi, I., Weber, N., Barger, R., & Hubler, A. (1993). Musical signals from Chua’s circuit. IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing, 40(10), 688-695 (дата обращения: 27.10.2024).
Sanderson, J., & Heuzenroeder, T. (2004). Perceptions in C. In ICAD (дата обращения: 27.10.2024).
Barra, M., Cillo, T., De Santis, A., Petrillo, U. F., Negro, A., Scarano, V., Matlock, T., & Maglio, P. P. (2001). Personal webmelody: Customized sonification of web servers (дата обращения: 27.10.2024).
Hermann, T., Baier, G., & Müller, M. F. (2004). Polyrhythm in the Human Brain. In ICAD (дата обращения: 27.10.2024).
Vigani, A. (2012). SONIC WINDOW# 1 [2011]–A Real Time Sonification. Georgia Institute of Technology (дата обращения: 27.10.2024).
Vickers, P., & Hogg, B. (2013). Sonification Abstraite/Sonification Concr\ete: An’Aesthetic Perspective Space’for Classifying Auditory Displays in the Ars Musica Domain. arXiv preprint arXiv: 1311.5426 (дата обращения: 27.10.2024).
Vickers, P. (2016). Sonification and music, music and sonification. In The Routledge Companion to Sounding Art (pp. 135-144). Routledge (дата обращения: 27.10.2024).
Potard, G., & Schiemer, G. (2004). Sonification of the coherence matrix and power spectrum of eeg signals. In 10th International conference on Auditory Displays (ICAD 2004) (дата обращения: 27.10.2024).
Winters, R. M., & Weinberg, G. (2015). Sonification of the Tohoku earthquake: Music, popularization & the auditory sublime (дата обращения: 27.10.2024).
Mott, I., & Sosnin, J. (1997). Sound Mapping, an Assertion of Place. Proceedings of Interface, 97 (дата обращения: 27.10.2024).
Dribus, J. (2004, July). The other ear: a musical sonification of eeg data. In Proceedings of the 2004 International Conference on Auditory Display (Vol. 41) (дата обращения: 27.10.2024).
Bethancourt, M. (2012). The sounds of the discussion of sounds. In Proceedings of the 18th International Conference on Auditory Display (pp. 254-256) (дата обращения: 27.10.2024).
Barrass, T. LISTENINGMINDLISTENING: Untidy Mind. Channels, 1, 26 (дата обращения: 27.10.2024).
Monro, G. (2004). What Are You Really Thinking?. In ICAD (дата обращения: 27.10.2024).
Hermann, T., Hunt, A., & Neuhoff, J. G. (2011). The sonification handbook (Vol. 1). Berlin: Logos Verlag (дата обращения: 27.10.2024).
Walmer, A., Cash, N., Yin, W., Majors, T., Biggs, B., & Walker, B. N. ACCESSIBLE SONIFICATION OF TOTAL SOLAR ECLIPSE 2024: ACCESSIBLE MAP AND MULTIMODAL VIRTUAL REALITY EXPERIENCE (дата обращения: 27.10.2024).
Collins, K., Verniero, J., Alexander, R. L., & Candey, R. M. AURALIZATION OF MAGNETIC MULTISCALE SATELLITE DATA: TOWARD INTEGRATED AUDIFICATION IN SPACE SCIENCE (дата обращения: 27.10.2024).
Shin, H., Li, X., Fu, Z., & von Coler, H. SCHIZOSYMPHONY: FROM SCHIZOPHRENIA BRAINWAVES TO NARRATIVE SOUNDSCAPES (дата обращения: 27.10.2024).
Yasmin, S., & Jamal, C. Q. AUDIO-VISUAL ANALYTICS OF GEOSCIENTIFIC DATA WITH TIMBRAL VARIATIONS AND IMMERSIVE INTERACTIONS (дата обращения: 27.10.2024).
Vickers, P. (2020). Sonifications sometimes behave so strangely. Bloomsbury Handbook of Sonic Methodologies, ser. Bloomsbury Handbooks, M. Bull and M. Cobussen, Eds. New York: Bloomsbury Academic, 733-743 (дата обращения: 27.10.2024).
1
