Энцефалограмма
Далее представлены конкурсные работы для конференции ICAD 2004-го года. Участникам был представлен один и тот же 36-канальный массив данных, включающий в себя данные активности мозга (1-26 канал), а также данные дыхания, сердцебиения и другой внутренностной активности (27-36 канал).
3.1 Listening to the Mind Listening
Энцефалограмма для массива данных была снята с частотой 500Hz (значение записывается каждые 2 миллисекунды) во время прослушивания музыки. Оттуда общее название — «Listening to the Mind Listening».
Сонификация для фортепиано выполнена в программе Artwonk.
Интерфейс Artwonk во время работы сонификации:1
Artwonk2
3.2 Neural Dialogues
Здесь датасет упрощен так же как в предыдущей работе: до 50Hz.
Сонификация основана на предположении, что сходство между сигналами энцефалограммы в разных участках свидетельствуют о том, что в этот момент эти участки мозга выполняют схожие задачи.
Вместо непосредственной адаптации массива данных, была создана «матрица согласованности», в которую записываются коэффициенты сходства сигналов из 26 электродов, записывающих разные участки мозга.
Фрагмент патча Max/MSP, регулирует панорамирование звука3
Топографическая карта головы, описывает области наибольшей активности мозга:3
Матрица согласованности для 26 сигналов электродов (для первого временного отрезка датасета)3
3.3 Polyrhythm in Human Brain
Для сонификации также часто используется преобразование Фурье (преобразование вещественной функции в сложную с мнимым компонентом и обратно, в звуке: позволяет разложить сигнал на отдельные полосы частот, как спектральный разбор), например здесь, в «Polyrhythm in the Human Brain» Томаса Германна et al.
Преобразованный спектр одного из 26 каналов с двумя пиками интенсивности: 1-4Hz и 8.8Hz (автор статьи отмечает, что это обычно соответствует детям)4
Дельты того же канала в зависимости от времени (разница между последним и предыдущим значениями)4
Collectivity — параметр аналогичный параметру согласованности из предыдущего проекта4
3.4 EEG Sonification
3.5 Untidy Mind
Сигналы головного мозга обычно имеют частоту до 32Hz, многое за пределами слуха. Поэтому при озвучивании подобных данных частоты обычно увеличивают.
Например, в этой сонификации частоты сигналов увеличены в 34 раза. При этом некоторые, менее гармоничные, сигналы использованы для модуляции параметров других.
3.6 Mind Your Body
Более «физиологические» данные (т.е. дыхание, сердцебиение etc.) представлены как более далекие от слушателя и озвучены при помощи акустических инструментов (можно услышать фортепиано и перкуссию).
Другие данные, соответствующие активности головного мозга, наоборот ближе и полностью синтетические.
3.7 What Are You Really Thinking?
Каждый из 26 сигналов мозга представлен как отдельный источник звука, расположенный в пространстве соответственно положению датчиков на голове. При этом панорамирование немного меняется, реагируя на данные движения глаз.
Сигналы мозга (и сердцебиение) разделены на полосы около 1.5Hz, частоты сонификации соответствующие частотам исходного сигнала вычисляются как среднее арифметическое полосы умноженное на 30. Звук вызывается прохождением определенного порога амплитуды для каждой такой полосы.
3.8 The Other Ear
Эта сонификация разбита на три секции, в каждой из которых для анализа данных используются разные алгоритмы.
Схема патча Max/MSP, использованного для аддитивного синтеза в сонификации5
3.9 Listen (Awakening)
Здесь используется гранулярный синтез основанный на записях человеческого голоса (гласных), а данные энцефалограммы задействованы для модуляции его параметров.
Низкий гул олицетворяет собой исходный низкочастотный сигнал МРТ, но не задействует датасет.
3.10 Perceptions in C
Сонификация на органе. Здесь использовано только 7 из 36 каналов массива данных, при этом только 2 из них соответствуют головному мозгу. Фокус на физиологических данных и акустическом инструменте.
Работа выполнена в Coagula — простом графическом редакторе, способном читать изображения и озвучивать как MIDI файлы.
Интерфейс Coagula во время работы сонификации6
Coagula2
Raaij, H. V. (2004). Listening to the mind listening. In ICAD (дата обращения: 27.10.2025).
скриншот
Potard, G., & Schiemer, G. (2004). Sonification of the coherence matrix and power spectrum of eeg signals. In 10th International conference on Auditory Displays (ICAD 2004) (дата обращения: 27.10.2025).
Hermann, T., Baier, G., & Müller, M. F. (2004). Polyrhythm in the Human Brain. In ICAD (дата обращения: 27.10.2025).
Dribus, J. (2004, July). The other ear: a musical sonification of eeg data. In Proceedings of the 2004 International Conference on Auditory Display (Vol. 41) (дата обращения: 27.10.2025).
Sanderson, J., & Heuzenroeder, T. (2004). Perceptions in C. In ICAD (дата обращения: 27.10.2025).
