RT - 
SR - Electronic
T1 - СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И ПРОЦЕСС МУЗЫКАЛЬНОГО МОДЕЛИРОВАНИЯ
SP - 2023-04-11
A1 - Чибирёв, С. В.
YR - 2023
UL - https://rep.herzen.spb.ru/publication/1098
AB - В процессе создания произведения искусства автор опирается на огромный пласт знаний, который мы называем культурой, он специфичен для конкретной эпохи, географического положения, даже того, даже социальной категории. При считывании информации с произведения искусства, потребитель, в идеале имеет тот же самый (или очень близкий) набор знаний, а информация, которая считана из произведения искусства, является ключом к поиску внутри этого пласта культуры. Моделируя произведение искусства, нам не нужно моделировать все элементы культуры, однако, мы не можем не учитывать их. Виды искусств можно классифицировать по степени абстракции. Покажем на примере живописи. Так, если объект - произведение фигуративной живописи, например, на мифологический сюжет, то автор (и наша модель) должны «знать» и «уметь» считывать: - мифологию - поскольку изображён мифологический сюжет; - анатомию - поскольку изображены люди; - композицию - для комфортного расположения фигур в пространстве листа; - геометрию - для построения и пересечения (взаимодействия) фигур, а также перспективу; - оптику - для обеспечения нужного для восприятия света и цвета. Если объект - произведение абстрактной живописи, то наша модель опирается только на: - композицию, - геометрию, - оптику. Понятно, что список не полон, например, к этому необходимо добавить, например, психологию, чтобы уметь донести до «потребителя» эмоции, которые хотел заложить автор, но это как раз является темой исследования, и об этом дальше. 361 Главный вывод: чем абстрактнее вид искусства, тем меньше информации содержится в произведении искусства, моделируемом объекте. Музыка является наиболее абстрактным видом искусства, если вынести за рамки исследования нюансы исполнения и нюансы звучания или тембра конкретных музыкальных инструментов, то остаётся партитура - нотная запись, состоящая из нот, каждая из которых характеризуется всего лишь двумя числами: высотой и длительностью. Несомненно, звучание и нюансы исполнения являются важной частью музыкального произведения, но то, что мы сейчас их не рассматриваем - не является потерей. Мы всегда можем рассмотреть их отдельно и добавить обратно, кроме того, уже существуют модели (и работающие программные приложения), позволяющие сыграть электронные партитуры (в формате MIDI) в различных стилях, с различной подачей, характерной для какого-либо известного стиля или музыканта. Наша же задача - сконцентрироваться на моделировании музыкальных текстов - партитур. Основным методом будет декомпозиция путём поэтапного абстрагирования. Выявив некоторую закономерность, мы исключаем её из рассмотрения, это позволяет обнажить последующие закономерности. Мы всегда можем вернуть вычлененную закономерность и изучить её отдельно. Для анализа музыкальных текстов применим следующие методы: - измерение и квантование, - скрининг, - статистический анализ - поиск циклов, - поиск логики, - итеративность. Измерение и квантование. Входные данные необходимо измерить, т. е. сравнить с какой-либо дискретной шкалой. Шаг шкалы должен быть достаточно мелким, чтобы отражать тонкие изменения входных параметров, при увеличении шкалы мы получим, что некоторые близкие значения будут считаться одинаковыми. А бесконечное увеличение точности только увеличит объём данных для обработки. Измеряя частоту выходных звуков, можно остановиться на темперированной хроматической гамме. Если это необходимо, то мы всегда можем вернуться к конкретному использованному звукоряду, поскольку на этом этапе будет найдено однозначное соответствие. 362 Измеряя длительности нот, можно обнаружить, что все длительности кратны двум, и далее рассматривать только показатель степени 1 - целая, 2 - 1/2, 3 - 1/4, 4 - 1/8 и т. д. При необходимости мы можем добавить исключения: синкопы, триоли, форшлаги и проч. если они имеют значение, и изучать их отдельно. Скрининг (от англ. screen - решето). Рассматривая не все входные данные, а только соответствующие некоторым условиям, скриниг позволяет найти закономерности, скрытые большим потоком данных. Например, изучая статистически параметр «высота тона», имея на входе значения ступеней хроматической гаммы, мы можем обнаружить, что из 12 ступеней используется только 7 (для европейских ладов) или 5 (для азиатских или блюза). Построив матрицу отображения 7 на 12 (которое описывает конкретный лад!) и исключив неиспользуемые ступени, мы можем продолжить статистический анализ использования уже ступеней конкретной гаммы. Мы всегда можем включить или изменить это отображение, что позволяет делать эксперименты с ладом (например, автоматически сменить лад у уже существующей мелодии). Поиск циклов. Изучая входные последовательности по одному из параметров, или одновременно по обоим, можно обнаружить, что последовательности полностью или частично повторяется. Периоды могут быть кратны. Чтобы найти длину периода, можно построить целевую функцию идентичности, а затем, меняя величину тестового периода, отметить значения, для которых она будет иметь минимумы. Для полного повторения функция будет равна нулю. Для музыки характерны следующие периоды: такты, музыкальные фразы, куплеты, части. Статистический анализ. Здесь используется подсчёт вероятностей и условных вероятностей в зависимости от предыдущей ступени. На выходе - матрицы переходных вероятностей для ступеней гаммы. Поиск логики. В нашем случае можно попробовать увязать циклы и статистику между собой. Например, подсчитать вероятности в специфических местах относительно структуры циклов. Например, на концах тактов, фраз и куплетов. Музыканты знают, что на концах фраз наблюдается разрешение - статистика подтверждает это явление. 363 Итеративность. Подвергнув полученные результаты новому статистическому анализу, можно получить новые интересные результаты. Такой подход аналогичен нейронным сетям N-ого порядка, где порядок как раз и есть количество итераций исследований. Например, изучив матрицы переходных вероятностей, в них можно найти новые закономерности. Например, построив некоторые скалярные операторы, можно найти их корреляцию с экспертной оценкой характера музыкального фрагмента. Так, скученность значений вблизи главной диагонали матрицы говорит о монотонности мелодии. Преобладание больших значений выше главной диагонали - о тенденции к повышению тона и т. д. Более подробно построение модели музыкального фрагмента описано в диссертационной работе [6] и ряде наших статей (см., например, работы [3-5]). Инструментарий современных музыкально-компьютерных технологий [1; 2] позволяет нам организовать различные этапы моделирования данного трудноформализуемого процесса наиболее оптимальным способом. Модель позволяет работать как в сторону анализа, так и в сторону синтеза музыкальных фрагментов. Возможность вносить изменения в данные во время её работы, позволяет проводить экспертные исследования в процессе работы на слух. Возможности применения построенной модели музыкального произведения (фрагмента): - определение принадлежности существующего музыкального фрагмента к эпохе, стилю, композитору и этапу творчества, - восстановление утраченных фрагментов музыкальных произведений, - эксперименты в области музыки, - помощь композитору, создание новых стилей, - помощь педагогам-музыкантам в понимании структуры музыки, свежий взгляд на композицию, - эксперименты в области психологии восприятия музыки. Возможности применения разработанного подхода к различным трудноформализуемым областям, среди которых выделим: - различные виды искусства: например, живопись, поэзия, литература; - создание особым образом организованную образовательную среду для реализации системы инклюзивного музыкального образования (см. подробнее 364 в работах группы сотрудников учебно-методической лаборатории «Музыкально-компьютерные технологии» РГПУ им. А. И. Герцена: [9; 10]), - анализ и моделирование любых абстрактных текстов, а также любых явлений, которые можно представить как абстрактный текст: модели погоды, расшифровка манускриптов на неизвестных языках, языки других животных, например, дельфинов, сигналов из космоса и др.