Ноты для midi клавиатура

отображение нот при нажатии клавиши на midi клавиатуре

Добрый день. Подскажите ПО чтобы можно было визуализировать в реальном времени ноту нажатой клавишы на midi клавиатуре, или опцию в каком-то ПО для этого. Нашел http://vmpk.sourceforge.net но оно показывает в буквенном виде с ориентацией на клавиатуре, хочу символьное обозначение ноты на линейке. Кто встречал может?

Глянь Rosegarden © и MuseScore ©.

отображение нот при нажатии клавиши на midi клавиатуре

Такая проблема. Нажимаешь и отпускаешь клавишу на миди-клавиатуре, а састейн продолжает идти, как будто залипла клавиша. Проблема имеет место быть в реакторе, аблетоне и Plogue Bidule. В кубейзе все отлично. Мониторил входящие миди-сообщения в Bidule, при нажатии клавиши поступает сообщение Note On, а при отпускании НЕ ВСЕГДА поступает сообщение Note Off, посему и продолжается састейн. А также иногда (в том же Bidule) при нажатии на клавишу сразу поступает сообщение Note Off, то есть звука не происходит. Повторюсь, что в Кубе все прекрасно работает без задержек и четко, а вот в этих прогах такая канитель. В чем проблема, кто поможет?

Источник

Музыкальный пример

В этой главе мы напишем музыкальный секвенсор. Мы будем переводить нотную запись в midi-файл с помощью библиотеки HCodecs . Она предоставляет возможность создания midi-файлов по описанию в Haskell. При этом описание напоминает описание самого формата midi. Мы же хотим подняться уровнем выше и описывать музыку нотами и композицией нот.

Музыкальная нотация

Для начала зададимся выясним: а что же такое музыка с точки зрения нашего секвенсора? Мы ищем представление музыки, термины, в которых было бы удобно мыслить композитору. При этом необходимо понимать, что наш поиск ограничен средствами низкоуровневого представления музыки. В нашем случае это midi-файл. Так например мы можем сразу отбросить представление в виде сигналов, последовательности сэмплов, поскольку мы не сможем реализовать это представление в рамках midi. За ответом обратимся к истории.

Нотная запись в европейской традиции

В европейской традиции принято описывать музыку в виде нотной записи. Нотный лист состоит из серии нотных станов. Нотный стан состоит из пяти линеек. Каждая линейка обозначает определённую высоту. Нота состоит из обозначения длительности и высоты. Разные длительности обозначаются штрихами и цветом ноты, а высоте соответствует расположение на нотном стане.

Буквенные обозначения высоты ноты

По длительности ноты различают на: целые, половины, четверти, восьмые, шестнадцатые и так далее. Каждая последующая длительность в два раза меньше предыдущей. Длительность измеряется в долях от такта. Такты обозначаются сплошной линией, которая перечёркивает все пять линеек нотного стана. По высоте ноты, зависят от двух целых чисел, это номер октавы и номер ступени лада. В ладе обычно всего 12 ступеней. Их обозначают разными именами. Например в латинской нотации их обозначают так:

В самом нижнем ряду расположены имена нот. Во втором и четвёртом – обозначения нот с диезами и с бемолями. Одна и та же нота может обозначаться по-разному. Буквами обозначают ноты тональности до мажор (это семь букв для семи нот), а остальные ноты получают повышением на один шаг с помощью знака диез $#$ или понижением на один шаг с помощью знака бемоль $b$ .

Также ноты различают по громкости. В европейской традиции считается, что громкость изменяется не часто в сравнении с высотой и длительностью, поэтому для обозначения громкости введены специальные символы, которые пишутся под нотным станом, только когда громкость изменяется.

Из этого обзора мы поняли, что единицей музыкальной записи является нота, она состоит из обозначения длительности, высоты и громкости. Высота в свою очередь состоит из обозначения октавы и ступени лада. Теперь давайте посмотрим крупным планом на протокол midi .

Протокол midi

Протокол midi появился в ответ на бурное развитие синтезаторов. Каждый из синтезаторов предлагал свои тембры, при этом люди задумались, а нужна ли синтезатору клавиатура? Вопрос кажется абсурдным, если мы думаем об одном синтезаторе, но представьте, что у вас их десять, в каждом свой чем-то особенный тембр. При этом нам нужно десять разных тембров, но мы вынуждены таскать за собой десять примерно одинаковых клавиатур. Для того чтобы отделить тембр от управления (нажатия на клавиши игроком) был придуман протокол midi. Протокол midi описывает специфическую для нажатия на клавиши информацию. Производители тембров или генераторов тона, могут научить генератор тона понимать midi. При этом мы можем сделать отдельную клавиатуру, которая не имеет собственного генератора тона, но умеет посылать сообщения протокола midi, так мы сможем управлять десятью генераторами тона от разных производителей с помощью одной клавиатуры. Такие клавиатуры называют midi-клавиатурами.

Познакомимся с терминологией midi. Протокол midi рассчитан на управление синтезаторами в режиме реального времени. Можно сказать, что midi-файл – это история концерта или выступления, низкоуровневая нотная запись. Каждое движение игрока кодируется событием. Например нажатие на клавишу, отпускание клавиши, сила давления на клавишу в определённый момент времени, нажатие педали, поворот реле или смена тембра.

Протокол midi изначально задумывался как расширяемый протокол. Каждый производитель тембров имеет возможность добавить какие-то особенные настройки. При этом те сообщения, которые данный генератор тона не понимает просто игнорируются. Наш секвенсор будет понимать такие события как нажатие на клавишу и отпускание клавиши. Также у нас будут разные инструменты.

Установим библиотеку HCodecs с Hackage :

Теперь заглянем на страницу документации этого пакета (на сайте Hackage), нас интересует модуль Codec . Midi , ведь мы хотим создавать именно midi-файлы. Здесь мы видим описание протокола midi, закодированное в типах. Посмотрим на тип Message , он описывает midi-сообщения. В первую очередь нас интересуют конструкторы:

Восклицательные знаки перед типами означают взрывные шаблоны, о которых мы говорили в главах о ленивых вычислениях. Конструктор NoteOn обозначает нажатие клавиши на канале Channel с высотой Key и уровнем громкости Velocity . Конструктор NoteOff обозначает отпускание клавиши, параметры имеют тот же смысл, что и в случае NoteOn .

Думаю что такое высота и громкость примерно понятно, но что такое канал? Считается, что один исполнитель может управлять сразу несколькими генераторами тона. Управление распределяется по каналам. На каждом канале мы можем управлять отдельным инструментом. Немного о высоте и громкости. Они кодируются целыми числами из диапазона от 0 до 127. Ноте до первой октавы ( $C$ ) соответствует цифра 60, ноте ля первой октавы ( $A$ ) соответствует номер 69. Одно число кодирует сразу и октаву и ступень лада.

Может показаться странным параметр Velocity в конструкторе NoteOff , он обозначает отпускание клавиши с определённой громкостью. Обычно этот параметр игнорируется и в него записывают среднее значение 64 или начальное значение 0.

Также мы будем играть разными инструментами. Инструменты в протоколе midi называются программами. Мы можем установить определённый инструмент на данном канале с помощью сообщения:

Целое число Preset указывает на код инструмента. Теперь посмотрим, что же такое midi-файл:

midi-файл состоит из трёх значений. Это обозначение типа файла:

По типу midi-файлы могут различаться на файлы с одним треком, файлы с несколькими треками, и файлы, которые содержат группы треков, которые называют узорами (pattern). По смыслу трек соответствует партии инструмента.

Тип TimeDiv кодирует скорость записи сообщений. Различают два варианта:

Первый конструктор говорит о том, что разрешение времени закодировано в формате PPQN, он указывает на число ударов в одной четвертной длительности. Второй конструктор говорит о том, что разрешение кодируется в формате SMPTE, оно указывает на число кадров в секунде.

Теперь посмотрим, что такое трек:

Трек это список событий с временными отсчётами. Время в midi отсчитывается относительно предыдущего события. Например в следующей записи три события произошли одновременно и затем спустя 10 тактов произошли ещё два события:

Музыкальная запись в виде событий

Писать музыку в виде событий midi очень неудобно, пусть даже и через HCodecs , необходимо придумать надстройку над протоколом midi. Я долго думал об этом и в итоге пришёл к выводу, что наиболее простой и податливый способ представления музыки на нотном уровне реализован в языке Csound. Там ноты представлены в виде последовательности событий. Каждое событие начинается в определённый момент и длится некоторое время. Событие содержит код инструмента и набор параметров, которые могут включать в себя громкость, высоту звука и какие-то специфические для данного инструмента настройки. Обязательными параметрами события являются лишь номер инструмента, который играет ноту, начало события и длительность события. Мы ослабим эти ограничения. Событие будет содержать лишь время начала, длительность и некоторое содержание.

Параметр t символизирует время, а параметр a – некоторое содержание события. Мы будем говорить, что в некоторый момент времени произошло значение типа a и оно длилось некоторое время. Треком мы будем называть набор событий, которые длятся определённой время:

Первый параметр указывает на общую длительность трека, а второй содержит события, которые произошли. Мы явно указываем длительность трека для того, чтобы иметь возможность представить тишину. Значение тишины будет выглядеть так:

Этим мы говорим, что ничего не произошло в течение t единиц времени.

Преобразование событий во времени

Наши события привязаны ко времени. Мы можем ввести линейные операции, которые будут изменять расположение событий во времени. Самый простой способ изменения положения это задержка. Мы можем задержать появление события, прибавив какое-нибудь число ко времени начала события:

Ещё одно простое преобразование заключается в изменении масштаба времени, в музыке или анимации этой операции соответствует перемотка. Событие начинает происходить быстрее или медленнее:

Для изменения масштаба времени мы умножили временные параметры на число s . Эти операции мы можем перенести и на значения типа Track .

Класс преобразований во времени

У нас есть аналогичные операции преобразования во времени для событий и треков, это говорит о том, что мы можем ввести специальный класс, который объединит в себе эти операции. Назовём его классом Temporal (временной):

В этом классе определён один тип, который обозначает размерность времени, и три метода в дополнении к методам delay и stretch мы добавим метод dur , мы будем считать, что всё что происходит во времени конечно и с помощью метода dur мы всегда можем узнать протяжённость значения их класса Temporal во времени. Для определения этого класса нам придётся подключить расширение TypeFamilies . Теперь мы легко можем определить экземпляры класса Temporal для Event и Track :

Композиция треков

Определим две полезные в музыке операции: параллельную и последовательную композицию треков. В параллельной композиции мы играем два трека одновременно:

Теперь общая длительность трека равна длительности большего из треков, а события включают в себя события каждого из треков. С помощью преобразований во времени мы можем определить последовательную композицию, для этого мы сместим второй трек на длину первого и сыграем их одновременно:

При этом у нас как раз и получится, что мы сначала сыграем целиком трек a , а затем трек b . Теперь определим аналоги операций =:= и +:+ для списков:

Мы можем определить в терминах этих операций цикличный повтор событий:

Экземпляры стандартных классов

Мы можем сделать тип трек экземпляром класса Functor :

Мы можем также определить экземпляр для класса Monoid . Параллельная композиция будет операцией объединения, а нейтральным элементом будет тишина, которая длится ноль единиц времени:

Ноты в midi

С помощью типа Track мы можем описывать всё, что имеет свойство случаться во времени и длиться, мы можем описывать наборы событий. Операции из класса Temporal и операции последовательной и параллельной композиции дают нам возможность собирать сложные наборы событий из простейших. Но для того чтобы это стало музыкой, нам не хватает нот.

Так построим их. Поскольку мы собираемся играть музыку в midi, наши ноты будут содержать только три основных параметра, это номер инструмента, громкость и высота. Длительность ноты будет кодироваться в событии, эта информация уже встроена в тип Track .

Итак нота содержит код инструмента, громкость и высоту и ещё один параметр. По последнему параметру можно узнать сыграна нота на барабане или нет. В midi ноты для ударных обрабатываются особым образом. Десятый канал выделен под ударные, при этом номер инструмента игнорируется, а вместо этого высота звука кодирует номер ударного инструмента. Теперь определимся с типами параметров:

Целые числа соответствуют целым числам в протоколе midi. Значения для типов Volume и Pitch лежат в диапазоне от 0 до 127.

Введём специальное обозначение для музыкального типа Track :

Синонимы для нот

Высота ноты

Музыкантам ближе буквенные обозначения для нот нежели коды midi. Определим удобные синонимы:

Эта функция строит трек, который содержит одну ноту. Нота длится одну целую длительность играется на инструменте с кодом 0 , на средней громкости. Параметр функции задаёт смещение от ноты до первой октавы. Определим остальные ноты:

Первая буква содержит буквенное обозначение ноты, а вторая либо s (от англ. sharp диез) или f (от англ. flat бемоль). Все эти ноты находятся в первой октаве, но смещением высоты на 12 единиц мы легко можем смещать эти ноты в любую другую октаву:

С помощью этих функций мы легко можем смещать группы нот в любую октаву. Функция higher принимает число октав, на которые необходимо сместить вверх высоту во всех нотах трека. Смещение высоты на 12 определяет смещение на одну октаву. Остальные функции определены в через функцию higher .

Длительность ноты

Пока что наши ноты длятся 1 единицу времени. Но нам бы хотелось иметь в распоряжении и другие длительности. Ноты других длительностей мы можем легко получать с помощью функции stretch , мы просто изменим масштаб времени и длительность всех нот изменится. Определим несколько синонимов:

Эти преобразования отвечают длительностям нот в европейской музыкальной традиции.

Громкость ноты

Пока мы умеем создавать ноты средней громкости, но мы можем определить преобразователи на манер тех, что изменяли высоту звука октавами:

Смена инструмента

Изначально мы создаём ноты, которые играются на инструменте с кодом 0, в протоколе General Midi этот номер соответствует роялю. Но с помощью класса Functor мы легко можем изменить инструмент:

Согласно протоколу midi в случае ударных инструментов высота звука кодирует инструмент. Поэтому в функции drum мы изменяем именно поле notePitch . Создадим также несколько синонимов для создания нот, которые играются на барабанах. В этом случае нам не важна высота звука но важна громкость:

Номер 35 кодирует “бочку”.

Паузы

Слово silence верно отражает смысл, но оно слишком длинное. Давайте определим несколько синонимов:

Перевод в midi

Теперь мы можем составить какую нибудь мелодию:

Мы можем составлять мелодии, но пока мы не умеем их интерпретировать. Для этого нам нужно написать функцию:

Мы реализуем простейший случай. Будем считать, что у нас только 15 инструментов, а все остальные инструменты – ударные. Мы запишем нашу музыку на один трек midi-файла, распределив 15 неударных инструментов по разным каналам. Ещё одно упрощение заключается в том, что мы зададим фиксированное разрешение по времени для всех возможных мелодий. Будем считать, что 96 ударов для одной четверти нам достаточно. Принимая во внимания эти посылки мы можем написать такую функцию:

Мы загрузили модуль Codec . Midi под псевдонимом M , так мы сможем отличать низкоуровневые определения от тех, что мы определили сами. Теперь перед каждым именем из модуля Codec . Midi необходимо писать приставку M .

В нашей упрощённой реализации на одном канале может играть только один инструмент. В самом начале мы назначим инструмент на канал с помощью сообщения ProgramChange . Для этого нам необходимо понять какому инструменту какой канал соответствует. В библиотеке HCodecs каналы идут от нуля до 15. Девятый канал предназначен для ударных. Представим, что у нас есть функция, которая распределяет нотную запись по инструментам:

Эта функция принимает нотную запись, а возвращает пару. Первый элемент содержит список списков нот для неударных инструментов, каждый подсписок содержит ноты только для одного инструмента. Второй элемент пары содержит все ноты для ударных инструментов. Представим также, что у нас есть функция, которая превращает эту пару в набор midi-сообщений:

Наши отсчёты времени записаны в виде значений типа Double , Нам необходимо перейти к целочисленным Ticks . Представим, что такая функция у нас уже есть:

Тогда функция toTrack примет вид:

Все три составляющие функции пока не определены. Начнём с функции tfmTime . Нам необходимо отсортировать события во времени для того, чтобы мы смогли перейти из абсолютных отсчётов во времени в относительные. Специально для этого в библиотеке HСodecs определена функция:

Также нам понадобится функция:

Она проводит квантование во времени. С помощью неё мы преобразуем отсчёты в Double в целочисленные отсчёты. С помощью этих функций мы можем определить функцию timeDiv так:

В этой функции мы сначала сортируем события во времени, затем переходим от абсолютных единиц к относительным и в самом конце производим квантование по времени. Функция sortBy сортирует элементы согласно некоторой функции упорядочивания:

Она принимает функцию упорядочивания и список. Мы воспользовались этой функцией, потому что нам необходимо отсортировать элементы списка сообщений по значению временных отсчётов. Функцию упорядочивания мы составляем с помощью специальной функции on , которая определена в модуле Data . Function . С этой функцией мы уже сталкивались, когда говорили о функциях высшего порядка, она принимает функцию двух аргументов и функцию одного аргумента и словно “подкладывает” вторую функцию под первую:

Теперь напишем функцию mergeInstr . Она устанавливает инструменты на каналы и преобразует события в последовательность midi-сообщений. При этом мы различаем сообщения для ударных и сообщения для всех остальных инструментов:

Имя instrs’ указывает на последовательность списков сообщений для каждого неударного инструмента. Функция setChannel принимает номер канала и список событий. По ним она строит список midi-сообщений. Определим эту функцию:

Первым событием мы присоединяем событие, которое устанавливает на данном канале определённый инструмент. По построению программы все ноты в переданном списке играются на одном и том же инструменте, поэтому мы узнаём идентификатор инструмента из первого элемента списка. У нас появилась новая неопределённая функция fromEvent она переводит сообщение в список midi-сообщений:

Определив эти функции, мы легко можем написать и функцию setDrumChannel она переводит сообщения для ударных инструментов в midi-сообщения:

Для ударных инструментов выделен отдельный канал. Считается, что все они происходят на 10 канале. Поскольку в библиотеке HCodecs первый канал называется нулевым, мы будем записывать все сообщения на девятый канал.

Мы переводим событие в два midi-сообщения, первое говорит о том, что мы начали играть ноту, а второе говорит о том, что мы закончили её играть. Функция clipToMidi приводит значения для высоты и громкости в диапазон midi.

Нам осталось определить только одну функцию. Эта функция распределяет события по инструментам. Сначала мы разделим события на те, что играются на ударных и неударных инструментах, а затем разделим “неударные” ноты по инструментам:

В этом определении мы воспользовались двумя новыми стандартными функциями из модуля Data . List . Функция partition разделяет список на пару списков. В первом списке находятся все те элементы, для которых заданный предикат вернул True , а во втором списке – все остальные элементы исходного списка:

Функция groupBy превращает список в список списков:

Если бинарная функция на соседних элементах исходного списка вернула True , то они помещаются в один подсписок. Эта функция используется для того чтобы сгруппировать элементы списка по какому-нибудь признаку. При этом для того чтобы сгруппировать элементы по идентификатору инструмента, мы сначала отсортировали события по значению идентификатора. После этого значения с одинаковыми идентификаторами стали соседними и мы сгруппировали их с помощью groupBy .

Функция first применяет функцию к первому элементу пары. Вот мы и закончили, можно послушать результаты. На самом деле остались два нюанса. В функции setChannel мы полагаем, что мелодия начинается в момент времени t = 0 , но на практике это может оказаться не так, мы можем сместить ноты функцией delay в отрицательную сторону. Тогда первые ноты будут содержать отрицательное время начала события. Но мы можем исправить эту ситуацию, сместив все ноты на время самой первой ноты, конечно смещать необходимо только в том случае если время окажется отрицательным:

Вызовем эту функцию сразу после функции trackEvents в функции groupInstr . Второй нюанс заключается в том, что каждый трек в midi-файле должен заканчиваться специальным сообщением, в библиотеке HCodecs оно обозначается с помощью конструктора TrackEnd . В самом конце необходимо добавить сообщение ( 0 , TrackEnd ) :

Теперь мы можем проверить, что у нас получилось. Создадим файл:

В функции out мы переводим нотную запись в значение типа Midi , затем сохраняем это значение в файле tmp . mid и в самом конце запускаем файл с помощью проигрывателя timidity . Вместо timidity вы можете воспользоваться вашим любимым проигрывателем midi -файлов. Теперь загрузим модуль Main в интерпретатор. Послушаем ноту до:

Далее следуют сообщения из проигрывателя timidity и долгожданный звук. Мы слышим ноту до, сыгранную на рояле. Наберём какую-нибудь мелодию:

Сыграем в два раза быстрее, на другом инструменте:

Сыграем канон. Канон это когда одна и та же мелодия ведётся в разных голосах с запаздыванием. Сыграем двухголосный канон:

Номера инструментов можно посмотреть по справке к протоколу General Midi. Это дополнение к протоколу midi определяет какие номера каким инструментам должны соответствовать. Звучит ужасно, но звучит!

Пример

Опираясь на примитивы композиции, которые мы определил в модуле Score , мы можем написать мелодию. Ниже приведён небольшой пример. Инструменты:

Уже сейчас мы можем загрузить эту партию в интерпретатор и послушать, вызвав out drums . Аккорды к мелодии:

Добавим в конце звук тарелки:

Соберём всё вместе и послушаем:

В конце стоит фиктивный элемент rest 0 для того чтобы было удобно глушить инструменты комментированием.

Эффективное представление музыкальной нотации

Реализация, которую мы рассмотрели не эффективна, Мы могли бы определить тип Track и по-другому. Мы очень часто пользуемся операцией delay через операцию line . Так в выражении:

Мы будем несколько раз обходить элемент s3 для каждого применения line . К примеру сначала мы смести все элементы на 3, потом сместим на 5, потом на 10, но вместо этого мы могли бы сразу сместить все элементы на 18 за один проход. Для этого мы можем закодировать преобразования событий во времени в типе Track :

Тип TList позволяет проводить быстрое объединение списков. Дополнительный конструктор TFun обозначает линейное преобразование списка во времени. Линейное преобразование кодируется двумя числами, это масштаб и смещение. Мы считаем, что события в конструкторе Single начинаются в момент времени 0 и длятся 1 единицу времени. Так например событие, которое произошло на 2 единице времени и длилось 4 единицы можно представить так:

Значение Tfm k d обозначает линейную функцию

Для того чтобы получить настоящие отсчёты по времени мы применяем её к временным координатам “не преобразованного” события, то есть события Event 0 1 a .

Единственное, что нам нужно для того чтобы встроить этот вариант в библиотеку это написать функцию:

И конечно переопределить все функции композиции. Но все сложные функции, которые отвечают за перевод из Track в Midi останутся прежними.

Краткое содержание

В этой главе мы построили секвенсор для создания midi-файлов. Мы воспользовались библиотекой HCodecs и создали над ней небольшую надстройку.

В нашей библиотеке примитивными конструкциями были события, параллельная композиция (одновременное воспроизведение) и преобразование событий во времени (сдвиг и масштабирование). Все остальные операции выражались через эти простейшие операции. Отметим, что есть и другие подходы. Например в библиотеках Haskore и Euterpea примитивными конструкциями является единичное событие (без отметок во времени) и параллельная и последовательная композиции. Подход, который мы рассмотрели в более общем виде реализован в библиотеках temporal — music — notation и temporal — music — notation — demo .

Упражнения

Попробуйте написать какую-нибудь мелодию.

Подумайте каких операций не хватает. Например было бы удобно иметь возможность вырезать из мелодии куски. Так в примере у нас остались хвосты от ударной секции, определите операцию, которая позволяет убрать лишнее.

Источник