10 нейросетей для генерации и обработки музыки и вокала

Как работают нейросети для создания музыки?

Человек при работе над новой композицией преимущественно комбинирует элементы известных ему треков, экспериментирует, добавляет в звучание что-то новое. Нейронные сети делают то же самое, но намного быстрее музыканта и используют больший объём информации – прослушанных песен. Композиция состоит из тысяч элементов, которые сложно скомбинировать с учётом темпа, ритма, динамики, вокальных партий и звучания вокала, и количество их комбинаций исчисляется сотнями миллионов. Вместо генерации отдельных нот искусственный интеллект сразу выдаёт целые конструкции, чем в разы уменьшает объём обрабатываемой информации.

Для генерирования звука нейронная сеть изучила множестве примеров и по запросу пытается сделать что-то в их стиле. При этом в паре работают генератор и дискриминатор. Первый находит типичные паттерны в упрощённой форме, затем развёртывает их, воссоздавая мелодию с последующим удалением звуков, которые человек не услышит. Дискриминатор прослушивает мелодию и по ряду критериев определяет, реальная она или создана при помощи ИИ. Если обнаружит присущие сгенерированному контенту паттерны – забракует, и процесс создания начнётся заново. Потому порой он длится долго.

Попробовать: https://suno.com/home

• Стоимость: от $8/мес. 
• Пробный период: бесплатно 50 кредитов (10 треков).
• Основные функции: создание полных песен из текста, разделение на вокал и инструменты, добавление нового вокала/инструментов, продвинутое редактирование.

На платформе создают полноценные песни десятков жанров с вокалом и инструментами из текстовых описаний. Нейросеть генерирует оригинальные композиции за минуты, предоставляя полный контроль над работой. Вы можете выбирать жанр, настроение, стиль, работать с треками на уровне секций, причем длительность композиций может достигать 8 минут. 

Система разделяет готовую песню на 12 вокальных и инструментальных стемов с целью доработки в DAW. Авторы контента высоко ценят функции загрузки собственных наработок: инструментальной части (одного или нескольких инструментов с возможностью генерирования звучания других), вокальных партий, переписывания части трека по текстовому запросу.

 Сайт: https://www.aiva.ai/

• Стоимость: бесплатно – 3 трека в месяц или от €15/мес.
• Пробный период: без ограничений по времени.
• Основные функции: создание треков в 250+ стилях, их редактирование, загрузка образцов, экспорт в MP3/MIDI/WAV, контроль темпа и настроения.

Первый AI-композитор, получивший официальное признание от SACEM, основанный в 2016 году – до бума генеративного искусственного интеллекта. AIVA обучали на четырёх столетиях классических шедевров, включая Моцарта, Бетховена и Баха, поэтому она детально анализирует гармонические прогрессии и мелодические ритмы треков для написания оригинальной музыки с полным контролем над эмоциональным содержанием и стилем, с чем придётся попрактиковаться.

Нейронная сеть выдаёт контент длительностью до 5 минут в 250+ направлениях на основании текстового запроса. С целью повышения релевантности звучания в ней можно контролировать темп, настроение, загрузку MIDI или аудиофайлов для создания треков по образцу. Позволяет скачивать результат в MP3, MIDI, WAV и устанавливать их длительность. Что радует, экспериментировать и творить можно в браузере, через мобильное и десктопное приложение. 

Официальный сайт: https://www.udio.com/ 

• Стоимость: от $8 ежемесячно.
• Пробный период: 10 кредитов ежедневно: 2–3 песни.

Инструмент от исследователей технологий ИИ, экс-сотрудников Google DeepMind и музыкантов. Он за десятки секунд превращает текстовые подсказки в профессиональные треки нужного жанра, настроения, стиля и тематики. Сразу делает несколько вариантов трека на основании референсов, умеет корректировать вокальные и инструментальные партии, записывать отсутствующие на аудиодорожке инструменты в соответствие с ритмом и содержимым трека. Комплексный подход позволяет писать тексты песен, причем без переключения между вкладками или меню, а также редактировать их.

Сайт: https://www.soundraw.io/

• Стоимость: $11/месяц.
• Пробный период: бесплатный план с ограниченными возможностями.
• Основные функции: создание генерирование песен в любых жанрах, редактирование инструментов и темпа, смешивание жанров, экспорт стемов в DAW, загрузка треков.

SOUNDRAW — защищённая от притязаний на авторские права нейронная сеть, поскольку обучена на собственных оригинальных композициях, записанных в студиях компании-разработчика. Права на сгенерированный контент остаётся у вас навсегда, причём для коммерческого использования. На платформе можно создавать новые треки в любом жанре на основании нескольких оригинальных композиций, смешивать жанры, контролировать процесс на всех этапах и скачивать музыку без ограничений.

Генерация десятка треков происходит на лету, причём вы можете управлять каждым блоком: добавлять новые, удалять, править мелодию, басы, барабанные партии, громкость, устанавливать длительность композиции без  DAW.

Сайт: https://www.mureka.ai/

• Стоимость:  от $10/месяц.
• Пробный период: 6 бесплатных песен каждый день.
• Основные функции: создание песен до 5 минут, три режима (из лирики, изображения, текста песни), разделение на стемы, загрузка ссылок как референсов.

На платформе создают полные композиции с лирикой и вокалом из промптов, изображений или собственных мелодий, причём текст песни система генерирует по запросу, в том числе похожий на указанный. Ассистент Agent Songwriting глубоко анализирует идеи (настроение, описание) и генерирует три креативных варианта в разных стилях с оригинальной лирикой, ориентированием на жанр и аранжировку. Платформа пишет тексты до 5000 символов, позволяет выбирать между вокалистами с мужских и женским голосом или загружать собственный с целью клонирования.

Mureka предлагает три режима создания текстов: из готового текста, изображения и из описания. Все правки почти готовой композиции проводятся в реакторе, где можно править отдельные строки, повторно генерировать части песни и расширять секции без переделки всей композиции. Для тонкого контроля над треком вы можете скачивать стемы (отдельные файлы вокала, барабанов, баса, инструментов) для дальнейшей обработки в DAW.

Сайт: https://www.loudly.com/

• Стоимость: от $8/мес.
• Пробный период: бесплатный план с ограничениями: 30 секунд, 10 загрузок.
• Основные функции: генератор музыки по жанру/настроению/запросу, загрузка собственного аудио, генерирование сэмплов, загрузка треков на Spotify, Apple Music, YouTube.

Loudly — относительно бесплатная нейросеть с массой настроек. Она собирает треки на основании текстовых запросов с возможностью:

• выбрать жанр из ~20 доступных;
• ввести длительность трека;
• указать инструменты и их количество (до 5 штук);
• задать темп, структуру, настроение трека;
• загрузить собственный аудиофайл в качестве образца. 

Встроенный редактор при помощи ИИ разделит трек на составляющие: вокал, барабаны, синтезаторы, пианино, акустическая или электронная гитара и позволяет скачивать их, чем облегчает написание ремиксов. Генератор семплов поможет создавать роялти-фри, звуки для игр, видеороликов по промпту с последующим экспортом в WAV. При необходимости, вы можете поделиться работой на цифровых платформах, социальных сетях.

Сайт: https://my.soundful.com/ 

• Стоимость: от $5/мес.
• Пробный период: есть бесплатный тариф с ограничениями: 1 загрузка в месяц, доступ к 25+ стилям.
• Основные функции: выбор жанра/настроения/стиля, регулирование BPM, экспорт в MIDI.

Генерирует треки в десятках стилей и жанров: похожие на выбранные или с нуля по десятку параметров: ключи, длительность, NPM, скорость воспроизведения, музыкальный лад и прочие . Кроме полноценных треков Soundful генерирует короткие фоновые мелодии и звуковые эффекты, включая созданные при помощи одного инструмента, например, ударных. Работы можно скачивать в разных форматах (бесплатно только в MP3), включая STEMS и ABL (формат Ableton Studio) и доработать вручную. 

Сайт: https://studio.moises.ai/ 

• Цена: от $2.33 ежемесячно.
• Пробный период: Free план с 5 аудио-разделениями в месяц, загрузка до 5 минут.
• Основные функции: разделение трека на инструменты и вокал, удаление вокала, определение BPM и аккордов, изменение высоты тона, мастеринг.

Moises — платформа для тех, кто хочет начать писать собственные треки, а также музыкантов. Он создаёт новые композиции и делит на стемы (голос, ударные, струнные, бас, гитара и иные инструменты) загруженные, что позволяет дорабатывать треки, делать их ремиксы, миксы, извлекать вокал, причем каждый канал в отдельную звуковую дорожку. При этом точно определяет жанр даже редких треков по их содержимому благодаря глубокому интеллектуальному анализу. Вы загружаете трек с ПК или облака, выбираете, что с ним сделать, а через минуту-две получаете редактируемый файл. Кроме того, система умеет извлекать из треков аудиоэффекты для применения в других проектах.

Наверно, одна из основных особенностей Moises – функция генерирования инструментальной части, похожей на инструменталку загруженной песни: отдельно запишет барабанную, гитарную партию, басы, струнные инструменты, звучание скрипки на основании референса с возможностью выбирать окружающую обстановку и стиль звучания. Voice Studio добавит вокал на основании образца – сгененирует ваш голос, а модуль Мастеринг поможет свести всё в единую гармоничную композицию. 

Сайт: https://vocalremover.easeus.com/ 

• Стоимость: от $9,67/мес.
• Пробный период: можно обработать 6 минут аудио.
• Основные функции: удаление/извлечение вокала, разделение стемов, ИИ-мастеринг, удаление эха, реверберации, генерирование музыки.

Изначально созданная для удаления вокала, но ставшая универсальной, платформа для работы с аудио. Умеет экспортировать и удалять вокал и инструментальную часть из загруженных треков, разделять их на стемы, проводить мастеринг с применением интеллектуальных инструментов. В плане повышения качества EaseUS отлично избавляется от эффектов эха, а также добавляет пространственное звучание.

Генератор текста напишет лирику для композиции по текстовому описанию, причём вы можете указать её настроение, стиль и язык (нейросеть генерирует тексты песен даже на русском языке). Результат работы можно править вручную во встроенном редакторе с функциями поиска синонимов и подбора слов для рифмы. Для комплексной обработки треков и аудиозаписей нейронная сеть предлагает шумоподавление, преобразователь тона, изменение голоса и даже транскрибацию видео с YouTube.

Сайт: https://revocalize.ai/

• Стоимость: от $9 /мес.
• Пробный период: есть.
• Основные функции: ИИ-мастеринг треков, выбор жанра, улучшение звучания.

Сервис интеллектуального мастеринга, придающий трекам чистое профессиональное звучание с глубоким предварительным анализом композиции по жанру. Работает с файлами размером до 100 МБ: загруженными с устройства или YouTube, предлагает 12 шаблонов для мгновенного сведения или ручное задание настроек. Благодаря VST-плагину интегрируется в популярные DAW.

Сайт: https://www.beatoven.ai/

• Пробный период: можно сгенерировать 30 треков. 
• Основные функции: генерирование, управление темпом и интенсивностью, загрузка стемов.

Генератор уникальной музыки для фона – оформления видео, подкастов, прямых трансляций, игр или иного контента. Вы можете создавать аудиодорожки на основании референсов или с нуля по текстовому запросу с заданием уровня креативности, степени соответствия оригиналу и прочих параметров. Предлагает две модели генерации: точную Composer и быструю Maestro с 16 эмоциональными оттенками в различных стилях и жанрах. Кроме фоновых мелодий создаёт и аудиоэффекты.

• Загрузка видео и аудио для синхронизации и интеграции музыки с содержимым.
• Скачивание отдельных стемов (барабаны, бас, мелодия) для продвинутого редактирования.
• Управление продолжительностью темпом трека и его интенсивностью.
• Монетизация треков на любой площадке.
• Работает с дорожками длительностью до 15 минут.

Лучшие нейросети для генерирования и редактирования музыки изменили индустрию лишь слегка: музыканты и композиторы без работы не остались, хотя у ряда фрилансеров её действительно стало меньше. Зато каждый желающий может написать для себя трек и довести его до ума без глубоких познаний в обработке цифрового звука. А талантливые специалисты получают возможность ускорить работу, разнообразить её результаты, а значит, высвободить немного времени для иной деятельности и увеличить заработок за счёт продажи треков на стоках и специализированных платформах.