ИИ научился различать в песнях вокал и мелодию. Инструмент называется Spleeter, это внутренняя технология стримингового сервиса Deezer.
Spleeter умеет делить трек на несколько составляющих. Максимум их может быть пять: бас, ударные, пианино, вокал и весь остальной фон. Пользователь загружает аудио, а на выходе получает несколько файлов.
title=""Changes" with split vocal and music tracks using the Spleeter library" width=740 height=555 src="https://www.youtube.com/embed/KPlmrq_rAzQ?feature=oembed" frameborder=0 allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen>
Spleeter работает на TensorFlow. По словам разработчиков, модель обучали на десятках тысяч песен. Пока она работает с перебоями, оставляет на дорожках артефакты.
Библиотека на основе нейросетей лежит на GitHub, она распространяется под лицензией MIT. Правда, чтобы пользоваться Spleeter, нужно минимально шарить в Python и TensorFlow. К тому же взаимодействие происходит через командную строку, интерфейса пока толком нет. Зато какие-то умельцы быстренько сделали веб-версию этой нейронки.