Pioneer DJ rekordbox

OVERVIEW

Pioneer DJブランドでDJ機器・ソフトウェアを展開するAlphaTheat株式会社との共同研究。楽曲の中でのボーカルの有無と位置を検出する深層学習モデルを開発し、同ブランドのDJ向けソフトウェアに提供しました。

BACKGROUND

「この曲はスタートから16小節でボーカルが入ってくる…」

「こっちは8小節目からコーラスが…」

レコードとターンテーブルのみでミックスをしていた往年のDJたちは、みんな必死になって曲ごとにボーカルの位置を記憶してきました。

歌やラップが入っているハウスやヒップホップなどの曲を扱うDJにとって、曲のボーカルに別のボーカルをかぶせてしまうミックスは、一番避けたいことのひとつであるからです。
近年はデータを使ったDJが一般的になり、波形が可視化されるようになったことで、曲の構造の視認性は格段に向上してきています。しかし、それでも波形のみからボーカルの位置を識別することは簡単ではありません。

TECHNOLOGY

AlphaTheta株式会社との共同研究をおこなったこのプロジェクトで、Qosmoは、曲の中でのボーカルの有無とその位置を検知する仕組みを開発しました。深層学習(Deep Learning)を用い、ボーカル(歌、ラップ、コーラスなど)を含んだ曲・含まない曲それぞれのデータを学習することで、曲のどこにボーカルが含まれているのかを予測することが可能となります。学習するデータは主にスペクトログラムと呼ばれる周波数の時間分布を表すグラフです。

検出されたボーカルの位置は、ソフトウェア上の波形にオーバーレイされて表示されるため、DJは楽曲中のボーカルの位置を一目で把握し、ミキシングなどのパフォーマンスに活用することができます。

今回開発されたエンジンは、新しくリリースされた Pioneer DJ rekordbox for Mac/Windows (ver. 6.0.1)に搭載されています。
将来的には、弊社が長年取り組んでいるAI DJ Projectにも同様の技術を応用していきたいと考えています。

Qosmoは、AI技術を用いてアーティストやミュージシャンの表現の拡大に寄与することを目的のひとつとして活動しています。今回、共同研究として培った技術が製品としてリリースされ、たくさんのDJの手元に届くことは、弊社にとっても大きな喜びです。
本サービスがアーティストやミュージシャンの創造を手助けするツールのひとつとなることを願っています。

---

LINKS

---

CLIENT

---

CREDITS

• Machine Learning / Technical Direction

  Nao Tokui (Qosmo, Inc.), Max Frenzel(Qosmo, Inc.)

• Project Management 

  Jun Kato (Dentsu Craft Tokyo), Yumi Takahashi (Qosmo, Inc.)

---

PRODUCT

こちらのプロジェクトはQosmo Music & Sound AIを使用しています。