AIがヒューマンビートボックスを生成するWebサイト
「Neural Beatbox」は、ユーザーが収録した身近な音から、AIがリズムを生成することによって、人間とAIの共創がもたらす新しいインスピレーションの可能性を考察するプロジェクトです。 この作品では、ユーザーが収録した声やノイズ、拍手などの音をAIが各セグメントに分類し、キックやスネアといったドラムパートに割り当て、新しいリズムを継続的に生成していきます。リズム生成の過程で、AIが犯す適度な「まちがい」が、独特の音楽体験に繋がり、人間の創造的な表現を豊かにしていくインスピレーションを与えます。
日常の音を使い、AIが創造性の可能性を広げる本作品は、楽器を用いず、声や身体など人間が持っている音によって音楽を生み出すヒューマンビートボックスに近い要素を持っているとも言えます。 この作品では、収録した声や拍手など日常にある音を使い、AIが音楽制作を行うというプロセスを通し、人間自身の持つ創造性をどのように拡張していくかに焦点を当てました。
本作品は、音楽制作の文脈における機械学習の持つ可能性を示し、ユーザーとAIがよりインタラクティブに音楽制作を体験できるようデザインされています。
本作品はサーバ上のシステムとWebブラウザ上で動くクライアント・アプリケーションから構成され、バックエンドでは、サーバーの役割は2つのパートに分けられます。
Webクライアント上でユーザーが録音・録画した声やノイズのデータを受信し、それらを意味のあるセグメントに分割。ドラムの音色で学習したニューラルネットワークの分類器を用い、キックやスネアといったドラムのパートに割り当てています。
ニューラルネットワーク (Variational Autoencoder)を用いて、MIDIのリズムパターンのデータセットを学習。この学習をとおし、段階的に変化していく多様なリズムパターンを生成します。生成されたリズムは、1.で分類された各ドラムの音色を用いて、録画したビデオと共にWebアプリケーション上で再生されます。
2019年、Barbican Centreで行われた展示では、Neural Beatboxのシステムは展示用インスタレーションに最適化され、シンプルなインターフェースとインタラクションを設計しました。
2020年、複数のユーザーが参加できる機能をアップデートし、オンライン上で楽しめるWebアプリケーションとしてデザインを再設計しました。
Neural Beatbox for Multi Session (2020)
ビートが生成されるたびに、選ばれたビート数によって、毎回異なるレイアウトがダイナミックに生成されます。3つのテーマカラーはセッションに入るたびに変化し、各テーマの中でもユーザーごとにカラーが割り振られ、ユーザー同士のビートが重なり合う様子を視覚的に感じられる設計を試みています。
Neural Beatbox for Barbican Centre (2019)
鑑賞者とAIとのコラボレーションによる音楽制作体験を提供するため、より直感的なインターフェイスのデザインを試みています。Alvaro Arregui(Nuevo.Studio)とコラボレーションを行い、音楽のダイナミックさを反映したアニメーションのセットを開発しました。
Date | Title | Place |
2019/05 – 2019/08 | AI: More than Human | Barbican Centre, London UK |
Robin Jungers (Qosmo, Inc.)
Bogdan Teleaga (Qosmo, Inc.)
Nao Tokui (Qosmo, Inc.)
Christopher Mitcheltree (Qosmo, Inc.)
Naoki Ise (Qosmo, Inc.)
Chisaki Murakami
Sakiko Yasue (Qosmo, Inc.), Yumi Takahashi (Qosmo, Inc.)
JEMAPUR
Nao Tokui (Qosmo, Inc.)
Max Frenzel (Qosmo, Inc.)
Robin Jungers (Qosmo, Inc.)
Alvaro Arregui (Nuevo.Studio)