Unsettled Music

OVERVIEW

「Unsettled Music」は、Qosmoでの実験的な取り組みをシリーズでご紹介する場です。音楽・グラフィックス・機械学習などを組み合わせて実装した小作品を、数週間ごとに公開してきました。このプロジェクトは、社外のリサーチャー、アーティスト、デザイナーなどとの自由なコラボレーションを生み出すフレームワークとなることを目指しています。AIやオーディオビジュアルをテーマに自由な探求ができることを目的に、ギャラリーのようにそれぞれの作品が独立した空間を持ちます。

TECHNOLOGY

Qosmoチームは、音楽制作を中心としたプロジェクトや、データビジュアライゼーションを用いたプロジェクトなど、さまざまな活動を行っていますが、その中で生まれたアイデアや実験的に制作したソフトウェアのいくつかは使われないままでした。ここで紹介する作品達は、テーマや技術を徹底的に追求し完成させたアイデアではなく、“不確かさ（Unsettledness）” を含めたままの作品です。これは結果そのものよりも開発のプロセスに重きを置いているためです。AI技術の限界を探ると、その過程の中でしばしば奇妙な出力を発見することがあり、その奇妙さこそが、人間の創造性を掻き立てる好奇心の源であるという考えに基づいています。

ウェブブラウザ

ここ数年、ウェブブラウザは、最新技術を簡単に利用でき、初期のプロトタイプであってもオンラインで誰でも試すことができるという利点があり、メディアアートのプラットフォームとして注目されています。このプロジェクトの1つめの技術的要素は、ビジュアル レンダリング エンジンです。ウェブブラウザは何年も前からWebGLによってハードウェアアクセラレーションによるグラフィックスをサポートしていますが、Three.jsはその上に構築された最も有名なライブラリで、このプロジェクトでも使用しています。

オーディオフレームワーク

2つめの技術要素は、オーディオフレームワークです。ここでもまた、充実したWebオーディオAPIの上に、Tone.jsのようなライブラリがあり、開発者は自然な方法でサウンドパフォーマンスをデザインすることができます。Essentiaのような他のライブラリもWebAssemblyを利用して、高度な分析アルゴリズムを非常に効率的に実装しています。

機械学習

最後の、そして最も扱いが難しい技術要素は、機械学習です。特にハードウェアアクセラレーションとTensorFlow.jsライブラリのおかげで、ブラウザ上で完全に動作するリアルタイムAIシステムを開発するためにJavascriptを採用しています。ほとんどの最新デバイスで動作可能ですが、モデルの実行はすべてのマシンで一貫して高速というわけではないため、AIシステムによって出力されるモーションやサウンドのタイミングを確実に予測することは困難です。また、モデルのサイズにも問題があります。ハードドライブでは数メガバイトは読み込み時間にあまり影響しませんが、インターネットの接続状態が悪いと、読み込みに数分かかることもあります。そのため、このプロジェクトの機械学習ベースの実験は、多くのユーザーがアクセスできるように、一部のデータを事前に生成するなど、最適化されたものを提供しています。Javascriptを使用することで、Node.js環境の一部としてオフラインでシームレスに動作させることができ、すべてを一箇所にまとめておくことができます。

今後の実験では、機械学習のさまざまな側面を探っていきたいと考えています。それぞれのトピックは実際にはAIにほとんど触れていないものもありますが、テクノロジーやソフトウェアの限界を追求し、それを視聴覚的に可視化していくことに挑戦します。また、チーム外の研究者やアーティスト、デザイナーとコラボレーションし、対話を通して彼らのアイデアを試すためのフレームワークを提供したいと考えています。

インタラクティビティ

各作品において、パフォーマンス上の問題を避けるために様々なパラメータを最適化しています。しかし、オーディオとビジュアルについては、ユーザーがブラウザ上でダイナミックに探求ができるように工夫をしています。具体的には各作品ページにあるスライダーを使い、ひとつのパラメータをユーザー自身が動かしながら、オーディオとビジュアルの“不確かさ（Unsettledness）”度合いを変更できます。このインタラクティブ機能は全ての作品で体験することができます。AIの文脈においては、どれだけ標準値から離れたところを指定するかを意味します。標準値に近づけば、より期待通りの出力が得られますが、そこから離れていくと、モデルは予想外の結果を出し始めます。この独自の「Unsettledness」スライダーを使うことで、慣れ親しんだクリーンなものから実験的でノイジーなものまで、幅広いバリエーションを体験することができます。

---

CREDITS

Nested Cycles

• AI Research & Development

  Bogdan Teleaga, Christopher Mitcheltree

• Sound Design

  Nao Tokui

• Web Development

  Robin Jungers

• Design

  Naoki Ise

• Project Management

  Yumi Takahashi

Broken Sample

• AI Research & Development

  Andrew Fyfe, Bogdan Teleaga

• Web Development

  Robin Jungers

• Design

  Naoki Ise

• Project Management

  Yumi Takahashi

Negative Space

• AI Research & Development

  Andrew Fyfe, Bogdan Teleaga, Christopher Mitcheltree

• Web Development

  Robin Jungers

• Design

  Naoki Ise

• Project Management

  Yumi Takahashi