SONIC PENDULUM with Yuri Suzuki

OVERVIEW

Qosmoとサウンド・アーティスト Yuri Suzukiさんのコラボレーションワーク 「SONIC PENDULUM」が、ミラノデザインウィーク Audi City Labにて展示されました。期間は2017年4月4日から9日まで。

会場はイタリア・ミラノの歴史ある修道院。設置された30個の振り子型スピーカーからは、会場の環境音のピッチを解析しAIが生成したエンドレスなメロディーが流れます。スピーカーから流れる音はそれぞれ異なり、振り子の動きも相まって鑑賞する場所によって聴こえ方が異なるサウンドインスタレーションです。

---

TECHNOLOGY

本作品では、サウンド生成システムにニューラルネットワークの一種「Autoencoder」（入力したデータをより少ない次元で表現した上で、入力に近いデータを出力するように学習を進めるモデル）を採用しました。会場に設置したマイクで振り子から出ている音や、観客の足音や話し声などの環境音を拾い、その音程を解析。その結果をフィードバックされたハーモニーとして再びAutoencoderに入力し、また新たなハーモニーが生成する。これを繰り返し続けることで、エンドレスに揺らぎと平衡状態のバランスが保たれたサウンドが生成されます。

さらに、会場の状況によって音に揺らぎを持たせるため、「鑑賞者の数」をトリガーに前述した出力されるメロディに変化を加えました。設置したWebカメラの画像から「畳み込みニューラルネットワーク（Convolutional Neural Network: CNN）」を用いて鑑賞者数をカウントし、鑑賞者が増えれば増えるほど入力されたメロディーからずれた（ゆらぎの大きい）メロディーが出力されるよう設計しました。

---

Key Visual: Photo by YuriSuzuki©

---

LINKS

---

CREDITS

• Concept

  Yuri Suzuki

• Deep Learning / Sound Analysis

  Nao Tokui (Qosmo, Inc.)

• Sound Engineering

  Manabu Shimada

• Multi Channel Sound System

  Ray Kunimoto

• Voice

  Miyu Hosoi (Qosmo, Inc.)