AIの活用による創造性の発展に取り組む株式会社Qosmo(本社:東京都目黒区、代表取締役社長:徳井直生、以下「コズモ」)は、音楽・サウンド分野において当社が蓄積してきたノウハウ・モデル・アルゴリズムを用いた製品群「Qosmo Music and Sound AI」の新たなラインナップとして「Video2Music(ビデオtoミュージック)」を提供開始します。本製品はコズモが独自に開発した深層学習型AIモデルが、入力された動画の内容に合った曲の候補をリストアップしてくれる技術を使用しており、これまでに多くのビデオクリエーターが長い時間を費やしてきたBGMの選択をAIが大幅に時間短縮してくれます。なお、本製品はB2Bでのご提供を目的としています。
動画の雰囲気にピッタリなBGMや、シーンの感情をうまく表現した楽曲を選曲するには幅広い音楽に関する知識が必要となります。また、映像に音楽が合っているかどうかは感覚的にしか評価できないため、個人個人による捉え方の差も大きく、多くの候補曲の中から様々な人の意見をもとに選曲を行う必要がありました。そのため、これまでビデオディレクターやクリエーターたちは、BGMの選曲に多くの時間を費やしており、弊社のユーザーヒアリングによると、発表作品の中では数秒しか使われない音楽の選曲に何時間もの時間が使われてしまうことも指摘されています。
本製品は、ユーザが動画をアップロードするだけで、瞬時に複数の選曲候補を見つけてくれます。候補曲数は自由に決めることができ、それぞれの候補曲はマッチ度でランク付けされます。これらの候補曲には一定の類似性がある一方で、ある程度のばらつきも存在するため、最終的には製作者のセンスや意図も加味した選曲を行うことができるようになっています。
本製品の主な特徴は次のとおりです:
Video2Musicが活用できるシーンは様々ですが、下記にいくつか例をあげます
大量にあるストック音源やストック動画からユーザーが探し物を見つけるためにはタグや検索ワードなどが使われていますが、そもそも探している曲のイメージが無いユーザにはあまり有効な手段になりえません。Video2Musicは「この動画に合う音楽を見つけたい」という課題を直接的に解決するための手段を提供できます。
レコード会社など多数の音源の中からクライアントの依頼に合わせた選曲を行う場合、これまでは熟練の選曲者によるセレクションに依存していました。Video2Musicは音楽ライブラリーの内容を熟知していない選曲者でも、効果的に候補曲の絞り込みを行えるようになります。
本製品のデモは下記の製品ウェブサイトにてご確認いただけます:
時系列性のあるデータを解釈するのに優れたTransformerという深層学習手法を応用し、動画・音楽双方を相互に比較可能な潜在ベクトル値に変換します。このアプローチを使いオンライン上の動画コンテンツなどを入力に学習を行い*、コントラスティブ学習という手法でモデル化することで、動画と音楽という異なる種類の情報の類似度を定量的に計算することができるようになりました。本ライセンスにて提供する学習済みモデルは既に幅広い入力動画・選択音楽に対応していますが、コズモでは追加のデータを使った再学習することで、特定用途における精度向上を行うこともにも対応可能です。
*オンライン上の著作物を学習データとする機械学習モデルの構築・利用は日本国においては、営利・非営利に関わらず、著作権法上適法とされています
Video2Musicの利用費用は下記の3つから構成されます:
お見積りをご希望の際にはcontact@qosmo.jpより、弊社担当にご連絡ください。
Video2Musicを含む、Qosmo Music and Sound AIには現在下記5つの製品が含まれます。