【音楽雑談】[第1回] AIによる作曲について緩く語る
自己紹介と普段のブログ→ 自己紹介＆ブログの方針
ブログで最初の雑談回です♪
僕は音楽は趣味でやっている初心者、AIも専門外。なのになんでこの話題にした(笑) 単純に興味があってふと書き留めたくなったので(^_^;) 最近、別分野で機械学習を実際に使っている人から直に話を聞いた事があるので、その知識を元に憶測と妄想を展開していきますm(_ _)m
（※全くの無責任で根拠のない、あくまで一個人の妄想コラムです）
【機械学習の特徴】
機械学習は、めちゃくちゃざっくり言えば、教材となる膨大なデータを学習していき、それを再現する事が出来るようになるアルゴリズムを作るってイメージ、、かな？AIを支える技術の一つですね。 例えば、沢山のクラシック音楽を教材的なインプットデータとしてひたすら学習させたら、そのアルゴリズムはクラシック音楽を作れるようになる、というイメージだと思います♪
機械学習のポイントは、
・学習するデータの数が多いほど良くなる
・学習するデータの質が高いほど良くなる
という特徴があるようです。つまり、
沢山の良い曲を学習させれば、より良い曲が作れるようになる！
のだと思います。コンピュータの高速大量計算能力を活かした手法ですね♪
【入力データをどう用意するか】
沢山の良い曲をどう入力データとして与えるか。これが機械学習の作曲ポテンシャルに大きく関わってくると思います。この「沢山」は、機械学習の真の力を発揮するためには、それこそ数万曲～数十万曲とかが必要かもしれないんじゃないかなと思います。そして、入力データはMIDIデータで学習させるのが現実的かなと思います(※1)(※2)。音声データは例えば44kHzくらいだと一秒間に約4万個とかのとかのデータ数になるので、膨大な時間がかかりそうですし、色々複雑で大変な気がします。その点MIDIデータならデータ量が遥かに少なく、シンプルで、フォーマットも揃っているので学習させるのに適していると思います。音質の違いとかも無視して同列に扱ってくれますしね。
あと、AIに音楽理論を事前に学ばせておく必要は無いんじゃないでしょうか？MIDIデータの時点で、小節、12音、という縛りは初めからあるはずで（多分？）、それ以上の理論（縛り）を設けないで創らせてみたい気が個人的にはします(^_^)v（もしも僕に機械学習を書ける能力があったらの話ですよ；）理論を変に事前に教えなくても、音楽理論を学んだ人が創った曲を教材として与えることで、自然にそれっぽい曲を作ってくるんだと思います。
あと、ボーカルは全部何らかの別の音に置き換える、あるいはインスト音楽・クラシック音楽・BGM等のジャンルに絞る、事が必要でしょうね。言語、さらには詩的センスといった概念が入る歌詞は圧倒的に高難易度だと思います。
ジャンルを横断すれば、それぞれのジャンルのが合わさった形のが出来ると思いますが、良いとこどりみたいなのは多分しないはずです（教材データを与える時にこの曲のどこが良いとか悪いとかは教えないので）。
そして一番の問題は、そのレベルの高い楽曲のMIDIデータを大量に用意する事、のような気がします。まず著作権の問題はどうなるんでしょうか？と思って調べたら、AI開発のためなら著作権の複製・翻案に引っかからないという条項があるらしいですね♪(※3) 次は、レベルの高い音楽の選別をどうするか。これは色々揉めそうですが(笑)、それはとりあえず何らかの基準でランク付けをするという事に落ち着くと仮定しましょう； 後は大量に用意ですが、楽曲のMIDIデータを入手するのは大抵の場合かなり困難ですよね；制作者一人一人に頼んで貰うか、耳コピして自分で人力で入力するか、、、そうだ！耳コピの機械学習を作ればいいじゃん！
【全自動耳コピマシーン】
という事でいきなり話が飛びました(笑) 大量のMIDIデータを作成するために、正しく耳コピをしてくれる便利マシーンを機械学習で作ってしまえば上の問題は万事解決ですね！実は機械学習は、創作活動よりも正解が分かっている物の判定の方が得意分野です（多分；）。顔認識とかそういうイメージ？ つまり、こういう手順ですね。
（1) 人力で頑張って1000曲(例えば)くらい耳コピしてMIDIデータを用意する
（2) 原曲の音声データを機械学習に入力する教材データとして与える（ただし、音源はoffボーカルに限る）
（3) 機械学習が音声データをアルゴリズムを通して適当なMIDIデータに変換する
（4) 人力で作成した正解のMIDIデータを答えとして機械学習に教える
（5) 機械学習は自分の作ったものと正解との違いを比較して、正解に近づく物を作れるようにアルゴリズムの修正が行われる
(6) (2)～(5)をひたすら繰り返す。
ってな感じで、例えば1000曲くらいを重複含めて何度も何度も学習させていきます。最初は全然頓珍漢な物しか作ってくれなくても、徐々に一致率が増加していくようになる、、のが機械学習です。多分機械学習を手慣れている人なら(2)～(5)の効率的なプログラムを作れそうな気がします。そして、最終的に例えば95%くらいの一致率で耳コピしてMIDIデータに出来るアルゴリズムになったら、全自動耳コピマシンの完成！これは大ヒット間違いなしじゃあ！、、、まぁ実際、需要ありそうだから、開発は試みられてるでしょうね。でも、色んな楽器が同時に鳴っているのをそれぞれ判別して、って結構難しいのかもしれないですね。それぞれの楽器の周波数特性とかを学習して、、うーん1000曲で足りるかなぁ。。とりあえずジャンルは横断させない方が良さそうですね。うーむ、全自動耳コピマシンを作るのと、全部人力で耳コピするのとどっちが早いんだろうか？長い目でみれば耳コピマシンだと思うけど。。
【機械学習の作る曲のレベルは？】
で、AIを用いた作曲は当然既に色々行われているんですが(※4)、上で書いたような「大量の良い楽曲の学習データ」を用いる事によって本領を発揮したAIによる作曲はまだ行われていないんじゃないかなぁ？（その手の学会に行った事が無いので最新の情報は全く知らないですけど；）まず多数楽器演奏曲をそれなりの精度で全自動耳コピするマシンが完成した！というニュースを聞いた事が無いですからね；なので、youtube等に挙がっているAIが作った楽曲は、まだまだ本領には程遠いと思います。
AIは侮れません！別分野の話ですけど、まじで衝撃を受けました！もし上に書いた通りに、十分な量の十分レベルの高い楽曲を学習させれば、それに近いレベルの楽曲は作成してくるはずです。まだそれが実現できていないだけで、近い将来その時は来るでしょう。AI作曲マシンは、作曲で生計を成す人にはやや脅威になるのかもしれません。（実際、僕がみた機械学習の研究発表は、それまで人力でやっていた人の仕事の終わりを告げる物でした。）
ならAIはいずれ全ての作曲家を追い越すのかというと、そうはならないと思いますね。そこは囲碁や将棋とかとは違う所だと思います。AIは人の感覚を直に捉える事は出来ないです。いくら科学や医学が進歩しているとはいえ、まだ人の脳とか心理・感覚自体が完全には解明されてませんから、それと同じ物を機械に与える事も当然出来ないわけです。なので、例えば機械学習なら上に書いたように、沢山入力された曲に共通するポイントがより重視されたような曲を輩出する事になります。つまり、
人が入力データとして良い曲を与えるという選曲している段階で人の好みの音楽という情報が間接的に入力されている
事になります。良く聞く最近のAIのニュースでも、結局は「そのAIに人が何を教えたか」によるじゃん、的な物が多いですよね；だから、
AIは、既存の名曲クラスに近い物までは作れるかもだけど、これまでの誰も作った事の無いレベルの凄い感動をもたらす曲、なんてのは中々作れないんじゃないかな？
と思います。
【作曲AIの有効活用法】
仮に実用的な作曲AIが完成したらどう有効活用するのが良いのか？単純に商売道具として、例えばゲームのBGMをAIに作曲を肩代わりさせて人件費を浮かせるとか、有名シンガーに楽曲提供をするとか、はすぐ思い浮かびますが、せっかくなんでもっと有効活用法したいですよね♪
まずは、学習過程で得た良い曲に共通する特徴の抽出ですね。機械学習は中身は基本的にブラックボックス（中が複雑で何をやっているか分からんけどガラガラポンと結果が出てくる奴）らしいのですが、何らかの方法でその中身を解析する事も出来るらしいことを小耳に挟みました。なので、機械学習による大量の曲の解析結果から、作曲家が新たな音楽理論・作曲のコツみたいなものを逆にAIから学び、新しい音楽が生まれる、なんて事もあるかもしれません。既に、AIが囲碁や将棋の新しい定跡を編み出して、プロ棋士がそれを学んでさらに強くなる、みたいな例がありましたからね！音楽でも同じように、作曲AIの登場が人の作る音楽に影響を与える可能性はあるんじゃないでしょうか？
後は、作曲AIの一番の長所は、何と言っても作曲速度でしょう！1日に1万曲とか10万曲を作る事も朝飯前でしょう。なので作曲AIプログラム自体は始めは高価で中々一般人は手に入れられないかも知れないですけど、AIから輩出される曲のMIDIファイル自体は廉価で手に入れられるようになるんじゃないでしょうか？データも軽いですしね。著作権がどう付けられるかによってその使い勝手は変わりますが、そんだけポンポン作れるならごく軽い著作権で販売・配布するようになるかもしれません。自作ゲーム制作者とか動画配信者は、安価な音源が手に入って便利になりますかね。う～ん、この超高速作曲速度、もう少しなんか凄い事に使えないかなぁ？（アイディア力に乏しいorz）
【音楽とAIの相性】
音楽は人の感性に訴えかけ・心を躍らせる、芸術的な物であり、AIとは縁遠いように思っていましたが、こうして考えてみると実は音楽とAIはかなり相性が良いように思えてきました。そもそも何でこんなコラム書こうと思ったかと言うと、僕が最近簡単な音楽理論のブログを書いていて、音楽の歴史は人が気持ち良いと感じる音の並びを経験と理論を積み重ねて発展してきた、そして音楽と数学・科学は深い関係にある、という事を学んだからです。つまり、機械学習と似ている所はありますよね。そして、上に書いたようにMIDIデータが機械学習と非常に相性が良さそう（全自動耳コピマシーンはよ）。
【AIが作った曲を聴きたいか？】
まず僕の率直な意見を言うと、質と値段によります(笑) まずボーカルが付いてない時点で、僕は普段からあまり聴かないんですよね。「作曲：AI、作詞：人」の曲なら、自分のお気に入りの作詞家なら買いますかね。でもAIが本領を発揮して作った曲ってのは興味はあるので、インスト曲でも一度は買うと思います。後は、廉価でじゃんじゃん輩出されるようになったら、安く手に入って凄く気に入った曲があったら、しれっとリピート曲に加えると思います(笑) その内お気に入りのAIが出来たりして；僕は、まぁアイソスタシーという名前の通りコテコテの理系人間なので、AIだから抵抗感がある、というのはそこまで無い気がしますね。実際に作られた曲が感覚的に気に入るかどうかが決め手だと思います。(あと値段)
ただ、僕も全く抵抗が無いわけではなく、この曲はこの人にしか創れない、というのは揺るがないと思います。それはプロアーティストに限らず、今僕がはまっているボカロ界隈の多くのアマチュアアーティスト達でもそうだと思います。なので作曲AIは誰か特定の作曲家の代わりにはなり切れない、と思います。どんなにその作曲家の曲を沢山学習しても、無理でしょうね。そもそも一人が一生の間に生み出す曲の数は何万も行かないですから。逆に言えば、そのAIにしか作れない曲、というのもあるんだと思います。それを好きになれるかどうかですよね。作曲AIが乱立する程のハイレベルな時代になれば、僕は多分どれかしらは好きになれると思います♪
僕と同じく、あるいはそれ以上に、「AIが作った曲だから聴きたくない！人が気持ちを込めて創った曲だから良いんだ！」という心情は大なり小なり誰にも働くと思います。これは当然の反応なんだと思います。ただ、心情的に聴きたくないのか、曲自体が生理的に受け付けないのか、それは全く別の問題だと思います。例えばAIが作った曲を、謎の匿名作曲家の曲として発表したらどうなるんでしょうか？僕はそこまで耳が良くないので、AIか人力かなんて絶対分からない自信があります(笑)。その作曲の出来が凄ければ、謎の作曲家という話題性も相まって、大ヒットする可能性もあるかもしれないですね。そういう意味では昨今のボカロ曲以上に容易に受け入れられ易い気もします。ボカロと人声は聴いて違いが分かりますからね。（ん？でも将来的にはボカロと人の声が区別できなくなる日も来るんだろうなぁ。）
でも、中には頑固に、「AIに人を感動させる曲なんか作れっこない！」という人もいるでしょう。気持ちは分かります。でも、僕は作れると思います。少なくとも、AIが作ったという事を隠して聴かせた場合に、
人を感動させる曲を作る力を持ったAIが出来るのはそう遠い未来じゃない
と思います。なにしろ、今まで数多くの人々を感動させてきた、数多くの偉大な先人達が生み出した膨大な楽曲のデータがあるのですから。もちろん気持ちを込めなければ良い楽曲が創れないのは、作曲初心者の僕でも多少は身を持って分かっているつもりです。その点を、AIは人間には不可能な速度でひたすら名曲をコピーし続けるという、経験数という量を質に変える能力を用いて、良い楽曲を生み出してくるのだと思います。
【おわりに】
作曲AIに対して、無責任にあーだこーだ憶測や妄想を繰り広げましたが(笑)、AIはやはり相当な可能性に満ちています。でも悲観的になる事はなくて、むしろ有効活用するポジティブに捉えるべきでしょう。僕は趣味で作詞・作曲をやっています。作曲AIが開発されても、僕はやっぱり自分の創りたい曲を創りたいですね。仮に僕みたいな底辺ボカロＰの縄張りにまでAIがライバルとして入り込んで来たとしても、僕には僕にしか創れない曲があると信じています（下手クソですけどね）。でもAIが解析した新しい音楽理論はちょっと知りたいかもしれないです。あと、全自動耳コピマシーンが販売されたら値段次第では買いたいですねぇ(笑)
そしてもっとハイレベルな音楽活動をされてる方々は、AIの登場によって更に強くなったプロ棋士みたいに、さらに凄い音楽を生み出すアーティストになるんだと思います。作曲AIの登場は、音楽の更なる進化をもたらす可能性があり、その実現はそう遠くない未来かもしれません。楽しみですね♪
以上長々と与太話にお付き合い頂きありがとうございましたm(_ _)m
【参考文献】
(※1) Patrick Hutchings, 2018/8/23, Music and Machine Learning, ai.SensiLab, http://ai.sensilab.monash.edu/2018/08/23/Neural-Music/
(※2) GIGAZINE, 2018/8/24, 機械学習でコンピューターが音楽を理解することが容易ではない理由, GIGAZINE, 株式会社OSA, https://gigazine.net/news/20180824-music-machine-learning/
(※3) 柿沼 太一, 2018/9/2, 進化する機械学習パラダイス ～改正著作権法が日本のAI開発をさらに加速する～, STORIA法律事務所, ブログ, https://storialaw.jp/blog/4936
(※4) Ledge.ai 編集部, 2019/7/3, 16歳高校生ら、AIで作った「モーツァルトの新曲」披露。作曲は現存する手紙、ビルボード10年分のデータから、, https://ledge.ai/hp-projectz/
雑談次回→（未定）
雑談一覧→（増えたら作ります）
初心者の曲作り成長日記一覧→ 【初心者の曲作り成長日記】目次
[Twitter] アイソスタシー (@isostasy_utau) | Twitter
