採点開発者突撃インタビュー！Vol.5 精密採点Ai編【前編】

カラオケを楽しみたい人から、歌唱の上達を目指す人まで、多くのユーザーに親しまれている採点ゲーム。前回の採点開発者突撃インタビュー「精密採点DX-G編」では、新しい3つの採点基準とともに『ボーナス点』が追加されて新たな盛り上がりを見せた、2015年リリースの『精密採点DX-G』について、採点ゲームの企画・開発を手掛ける橘聡氏と、精密採点Ai開発チーム所属の矢吹豪氏に語ってもらった。

第5回となる今回は、膨大な歌唱データの機械学習によって生まれた『精密採点Ai』について話を聞いた。精密採点Aiで高得点を出すコツも併せて紹介する。
（前後編の前編。後編を読む）

プロフィール

橘聡

1995年のDAM公式リリースの初代採点ゲームから、最新の精密採点Aiまで、多くの採点ゲームおよび採点エンジンの企画・開発に携わる。カラオケ採点を牽引してきたパイオニア。特許出願件数ナンバーワン。

矢吹豪

14歳からボイストレーニングを開始。音楽専門学校で音楽理論・ボイストレーニング理論を学び、独自の歌唱指導法を確立。ボイストレーナーとしてやっていこうと思った頃に「精密採点」に出会い、それまでの知識と経験を全て精密採点シリーズの開発に注ぎ込むことを決意。最新の精密採点Aiの開発も担当。

機械学習（AI）を使った新たなチャレンジの始まり

──インタビューを重ねて、いよいよ精密採点Aiまで辿り着きました！　精密採点Aiでは初めて機械学習（AI）を取り入れていますよね。機械学習を使おうと思った背景には、どのようなきっかけがあったのでしょうか？

橘：機械学習でやってみようというよりは、より精密な採点を実現するためには機械学習しかないなと、必要だったから使ったという感じですね。むやみやたらに使うのではなく、ちゃんと目的があってそれを正しく振り分けて抽出したい、機械学習は期待するものを検出するために理にかなっていました。

学習データや教師データを用意するのにまず苦労して、機械学習の前にも後にも手作業がたくさんありましたね。そもそも何を学習させれば良いのか、そのヒントとなる情報自体も全然足りていなくって、ボイストレーニングや音響・音楽理論などの本でも探してみたのですが、それでもまだまだ十分ではなくて。自分でどんどん発見していって、まとめていった感じです。

──機械学習では、アナログデータから抽出して何を教えるか、その内容を整理するのがいちばん大変ですよね。機械学習に着手したのはいつ頃ですか？

橘：2016年の後半くらいから着手して、世の中では機械学習でどういったことにチャレンジしているのか、調べるところから始めています。開発者や研究者、大学の研究発表にも行ったのですが、それぞれ共通する悩みが見えてきました。機械学習は覚えさせるデータや情報が大量に必要で、もっと言えばある程度整理してから覚えさせなくてはいけないのですが、そこで皆さんつまずいていることがわかってきて。自分たちにも同じような状況が当てはまるんですね。

そこで改めて初心に戻り、プロのアーティストの歌唱をとにかく観察・研究していきました。これまで検出してきたフォールやこぶしなど以外にも、何か歌い方の特徴が各アーティストにあるだろうと、歌声を分類したり、音を可視化してグラフや絵で見られるようなツールを使ったり、ライブ映像で口の開け方や首の動かし方を見たり、客観的に聴く・見ることをとにかく重ねていきました。

──これまでも本当にたくさんの歌唱を聴いてきたと思うのですが、改めてしっかり聴いてみようと思われたんですね。

橘：これまではアーティスト本人の歌を細かくかつ幅広く観察するというのは、実はあまりできてなかったんですよね。

矢吹：通常の音源はボーカルオンリーではなく、演奏などの音が混ざっているんです。今までは自分たちが録音したボーカルだけの音源で分析していたのですが、プロの方の歌唱サンプルってなかなか手に入らないんですよ。でも、プロの歌唱ほどたくさんのヒントが含まれているので、そこを充実させたいという思いは前々からあって、地道に音源を集めていきました。

──プロの歌唱から、例えばどんなヒントがありました？

矢吹：最近は裏声をベースに地声成分を混ぜていく裏声ベースミックスボイスで歌う歌手の方が多い傾向にありますね。裏声を発声している時と同じ声帯の使い方なので、喉の負担も少なく、声区の切り替えもスムーズに行えるんです。あと、声の質としては響きのある柔らかい印象で、男性アーティストでも女性キーのような高音で歌えるのも特長の一つですね。

僕自身は長年、地声をベースに裏声成分を混ぜていく地声ベースミックスボイスで歌ってきましたが、練習して裏声ベースミックスボイスも習得して、力強く歌いたい時は地声ベース、優しく歌いたい時は裏声ベースといった具合に曲調に合わせて好みの発声法で歌うことができるようになりました。そうすると、新しい世界が広がって、色んな歌唱者の声帯や喉の使い方がさらに分かるようになったんです。そういった情報を整理してデータとして蓄積していきましたね。

──橘さんと矢吹さん、それぞれの視点からデータを増やしていったわけですね。

アクセントの検出に成功！より多彩な表現を採点に反映

──プロの歌唱をとにかく聴いていって歌の上手さを突き詰めた結果、新しい上手さの概念のようなものが生まれたと思うのですが、いかがですか？

橘：それはありましたね。当時は歌い方の個性や特徴を『歌い回し』と呼んでいたのですが、歌い回しを整理していくと、共通した歌い回しが登場してくるんですね。例えば、ロックな歌い方の人はこんな歌い方をしているというのを、見つけていく感じです。

今回、とくに大きい収穫となったのが、『アクセント』の検出ですね。音楽の授業でも習うと思うのですが、簡単に言えば大きく強調するというものです。その箇所の音程の推移を細かく見ていくと、大きな音を発した後に一瞬ピッチが下がってまた戻っているんですね。大きく息を吐き出したことにより起こる現象です。これは面白いなと思っていろいろ聴いていったら、アクセントにもさまざまな特徴があることがわかってきました。松田聖子さんのように、フレーズの語尾をピッと上げるかわいらしい歌い方などもその一種かもしれません。

もう一つ例を言うと、演歌でもよくタメって言いますよね。大きく言えば、タメは歌詞をずらして遅らせて歌うものもあれば、歌詞はタイミングよく歌ってもメロディーを焦らして歌うものもあります。楽譜は完全な正解ではなくて、読みやすいように書くのでそれを多少アレンジして歌う、その中の代表的なテクニックの一つがタメです。

──アクセントがかかるのは一瞬ですが、我々は無意識で聴いている。そこで歌い手の個性が出たり、聞き手に与える印象が変わったりしますよね。

橘：初代精密採点の時からしゃくりは検出してきましたが、自分の中ではなんだか煮え切らないものがずっとありました。そう思っていたら、自分がもともと検出したかったのはアクセントだったんだ、と気づいたんです。

結局、歌が上手な人はアクセントを自然と使っているし、もともと知っているんですよね。ただ、単純に音量の変化からアクセントを検出しようにも、カラオケだと狭い空間で大きな音で伴奏も入って歌うから、検出できても誤検出が多くなるため、アクセントは検出できないものだと思っていました。そこで検出自体に機械学習を使い、そこまでに至る過程や情報のパターンをまとめることで、検出の精度を上げることができ、アクセントの検出を実現することができました。

はじめは『歌い回し』と何となく曖昧な呼び方をしていたのですが、こぶしやしゃくりと同じでちゃんとした技法だなと思って、それで歌唱技法と呼ぶようになりました。その後も聴き続けていくと、ここでもここでも使っているって、耳に飛び込んでくるようになるんですよ。

──一度概念として把握してしまったら、自然と聞こえてくるんですね。歌唱技法にはざっくりどれくらいのパターンがあるんですか？

橘：音程の変化だけに関して言えば、20〜25個くらいですね。多いようですが、まだあると思います。歌声の変化に関しては他にもまだまだたくさんありますね。

──音程の変化だけでも20個以上ですか！

橘：いろいろな歌唱技法を見つけていくなかで、これを再現したら本当に上手に聴こえるのか、音声合成ツールを使って検証もしています。アーティスト本人の完全コピーのような感じで再現すると、声が違っても実際に本人っぽく聴こえるんですよ。

人の心を動かす歌声を評価する『Ai感性』の誕生

──アクセントやその他様々な歌唱技法の検出によって、採点結果にもやはり変化が起きたのでしょうか？

橘：精密採点Aiの基本的な仕組みは精密採点DX-Gと同じですが、歌唱のいいところも悪いところも含めて評価する材料が格段に増え、採点の精度が上がっています。私たちとしては、採点を意識して選曲したり、歌ったりしてほしくはないんですよね。楽曲や歌い方にとらわれず、上手に聴こえれば高得点が出るようになっています。

──機械の限界を超えて、さらに検出項目を増やして飛躍した感じがしますね。

矢吹：その人の歌唱の魅力をよりたくさん見つけられるようになり、それをプラス評価することで、精密採点DX-Gでは90点にいかなかった方から、90点以上が出るようになったというお声をたくさんいただきました。反対に採点が厳しくなった、100点が取りにくくなったというお声もあるのですが、そうではなく、よくなかったところで減点されているんですね。得点が上がりやすくなった方・厳しくなった方、評価が二分されたと思います。

橘：ちなみに、以前、抑揚の点数を上げたくてマイクを離したり近づけたりする攻略的な歌い方が流行ったことがありましたが、そういったことをするとマイナス評価されるようになっています。

矢吹：人が聴いて不自然に感じたり、あまりよくないなと思うポイントは、評価しないようにしているんですよね。

──なるほど、真っ当に歌ってもらって、その上できちんと評価しているんですね。精密採点 Aiでは、とりわけ『Ai感性』のインパクトが強かったのですが、いかに人を感動させる歌声か、心を動かすかを重視して評価しているんですよね。

矢吹：そうです。感動するような歌唱にはAi感性メーターがピンクにぬられていき、ピンクの光線が出るようになっています。

橘：Ai感性メーターのピンクの光線が出ているか、ひとつの目安として歌ってもらうといいと思いますよ。