仮想空間上に自分とそっくりなDigital Human。「不気味の谷」を越え、3Dモデルに命を吹き込むためのこだわりとは。
「自分もゲームや映画の世界に入れたら」そう思ったことはありませんか？実在する人物が被写体となり、本人と遜色のない自然な3Dモデルとして製作された「Digital Human（デジタルヒューマン）」。そこには「不気味の谷」を越え、世界に新たな感動を与えるためにさまざまな技術やこだわりが隠されています。この技術の開発に携わる水野さんに、研究開発における発想や挑戦、技術に対するこだわりについて伺いました。
※「不気味の谷」とは
人工物の造形を人間に近づけた時、ある段階で急激に強い嫌悪感や違和感が生じてしまう現象。
- 渡部 優基
まるで実際の人物が目の前にいるかのような体験を。
リアルな人間をCG等の技術を使って再現する「Digital Human」の研究開発に、2019年から携わる水野さん。さまざまな技術要素が組み合わされている中でも、計測された顔の動きの情報をCGで再現する技術を担当しています。
── 水野さんは人間の顔の動きを再現する技術を担当されていると聞きましたが、どのようなきっかけで開発を始めたのでしょうか。
CGでの人間の再現という技術において、一番難しいのは「顔を動かす」ことでした。開発当初から人の形をとるところまでは、ある程度の技術ができており、静止状態では実物と見分けがつかないレベルの表現ができていたのですが、動き始めるととても不気味に見える、いわゆる「不気味の谷」という課題がありました。見た目がリアルであればあるほど、ちょっとした部分で違和感を生じさせてしまうのです。
そこで、CGで人間を再現するときに、どの部分が不気味だと感じさせるのか、どう動かすと実写と区別がつかないリアルな3Dモデルが作れるのかを考え始めたのが開発のきっかけでした。
── ゲームなどではCGで再現されたキャラクターをよく見ますが、実物と遜色ない人物モデルを作れたら、もっと素敵な体験ができそうですね。
ゲームキャラクターや映画のスタント以外の用途でも、人間の仕事をデジタル技術で再現したCGのキャラクターが代わりにするような応用を考えています。VRを通して実際にアイドルが目の前にいる体験をサービスとして提供したい場合も、よりリアルなモデルを再現する技術は必要になってくると思っています。
「どれだけリアルに見せるか」という終わりのない研究。技術を実際に使う人の「感動」を見据える。
── とても夢のある技術ですね。3Dモデルのリアルさを追求する上で、苦労した点はどのようなところなのでしょうか。
顔の中で一番動く「目」と「唇」の動きの再現です。他の部位に比べて形状のバリエーションが豊富なので大変でした。
基本的にはモデルの元となる人物の顔にマーカーを付けて、その動きを計測するのですが、変形の激しい目や唇などの部分では、マーカーが顔のしわに入り込んでしまい計測ができなくなったり、複雑な形状の再現が難しかったりします。
── そのような難しさがある中で、水野さんはどのような工夫をされたのでしょうか。
機械学習を使って、カメラで撮影した人物の映像から目や唇の形状を正確に取得し、それにCG側の形状がぴったり合うように変形アルゴリズムを適用して動かしました。さらに、その人の個性をインプットした機械学習モデルを使って、変形させたCGモデルを「本人らしい顔つき」にする作業も行っています。
── 限りなく実際の人物に近づけるために、さまざまな工夫をされているのですね。そのような技術的な工夫やこだわりは、突き詰めたら終わりがないものだと思うのですが、水野さんはどこにゴールを設定されているのでしょうか。
まずは自分の目で見て、リアルかどうかという基準は持っています。人間らしく見えるかどうかは主観的なもので、数値データなどのはっきりとした基準を設定することが難しい。だからこそ、自分が納得できるラインをしっかり持っておくのが、終わりのない研究のモチベーションを保つためにも重要だと思っています。その上で、自分たちの技術を実際に使ってくれる人に「使いたい！」と思ってもらうのが2つ目のゴールだと思っています。さらに言えば、この技術が映像作品などを通して幅広い皆さまに届いて、すごい！と言って感動してくれる。そこまでいけたら本当の意味でゴールなのかなと思います。
コンテンツ制作において協力してもらった人も「顧客の一人」。他分野の人と積極的に連携できるのがソニーの強み。
── Digital Humanの実証実験においては、ソニー・ミュージックアーティスツに所属するアーティストともコラボレーションしていたと聞きました。
我々のチームは空間映像技術を専門にしているので、以前から何度かソニーミュージックグループと連携したことがあり、つながりと信頼関係がありました。そのため、できあがった技術を活用して実在のアーティストを再現してみようと思った時には、すぐに相談することができました。このようなところがソニーの強みだと思います。グループ内に最先端のテクノロジーがあり、エンタテインメント事業も行っている会社は多くないと思います。
── さまざまな事業分野に携わる人たちが周りにいるというのは刺激的な環境ですね。他にも連携されたことはあったのでしょうか。
一人の人間を完全にデジタルにする技術工程の中で、我々が取り組んでいるアニメーション以外の部分について、CG制作スタジオに協力してもらいました。しかし、制作作業を進める中で、互いに異なる専門用語を使っていたり、我々の技術が見たことも触ったこともない全く新しい技術だったりするなど、CG制作スタジオ側のスタッフとの間にある程度の壁がありました。これを解消するために、週に一回定例会議を設けて密にコミュニケーションをとることを大事にしていました。
── そのような連携を行う上で、刺激や気づきはありましたか。
実は連携させてもらったCGスタジオも、我々から見ると顧客の一人なのです。CGスタジオが映像制作のために使っている既存のツールに対して我々が新しい技術を持っていき、それが新たなコンテンツ制作に役立つことを目指して開発を行っています。そのため、顧客であるCGスタジオの皆さんが、我々の技術を使いたいと思ってくれるかどうかが重要になります。どこに課題意識を感じているか、自分たちの技術が使いやすいものになっているのかを確認する意味でも、とても有意義なコミュニケーションができたと思っています。
「自分たちが止まっていても、世界は進んでいく。」常に新しいことにアンテナを張り続け、試行錯誤を重ねる研究開発。それも含めて、やっぱり楽しい！
── Digital Humanのような全く新しい技術を作るのは簡単ではないと思うのですが、行き詰まったときにどのようなアプローチをされていますか。
これをやってみようというアイデアがある限り手を動かすようにしています。研究開発においては、課題に対して試行錯誤して取り組んでも、それが思ったほど有効なアプローチにならないことは多くあります。しかし課題が解決できなかったとしても、取り組んだ結果が次のアイデアの源になる場合があります。そうなるともう落ち込んでいる暇はなく、あれもこれもやらなければという気持ちになります。Digital Humanに限らず、研究開発はずっと考えて試行錯誤を繰り返しての連続だと思います。
── やはりアイデアが次々と浮かんで、試行錯誤しながら技術開発を行うのは楽しいですか。
はい、楽しいですね。逆に研究開発は自身が楽しいと思えないと続けられない仕事である気もします。自分にとっては、研究開発は趣味の延長のようなものです。業務の参考にするため普段からいろいろな論文を読むのですが、中には難しくて内容がなかなか理解できず時間がかかってしまったり、眠くなってしまったりすることもありますが、そういう面も含めて、総じて楽しいと感じています。単純に新しい技術に触れられるのも楽しいですし、試行錯誤する中でうまくいったときなどは、テンションが上がったり、逆にうまくいきすぎて気持ち悪く感じたりすることもあります。
── 私も大学院生なので、研究の楽しさについてはとても共感できます。研究開発のつらさや難しさはどのようなところにありますか。
人によっては、常に新しい技術をキャッチアップし続けなければいけないところが苦しいのかなと思います。新しい技術はどんどん生まれてきて、乗り遅れないために常にアンテナを張り続けないといけない。自分たちが止まっていても、世界は進んでいく。自分はそこも含めて楽しいと感じていますが、新しいアイデアやイノベーションが出てきたときには、気づけなかったと悔しさを感じることもあります。
── ありがとうございます。最後に、Digital Humanと、水野さんの今後の展望を教えてください。
Digital Humanについては、技術の研鑽をまだまだ重ねていきます。将来的には、例えば携帯電話のカメラで撮影したら、その人物のモデルがそのまま横に出てくるほどのスピード感を実現できたらと思っています。また、自分自身としては、社会的なインパクトがある仕事をしたいと常々思っています。自分の携わっている技術が社会に出て、社会が一変する、イノベーションが起きる。やはりそれが一番嬉しいことだと思っています。
＜編集部のDiscover＞
Digital Humanという複雑かつ高度で、とても面白い技術の裏には、研究開発に携わる水野さんのこだわりと熱意が込められていました。自分たちの技術で世界に感動を与えられるよう、常に新しいことを学び、試行錯誤を重ねて開発に取り組む。その過程すらも楽しんでしまう水野さんのお話を聞いて、水野さんのような開発者に刺激を受けながら一緒に働いてみたい！と強く思いました。
