サービス品質向上や人材育成のさらなる拡張を。マルチモーダルデータ活用プロジェクトとは？

alt

デジタルテクノロジー統括部では、dodaエージェントサービス内で提供するキャリアカウンセリング（以下、カウンセリング）のサービス品質向上のため、2019年から音声データ活用に取り組んできました。対面で実施されてきたカウンセリングの音声データを、AIスピーカーで集音し、キャリアアドバイザー（以下、CA）の育成に活用できる仕組みを構築しています。

しかし、新型コロナウイルス感染拡大防止のため、カウンセリングはほとんどオンラインに移行。対面での集音が難しくなってしまったことをきっかけに、「マルチモーダルデータ活用プロジェクト」が新たに始動しました。前例のない取り組みを推進するデジタルテクノロジー統括部の橋本、西澤、平林の3名に、今の想いを聞いていきます。

視覚・聴覚情報の掛け合わせで、“心の変化”をくみ取ったサービス提供を――

――まずは今回のプロジェクトの概要と、3人それぞれの役割から教えてください。

橋本：デジタルテクノロジー統括部ではこれまで、対面でのカウンセリング時に、AIスピーカーで集音し、音声データ活用に取り組んできました。

しかしコロナ禍において、カウンセリングのほとんどがオンライン実施になったことで、AIスピーカーを使うことが難しくなりました。CAのサービス品質向上のために、カウンセリング内容自体はテキストから確認できても、対面だからこそ把握できていた、声の抑揚や話し方、話す“間“などに依存する「相手の感情」は確認することが困難になっています。例えば「はい」といった返答の一つをとっても、この文字情報だけでは相手が納得しているのか、本当は理解できていないが相槌として返答をしているのかは分かりませんよね。

このような状況下でも、対面時と同じようにユーザーのニーズや心の変化をキャッチし、CAのサービス品質を高めていきたい。そこで、表情や仕草などの「視覚情報」と発言内容や声の抑揚などの「聴覚情報」を掛け合わせたマルチモーダルデータを活用することができるのではないかと考えました。心の変化を可視化し、ユーザーが言語化できていない悩みや不安をCAがくみ取る力を、育成に活かしていきたいと考え、このプロジェクトがスタートしました。

私は主にプロジェクトの全体設計や運用面を担っていて、「分析結果をどうやったら有効に活用できるのか」を現場と話し合いながら、仮説立てを行っています。

平林：私は、仮説検証に必要なデータを可視化する役割ですね。を使ってデータを抽出し、それぞれどのような変化が出ているのかをグラフ化して、橋本さんと西澤さんに確認してもらっています。

西澤：私はこれまでの経験を活かして、エンジニアの観点から環境・技術面のサポートをする立場として入らせていただいています。音声をテキスト化するためのAPIの簡易的な技術検証をしたり、また仮説の検証に偏りが出ないよう、私も久さん（橋本）と一緒に仮説立てを行ったりしています。

――相手の感情を読み解くという人の感覚に依存しそうな領域を、データで可視化するというのは面白い取り組みですね。具体的にはどのようなデータを活用しているのでしょうか。

橋本：具体的に取り組んでいるのは、音声のテキスト化と会話内容の分析レポート、そしてイントネーションや声質をはじめとしたパラ言語や感情次元の抽出、の3つです。例えば目や口角、肩などの位置や瞳孔の大きさと、それらがどう変化したのかをデータ化したり、うなずきや首を傾げるなどの仕草を検知したりしています。

alt

今はまだ検証中ですが、このデータと実際のカウンセリングの録画を突き合わせることで、「このようなデータの変化がある時は、会話が盛り上がっていそうだ」など、カウンセリング内容から、ユーザーとCAの関係性の状態を客観的に把握できるようになるのでは、と考えています。

そして最終的には、客観的に分析・分類されたデータを活用し、カウンセリング品質のさらなる向上と標準化を目指しています。ユーザーとの信頼関係を気づき、転職活動やキャリア相談に納得感のあるカウンセリングを実現するために、必要なノウハウを受け継ぎ、育成していくことが重要です。

――属人化しがちなコミュニケーションスキルを標準化させるための仕組みなんですね。

橋本：そうなんです。ただ、人と人との関係ですから、「この言葉を言えば必ずプラスになる」というピンポイントの答えはないと思っています。

それよりも大きく捉えて、データを可視化して蓄積していくことで、ユーザーに合わせた話し方のケーススタディや、面談の全体的な流れとプロセスをどう工夫していくかの指標になればいいなと。

例えば、ハイパフォーマーのCAは、相手に心を開いてもらうためにどのような自分の情報をどのタイミングで提示しているのか。そういった情報が見えることに意味があるかなと思いますね。

平林：あとは、信頼感が下がってしまったケースを参考に、改善点や気をつけておくべき点のフィードバックから改善に活かすことができれば、効果的な使い方になりそうです。

――人だからこそできる領域とは棲み分けて、データ化・客観視できるからこその価値提供を見据えられているのですね。

「マルチモーダル × 二者双方向のデータ」活用へのチャレンジ

――現段階でのプロジェクトの進捗はいかがでしょうか。

橋本：現在は、ビジネスサイドで進められる範囲でのPoCを行っている段階です。データ取得のためのツール選定や、外部ツールを使った動画の特徴点の抽出、そしてそのデータをもとにした仮説立てを、この3名が中心になって進めていて。データを活用した先で、カウンセリングをどうフォローするのか、教育や育成にどうやってつなげていくのか、などの運用フローを検討しています。

検証の結果、仮説が正しそうだと分かり、分析結果を活かしてどのように運用していくかのロジックが決まれば、PMやエンジニアも迎えてプロジェクトを本格化していきたいところです。

――プロジェクトを進められる中で難しさを感じるところや、今後の課題を教えてください。

西澤：分析・技術的な面では、扱っているのが「聴覚情報と視覚情報を掛け合わせたマルチモーダルデータ」であり、さらに「ユーザーとCA間の双方向のデータ」でもある、というところに難しさがあります。

ただ片一方の状態だけを見るのではなくて、両者の発言と仕草・表情などの相互作用によってどう心が動くのかを見て、インサイトを得ていかなければいけません。これをどのように設計していくかが難しい部分であり、やりがいでもあると感じています。

橋本：運用視点から考えると、やはり分析の精度を高めて現場での稼働に結びつけるところが、一番の山場になるのだと思っています。

現段階では、動画から抽出したデータをもとに、二者の関係性を「信頼」と「尊敬」の二つの指標で表せる外部ツールを使っているのですが、今後は、dodaの面談用に機能を追加・改修し、ビジネスに活かせる要素を取得できるようカスタマイズしていく必要があります。

まずはdodaとCAの教育のために必要な要素と機能を定義すること、そして後からデータを活用できるよう運用フローを考えること、これらが大きな課題ですね。

――技術的な点のクリアの先に、さらに運用に乗せるまでにもう1ステップがあるのですね。現場の方々と密に連携を取り合っていくことになりそうですが、この取り組みに対しての現場の受け止め方はいかがですか？

橋本：コロナ禍でオンライン化が加速しているので、オンラインのデータ活用にはみなさん積極的で、批判などもあまりありませんでした。データを教育に活かしたいという現場のニーズは根強くあるので、応えていきたいですね。

alt

一方で、面談を録画するということは機密性の高い情報を取り扱うため、厳粛なセキュリティや適切な許諾を得たうえで、実施を予定しています。これらの整備やルール作りをしっかりと乗り越える必要があるなと思っています。

最初から“できる”とわかっていることはつまらない――経験をぶつけ合う価値

――前例のない仕組みづくりを推し進めるにあたり、たくさんの障壁や苦労があるのではと思いますが、みなさんを突き動かす原動力はどこにあるのでしょうか。

平林：私の場合は、橋本さんが呼んでくださったからこそ、今このプロジェクトにいます。なので、少し受け身のように思われるかもしれませんが、新たな挑戦をして障壁を突破することよりも、どちらかというと迎え入れてくれた橋本さんや西澤さんの力になりたいという思いが強いです。そのために、できることを探しながら前に進んでいるという感じですね。

橋本：平林さんは、映像やコンテンツ系のご経験があるので一番適任だろうと思いましたし、このプロジェクトを自分なりに解釈して、自分ごと化して取り組んでくれるだろうと思ってアサインしていますから。とても心強いです。

平林：私の経験や適性を理解して呼んでもらったからこそ、力を発揮していきたいと思っていますし、もしやったことがないものであったとしても「平林さんだからお願いしたい」と言われたら全力で応えたくなりますよね。（笑）

――「思いに応えたい」「人の力になりたい」という思いは、道筋や正解が見えないプロジェクトを進める上で大きな推進力になるのかもしれませんね。

西澤：私は前職が橋本さんと同じで、リファラル採用で入社したご縁で今ご一緒しています。なので、スタートは橋本さんに巻き込まれた形でしたが（笑）、その後プロジェクトに全力を注げているのは、純粋に技術に対しての興味があるからですね。

今取り組んでいるマルチモーダルデータの活用は、理論としてはコミュニケーション科学などの分野で研究されているものです。でもそれを実際に形にするには、技術的な面からコンプライアンスなどの観点までたくさんの障壁があって、正直実現の可能性は60％くらいだと思っています。市場を見ても、まだまだこの領域の知見が多いわけではないと認識しています。

alt

それでも挑戦を続けたいのは、ビジネスそのものへの興味もありますが、私自身はやはり「技術の仕組みを知りたい」、それをどうすればビジネスに応用できるかを考えていきたい、という思いが強いからです。

運用の一歩手前の、二者間・マルチモーダルな関係をどう分析し、それをどう実装するか。そこに関われて楽しいというのが正直な気持ちだと思います。

――橋本さんはいかがですか。

橋本：私は「新しい技術をいかに会社の原動力にして、次のビジネスを作っていくか」というところに面白さを感じています。そして、その過程でそれぞれのメンバーがもつ知識と経験をぶつけ合い、新たな可能性が生まれていくところが一番楽しいと思うのです。

私には、自分の経験から「こういうことができるだろう」と考えがあって、西澤さん、平林さんにもそれぞれに思いがある。「自分が正解」ではなくそれらをぶつけ合うことで、どう前進していけるのか、というワクワク感が原動力になっているのかなと思います。

西澤さんのおっしゃる通り、実現までの壁は厚いですが、ここをクリアできれば次の可能性が開けそうな気がしていますし、初めからできると分かっていることなんてつまらないですから。もちろん、利益を出して会社に還元することも大事ですので、それらにもしっかりと取り組みますが、今回のような研究領域にも積極的に挑戦していきたいですね。

――人、技術、そして組織に対するそれぞれの熱い思いが伝わってきました。それでは最後に、今後どのようなことにチャレンジしていきたいかをお聞かせください。

平林：まずは橋本さん、西澤さんが有効な仮説を立てられるように、できる限りサンプル数を増やして可視化し、土台を作っていきたいです。現状グラフ化できているのが4,5件くらいで、複数ツールを用いた比較ができているのは2件ほどに留まります。これでは仮説を立てるのが難しいので、今ある15秒ごとに取得したデータをより細かに1秒単位で分析するなど、なんとかデータを増やしていけたらと思います。

alt

あとは、複数のツールを使って抽出したデータをもとに、声の特徴や身体の動きなどに一定のパターンや独自の指標を見つけ出せたら嬉しいなというところです。

西澤：私は、先ほど実現の可能性は60%くらいだと言いましたが、その残り40%分の課題を、技術・ビジネスの両面から解決してできる限り減らしていくことに挑戦したいと思っています。それをお二人と一緒に進めていけたら嬉しいですね。現場をどう巻き込んでいくかなど考えるべきことはたくさんありますが、お二人がメインで進めてくださっているので、私はそれをどうサポートしていけるかを考えていこうと思います。

――みなさんがそれぞれ相手を思いやって力を尽くしているのが素敵ですね。最後は橋本さんに締めていただきましょう。

橋本：心の機微をデータもくみ取るということは、「dodaがユーザーにとって心地よいサービスであったか」が見えるということ。そこを科学できることがこの取り組みの面白さだと思っています。

alt

私自身2度の転職を経験していますが、2回目の転職ではdodaだけしか使っていません。それは1回目の体験がよかったから、つまり1回目のCAさんがよかったからです。ユーザーの方がdodaを選んでくださっているからこそ、より良い体験がいつでも、誰でも提供できるようにすることで、dodaとのご縁を良いものにできるよう、プロセス設計や改善のための挑戦を続けていきたいです。

――「あきらめられないからこそ、案件を止めずに前に進める」というDT Policyがしっかりと体現されたプロジェクトだなと感じました。素敵なお話をありがとうございました！

（取材＝伊藤秋廣（エーアイプロダクション）／文＝永田遥奈）

橋本久 Hisashi Hashimoto

デジタルテクノロジー統括部　データ＆テクノロジービジネス部　シニアストラテジスト

大学院卒業後、大手コールセンターのアウトソーサーに入社、様々な業種のコールセンターに蓄積されるデータの利活用プロジェクトを手がける。その後、本格的にビッグデータをビジネスで活用するシステムインテグレータの会社に転職。主にGoogleCloudPlaltformを軸としたソリューションの企画設計と業務改善を担当。