学生グループによる研究「生成AIを活用した顔表情からの表情コピーと感情マップ生成」がフォーラム顔学2024にて輿水賞を受賞しました

明治学院大学「AI・データサイエンス教育プログラム」の科目「AI・データサイエンス入門」(担当：情報数理学部永田 毅教授)を履修する学生グループによる研究「生成AIを活用した顔表情からの表情コピーと感情マップ生成」が2024年11月2日、3日にかけて行われたフォーラム顔学2024(日本顔学会)にて輿水賞を受賞しました。
この賞は日本顔学会大会(フォーラム顔学)における研究発表の中から、その着想と構想において顔学構築にインパクトをもたらす研究に貢献した発表者に、その功績を顕彰するものとして授与されます。本研究は生成AI技術と感性情報を結び付けるための基盤として「様々なドメインを貫く基盤となる骨太な研究をこれからも期待する」と評されました。 

◆研究概要
生成AIの顔パラメータを活用すると、ある人物の表情を別の人物にコピーすることができます。この技術を使うと、無表情な顔画像から、様々な表情の顔画像を生成することも可能です。
本研究では、この技術を使って、ある特定の人物の無表情顔画像から、ラッセルの円環モデル(注)上の様々な感情の表情を生成し、円環モデル上に配置した「感情マップ」を提案しました。この感情マップを活用すれば、個人に特化した「顔表情からの感情推定」が可能となり、高精度かつホワイトボックス型の感情推定AIが実現できます。
こうした研究は、商品やCMに対する印象計測などのビジネスへの応用や、メンタルヘルスへの応用、気分や機嫌の悪い人を早期に発見してケアにつなげるなど、様々な応用が考えられます。 

注)ラッセルの円環モデルとは、人間の感情を、感情価(感情のポジティブ・ネガティブ度)と活性度(感情の活性度が高いか低いか)の2軸で表現できるとする感情表現モデルです。

◆永田毅教授コメント
この研究を進めるに当たり、まず顔撮影実験を行いました。趣旨に賛同していただいた10名の学生被験者に様々な感情を伴う台詞を読んでもらって撮影し、1400枚の画像を抽出しました。その画像について、138名に上る学生の研究参加者に、各画像の感情価と活性度の主観評価を行ってもらい、その中央値を正解値として、機械学習しました。賞状と予稿には、学生は7名しか記載されていませんが、研究終盤に参加してくれた131名の学生の力により、本研究は大きく加速し、顔学会に間に合わせることができました。ポスターには参加者皆さんのお名前を記載しています。参加してくださった学生の皆さん、本当にありがとうございました。

▼永田毅教授研究者情報
https://gyoseki.meijigakuin.ac.jp/mguhp/KgApp/k03/resid/S000581

◆参加学生(代表)コメント
心理学部心理学科4年 中村明日香さん
今回の研究では、実験の参加と、学会での発表を行いました。以前、別プロジェクトに参加していたご縁で、永田先生からの打診を受け、実験に参加しました。その後、研究の内容の説明を受け、表情コピー技術の活用方法について話し合いました。また、発表時に用いる表情コピーについて説明するための映像制作もお手伝いしました。
学会当日は急遽発表を担当することになりました。学会の一般参加や、大学外での学会で発表者として出ることは初めてで、明治学院大学の名を背負う緊張や伝えられるか不安がありましたが、事前の練習や学会での交流を通じ、落ち着きをもって発表をすることができました。また、普段関わらないような企業の方や大学院生の方の発表を聞いたり交流したりでき、興味深い話を聞くことができたので、純粋に楽しかったです。
AI・データサイエンス教育プログラムを受講したことで、これまでとは違った新しい視野をもてるようになりました。これまで知らなかったデータの扱いや分析手法を学ぶことで、仕事や生活において新たな視点を持って考える力が身についたと感じています。また、私は来年卒業するので、レベル3以上の講義を受講できないのが惜しいです。

法学部消費情報環境法学科3年 堀越月乃さん
永田先生の過去の研究を見て興味が湧き、私からぜひ顔の研究に携わりたい、とお願いをしてこの研究は始まりました。
そして、賛同してくれたメンバーとミーティングで議論を交わしながら研究を進めました。
私は文系でプログラミングの知識が乏しいと感じていたので、不安はありましたが、先生が親切にいろいろ指導してくださいました。顔学会本番は都合により、残念ながら参加することができませんでしたが、受賞出来て本当に嬉しいです。

法学部消費情報環境法学科3年 遠藤洋さん
今回の研究では主に、AIに学習させるデータの準備に協力しました。AIが表情から感情を推定するためには、「嬉しいときには笑う」「悲しいときにはこわばる」というような人間が常識的に知っている表情と感情の繋がりを大量に学習させる必要があります。顔撮影実験で得られた多種多様な表情の顔写真について、1個ずつ目視で感情を評価し、そのレベルを数値化してAIに入力する作業をひたすら繰り返しました。
全国から多数の方が集まって会場は盛況であり、同学会に対する関心の高さを実感しました。大学・企業の研究者の方々とも数多く知り合うことができ、各業界の貴重なお話を伺うことができました。後日、オーディエンス賞を受賞したポーラ化成工業の方と、再度お会いする機会をいただくなど、嬉しく貴重な経験の連続でした。
ずっとITに興味があり、2年次の「AI・データサイエンス入門」に引き続き、3年次では「プログラミング入門」「データ解析・活用入門」を履修しています。すべての始まりは先生に誘われて昨年の日本顔学会に参加したことですが、私の大学生活がそこから一変したと思うと、本当に感慨深いです。

▼フォーラム顔学会2024の詳細はこちら
https://www2.jface.jp/forum2024/index.html

本学では2023年度から全学部対象の「AI・データサイエンス教育プログラム」をスタートさせ、AI時代の新たな基礎知識を、文系学部生にも教授しています。今回の受賞はそのプログラムの中の「AI・データサイエンス入門」の履修者である様々な学部に所属する学生たちが研究に参加し、ひとつの成果となりました。文理融合型の研究として今後のさらなる発展が期待されています。