企業による性格診断や能力診断を受けたことがある人は、個人の価値観を測るコアバリュー・ファインダー（Core Values Finder）というツールを見たことがあるかもしれない。このツールは、人の価値観を診断するための最も信頼性が高く有効な手段の一つである「ポートレート・バリュー質問票：改訂版」（Portrait Values Questionnaire-Revised：PVQ-RR）をもとにしている。
この科学的な質問票の目的は、思いやり、寛容性、謙虚さ、達成、自律性などを含む20の異なる価値観に、回答者がどれほど合致しているかを診断することにある。回答者は1（自分に最も当てはまる）から6（自分に最も当てはまらない）の尺度で順位をつける。回答には、本人にとって何が重要なのか、何が意思決定のあり方の根拠となるのかが示される。
筆者のチームはAIオルトラボでAIの倫理とポリシーについて研究しており、先頃あるアイデアを思いついた。人気の生成AI用大規模言語モデル（LLM）に、この質問票を用いて「LLM自身の」価値観を順位づけるよう求めたらどうなるか、調べてみてはどうだろうか。
LLMの価値観を心理測定の技術や方法論を用いて正しく診断し、有意義かつ正確な視覚化を円滑に進めるために、我々はコアバリュー・ファインダーを開発したFindYourValues.comのチームとタッグを組んだ。
我々はLLMの価値観を面白半分で尋ねたわけではない。この問いを投げかけたのは、我々が「アラインメント」の問題──つまりLLMの振る舞いと、人間の価値観や意図との整合性を確保するという課題を研究する一環として、AIの価値観を追跡し評価しているからだ。AIのアウトプットに影響を及ぼす潜在的価値観を、技術的ツールを用いて視覚的にベンチマークすることで、AIをより「説明可能」にすることが我々の狙いである。
LLMは公表されていない大量のデータセットで訓練されており、その手法の大部分はプロプライエタリ（独占的、非公開）のままだ。訓練データの具体的な調達方法や出所に関する情報がなければ、あるLLMに見られる価値観がそのデータプールから生じたのか、それとも開発プロセスの中で行われた決定によって生じたのかを判断するのは難しい。この不透明性によって、バイアスの特定と是正が困難となり、説明責任を妨げるブラックボックス的状況に人々は悩まされることになる。
しかし、有意義な透明性を確立するためにはアルゴリズムの開示だけでは不十分だ。ユーザーにとってわかりやすい説明、コンテキストの詳細、独占的な一連のプロセスを公開する姿勢が求められる。これらが実現するのを待つ間、我々は手元にあるツールでできる限りのことをしなければならない。そこで、さまざまなLLMがPVQ-RRにどう答えるのかを調べようという決断に至った次第だ。
クイーンズ大学スミススクール・オブ・ビジネスの非常勤教授。AIの倫理とポリシーを担当。テクノロジー、文化、哲学に焦点を当てた研究を行う。AIの信頼性とアラインメントの課題に取り組む非営利組織、AIオルトラボの共同創設者。
FindYourValues.comの発起人、共同創業者、科学責任者。モチベーション心理学の博士号を取得し、カールスルーエ工科大学の上級研究員として価値観に基づく起業を専門に研究を行う。また、世界的大手ヘルスケア組織でデジタルイノベーションのプロジェクトも主導する。
FindYourValues.comの共同創業者、技術責任者。データエンジニアとして活動し、オーストリアのケルンテン応用科学大学で応用データサイエンス課程の講師も務める。過去の学術業績には、カールスルーエ工科大学との共同研究によるデータとAIに関する出版物の共著などがある。