- AIツールには、固有のバイアスが存在します。これらのバイアスは、研究の中で増幅される可能性があります。
- AIにおけるバイアスは、不完全な学習データ、学習データに含まれる偏見、アルゴリズムの設計時に下された判断、あるいは研究者のAIへのプロンプトの与え方から生じることがあります。
- AIに学習データを与える方法や使用するプロンプトを変えることで、研究におけるAIバイアスを減らすことができます。
研究におけるバイアスとは何か？
研究におけるバイアスとは、研究の結果や結論をゆがめる、あらゆる系統的な誤差のことです。ここで鍵となる言葉は「系統的」です。バイアスは、偶然に生じるものでも、研究助手が試験管を落としたような偶発的なミスによって生じるものでもありません。
研究におけるさまざまなバイアスの種類については他の記事でも取り上げていますので、ここでは、研究にはさまざまなバイアスが存在し、それは質的研究にも査読にも存在するということだけ述べておきます。
研究におけるAIバイアスとは何か？
研究者がAIツールを使い、そのツールに含まれるバイアスを引き継いでしまうと、研究はAIバイアスの影響を受けやすくなります。AIのアルゴリズムやモデルは系統的な誤差を生み出し、それが不公平な、偏った、あるいは差別的な研究データや研究結果につながる可能性があります。
事例：ChatGPTのバイアス
ある興味深い実験で、研究者たちは「doctor（医師）」と「nurse（看護師）」という語を含む文をいくつかChatGPTに入力し、その解釈を求めました。ChatGPTは、医師は男性、看護師は女性であると想定しました。
AIにおける研究バイアスの原因
不完全または偏りのある学習データ
AIモデルの学習に使われるデータそのものが不完全である可能性があります。マイノリティ集団のデータが欠けていたり、特定の年齢、性別、肌の色、人種に関するデータが過剰に、あるいは過少に含まれていたりするのです。
また、重症患者は電子カルテ（EHR）に記録される情報量が多く、記録も長期にわたるため、それだけで学習データに重症患者のデータが多く含まれてしまうという問題も生じます。
事例
あるAIモデルが、糖尿病患者のうちどの患者が腎臓病を発症するかを予測するよう学習させられたとします。学習データセットには、非常に重症の患者の記録がはるかに多く含まれています。そうした患者は、頻繁に通院し、複数の診断を受け、何年にもわたる詳細な電子カルテがあるからです。そのため、このモデルは、手厚く経過観察されているこうした患者によく見られるパターンを学習します。
研究者がこのモデルを一般集団に用いると、腎臓病のリスクを過大に予測してしまう可能性があります。たとえば、血算（CBC）検査のわずかな異常を、腎臓病が差し迫っていることを示す強い指標だと解釈してしまうかもしれません。学習データでCBC検査が強力な予測因子であるように見えたのは、実際の予測価値のためではなく、最も重症の患者がはるかに多くのデータを生み出していたことが一因だったのです。
学習データに含まれる歴史的な偏見
学習データには、AIモデルの学習に用いられた過去の研究に由来する、古いラベルやバイアスが含まれている可能性があります。たとえば、以前の臨床試験の多くでは、サンプルに含まれる男性の数が女性よりもはるかに多く、2022年の研究は、この性別によるバイアスは減少しただけで、なくなってはいないことを示唆しました。そのため、別の研究者がそのAIモデルを使うと、次のような場面で性別によるバイアスが入り込むおそれがあります。
- 文献レビュー：モデルが、男性に焦点を当てたエビデンスや、男性に焦点を当てた研究の要約を返す。
- 研究課題の生成：新たな研究課題を提案する際に、モデルが性別に特有の問題を見落とす可能性がある。
- 診断：症状、行動、治療への反応が性別によって異なる可能性があることをAIモデルが認識せず、それらの症状、反応、行動を別の要因に帰してしまう。
- データ解析：AIが男性と女性の被験者のデータを誤って統合したり、性別が交絡因子、媒介因子、効果修飾因子となる可能性を考慮しなかったりすることがある。
事例
慢性腎臓病（CKD）の新しいスクリーニングシステムを開発している研究者が、どの症状を優先すべきかをAIモデルに尋ねます。AIが返すリストは、サンプルの70%超が白人男性である研究に基づいたものです。そのため、この新しいスクリーニングシステムは、女性やBIPOC（黒人、先住民、有色人種）の集団でCKDを見逃す可能性が高くなります。
AIモデルの設計やアルゴリズムにおける人間の選択
AIモデルは、ある集団を優遇するよう明示的にプログラムされている必要はありません。モデルが何を優先し、どのように判断するかについての人間の選択が、意図せず集団によって異なる結果をもたらすことがあります。AIモデルの開発にあたって、開発者は、特定の最適化目標、特徴量の重み付け、判定のしきい値の設定など、主観的なプログラミング上の選択を行います。そして、こうした選択が、うっかり多数派の集団をほかの集団よりも優遇してしまうことがあります。
事例
研究者たちが、感染症のアウトブレイクのリスクが高い地域を特定するAIモデルを開発するとしましょう。彼らは、入院件数を強力な予測因子とすべきだと判断するかもしれません。
しかし、学習データに、資源の豊富な大都市の情報がはるかに多く含まれていたとしたらどうでしょうか。それは単に、そうした地域では疾病サーベイランスがより充実しており、診療記録もより完全であるからにすぎません。すると、研究者がそのAIモデルを使った場合、農村地域のリスクを過小評価してしまう可能性があります。農村地域では、病院が遠かったりアクセスが不便だったりするために、入院件数が少ないのです。研究者は、実際にはアルゴリズムが誤ったものを優先していたにもかかわらず、こうした地域は疾病負荷が低いと誤って結論づけてしまうおそれがあります。
プロンプトにおける人間の判断
研究者がAIを使用する際には、プロンプトの選択、データのラベル付け、パラメータの設定、出力の解釈などを通じて、研究者自身が無意識に持つ文化的・社会的バイアスが反映されることがあります。
たとえば、ある研究者がClaudeに「低所得家庭の生徒は、なぜ数学で苦労するのか？」と尋ねたとします。この質問は、実のところ、家庭の所得を前提に答えるようClaudeに示唆しています。そのため、Claudeの回答は、親の学歴や家庭の資源といった要因に重点を置き、カリキュラム、学校の財源、指導方法といった要因にはあまり触れないものになるでしょう。研究者がClaudeの出力を使って研究課題を立てたり、質問紙やインタビュープロトコルを設計したりすれば、その結果もまた家庭の所得に関わる要因に偏ることになります。
研究者は、AIの迎合性（sycophancy）にも注意する必要があります。これは、AIモデルがユーザーに同調する回答を返すことで、ユーザーを「喜ばせる」ように設計されていることを意味します。そのため、「柔軟な働き方の制度がどのように従業員の定着率を向上させるのかを説明し、実在するジャーナル論文を引用してください」といったプロンプトでは、柔軟な働き方が定着率を向上させない、あるいは定着率に影響しないことを示す研究は無視されてしまいます。
AIバイアスの軽減：研究者が使用するAIシステムでバイアスを抑えるには
研究でAIを使う際には、次のステップを踏むことでバイアスのリスクを軽減できます。
- 中立的なプロンプトを使う。たとえば、効果の方向性を伝えてしまう「improve（向上させる）」や「reduce（減らす）」の代わりに、「has an influence（影響を与える）」を使う。
- 自分にとって受け入れがたい回答が返ってくる可能性のあるプロンプトや、反対の立場から検証するプロンプト、仮説を明示しないプロンプトを作成する。採用した回答だけでなく、すべての出力を記録する。
- AIの学習データやコーパスを確認する。たとえば、英語の情報源しか対象としない文献検索ツールよりも、英語以外の情報源も対象とするツールを選ぶ。
- 多様な研究チームを作る。さまざまな国、人種、民族、性別の共同研究者がいれば、AIの出力に含まれるWEIRD（Western、Industrialized、Rich、Democratic：西洋の、工業化された、裕福な、民主的な）バイアスを見つけやすくなる。
- AIに与える学習データを前処理し、整理する。データセットのバランスをとったり、重み付けを用いたりする。
参考文献
- Cross JL, et al. Bias in medical AI: Implications for clinical decision-making. doi: 10.1371/journal.pdig.0000651
- Casey Laizure S. Caution: ChatGPT Doesn’t Know What You Are Asking and Doesn’t Know What It Is Saying. doi: 10.5863/1551-6776-29.5.558
- Abbott EE, et al. Understanding and Addressing Bias in Artificial Intelligence Systems: A Primer for the Emergency Medicine Physician. doi: 10.1016/j.acepjo.2025.100311
- Barlek MH, et al. The Persistence of Sex Bias in High-Impact Clinical Research. doi: 10.1016/j.jss.2022.04.077
