データマネジメント › Web参考書 › 第3章

AI 利活用(2):生成 AI の使い方(RAG・ランダム性の制御・プロンプト)と、AI エージェントの人間の関与・ガードレール

第3章 AI利活用(重点分野) / 節 2

シラバスのキーワード: 生成 AIマルチモーダル AIランダム性の制御TemperatureRAG による知識連携プロンプトエンジニアリングfew-shot プロンプティングシステムプロンプト複数の生成 AI を用いた検証AI エージェント自律性と人間の関与最終承認例外処理ガードレールハーネスエンジニアリング

中分類10 の後半の二つの小分類、生成 AI と AI エージェントを扱います。生成 AI は文章の要約からプログラミングまで日常の業務に入り込んでおり、DM では仕組みの細部より、設定や指示の工夫と、出力をどう確かめるかが問われます。AI エージェントでは、任せる範囲と人が関わる場面の設計が中心です。

この節の用語(小分類ごと)

生成 AI 利活用

AI エージェント利活用

試験で問われる観点

関連する節

この節の練習問題(9問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    マルチモーダル AI の説明として,最も適切なものはどれか。
    1. 1テキスト,画像,音声など種類の異なるデータを組み合わせて,入力や出力として扱うことができる AI
    2. 2同じ質問を複数の異なる生成 AI に与えて回答を突き合わせ,誤りや偏りを見つけやすくした AI の使い方
    3. 3日本語,英語,中国語など複数の言語で入力された文章を理解し,指定した言語で回答を生成できる AI
    4. 4質問の内容に応じて,要約用,翻訳用など用途別に用意された複数のモデルから,処理に用いるモデルを自動で切り替える AI
    答えと解説

    正解: 1

    マルチモーダル AI は,テキスト,画像,音声,動画など種類(モダリティ)の異なるデータを組み合わせて扱える AI である。例えば,設備の写真と点検記録の文章を併せて入力して所見を文章で出力させたり,会議の音声から議事録を作成させたりする使い方がある。複数の生成 AI に同じ質問をして回答を突き合わせるのは,生成 AI の出力を検証するための使い方であり,扱うデータの種類の多さを表すものではない。複数の言語を扱えることは多言語対応であり,データの種類はテキストのままである。用途別のモデルを自動で切り替える仕組みはモデルの振り分けであり,マルチモーダルとは別の考え方である。

  2. 問2
    社内向けの生成 AI チャットボットで用いるシステムプロンプトの説明として,最も適切なものはどれか。
    1. 1利用者がチャット画面に入力する質問や依頼の文章であり,回答を求めるたびに利用者ごとに内容が変わる指示
    2. 2求める出力の形式を AI に示すために,入力と望ましい出力の組を数件,指示の中に例として含めて与える手法
    3. 3利用者の入力に先立って AI に与えられ,役割や回答してよい範囲,禁止事項など,対話全体の振る舞いを定める指示
    4. 4利用者の質問に関連する文書を社内のデータベースから検索し,その結果を回答の根拠として指示に加える仕組み
    答えと解説

    正解: 3

    システムプロンプトは,チャットボットの提供者が利用者の入力に先立って AI に与える指示であり,“社内の人事制度に関する質問だけに答える”“個人の評価に関する質問には回答しない”のように,役割,口調,回答の範囲,禁止事項など対話全体に及ぶ振る舞いを定める。利用者が質問のたびに入力する指示はユーザープロンプトと呼ばれる。入力と出力の例を数件示すのは few-shot プロンプティングであり,プロンプトエンジニアリングの手法の一つである。関連文書を検索して根拠として加えるのは RAG の仕組みである。システムプロンプトは利用者から見えないことが多いので,内容の管理は提供する部門が担う。

  3. 問3
    ある部門では,生成 AI を次の a〜c の業務に利用する。それぞれの業務で,出力のランダム性(Temperature など)をどのように設定するのが適切か。組合せとして最も適切なものはどれか。 a 顧客からの問合せメールを,あらかじめ定めた 8 種類の区分のいずれかに振り分ける。 b 新商品の広告に使うキャッチコピーの案を,検討の材料として数多く出させる。 c 毎月の売上報告書から,定められた項目の数値を抜き出して決まった書式の表にまとめる。
    1. 1a:高く,b:高く,c:低く
    2. 2a:低く,b:低く,c:高く
    3. 3a:高く,b:低く,c:高く
    4. 4a:低く,b:高く,c:低く
    答えと解説

    正解: 4

    出力のランダム性を低く設定すると,確率の高い語が選ばれやすくなり,同じ入力に対して安定した出力が得られる。高く設定すると,確率の低い語も選ばれやすくなり,出力が多様になる。問合せを決められた区分に振り分ける a は,同じ内容のメールが毎回同じ区分に振り分けられる必要があるので低くする。キャッチコピーの案を数多く出させる b は,似た案ばかりでは検討の材料にならないので高くする。報告書から定められた項目の数値を抜き出して表にまとめる c は,正確さと再現性が求められるので低くする。業務で使う際は,正解が一つに決まる作業か,多様な案が欲しい作業かで設定を使い分ける。

  4. 問4
    営業企画部門の担当者が生成 AI を業務に利用する際の対応として,適切でないものはどれか。
    1. 1取引先に送るメールの文章を生成 AI に添削させた場合は,修正によって元の文章の意味や条件が変わっていないかを確かめてから送信する。
    2. 2市場の動向について複数の生成 AI に同じ質問をし,全ての回答が一致した事項は,一次情報に当たらずに確定した事実として報告書に記載する。
    3. 3生成 AI に作成させた集計用のプログラムは,結果が分かっている少量のデータで動作を確かめてから,業務のデータに使う。
    4. 4生成 AI で作成した画像を広告に使う前に,既存の著作物や他社の商標に似たものになっていないかを担当者が確認する。
    答えと解説

    正解: 2

    生成 AI は,事実と異なる内容をもっともらしく出力するハルシネーションを起こすことがある。複数の生成 AI は似た公開情報を基に学習していることが多く,同じ誤りを共有する場合もあるので,回答が一致しただけでは事実の裏付けにならない。複数の生成 AI を用いた検証は,食い違う点を見つけて一次情報で確かめるための手段として使う。添削した文章を原文と照らして意味が変わっていないかを確かめること,生成させたプログラムをテストしてから使うこと,生成した画像が既存の著作物や商標に似ていないかを確認することは,適切な対応である。

  5. 問5
    ある会社では,製品の取扱説明書を検索して回答を生成する RAG の仕組みで,顧客からの問合せに対応している。製品の仕様変更に伴って取扱説明書を改版し,改版後の文書を検索の対象に追加したが,その後も旧版の内容を根拠とした回答が出ることがある。この問題への対応として,最も適切なものはどれか。
    1. 1検索の対象とする文書群を見直し,旧版を対象から除くか,版や対象の型番を表すメタデータを付けて,該当する版だけが検索されるようにする。
    2. 2出力のランダム性が原因と考えられるので,Temperature の値を下げ,同じ質問に対しては常に同じ回答が返るようにする。
    3. 3より新しい時期までのデータで学習した大規模な言語モデルに切り替え,モデル自身が改版後の内容を把握した状態で回答させる。
    4. 4顧客向けの案内に,質問文には“最新版に基づいて”と書き添えるよう記載し,顧客の側で回答の根拠とする版を指定させる。
    答えと解説

    正解: 1

    RAG は,検索で取り出した文書をプロンプトに含めて回答を生成させるので,回答の正しさは検索対象の文書の管理に左右される。改版後の文書を追加しただけでは旧版も検索に掛かり,旧版を根拠とした回答が出る。旧版を対象から除くか,版や対象の型番のメタデータを付けて該当する版だけを検索させるのが適切であり,文書の所管部門が改版のたびに更新する運用も要る。Temperature を下げても,検索された旧版に基づく回答が安定して出るだけである。新しいモデルでも自社の取扱説明書は学習していない。質問文に書き添えても,検索で旧版が取り出されれば,それを根拠に回答されるおそれは残る。

  6. 問6
    業務で生成 AI から目的に合った出力を得るためのプロンプトエンジニアリングの工夫として,適切でないものはどれか。
    1. 1“あなたは法務部門の担当者である”のように,AI に担わせる役割や立場を指示の初めに示す。
    2. 2“箇条書きで 5 項目,各 40 字以内”のように,出力の形式や分量を具体的に指定する。
    3. 3求める出力に近い例を幾つか示し,その書き方にならって出力するよう指示する。
    4. 4AI に先入観を与えないよう,目的や読み手,前提の条件は示さずに,作業の内容だけを指示する。
    答えと解説

    正解: 4

    プロンプトエンジニアリングは,生成 AI から目的に合った出力を得るために,指示の内容や構成を工夫することである。生成 AI は指示に書かれていない事情を知らないので,作業の目的,読み手,前提となる条件を示さないと,一般的で業務に合わない出力になりやすい。したがって,先入観を避けるために目的や前提を示さないという工夫は適切でない。役割や立場を示すと観点や用語が業務に沿ったものになりやすく,出力の形式や分量を具体的に指定すると後の加工の手間が減る。求める出力に近い例を示すのは few-shot と呼ばれる手法であり,いずれも出力の質を高める適切な工夫である。

  7. 問7
    AI エージェントの利活用におけるハーネスエンジニアリングの説明として,最も適切なものはどれか。
    1. 1生成 AI から目的に合った出力を得るために,一回ごとの指示の書き方や,役割,出力形式,例の示し方を工夫する取組
    2. 2モデルが使えるツールや参照する情報,権限,実行結果の検証の仕組みなど,モデルの周りの環境を設計して安定して動かす取組
    3. 3業務固有のデータを用いて言語モデルを追加で学習させ,モデル自体の知識や応答の傾向を特定の業務に合わせて変える取組
    4. 4AI が出力した予測や判定について,どの入力項目がどの程度影響したかを人が理解できる形で示し,判断の根拠を説明できるようにする取組
    答えと解説

    正解: 2

    ハーネスエンジニアリングは,2026 年に広まった新しい語で定義は固まっていないが,一般に,AI エージェントの周りに,使えるツール,参照できる情報,与える権限,実行結果を検証して誤りを差し戻す仕組み,ガードレールなどを設計・整備し,意図どおりに安定して動かす取組である。モデルの性能だけでなく,周りの仕組みが成果を左右するという考え方に立つ。一回ごとの指示の書き方を工夫するのはプロンプトエンジニアリングであり,ハーネスエンジニアリングはそれより広い範囲を扱う。追加学習でモデル自体を変えるのはファインチューニング,判定の根拠を示すのは説明可能な AI(XAI)の取組である。

  8. 問8
    ある会社では,経費精算の申請内容を社内規程と照合して処理する AI エージェントを導入する。申請の大半は規程に照らして判断できる定型的なものだが,規程に定めのない費目の申請や高額な申請も一定数ある。また,支払は確定すると取り消すことが難しい。AI エージェントの自律性を生かしつつ人間が適切に関与する設計として,最も適切なものはどれか。
    1. 1AI エージェントの判断の誤りを防ぐため,定型的な申請を含む全ての申請について,AI エージェントの照合結果を担当者が一件ずつ確認してから処理を進める。
    2. 2規程に定めのない費目や高額な申請は,AI エージェントが過去の類似の申請を基に判断して処理を進め,その結果を月末にまとめて担当者に報告する。
    3. 3定型的な申請の照合は AI エージェントに任せ,規程に定めのない費目などの例外は担当者に回し,支払の確定は権限をもつ承認者が最終承認する。
    4. 4処理を速めるため,支払の確定までを AI エージェントに任せ,金額が一定以上の申請だけを,支払の後に担当者が抽出して確認する。
    答えと解説

    正解: 3

    AI エージェントに業務を任せる際は,規程に照らして判断できる定型的な処理は自律的に進めさせ,規程で判断できない例外は人に回す例外処理と,取り消しの難しい操作の前に人が確認する最終承認を組み合わせるのが基本である。全件を担当者が一件ずつ確認する方法は,誤りは防げても自律性を生かせず,導入の効果がほとんど得られない。例外を過去の類似事例から推測して処理し,月末に報告する方法では,規程にない判断を人が確かめないまま進めてしまう。支払の確定まで任せて事後に確認する方法では,誤りに気付いたときには取り消しが難しい。任せる範囲は,誤りの影響と取り消しやすさから決める。

  9. 問9
    顧客からの問合せに対応し,必要に応じて注文の変更や返金の手続も行う AI エージェントに設けるガードレールの例として,適切でないものはどれか。
    1. 1判断に迷う問合せでも顧客を待たせないよう,最も確からしい対応を AI エージェントが選んで,そのまま実行する。
    2. 2顧客のメッセージに,AI エージェントへの指示を書き換えようとする文言が含まれていないかを検査し,該当すれば処理を止める。
    3. 3回答に他の顧客の氏名や連絡先などの個人情報が含まれていないかを送信前に検査し,含まれる場合は送信を止めるようにする。
    4. 4顧客の属性によって不当に異なる対応をしていないか,差別的な表現を含んでいないかを検査し,該当する出力を抑止する。
    答えと解説

    正解: 1

    ガードレールは,AI エージェントの入力,出力,行動を検査・制限して,望ましくない動作を防ぐ仕組みであり,安全性への配慮,倫理的配慮,法令順守などを目的とする。判断に迷う場合に推定した対応をそのまま実行させるのは,不確かなまま注文の変更や返金を進めることになり,動作を制限するどころか誤った操作の危険を高めるので,ガードレールの例として適切でない。迷う場合は処理を止めて担当者に引き継ぐのが望ましい。指示を書き換えようとする入力を検査して止めるのは安全性への配慮,他の顧客の個人情報の送信を止めるのは法令順守,不当な扱いや差別的な表現を抑止するのは倫理的配慮の例である。