プロフェッショナルデジタルスキル › Web参考書 › 第4章

AI 技術:機械学習の手法と評価、ディープラーニング、生成 AI の仕組みと軽量化、AI エージェントの技術

第4章 デジタル技術 / 節 6

シラバスのキーワード: 教師あり学習ランダムフォレストk-means 法交差検証ROC 曲線AUC(Area Under the Curve)データドリフト活性化関数勾配降下法ドロップアウトTransformer人間のフィードバックによる強化学習(RLHF)コンテキスト内学習(In-Context Learning)蒸留(Distillation)MCP(Model Context Protocol)A2A(Agent2Agent Protocol)

中分類18 は、AI のモデルの仕組みの知識で、機械学習、ディープラーニング、生成 AI 技術、AI エージェント技術の四つの小分類から成ります。現行の応用情報では基礎理論の「AI に関する技術」にあった範囲を独立させ、AI エージェントの技術を加えました。業務での使い分けは中分類10(AI 利活用)で扱います。

この節の用語(小分類ごと)

機械学習

ディープラーニング

生成 AI 技術

AI エージェント技術

試験で問われる観点

関連する節

この節の練習問題(16問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    クレジットカード会社の C 社は,取引の不正利用を検知するモデルについて,判定のしきい値を決めようとしている。検証用の 1 か月分の取引 10,000 件のうち,実際に不正利用だったものは 100 件である。しきい値の設定 X〜Z で判定した結果は表のとおりである。実際の不正利用のうち,不正利用と判定されずに見逃されるものを 2 割以下に抑えるという条件を満たす設定のうち,F 値が最も高いものと,その F 値の組合せとして,適切なものはどれか。 表 しきい値の設定ごとの判定結果 |設定|不正利用と判定した件数|そのうち実際に不正利用だった件数| |X|80|70| |Y|140|80| |Z|190|95|
    1. 1X,約 0.78
    2. 2Z,約 0.73
    3. 3Y,約 0.67
    4. 4Z,約 0.66
    答えと解説

    正解: 3

    見逃しの割合は 1 から再現率を引いた値なので,条件は再現率 0.8 以上である。再現率は X が 70/100=0.7,Y が 0.8,Z が 0.95 で,X は条件を満たさない。適合率は Y が 80/140≒0.571,Z が 95/190=0.5 である。F 値は適合率と再現率の調和平均で,Y は 2×0.571×0.8÷1.371≒0.67,Z は 2×0.5×0.95÷1.45≒0.66 となり,Y が最も高い。約 0.78 は条件を満たさない X の F 値である。Z の約 0.73 は適合率と再現率の算術平均で比べた値であり,調和平均は低い方の値に引き寄せられるので,再現率だけを高めた設定は F 値では有利にならない。

  2. 問2
    回帰モデルの評価指標に関する記述のうち,適切でないものはどれか。
    1. 1RMSE は誤差を二乗して平均した値の平方根なので,大きく外れた予測の影響を強く受け,同じ予測結果について求めた MAE を下回ることはない。
    2. 2MAE は誤差の絶対値の平均であり,目的変数と同じ単位で表されるので,予測が実績から平均してどれだけずれるかを利用者に説明しやすい。
    3. 3決定係数は,実績の平均値を常に予測値とする場合と比べて二乗誤差がどれだけ減ったかを表すので,学習に使っていないデータで求めると負の値になることがある。
    4. 4最小二乗法による重回帰分析では,説明変数を追加すると学習データに対する決定係数が下がることがあるので,変数の数で補正した自由度調整済み決定係数を用いる。
    答えと解説

    正解: 4

    最小二乗法では,説明変数を追加しても学習データに対する残差平方和は増えないので決定係数は下がらず,目的変数と無関係な変数を加えても上がりうる。自由度調整済み決定係数は,変数を増やすほど上がるこの性質を補正するために用いるので,下がることがあるという理由づけは適切でない。RMSE は二乗の平均の平方根なので MAE 以上の値になり,外れの大きい予測に敏感である。MAE は目的変数と同じ単位で解釈できる。決定係数は 1 から残差平方和÷全平方和を引いた値なので,平均値で予測するより誤差が大きければ負になる。

  3. 問3
    縦 32 画素,横 32 画素,3 チャネル(RGB)の画像を CNN に入力する。最初の畳み込み層では,大きさ 5×5(チャネル数 3)のフィルタを 8 個用い,ストライドを 1 とし,入力の周囲に幅 2 画素のゼロパディングを施す。その出力に,大きさ 2×2,ストライド 2 のマックスプーリングを適用する。プーリング層が出力する特徴マップの大きさと枚数の組合せとして,適切なものはどれか。
    1. 114×14 が 8 枚
    2. 216×16 が 8 枚
    3. 314×14 が 24 枚
    4. 416×16 が 24 枚
    答えと解説

    正解: 2

    畳み込み層の出力の一辺は,(入力の一辺+2×パディングの幅−フィルタの一辺)÷ストライド+1 で求め,(32+4−5)÷1+1=32 となる。各フィルタは入力の 3 チャネル全てにまたがって積和を求め,1 枚の特徴マップを出力するので,枚数はフィルタの数と同じ 8 枚である。2×2,ストライド 2 のマックスプーリングで縦横がそれぞれ半分になり,16×16 が 8 枚となる。14×14 はパディングを考えずに一辺を 28 として半分にした値であり,24 枚は入力のチャネルごとに別の特徴マップができると考えた値である。

  4. 問4
    ニューラルネットワークで起こる破滅的忘却の説明として,最も適切なものはどれか。
    1. 1学習済みのモデルを新しい課題のデータだけで追加学習すると,以前の課題で得た重みが上書きされ,以前の課題での性能が大きく低下する。
    2. 2運用中に入力されるデータの傾向が学習時のデータから少しずつ変わっていき,再学習しないまま使い続けたモデルの予測の精度が徐々に低下する。
    3. 3系列を先頭から順に処理する RNN で,系列が長くなるほど,前の方の入力の情報が後の時刻の出力に反映されにくくなる。
    4. 4学習率が大きすぎるために重みの更新が行き過ぎ,損失関数の値が下がらずに振動したり発散したりして学習が進まなくなる。
    答えと解説

    正解: 1

    破滅的忘却は,ある課題で学習したニューラルネットワークを別の課題のデータで追加学習したときに,共有する重みが新しい課題に合わせて書き換えられ,以前の課題をこなせなくなる現象である。業務データだけで基盤モデルを追加学習する場合などに問題になり,以前のデータの一部を混ぜて学習する,重要な重みの変化を抑える,一部の層だけを更新するといった対策がとられる。入力データの傾向が変わって精度が下がるのはデータドリフト,系列の前の方の情報が伝わりにくいのは RNN の長期依存の問題,更新が行き過ぎて損失が下がらないのは学習率の設定の問題である。

  5. 問5
    LLM を API 経由で利用するシステムで用いられるプロンプトキャッシュの説明として,最も適切なものはどれか。
    1. 1過去の質問と意味が近い質問を受け付けたとき,保存しておいた過去の回答を,モデルを呼び出さずにそのまま返して,生成の処理を省く仕組み
    2. 2複数のリクエストで先頭から一致する入力の部分について,モデルが処理した結果を一定時間保持して再利用し,その部分の処理を省く仕組み
    3. 3リクエストの内容や難しさを判定して,簡単なものは小規模で安価なモデルに,難しいものは高性能なモデルに振り分けて処理させる仕組み
    4. 4長くなった会話の古い部分を要約して短くし,以降のリクエストでモデルに送る入力のトークン数を減らして,処理の負荷を下げる仕組み
    答えと解説

    正解: 2

    プロンプトキャッシュは,システムプロンプトや参照文書のように多くのリクエストで共通する入力の先頭部分について,モデルが計算した中間の処理結果を一定時間保持して再利用する仕組みである。共通部分の入力の処理が省かれるので,一致した部分の入力の課金と応答までの時間が減る。先頭から一致する部分だけが再利用の対象になるので,固定の指示や文書をプロンプトの前方に,リクエストごとに変わる質問を後方に置くと効果が出やすい。出力は毎回生成される。意味の近い質問に保存した回答を返すのは回答のキャッシュ,難しさで振り分けるのはモデルルーター,古い会話を要約するのはコンテキストの圧縮である。

  6. 問6
    生成モデルや言語モデルに関する記述のうち,適切でないものはどれか。
    1. 1オートエンコーダは,入力を低次元の潜在表現に変換する符号化器と,潜在表現から入力を復元する復号器とを,復元の誤差が小さくなるように学習するので,正常なデータだけで学習すると異常の検知にも使える。
    2. 2拡散モデルは,データに少しずつ雑音を加えていく過程の逆をたどるように学習し,雑音から段階的に雑音を取り除いて生成するので,1 回の生成に要する計算の段階が GAN よりも多くなりやすい。
    3. 3GAN は,生成器と識別器とを交互に学習させて,識別器が本物と生成物とを見分けられなくなる状態を目指すので,学習が安定して収束しやすく,学習データの多様さを偏りなく再現できる。
    4. 4SLM は,パラメータ数を抑えたことで端末や自社のサーバでも動作させやすく,特定の業務のデータで追加学習すると,その業務では大規模なモデルに近い性能が得られる場合がある。
    答えと解説

    正解: 3

    GAN は生成器と識別器の二つのネットワークを競わせて学習するので,両者の釣り合いが崩れると学習が振動したり収束しなかったりしやすい。また,生成器が識別器をだましやすい一部の種類のデータばかりを生成するモード崩壊が起き,学習データの多様さを再現できないことがあるので,記述は適切でない。オートエンコーダは正常なデータで学習すると,異常なデータの復元誤差が大きくなることを異常の検知に使える。拡散モデルは雑音の除去を多数の段階で繰り返すので生成に時間がかかる。SLM は計算資源の制約がある環境に配置しやすい。

  7. 問7
    LLM を組み合わせて処理する AI エージェントのワークフローのうち,Orchestrator-Workers Workflow の説明として,最も適切なものはどれか。
    1. 1タスクを観点ごとのサブタスクにあらかじめ分けておき,複数の LLM に同時に処理させて,それぞれが返した結果をプログラムで集約する。
    2. 2受付役の LLM が入力の種類を判定し,種類ごとに用意しておいた専用のプロンプトや処理の中から一つを選んで,その入力を振り分ける。
    3. 3ある LLM が生成した出力を別の LLM が評価の基準に照らして評価して改善点を返し,基準を満たすまで生成と評価とを繰り返す。
    4. 4中心となる LLM が,入力の内容に応じて必要なサブタスクをその都度決めて他の LLM に割り当て,返された結果を統合して出力をまとめる。
    答えと解説

    正解: 4

    Orchestrator-Workers Workflow は,中心となる LLM(オーケストレータ)が入力を分析して必要なサブタスクを動的に決め,作業を担う LLM(ワーカー)に割り当て,その結果を統合する方式である。どのようなサブタスクが必要かを事前に決められない,変更箇所が入力ごとに異なるプログラムの修正などに向く。サブタスクを事前に固定して同時に処理させるのは Parallelization,入力を分類して専用の処理へ振り分けるのは Routing,生成と評価を繰り返して出力を磨くのは Evaluator-Optimizer Workflow であり,いずれもサブタスクの分け方は設計時に決まっている。

  8. 問8
    AI エージェントの構築に用いられる MCP(Model Context Protocol)の説明として,最も適切なものはどれか。
    1. 1AI アプリケーションが外部のツールやデータソースを利用する際の接続方法を共通化し,個別の連携処理を作り込まずに機能を追加できるようにするオープンなプロトコル
    2. 2異なる事業者や基盤で開発された AI エージェント同士が,互いの能力を発見し合い,タスクを依頼・委譲しながら協調して処理を進めるための通信プロトコル
    3. 3学習済みの大規模言語モデルのパラメータを少ないビット数で表現することによって,推論に必要なメモリ量や計算量を削減するモデル軽量化の手法
    4. 4LLM に最終的な回答だけでなく推論の途中過程を段階的に出力させることによって,複雑な問題に対する回答の精度を高めるプロンプトの手法
    答えと解説

    正解: 1

    MCP は,LLM を用いた AI アプリケーションと,ファイル,データベース,業務システムなどの外部のツールやデータソースとを接続するための仕様を標準化したオープンなプロトコルであり,MCP に対応したサーバを用意すれば,アプリケーションごとに個別の連携処理を作らずに機能を追加できる。AI エージェント同士が能力を発見し合いタスクを委譲するためのプロトコルは A2A(Agent2Agent Protocol)である。パラメータを少ないビット数で表現する手法は量子化,推論の途中過程を段階的に出力させる手法は CoT(Chain of Thought)の説明である。

  9. 問9
    機械学習のモデルの精度の改善・評価に関する説明のうち,適切でないものはどれか。
    1. 1交差検証は,データを複数のグループに分け,一つを評価用,残りを学習用とする組合せを,評価用のグループを入れ替えながら繰り返し,その結果を平均して汎化性能を推定する手法である。
    2. 2データドリフトは,運用中にモデルへ入力されるデータの分布が,学習に用いたデータの分布から変化することであり,モデルの予測精度が低下する原因となる。
    3. 3グリッドサーチは,ハイパーパラメータの候補値の組合せを全て試し,検証用のデータに対する評価が最も良かった組合せを選ぶ手法である。
    4. 4AUC は ROC 曲線の下側の面積であり,値が 0.5 のときに陽性と陰性を完全に識別できるモデルであることを示し,値が 1 に近いほど無作為な予測に近い。
    答えと解説

    正解: 4

    AUC は,横軸に偽陽性率,縦軸に真陽性率をとった ROC 曲線の下側の面積であり,0 から 1 までの値をとる。値が 1 に近いほど陽性と陰性をよく識別できるモデルであり,無作為に予測するモデルでは 0.5 となる。記述は 0.5 と 1 の意味が逆になっているので,適切でない。交差検証はデータの分け方を変えながら評価を繰り返して汎化性能を推定する手法,データドリフトは入力データの分布の変化,グリッドサーチはハイパーパラメータの候補の組合せを総当たりで探索する手法であり,いずれも適切である。

  10. 問10
    LLM を用いた社内の問合せ対応で,回答の形式や精度を改善したい。次の方法 a〜c のうち,LLM のパラメータを更新せずに実現できるものだけを全て挙げた組合せはどれか。 a プロンプトの中に,問合せと望ましい回答の例を数件示してから本来の問合せを与え,例と同じ形式で回答させる。 b プロンプトで,結論を出す前に考慮すべき条件を一つずつ確認しながら段階的に推論するよう指示し,その過程を出力させる。 c 過去の問合せと担当者が作成した回答の組を数千件用意して LLM を追加で学習させ,自社の業務に適した回答をさせる。
    1. 1a,b
    2. 2a,c
    3. 3b,c
    4. 4a,b,c
    答えと解説

    正解: 1

    a は,少数の例をプロンプトに含めて課題の解き方を示すコンテキスト内学習(In-Context Learning)であり,LLM は与えられた文脈から回答の形式を推測して従うので,「学習」と呼ばれるがモデルの重みは更新されない。b は,推論の途中過程を段階的に出力させる CoT(Chain of Thought)であり,これもプロンプトの工夫だけで実現できる。c は,追加のデータを用いてモデルの重みを調整するファインチューニングであり,パラメータの更新を伴う。したがって,a,b の組合せが正しい。

  11. 問11
    AI のモデルの軽量化に用いられる蒸留(Distillation)の説明として,最も適切なものはどれか。
    1. 1学習済みのニューラルネットワークの中で,出力への寄与が小さい重みやニューロンを取り除いて,モデルの規模と計算量を削減する手法
    2. 2大規模で高性能なモデルの出力を教師として,より小規模なモデルを学習させ,大規模なモデルに近い性能を少ない計算資源で実現する手法
    3. 3モデルの重みなどのパラメータを,32 ビットの浮動小数点数から 8 ビットや 4 ビットの整数などの少ないビット数の表現に変換して,メモリの使用量を削減する手法
    4. 4ある課題で学習済みのモデルを基に,別の課題の少量のデータを用いて追加の学習を行い,その課題に適したモデルを効率よく作成する手法
    答えと解説

    正解: 2

    蒸留(知識蒸留)は,教師モデルと呼ばれる大規模なモデルが出力する確率分布や回答を学習の目標として,生徒モデルと呼ばれる小規模なモデルを学習させる手法である。正解ラベルだけでは得られない教師モデルの知識を引き継げるので,小さなモデルでも高い性能を得やすく,推論の費用や応答時間を抑えられる。寄与の小さい重みなどを取り除く手法はプルーニング(枝刈り),パラメータを少ないビット数で表現する手法は量子化,学習済みのモデルを別の課題に適応させる手法は転移学習の説明であり,いずれも蒸留の説明ではない。

  12. 問12
    大規模言語モデルの基盤となる Transformer で中心的な役割を果たす自己注意機構(Self-Attention)の説明として,最も適切なものはどれか。
    1. 1入力系列の要素を先頭から一つずつ順番に処理し,それまでに処理した内容を内部の状態として次の時刻の処理に引き継いでいくことによって,系列の文脈を捉える仕組み
    2. 2小さなフィルタを入力の上でずらしながら掛け合わせて局所的な特徴を抽出し,層を重ねるにつれて入力のより広い範囲にわたる大域的な特徴を捉える仕組み
    3. 3系列の中での各要素の順序を表す情報をベクトルとして各要素の表現に加えることによって,語順の違いをモデルが区別して扱えるようにする仕組み
    4. 4系列の各要素と他の全要素との関連度を重みとして求め,その重みで他の要素の情報を集約することで,離れた位置の要素間の依存関係も並列に計算して捉える仕組み
    答えと解説

    正解: 4

    自己注意機構は,系列の各要素から作ったクエリ,キー,バリューのベクトルを用い,クエリとキーの類似度から他の全要素に対する重みを求めて,バリューを重み付きで合計する仕組みである。系列全体を同時に処理できるので並列計算に向き,離れた位置の語どうしの関係も直接捉えられる。自己注意機構だけで系列を処理する Transformer は,2017 年の論文“Attention Is All You Need”で提案され,LLM の基盤となった。要素を順に処理して内部状態を引き継ぐのは RNN,フィルタで局所的な特徴を抽出するのは CNN,順序の情報を表現に加えるのは Transformer で併用される位置エンコーディングの説明である。

  13. 問13
    LLM のアラインメントに用いられる RLHF(人間のフィードバックによる強化学習)の説明として,最も適切なものはどれか。
    1. 1同じ指示に対するモデルの複数の応答を評価者が好ましい順に並べたデータから報酬モデルを学習させ,その報酬モデルの評価が高くなるようにモデルを更新する手法
    2. 2大量のテキストの一部を隠したり次に続く語を予測させたりすることによって,人手で正解のラベルを付けることなく,言語に関する一般的な知識をモデルに獲得させる手法
    3. 3人が作成した指示と模範的な応答の組を正解のデータとし,教師あり学習によって,指示に従った形式で応答するように事前学習済みのモデルを調整する手法
    4. 4攻撃者の立場でモデルに有害な出力を引き出そうとする入力を意図的に与えて,安全上の弱点を洗い出し,対策が必要となる箇所を特定する手法
    答えと解説

    正解: 1

    アラインメントは,AI の振る舞いを人間の意図や価値観に沿わせることである。RLHF では,モデルが生成した複数の応答を人が比較・順位付けしたデータから,応答の好ましさを点数で返す報酬モデルを学習させ,その報酬が高くなるように PPO などの強化学習の手法でモデルを更新する。順位付けのデータから報酬モデルを介さずに直接学習する DPO などの手法も使われている。テキストの一部を予測させて知識を獲得させるのは事前学習で用いる自己教師あり学習,模範的な応答で調整するのは教師ありのファインチューニング(SFT)であり,RLHF の前段で行われることが多いが RLHF そのものではない。有害な出力を引き出して弱点を探すのはレッドチーミングの説明である。

  14. 問14
    生成 AI の技術に関する記述のうち,適切でないものはどれか。
    1. 1LLM は文章をトークンと呼ばれる単位に分割して処理し,API の利用料金や一度に扱える入力の上限も,トークンの数で示されることが多い。
    2. 2拡散モデルは,画像を生成するネットワークと,画像が本物か生成されたものかを見分けるネットワークとを競わせながら学習し,見分けられない画像を生成する。
    3. 3エンベディングは,単語や文章を,意味の近さがベクトル間の近さに対応するような数値のベクトルに変換したものであり,類似した文書の検索などに広く用いられる。
    4. 4コンテキストウィンドウは,LLM が一度の処理で参照できるトークン数の上限であり,それを超えた入力や会話の古い部分は,そのままでは参照されない。
    答えと解説

    正解: 2

    拡散モデルは,学習データにノイズを少しずつ加えて最終的に純粋なノイズにする過程を考え,その逆に,ノイズを段階的に取り除く処理をニューラルネットワークに学習させる生成モデルである。生成時は無作為なノイズから出発し,ノイズの除去を繰り返して画像などを得る。生成するネットワークと見分けるネットワークとを競わせて学習するのは敵対的生成ネットワーク(GAN)の説明なので,適切でない。トークンが処理と課金の単位であること,エンベディングが意味の近さをベクトルの近さで表すこと,コンテキストウィンドウが参照できる量の上限であることは,いずれも適切である。

  15. 問15
    ディープラーニングにおける勾配消失問題の説明として,最も適切なものはどれか。
    1. 1誤差逆伝播法による学習で,出力側から入力側へ伝える勾配が層を経るごとに小さくなり,入力に近い層の重みがほとんど更新されなくなる。
    2. 2損失関数の値が全体の最小ではない谷に入り込み,その周囲で勾配がほぼ 0 になるので,重みを更新してもそれ以上損失を下げられなくなる。
    3. 3学習率を小さく設定しすぎたので,勾配の大きさが十分であっても 1 回当たりの重みの更新量が小さく,学習が収束するまでに長い時間がかかる。
    4. 4訓練データに過度に適合して,訓練データに対する誤差は小さくなるが,学習に使っていない未知のデータに対する誤差が大きくなる。
    答えと解説

    正解: 1

    勾配消失問題は,誤差逆伝播法で出力側から入力側へ勾配を伝える際に,各層の活性化関数の微分などが掛け合わされて勾配が小さくなり,入力に近い層の学習が進まなくなる問題である。シグモイド関数の微分は最大でも 0.25 なので,層が深いほど起きやすい。ReLU 関数の利用,重みの初期値の工夫,残差接続などで緩和する。全体の最小ではない谷にとどまるのは局所最適解,学習率が小さすぎて収束が遅いのはハイパーパラメータの設定の問題,未知のデータで誤差が大きくなるのは過学習であり,いずれも層の深さによって勾配が減衰する現象とは異なる。

  16. 問16
    ニューラルネットワークの学習で用いられるドロップアウトの説明として,最も適切なものはどれか。
    1. 1検証用データに対する誤差が下がらなくなった時点で学習を打ち切り,訓練データに過度に適合する前の時点の重みを採用する。
    2. 2学習の繰返しごとに一部のニューロンを無作為に選んで出力を 0 にし,特定のニューロンへの依存を減らして過学習を抑える。
    3. 3損失関数に重みの二乗和に比例する罰則の項を加えて,重みの値が大きくなりすぎないようにし,過学習を抑える。
    4. 4訓練用の画像に回転や反転,明るさの変更などを加えたデータを追加して,訓練データの量と多様性を増やす。
    答えと解説

    正解: 2

    ドロップアウトは,学習の繰返しごとに一部のニューロンを無作為に選んで無効にし(出力を 0 にし),毎回異なる構造のネットワークで学習させることで,特定のニューロンの組合せへの依存を減らし,過学習を抑える手法である。推論の際には全てのニューロンを使い,出力の大きさが学習時と合うように調整する。検証用データの誤差が下がらなくなった時点で打ち切るのは早期終了,重みの二乗和を損失に加えるのは L2 正則化(重み減衰),画像に変形を加えて訓練データを増やすのはデータ拡張であり,どれも過学習の対策だが仕組みが異なる。