状況を読み取る
依頼の言葉だけで結論を出さず、利用者・目的・制約・例外を分けて把握します。
FDEシナリオ試験
正解より、次の確認を選ぶ
顧客の業務、データ、期限、リスクが重なる場面を使い、FDEエンジニアとして何を優先するかを考えます。回答後は根拠を読み、AIメンターに判断の筋道を相談できます。
回答状況
4問中0問に回答
認定条件：各テーマで10問中8問以上正解し、同じカテゴリで4テーマを完了。
短いシナリオ試験
FDEの判断を試す
サイトオリジナル学習記事
L1 評価と安全性：AI FDE 実践ガイド
サイトオリジナルの実践ガイド：評価と安全性は、リリース直前の最終確認ではない。すべての変更の前後でチームが使う意思決定システムである。代表性のある証拠がなければ、滑らかなデモは利…
評価と安全性は、リリース直前の最終確認ではない。すべての変更の前後でチームが使う意思決定システムである。代表性のある証拠がなければ、滑らかなデモは利用可能性を示さない。
まず正しい問題を扱う
実業務から成功、失敗、境界、高リスクの事例を集める。品質、レイテンシ、コスト、拒否、人へのエスカレーションに別々のしきい値を置き、重要な失敗を分類する。
交付で残すべき証拠
版管理された評価セット、採点規則、リスク台帳、しきい値ダッシュボード、証拠に基づくリリースまたはロールバック判断。
30分の実践練習
実例を五つ選ぶ。通常二件、境界二件、高リスク一件である。各例に期待動作、許容できない動作、人が扱う経路を定義する。
自己点検リスト
- この仕事は抽象的なモデル能力ではなく、実在するユーザータスクに結び付いているか。
- チームは成功、失敗、責任者、次の判断を明確に説明できるか。
- 重要な仮説には、デモの印象だけでなく観測可能な証拠があるか。
練習を終えたら、このテーマの問題に戻る。選択肢を先に暗記せず、自分のワークフロー、証拠、境界を使って、なぜその選択がより信頼できるかを説明する。
参考資料
- Anthropic: Demystifying evals for AI agents
- Google Cloud: Deploy and operate generative AI applications
この記事は上記資料を参照し、AI FDE Japan 編集部が日本の実務学習向けに独自構成・執筆したものです。
送信するには4問すべてに回答してください。
このテーマで見ること
評価と安全性の判断メモ
AI導入の正解は、モデル名だけでは決まりません。利用者、業務の流れ、データ、責任、失敗時の戻し方を一緒に見て、次に確かめることを選びます。
判断を仕事に置く
自分の案件なら誰に聞き、何を記録し、どこまで試すかを考えます。
根拠を残す
出力の見栄えではなく、品質、安全性、業務への影響を確かめる方法を選びます。
評価と安全性の学習図解
代表ケースをリスク別に検証し、敵対的テスト、しきい値、フォールバック、責任の準備を確認してからリリースします。
評価と安全性の進め方
- 1
状況を読む
まず設問から、成果、制約、見落とすと困る点を探します。
- 2
解説と比べる
選択理由と解説を比べ、何を優先すべきだったかを言葉にします。
- 3
現場のメモにする
気になった論点を一つ選び、次の会議や設計で使う確認メモにします。
- 4
別の場面へ進む
次のテーマでは、同じ考え方が別の制約でも通用するかを試します。
評価と安全性の設問プレビュー
- AIワークフローがエンドツーエンドで動作しています。本番環境への展開前に最も価値のある検証は何ですか？
- システムの平均精度は高いが、小規模な高リスクカテゴリで頻繁に失敗します。どのように評価すべきですか？
- オフラインの回答品質は高いが、ユーザーのタスク完了が遅くなっています。何を調査すべきですか？
評価と安全性に関する質問
この試験で何が分かりますか？
その時点のシナリオで、何を確認してから進めるかを選ぶ練習の結果です。職務経験や採用の可否を保証するものではありません。
合格の目安はありますか？
各テーマでは10問中8問以上を認定の目安にしています。点数だけで終わらせず、迷った理由を解説で振り返ってください。
試験の後は何をすればよいですか？
迷った設問を一つ選び、自分の案件で誰に何を聞くか、どう確認するかを短く書き出してみてください。
なぜテーマごとにページがありますか？
AI導入では段階によって必要な判断が異なります。自分の状況に近い場面から、設問と解説を行き来できるようにしています。
評価と安全性を次の仕事につなげる
答えを覚えるより、次に確認することを一つ持ち帰ってください。小さなメモが、次の導入判断の根拠になります。