「PM」と§3.1を、数千ファイルで整合させるということ
前回、「生成AIを使った結果、教材制作が終わらなくなった」と書きました。これは、AIを導入したことで作業が非効率になった、という意味ではありません。むしろ逆です。文章の比較、用語の抽出、参照箇所の検索、英語版と日本語版の照合といった、従来は相当な集中力と時間を必要とした作業が、以前とは比較にならない速度で進むようになりました。人間が行うと苦痛を伴う機械的な作業を、AIは疲れずに繰り返してくれます。その恩恵は、非常に大きなものです。もうAIがなかった時代には戻れません。
しかし、作業が速くなれば、プロジェクトが早く終わるとは限りません。以前なら、時間がかかりすぎるために断念していた過去資料の結合、用語の棚卸し、版をまたいだ説明の比較、出典への遡及といった作業にまで手を伸ばせるようになったからです。AIによって一つの作業の負担は減りましたが、その結果、取り組める仕事の範囲が大きく広がりました。これまで気づいていても放置せざるを得なかった問題を、一つずつ処理できるようになったのです。苦痛は減りました。しかし、仕事は増えました。
そこで次に期待したのが、AIによる品質保証でした。大量の文章をAIに読ませれば、誤りや矛盾を簡単に発見できるのではないか。人間には困難な教材全体の確認も、AIならば処理できるのではないか。実際、AIは多くの問題を発見します。誤字、用語の不統一、存在しない参照先、問題文と解説の不一致など、人間が長時間確認すれば疲弊する作業を、短時間で処理できます。
ところが、数千ファイルを対象としてQAを行ううちに、もう一つの現実が見えてきました。AIは文章を検査できますが、何を正しいとするのかが定義されていなければ、正しい検査はできません。しかも、その定義を作る仕事こそが、大規模文章のQAにおいて最も困難な部分でした。
「PM」という二文字をどう処理するか
例えば、教材中に「PM」という表記があったとします。一見すると、何の問題もない略語に見えます。しかし、PMはプロジェクトマネジメントを意味することもあれば、プロジェクトマネジャーを意味することもあります。さらに、近年ではプロダクトマネジメントやプロダクトマネジャーを指す場合もあります。前後の文章を読めば意味を判断できることもありますが、短い見出し、図表中のラベル、箇条書き、問題の選択肢などでは、文脈だけから確定できない場合があります。
それならば、プロジェクトマネジャーをPjM、プロダクトマネジャーをPdMと書き分ければよいようにも思えます。しかし、これらの略語は、すべての組織や文献で同じように使用されているわけではありません。PjMを一般的な略語として認識しない読者もいますし、PdMがプロダクトマネジメントという活動を指すのか、プロダクトマネジャーという役割を指すのかは、やはり文脈によって変わります。略語を追加することで曖昧さが減る場合もあれば、読者に新たな用語を覚えさせるだけになる場合もあります。
機械的な処理も簡単ではありません。「PM」をすべて「プロジェクトマネジャー」に置き換えれば、プロジェクトマネジメントを意味する箇所まで誤って変更します。反対に、すべての出現箇所を人間が確認するのであれば、数千ファイルを対象に機械検査を行う利点が失われます。必要なのは単純な置換表ではなく、どの文脈でどの略語を許可するのか、最初の出現時には正式名称を併記するのか、見出し、本文、図表、問題文で異なる規則を適用するのか、意味を確定できない場合には警告だけを出すのか、といった判断を含む規則です。
たった二文字の問題です。しかし、その二文字を教材全体で整合させようとすると、辞書、表記規則、例外規則、検査器、そして最後には人間による文脈判断が必要になります。大規模な文章を整えるという仕事は、このような小さな曖昧さを、一つずつ放置できなくしていく仕事でもあります。
「PMBOKガイドの§3.1」では足りません
参照表記にも、同じような問題があります。教材に「PMBOKガイドの§3.1を参照」と書かれていたとしても、それだけでは参照先を特定できないことがあります。PMBOKガイドには、ガイド部分と「プロジェクトマネジメント標準」が一冊に収められている版があるからです。ガイドの§3.1なのか、標準の§3.1なのかを明示しなければ、読者は別の箇所を開く可能性があります。さらに、版が変われば章立ても変わるため、同じ§3.1がまったく異なる内容を指すこともあります。
厳密な参照を成立させるためには、文献名だけでは足りません。第何版であるのか、ガイド部分なのか標準部分なのか、英語版なのか日本語版なのか、章や節の番号は何か、必要であればどのページなのかを区別する必要があります。教材の制作過程まで追跡可能にしようとすれば、どのPDFファイルを使って確認したのか、いつ確認したのかも記録しておいたほうがよいでしょう。そこまで書けば参照としては明確になりますが、今度は教材本文が参照情報で埋まってしまいます。正確性と可読性の間で、別の判断が必要になります。
ページ番号も単純ではありません。PDFファイルの先頭から数えた物理的なページ番号と、紙面上に印刷されているページ番号が一致しないことがあるからです。表紙、前書き、目次、扉などが本文の前に置かれていれば、「PDFの153ページ」と「紙面に153と表示されているページ」は別の場所を指します。人間同士の会話であれば、前後関係から補えるかもしれません。しかし、機械的な検査では、どちらを意味するのかをあらかじめ決めておかなければなりません。AIは文脈から補ってくれる場合がありますが、それは正解を確認したのではなく、もっともらしい推測をしただけかもしれません。
一つひとつは小さな曖昧さです。ところが、それが数百、数千の参照箇所に広がると、教材全体の信頼性に関わる問題になります。参照先のファイルが存在すること、指定されたページが存在すること、そして、そのページの内容が教材の主張を実際に裏付けていることは、それぞれ別の検査です。リンクが開いたからといって、参照が正しいことにはなりません。
正確だが、受講者が確認できない出典
出典を正確に記録すれば問題が解決するわけでもありません。PMBOKガイド第6版や、過去に公開されたProcess Groups関連の解説には、現在も試験や実務を理解するうえで有用な説明が残っています。しかし、それらの文献を現在の受講者が容易に入手できるとは限りません。事実上の出典を正確に示しても、受講者が確認できなければ、学習教材の参照先としては十分に機能しない場合があります。
では、現在入手できない文献を参照する必要はないのでしょうか。それも違います。ある知識が現在のガイドから削除されたとしても、その知識そのものが消滅したわけではありません。試験範囲の表現が変わっても、実務上の重要性が失われていない概念があります。旧版で丁寧に説明されていた内容が、現行版では簡略化されている場合もあります。現在配布されていないからという理由だけで旧版の知識を捨ててしまえば、教材はかえって薄くなります。
そのため、出典管理では、少なくとも三つの軸を分けて考える必要があります。その知識が歴史的、事実的にどこから来たのか。現在の受講者が、その資料を入手できるのか。そして、その知識が現在の試験や実務にどの程度関係するのか。この三つです。
事実上の出典として正しいことと、受講者に提示する参考文献として適切であることは同じではありません。古い文献を知識の由来として記録しつつ、教材本文では現在入手可能な資料を参照させる場合もあります。反対に、現在入手可能な資料だけでは説明が不十分であるため、外部資料や原典を探す場合もあります。この判断は、参考文献一覧を作るだけでは処理できません。教材の目的、受講者の環境、試験との関係、説明の正確性を含めて設計する必要があります。
辞書と規則も、教材と同じように成長します
このような問題を整理するため、今回のプロジェクトでは、教材本文とは別に多くの管理資料を作成しています。用語辞書、略語一覧、出典台帳、表記規則、参照規則、旧版と現行版の対応表、検査対象と例外の一覧、修正状況を記録する台帳などです。2026年9月8日時点の棚卸しでは、主要語、補助語、参照用語などを合わせて、実用上約500項目の辞書候補が存在していました。略語台帳、用語管理表、出典台帳も、それぞれ独立した成果物として成長しています。
ところが、辞書を作れば問題が解決するわけではありません。辞書に記載した定義は正しいのか、教材内の実際の用法と一致しているのか、英語と日本語の対応は適切なのか、同じ語が別の領域で異なる意味を持っていないかを確認しなければなりません。旧版の用語と現行版の用語も、必ずしも一対一で対応するとは限りません。用語が変更されたのか、概念そのものが変更されたのか、単に翻訳が変わったのかを区別しなければ、表記だけを統一した結果、意味を壊すことがあります。
つまり、辞書そのものがQAの対象になります。教材を検査するために辞書を作り、辞書を検査するために規則を作り、規則を実行するために検査器を作ります。そして、検査器が正しく動いているかを確認するために、正常な例、違反となる例、例外として許容する例を用意しなければなりません。規則を変更すれば、以前は正常だった文章が違反になることもあります。その場合、教材が悪いのか、新しい規則が厳しすぎるのかを、再び判断する必要があります。
辞書と規則、検査器だけでも膨大です。品質保証のために作った仕組みが、それ自体として管理と検査を必要とする一つの大きな制作物になりました。これは予想していなかったことではありません。しかし、実際にこの規模まで成長すると、品質保証を行うための知識体系と、教材として提供する知識体系が、ほとんど並行して発達しているように見えます。
制作、QC、QA、そしてメタQA
今回の制作では、品質管理を一つの工程に集約していません。教材、問題、解説、図版、辞書などを作成する「制作」があり、その後に、表記、形式、ファイル構成、参照先、番号、文字列など、比較的機械的に判定できる事項を確認する「QC」があります。さらに、説明の妥当性、教材間の整合、問題文と解説の関係、出典との一致などを確認する「QA」を行います。そして最後に、QAが適切な対象を確認したのか、判定基準が一貫していたのか、報告書の結論が証拠によって支えられているのかを確認する「メタQA」があります。
制作と検査には、十人弱に相当する複数のAI上の役割を設定しています。執筆者だけではなく、校正、用語確認、参照確認、独立QA、修正確認などを分担させています。しかし、役割名を増やせば独立した検査になるわけではありません。同じ資料を読み、同じ前提を与えられ、同じような質問をされたAIは、別の名前を付けても同じ見落としをする可能性があります。
独立性を確保するためには、参照させる資料、確認の順序、判定基準、報告形式まで分ける必要があります。あるAIには教材だけを読ませ、別のAIには原典との比較を担当させ、さらに別のAIには指摘と修正結果の対応だけを確認させる、といった設計が必要になります。それでも、すべてのAIが同じ誤った辞書や同じ不完全な参照表を使用していれば、誤りは共有されます。AIエージェントの人数を増やすことよりも、異なる証拠と異なる観点から検査できる構造を作ることのほうが重要です。
高い評価の後から、問題が見つかります
大規模QAで特に印象的だったのは、一度高く評価された成果物から、後の検査で多数の問題が発見されたことです。ある段階では、成果物全体に非常に高い評価が付けられていました。しかし、確認方法と参照資料を変えて再検査したところ、約269件の指摘が記録されました。別のQAラウンドでは、指摘件数が269件、311件、161件と推移しました。
これらの数字を単純に比較することはできません。検査範囲、判定基準、指摘を分割する単位、重複を統合する方法が異なるためです。指摘件数が減ったからといって、必ずしも品質が向上したとは限りません。前回の検査で扱った領域を、次の検査では対象外にしただけかもしれません。反対に、件数が増えたからといって品質が悪化したとも限りません。検査基準が精密になり、それまで見えなかった問題を発見できるようになった可能性があります。
それでも、一つだけ明確に言えることがあります。一度のQA結果や、一つの総合評価だけでは、大規模教材の品質を保証できません。高い点数が付いたことよりも、何を確認し、何を確認していないのかを記録することのほうが重要です。「問題なし」という結論にも、有効範囲があります。
修正にも危険があります。ある用語を正しく直したことで、別の教材との対応が崩れることがあります。説明を追加したために、問題文と解説の難易度がずれることがあります。ファイルを差し替えた結果、参照番号や図版の対応が壊れることもあります。一つの問題を修正することと、教材全体が正しくなることは同じではありません。修正後には回帰確認が必要になり、その回帰確認が十分だったのかを確認するメタQAが必要になります。
終わりません。
「エラーゼロ」が意味していること
機械検査で最も注意しなければならない表示は、「エラーゼロ」です。エラーゼロという言葉には、あたかも教材に問題が存在しないかのような印象があります。しかし、実際に意味しているのは、現在の検査器が、現在定義されている条件に違反する箇所を発見しなかった、ということだけです。
検査規則に含まれていない問題は発見できません。辞書が誤っていれば、検査器は誤った基準に従って合格と判定します。参照先のファイルが存在していても、その内容が教材の主張を裏付けているとは限りません。用語が辞書に登録されていても、その文脈で正しく使われているとは限りません。リンクが開くこと、参照先が存在すること、参照先に関係する言葉が書かれていること、そして、参照先が実際に主張を支えていることは、すべて別の状態です。
形式上の検査をすべて通過した後に、内容上の重大な問題が見つかることはあります。これは検査器の失敗ではありません。検査器が保証できる範囲を超えて、保証されたと思い込むことが問題なのです。エラーゼロという表示を使用するのであれば、何についてのエラーがゼロなのかを、同時に示さなければなりません。
AIに任せる部分と、人間が引き受ける部分
AIは、局所的な文章の評価を得意としています。一つの段落が自然か、設問と解説が対応しているか、用語が与えられた定義と一致しているか、二つの文書の間にどのような差分があるか、といった検査では大きな力を発揮します。人間が行うと疲労によって見落としが増える機械的な作業を、一定の精度で繰り返せることも大きな利点です。
一方で、大規模な知識体系を扱うと、AIはすべてのファイルを同時に参照できず、長い文脈の一部を見落とすことがあります。もっともらしい説明を正しいと判断することもあります。同じ資料を参照した複数のAIが、同じ誤りを共有することもあります。検査を繰り返すうちに判定基準が変化し、初期に確認したファイルと後期に確認したファイルで、異なる基準が適用される場合もあります。
また、QAの報告書を整えること自体が目的になってしまう危険もあります。台帳上ではすべての指摘が処理済みになっていても、実際の教材へ修正が正しく反映されているとは限りません。報告書と台帳の整合を取ることに集中し、肝心の教材を直接確認する時間が減ってしまえば、品質保証のための工程が、品質保証から離れていきます。メタQAを導入したから安心なのではありません。メタQAもまた、何を証拠として、どこまでを保証するのかを問われます。
それでも、AIによる検査は必要です。この規模の教材を、人間だけで継続的に検査することは現実的ではありません。参照番号、用語、ファイル名、問題番号、図版の対応など、機械的に確認できる事項はAIと検査器へ任せたほうがよいでしょう。AIは苦痛を取り除き、膨大な候補の中から、人間が確認すべき箇所を絞り込んでくれます。
ただし、品質保証を丸ごと委任することはできません。機械的に判定できること、十分な文脈を与えればAIが支援できること、原典との比較が必要なこと、そして専門家が最終判断すべきことを分けなければなりません。AIに文章を書かせることよりも、AIに何を検査させ、どこから先を検査させないのかを決めることのほうが難しいのです。
正しい教材ではなく、疑い続けられる教材へ
20年前であれば、講師自身が教材全体を記憶し、「どこかに書いたはずだ」と頭の中で照合できたかもしれません。しかし、数千ファイル、数百万文字の規模では、個人の記憶に依存した品質管理は成立しません。教材が一人の人間の記憶を超える規模になった以上、記憶の代わりとなる辞書、規則、台帳、検査器が必要になります。
それでも、完全に正しい教材が完成するわけではありません。必要なのは、完全に正しいと宣言するための仕組みではなく、あとから疑い直すことのできる仕組みです。どの記述がどの出典に基づいているのか、どの規則を適用したのか、どの検査を通過したのか、どの問題を保留したのか、そして、なぜその判断をしたのかを追跡できる状態にしておくことです。
今回のQAで得た最大の教訓は、AIが正しさを保証してくれるということではありませんでした。AIを使っても、大規模文章のQAは難しい。その事実を知ることができたこと自体が、AIを導入した大きな成果だったのだと思います。
自分の知識を正しいと信じることと、自分の知識を検査し続けることは、両立します。むしろ、長く関わってきた分野であればあるほど、その両方が必要です。私はPMBOKガイドを信頼しています。しかし、信頼することと、そこに書かれた説明や翻訳、引用、参照関係を無条件に正しいものとして扱うことは違います。
正しい教材を作ることから、正しいと思っている自分自身を疑う仕組みを作ることへ。
20年分のPMP試験対策をリファクタリングするという仕事は、少しずつ、その段階へ進んでいます。
次回は、ガイドの説明だけで問題を解決しようとせず、シャノン、タックマン、品質管理、契約などの原典や外部資料へ戻ることについて書きます。AIによって最も速くなったのは、文章を書く作業ではなく、原典へ戻るための調査だったのかもしれません。