工務店・ハウスメーカーのAI出力評価表 業務ごとの正確さを測る方法

AIに作らせた要約や説明文が「だいたい合っている」とき、それを仕事に使ってよいかをどう決めるか。文章全体を良い・悪いで採点すると、読みやすさに引っ張られ、金額や条件の誤りが点数の中に埋もれます。正確さは業務ごとに測り、その結果から使ってよい範囲を決めます。

測る順序は五つあります。出力の使い道と使用先を決める。正解を事実の単位に分けた「基準票」を先に作る。誤りを重大・中・軽微に分け、重大な誤りが一件でもあれば点数にかかわらずその出力を使わないと決める。業務ごとに配点を変えて採点し、人が直した箇所と時間を残す。同じ条件で再試験する。合格点は全業務で共通にはできません。社内会議の論点整理なら軽い抜けを直して使えますが、見積条件、契約、法令、性能、工程の確約に触れる出力は、重大な誤り一件で止めます。

本文の梓ホーム、A邸、配点、点数、件数、時間は、説明のために作った架空の設定で、実在の会社の試験結果や製品の性能ではありません。評価軸、三段階の区分、合格条件は編集部の運用提案で、公的な合格基準ではありません。「重大・中・軽微」の区分と、重大一件で止める条件（ゲート条件）は、このサイトのAI管理の記事で共通に使っています。

01.「正しい」を五つの軸に分ける

AIの回答には、事実として合っている部分、もっともらしいが確かめられない部分、自然な文章でも業務では使えない部分が混ざっています。読みやすい文章ほど内容まで正しく見えるので、文章の出来と業務での使いやすさを同じ点数にはできません。

打ち合わせ記録の要約が読みやすくても、「子ども部屋は将来二室に分けたい」という施主の希望が落ちていれば、設計への引き継ぎには使えません。反対に、文章が少し硬くても、決定事項、保留事項、担当者、期限、施主に確かめることが正確に分かれていれば、社内の記録として役に立ちます。そこで、正確さを次の五つの軸に分けて見ます。

どの軸を重く見るかは業務で変わります。また、測っているのはAI単体ではなく、入力資料、指示文、参照範囲、出力後の確認までを含めた一つの工程です。元の資料に書かれていない情報をAIが出せなかった場合と、資料に明記された金額を取り違えた場合では、原因も直す場所も違います。

AIを使う業務の候補がまだ絞れていない場合は、先に工務店のAI活用候補を棚卸し｜経営課題と業務をつなぐ評価表で対象を決めます。何に使うかが変わるたびに、評価表も作り直しになるからです。

02.採点の前に、使い道と「させないこと」を決める

同じ議事録の要約でも、担当者個人の振り返り、設計への引き継ぎ、施主への確認メールでは、許される省略や言い回しが違います。使い道を決めずに試験すると、ある評価者は「社内メモなら十分」と採点し、別の評価者は「施主には送れない」と不合格にします。どちらも間違っていませんが、その結果は改善に使えません。最初に、使用先、最終確認者、させないことを書いて、判定の土台をそろえます。

架空例：梓ホームの三つの業務

梓ホームは、地域密着型の木造戸建て工務店で、年間完工18棟、従業員12人という架空の設定です。評価期間は2026年10月1日から10月31日までの1か月、対象は「初回相談メモの社内要約」「見積説明文の下書き」「現場日報の週次整理」の三つの業務です。

対象の案件は「A邸新築計画」。初回相談日は2026年10月3日、希望時期は「2027年12月までの入居を希望。ただし土地決定前で未確定」、資金計画上の総額の目安は「土地関連費を含め5,200万円以内を希望」、家族は夫婦と子ども二人です。この条件は最後まで変えません。

AIの役割は、分類、説明、集約に限っています。価格の計算、契約の判断、施工の判断を任せる評価にはしていません。入力する資料の範囲も決めます。複数の案件のメモをまとめて入れると、別の案件の条件が混ざったときに原因をたどれません。最初の評価は一案件・一期間・一つの出力目的に絞り、ファイル名と対象日を評価票に残します。

個人情報や機密情報をどの環境に入力してよいかは、品質の評価とは別に、会社として決めておくことです。総務省と経済産業省のAI事業者ガイドライン（第1.2版、2026年3月31日）は、AIに関わる事業者をAI開発者・AI提供者・AI利用者の三つに分け、それぞれが取り組む事項と、AIガバナンスの構築の考え方を示しています。業務でAIサービスを使う工務店はAI利用者に当たります。2024年4月の第1.0版から改訂が続いているので、社内規程に引用するときは最新の版を確かめます。同ガイドラインが個別の会社の入力可否や承認者を決めているわけではなく、ここで示す用途の表や最終確認者の置き方は編集部の提案です。

03.正解を先に作る：基準票

評価に使う入力は、日常の業務から一件選ぶだけでは足りません。評価者が先に正解を確定できる資料を選び、その正解を書き出します。これを基準票と呼びます。

基準票に、期待する文章そのものを書く必要はありません。文章の例だけを正解にすると、言い回しが違うだけの適切な回答を誤りにしてしまいます。書くのは、必ず含める事実、含めてはいけない推測、表現上の条件、参照元です。A邸の初回相談メモなら、営業担当者が原文と顧客台帳を見て、次のように採点の単位を作ります。

七つの項目を同じ一問として数えていません。「土地は未決定」「予算が成り立つかは未判断」という前提を誤ると、設計や施主への説明が大きくずれるので、重大としています。「誤りの重さ」の列は、その項目を落としたり誤ったりしたときの目安です。実際の出力では、次の章の区分に照らし、使った場合の影響で判定します。

採点の単位は、一項目で一つの判断にします。「予算と時期を正しく書く」のように二つをまとめると、片方だけ正しいときに評価者が迷います。金額、金額に含む範囲、希望か承認済みかも、別の項目にします。

確定できない情報を、確定しないことも正解にする

実務の資料には、正解を一つに決められない箇所があります。施主の発言が曖昧だった、日報どうしで予定日が違う、見積書と説明資料の表記が合わない、といった場合です。このときの正解は、どちらかを選ぶことではなく、食い違いを示して確認を求めることです。木曜の日報で設備搬入が10月20日、金曜の日報で10月21日なら、正解は「設備搬入日は10月20日と21日の二つの記載があり、要確認」です。

基準票には、三つの扱いを分けて書きます。

• 一意に確定できる情報：原資料と一致させる
• 資料間で矛盾する情報：矛盾を表示し、確認者へ戻す
• 資料に存在しない情報：補完せず、不明または記載なしとする

こうしておくと、「答えなかったから減点」と「答えてはいけないことを答えなかったから適合」を取り違えません。空欄を埋める力だけでなく、確定できないことを確定しない力も、評価の対象です。

04.誤りを重大・中・軽微に分け、重大は一件で止める

100点満点の合計だけで合否を決めると、重大な誤りが平均点に埋もれます。見出しや構成がよくて90点でも、見積金額が違っていれば施主への説明には使えません。そこで、点数を付ける前に誤りを三段階に分け、重大な誤りが一件でもあれば点数に関係なく使用を止める条件を置きます。これをゲート条件と呼びます。

区分は誤りの見た目ではなく、使った場合の影響で決めます。「誤字だから軽微」とは限りません。数字の一文字違いは重大になり得ますし、助詞一つでも責任の主体が変われば中以上です。

ゲート条件は業務ごとに具体的に書きます。梓ホームの見積説明文では、次のどれかに当たった時点で外部には使いません。

1. 見積書と異なる金額、数量、項目名を出した 2. 見積対象外を対象内と説明した 3. 未確定の仕様、工期、値引き、補助制度利用を確定表現にした 4. 根拠資料にない性能、法令適合、保証内容を追加した 5. 別案件の情報や、出力に不要な個人情報を混入させた

「外部には使わない」は、AIの利用をずっと禁じるという意味ではありません。その出力を止め、入力、指示、参照資料、確認の手順のどこに原因があるかを調べる合図です。担当者がその場で文章を直して終わりにすると、同じ誤りがまた出ます。直した文章だけを保存して元の誤りを消すと、再発を防ぐための手がかりも失われます。

リスクの大きさで扱いを変えるという考え方を社内で説明するときは、前掲のAI事業者ガイドラインを根拠にできます。同ガイドラインの概要資料は、対策の程度をリスクの大きさ（危害の大きさとその蓋然性）に対応させる「リスクベースアプローチ」に基づいて、企業における対策の方向性を記載したと説明しています。IPAのサイトには、中核人材育成プログラムの卒業プロジェクトとしてまとめられたテキスト生成AIの導入・運用ガイドライン（2024年7月公開）もあり、リスクマトリクスを使ったリスク管理の方法を説明しています。ただし同資料は、IPAの意見を代表するものではなくプロジェクトメンバーの見解だと明記しているので、公的な指針と同じ重みでは扱いません。この記事の三段階とゲート条件も、各社が自社の業務に合わせて調整する運用例です。

実証期間中の修正の記録にも、同じ三段階とゲート条件を使います。実証の範囲、責任の分担、完了条件の決め方は、工務店のAI導入実証計画｜対象業務・責任・完了条件を決めるで扱っています。

05.業務ごとに配点を変える

三つの業務を同じ配点で評価すると、使い道の違いが点数に出ません。初回相談メモでは顧客の意思と保留の条件、見積説明では数字と対象範囲、現場日報では日付、担当、未処理事項が大事です。梓ホームでは、五つの軸を次のように100点へ配分します。

見積説明は、直す時間が短いことより、数字と根拠が合っていることを優先した配点です。現場日報は、数日分の未処理事項を落とさないことに重みを置いています。

各軸の点は、基準票の項目ごとに次の係数で計算します（梓ホームの架空のルールです）。

• 適合：配点の100％
• 一部適合：配点の50％
• 不適合：0％
• 評価不能：点数計算から外し、基準票または入力資料を修正する

たとえば事実一致30点の軸に、同じ重さの確認項目が6件あれば、1件5点です。5件が適合、1件が不適合なら25点になります。重さが違う項目は配点を変えますが、合計が軸の上限を超えないようにします。評価不能の項目がある軸は、残った項目の配点の合計を満点として得点率を出し、軸の配点に換算します。30点の軸で5点の項目1件が評価不能なら、残り25点満点のうち20点を取った場合、20点÷25点×30点＝24点です。

合格の条件は、「重大誤り0件」「総合80点以上」「事実一致と網羅性がそれぞれ軸の満点の70％以上」の三つをすべて満たすこと、と置きます。重大誤りの有無を先に見るので、高得点でも自動的に合格にはなりません。これは業界共通の基準ではなく、評価を始めるための架空例です。自社で使うときは、使い道、確認の体制、許せる手直しの量に合わせて変えます。

80点という数字が安全を保証するわけでもありません。件数の少ない試験で80点を取っても、本番のさまざまな案件に耐えるとは限らないからです。点数は出力どうしの比較と改善の確認に使い、重大誤りの有無、試験の件数、例外の条件を必ず一緒に書きます。

06.出力をどう直したかを記録する

評価票には点数だけでなく、「どの入力から、何が出て、どこを直したか」を残します。指示文を毎回変えながら採点すると、よくなった理由が分かりません。最初の試験では、入力、指示、出力の形を固定し、直した内容は別の欄に書きます。

A邸の初回相談メモを要約させる指示の例です。

添付したA邸初回相談メモだけを参照し、社内引き継ぎ用に整理してください。「決定している事実」「施主の希望」「未確定・要確認」「次回までの行動」の四区分に分けます。資料にない内容を補わず、時期、金額、担当者には根拠となるメモの行番号を付けてください。希望を当社の確約に変えないでください。

使い道、参照する範囲、区分、してはいけないこと、根拠の示し方が入っています。「分かりやすく要約して」だけでは、何を省いてよいかをAIが判断できません。短い指示がいつも悪いわけではありませんが、採点できる出力を得るには、必要な条件を書いておく必要があります。

誤りの記録の仕方を示すために、次のような出力があったとします。後で示す判定票の5件とは別の、説明用の架空例です。

2027年12月に入居予定。予算は5,200万円で、子ども部屋二室を含むプランを提案する。次回は候補地を確認する。

自然な文章ですが、基準票と照らすと五つの誤りがあります。修正版は次のとおりです。

施主は2027年12月までの入居を希望しているが、土地未決定のため時期は未確定。資金計画上は、土地関連費を含む総額5,200万円以内を希望している。子ども部屋二室は要望として記録し、面積、建築費、敷地条件を確認後に対応可否を判断する。施主は次回までに候補地資料を共有する。次回面談日は未定。

直したのは文章の丁寧さではなく、希望か確定か、誰が判断するか、金額に何を含むか、次に誰が動くか、です。評価票には、修正文だけでなく、誤りの区分と理由を一件ずつ残します。

重大な誤りが二件あるので、この出力は引き継ぎに使わず、先に示した「出力を保留して原因を特定する」流れで再試験に回します。全文を一件の誤答として数えるのではなく、修正の単位に分けておくと、指示のどこを直せばよいかが分かります。

直すのにかかった時間も測ります。「画面を開いてから保存するまで」のように範囲が曖昧だと比べられないので、梓ホームでは、AIの出力を読み始めてから、原資料との照合、修正、社内での保存までを分単位で記録し、顧客への送信や社内の承認待ちは含めない、と決めています。時間が短くても、原資料を見ずに見逃しただけなら高い評価にはできません。必須の項目を照合したうえでの時間と、見つけた誤りの件数を一緒に残します。

07.業務ごとに、照合する箇所が違う

名前だけ変えた共通の表を配っても、業務別の評価にはなりません。その出力が次の工程に何を渡すかに合わせて、見る箇所を変えます。

説明文を作ることと、説明の内容を承認することは別の仕事で、後者は人が担います。

初回相談メモ：意思の強さを分ける

初回相談では、「興味がある」「希望する」「優先したい」「必須」「決定した」は同じ意味ではありません。AIが文章を短くする過程で、希望が必須条件になったり、検討中の話が決定事項になったりします。採点では、設備や間取りの名前だけでなく、意思の強さ、未確定の理由、決める時期、確かめる担当を見ます。「平屋にも関心がある」を「平屋希望」とまとめた出力は、言葉は似ていても顧客の理解を変えるので減点します。

施主二人の意見が違う場合は、一つにまとめないことが正解です。「夫は書斎を優先、妻は収納量を優先。家族内で未調整」と差を残した方が、設計担当者は次回の確認を準備できます。

見積説明文：数字と対象範囲を別々に照合する

見積の説明では、合計金額が合っているだけでは足りません。税込か税別か、数量、単価、対象の工事、別途工事、変更の前後、見積の有効条件など、数字の意味を決める範囲も一致している必要があります。承認済みの見積書に「造作収納追加 180,000円（税込198,000円）」とある架空の条件で、AIが「収納工事は18万円です」とだけ書いた場合、数字は合っていても、税込か税別かの誤解が生じます。評価表では「金額一致」と「税区分の明示」を別の項目にします。

値引き、補助制度、ローン、税務、法令、性能に触れる文章は、渡した資料だけで説明できる範囲を超えやすい部分です。根拠資料にない一般的な知識が足されていたら、もっともらしくても採用せず、担当者や必要に応じて専門家の確認に戻します。

現場日報：未処理が消えていないかを見る

日報の週次整理では、終わった作業の要約より、遅れ、未処理、確認待ち、次の工程への影響が残っているかを重く見ます。AIは同じ話題をまとめるときに、月曜の未処理事項を金曜に解決済みと読み違えることがあります。「材料の納期回答待ち」と「材料は金曜発送予定」は同じ話題ですが、後者は現場に届いたことも施工できることも意味しません。「材料問題は解決」と書かれると、担当者が追うのをやめるおそれがあります。正しくは「金曜発送予定。現場到着日と施工への影響は要確認」です。

08.一度の高得点では決めない

一つの入力で一度よい回答が出ても、導入の根拠にはなりません。メモの書き方、情報の量、矛盾の有無が変わっても、同じ条件を守れるかを見ます。とはいえ、最初から大量の実案件で試す必要もありません。梓ホームでは、業務ごとに次の五種類の試験ケースを用意します。

1. 必要情報がそろった標準ケース 2. 必須情報が一つ欠けたケース 3. 資料内に矛盾があるケース 4. 数字や日付が多いケース 5. AIが推測しやすい曖昧表現を含むケース

三業務で各5件なら、3業務×5件＝15出力です。この15件は精度を統計的に保証する件数ではなく、導入の前に弱点を見つけるための小さな社内試験です。

適合率を出すときは、出力の数ではなく採点項目の数を分母にします。見積説明文5件に合わせて50個の確認項目があり、43項目が適合、2項目が一部適合、5項目が不適合だったとすると、単純な適合率は43項目÷50項目×100＝86％です。一部適合を0.5件として数えるなら、（43項目＋2項目×0.5）÷50項目×100＝88％になります。後の判定票の見積説明文は、この88％を使っています。どちらの計算を使ったかを評価票に書き、途中で変えません。

ただし、88％でも、不適合の5項目に見積金額の誤記が含まれていれば不合格です。率は全体の傾向を見るもの、ゲート条件は重大な事故を防ぐもので、役割が違います。

直す時間は、平均だけでなく中央値と最大値も見ます。5件の修正時間が3分、4分、5分、6分、22分なら、平均は8分、中央値は5分、最大は22分です。難しい一件が平均を押し上げていることが分かります。

一つの数字で品質を代表させず、適合率、重大誤り、修正の負荷、評価不能を並べて見ます。

同じ入力で何度か生成して、結果の揺れを見る試験もできます。その場合は「同じ入力・同じ指示・同じ設定」であることを記録します。ツールや設定が変われば、そのまま比べることはできません。この試験で確かめるのは、まったく同じ文章が出るかではなく、必須の事項と禁止した事項が安定して守られるかです。

09.点数が悪いときは、原因のある場所を直す

点数が低いからといって、すぐに指示文を長くしても効くとは限りません。原因が入力の不足なら、指示を増やしても正解は出ません。基準票が曖昧なら、採点者の判断が変わるだけです。直す場所を「入力」「指示」「参照」「出力形式」「人の確認」の五つに分けて考えます。

入力資料に土地が未決定だと書かれていなければ、AIがその条件を出せないのは当然で、減点する前に記録の様式を直します。ただし、欄を増やしすぎると現場で書かれなくなります。評価の中で繰り返し欠けていた必須の情報から足し、使う頻度の低い項目は自由記述に残します。指示については、「推測しないで」だけでは、何を不明として返せばよいかが決まりません。ファイル名の規則だけで混同を完全に防げるわけでもありませんが、照らす相手ははっきりします。

人の確認で見逃した場合は、AIの側だけを直して終わりにしません。金額を扱う文書なら、先に金額、税区分、対象範囲、別途項目を一つずつ照合し、その後で文章を読みます。文章から読むと、流れの自然さに引っ張られて数字の違いを見落としやすいからです。

一回の再試験で変えるのは、重大な欠陥を除いて主な一点にします。複数を同時に変えると、どれが効いたか分かりません。また、同じケースで合格しただけでは終わりにせず、まだ使っていないケースでも同じ規則が働くかを確かめます。分かっている誤りに合わせて指示を直しただけ、という可能性があるからです。

10.採点者による差を小さくする

評価表があっても、担当者によって点が変われば、改善の判断が安定しません。「一部適合」「用途に合う」「修正が容易」といった項目は、経験や立場で判断が分かれます。

最初の数件は、営業、設計、積算、工務のうち、その出力を受け取る側の人を含めた二人で採点します。二人の点を平均するのではなく、判定が分かれた項目を見て、基準票の文言を具体的にします。A邸の要約に「予算5,200万円」とあった場合、営業担当者は「数字は合っている」と一部適合にし、積算担当者は「土地関連費を含む総額の目安という範囲が抜けている」と不適合にするかもしれません。この差は採点者の厳しさではなく、基準票で金額の範囲を別の項目にしていなかったことが原因です。

「適切」「十分」「自然」といった形容詞を、見て確かめられる状態に言い換えていくと、判定がそろってきます。

二人の採点が一致しなかった割合も残します。確認項目40件のうち8件で判定が違えば、不一致率は8件÷40件×100＝20％です。この数字が表すのはAIの品質ではなく、評価基準のはっきり具合です。不一致の多い項目は、採点者を教育する前に基準を疑います。正解の資料にない条件を評価者が暗黙に期待していないか、業務上の正解が一つに決まるのか、そもそもAIに頼む判断なのか、を見直します。

出力を作った本人だけに採点させないことも大事です。入力や指示を自分で作った人は、意図を補いながら読めるので、第三者には分からない省略を見逃します。導入の初期は、出力を作る人と承認する人を分けます。

11.結果から、使ってよい範囲を決める

評価の終点は、AIが優秀かどうかを言うことではなく、「どの業務で、どの資料を使い、誰が確認し、どこまで使うか」を決めることです。梓ホームの架空の判定票は次のようになります。

総合点は五軸の配点で重み付けした5出力の平均、事実一致と網羅性は各軸の満点に対する得点率、加重適合率は配点を使わず項目数で数えた値です。合格条件の「重大誤り0件」「総合80点以上」「事実一致と網羅性が各70％以上」は、この表の列で照らせます。

見積説明文は、総合84点、加重適合率88％でも不合格です。重大な誤りが一件あり、平均点で帳消しにはしていません。合格した二つの業務も「条件付き」で、人による確認を外してはいません。合格は、自動送信や確認なしでの利用まで認めたことにはなりません。

合否とは別に、どこまで使うかを「利用段階」として決めます。全面導入と全面禁止の二択にはせず、次の五つの段階を設けます。

• 試験のみ：実務の判断や送信には使わない
• 社内下書き：指定担当者が原資料と照合して使用する
• 限定運用：対象業務、資料、担当者、出力形式を限定する
• 拡張候補：未使用ケースを追加評価したうえで対象を広げる
• 停止：すでに使っている業務で、重大誤り、情報管理上の問題、確認不能が生じたため利用を止める

梓ホームの判定票では、条件付き合格の初回相談メモ要約と現場日報週次整理を「社内下書き」、不合格の見積説明文を「試験のみ」としています。右端の列は、この利用段階と、その中で許可する範囲を書いたものです。

見積説明文は重大な誤りが一件ありましたが、まだ実務には使っておらず、原因を特定して再試験する途中なので、「停止」ではなく「試験のみ」です。「停止」は、すでに実務で使っている業務で重大な誤りや情報管理上の問題が見つかったとき、または確認ができなくなったときに、その利用を止める段階です。止めた後に再開するかどうかは、原因を特定し、再試験の結果を見てから決めます。

範囲を決めるときは、何のために使うのかに立ち返ります。要約にかかる時間が減っても、引き継ぎの精度が下がれば意味がありません。

評価票には、次に見直す日と、臨時に再評価する条件を書きます。定期の見直しは四半期ごと、半年ごとなど、使う頻度に合わせます。臨時の再評価は、使うツール、モデル、入力の様式、参照資料、指示文、承認の手順、対象業務のどれかを変えたときです。担当者が替わったときも確かめ直します。原資料の作り方や確認の手順が変われば品質も変わるので、過去の合格が今の条件まで保証するわけではありません。

評価票にまとめる項目

最後に残すのは点数表だけでなく、使い道、基準、止める条件、修正の記録、利用の判断を一続きにした評価票です。表計算ソフトや社内文書に分けて持つ場合も、一つの管理番号で結びます。

書く順序にも意味があります。先に出力を作り、後から正解を作ると、出力を見て基準を緩めることができてしまいます。

評価票は、AIの成績表として保管するだけでなく、仕事の手順を直す材料になります。入力の不足が繰り返されるなら面談記録や日報の様式を、根拠をたどるのに時間がかかるなら資料の版の管理を直します。AIを評価しているうちに、人どうしの引き継ぎの曖昧さが見つかることもあります。

評価不能が多い業務は、無理に点数にしません。担当者の経験に頼っていて正解の条件を書けない判断や、法令、契約、安全、性能について個別の事情を踏まえる判断は、点数による評価の対象から外し、人の確認と、必要に応じて専門家への照会につなげます。

始めるなら一つの業務、五ケースほどで十分です。同じ使い道、同じ入力条件、同じ採点基準で比べ、重大な誤りが出たら平均点で隠さず、入力、指示、参照、形式、確認のどこを直すかを決めます。その記録が、AIをどこまで使うかを自社の業務の条件から説明する根拠になります。