【AIサイト制作体験記 第7話】AIは分からない部分を、もっともらしい説明で埋めていた

AIサイト制作体験記 第7話 AIの説明を人間が赤入れ監査 AIサイト制作体験記

前回(第6話)は、公式資料と実際のゲーム画面がずれていた話でした。

原文だけでは判断できない。それは分かりました。

ところが、この連載でいちばん背筋が寒くなったのは、その次に分かったことです。間違いを作っていたのは、資料だけではありませんでした。

🍯 この体験記について

AIを使って実際にサイトを作り、公開し、間違いを見つけて直していった記録です。今回が最終話になります。AIを否定する話ではなく、どこまで任せて、どこから人間が見るかの話です。

📋 今回の実施記録

実施日: 2026年8月1日
環境: Claude Code、訂正ログ、リンク・表示・原文更新の検証スクリプト
所要時間: 制作開始から7日目に主要な検証ルールを整理
追加費用: 0円(契約済みのAI利用料を除く)
結果: 21ページを検証可能な状態へ整え、その後22ページへ拡張
記録の再確認日: 2026年8月3日

書かれていない理由を、AIが作っていた

いちばん問題だったのが、これです。

このアプリには「専門性」という、まだ使えない機能があります。公式資料には「現在は利用できません」と書いてあるだけで、その理由はどこにも書かれていません。

ところが私のサイトには、こう書いてありました。

あるトークンがまだ出回っていないため、専門性は使えません

もっともらしい説明です。読んでいて、つい納得します。

でも、これは資料のどこにも書かれていない、AIが組み立てた因果でした。しかも、その前提そのものが違っていました。そのトークンはゲーム内には実装されていて、できないのは外へ持ち出すこと(出金)だけだったのです。

間違った前提から理由を作り、4ページにわたって断定で書いていました。直した箇所は9つ。

正しい書き方は、簡単でした。「理由は書かれていません」と書けばよかったのです。

AIの説明を公式情報と照合して赤入れ監査するミツバチ
AIの説明を公式情報や実画面と照合し、人間が最終確認した場面

条件を、結果として読んでいた

似た型の間違いが、他にもありました。

資料には「年齢が10%を超えているあいだは、売却できない」と書かれています。これは状態の条件です。年齢を下げれば、また売れます。

ところが私のサイトは、これを「10%を超えたら、もう売れない」と読み替えていました。しかも戦略の説明では「10%を超えたら詰み」とまで書いていたのです。

実際には、進化させれば年齢は0%に戻り、専用のアイテムでも下げられます。戻せば、また売れる。

読み手に不利な方向の誤読だったのが、せめてもの救いでした。

「もう解決した」ことを、直していなかった

さらに、時間差の問題もありました。

私のサイトには「出金は一時的に停止中」と書いてありました。ところが、その停止はすでに解消していました。本番のサイトに、事実と違う情報が載ったままだったわけです。

同じ時期、「未実装の機能だらけ」という趣旨の説明も書いていました。これも違いました。前の月、前の週、さらに数日前にも機能が追加されていて、むしろ実装が加速している時期だったのです。

原文だけを見ていると、こうなります。資料の更新は、実装の速さに追いつきません。

「直しました」が、直っていなかった

もうひとつ、正直に書いておきます。

紹介動画の台本について、私は「そこも直しました」と報告しました。ところが実際には、その台本に手を入れていませんでした。サイトのほうを直した記憶と、混ざっていたのです。

指摘されて確認したら、隣の部分も古いままでした。

報告する前に、対象のファイルを開いて確認する。当たり前のことですが、これができていませんでした。

数えてみたら、同じ数だった

一連の作業で見つかった間違いを分類してみました。

分類 件数
公式資料の側で見つかった差異 5件
AIが推測で作っていた誤り 5件

「公式資料側の差異」と「AIの推測による誤り」だけを比べると、同数でした。

海外のサービスを調べるときは、つい「原文が間違っているかもしれない」と身構えます。もちろんそれも起きます。ただ、AIが資料にない理由を推測で補った誤りだけでも、公式資料側で見つけた差異と同じ5件ありました。表示や確認手順の不備は別にあり、この表には含めていません。

しかもAIが作った誤りのほうが、たちが悪い。文章として整っていて、因果も通っているので、読んでも違和感がありません。間違いに見えない間違いです。

目で見るのをやめて、機械に確認させた

そこで、確認のやり方を変えました。人の目は必ず漏れるので、機械に任せられるところは任せます。

いま、内容を更新するたびに次を通しています。

  • サイト内のリンクが切れていないか
  • 見出しへのリンクが、ちゃんとその見出しに飛ぶか
  • 外部へのリンクが、今も生きているか
  • 太字の記号が、記号のまま表示されていないか
  • 公式の原文が更新されていないか

大事なのは、これらが「常に成功と表示されるだけの確認」になっていないことです。試しにわざと壊してみて、ちゃんと1件検出して止まることも確かめました。

サイトは、いま22ページになりました

最後に、規模の話をしておきます。

最初に公開したのは15ページでした。そこから7日間かけて検証と修正を重ねて21ページになり、その後の追加で22ページになっています。

第3話で「1日で公開できた」と書きました。あれは本当です。ただし、そこからの7日間があって、ようやく人に勧められる状態になりました。

今回の学び: AIは速い。でも、事実の保証はしない

📝 今回の学び

AIは、公開までの速度をはっきり上げてくれました。私一人では、同じ1日で最初の形まで進めるのは難しかったと思います。

ただしAIは、書かれていない部分を空欄のまま残すのが苦手です。辻褄の合う説明で埋めてしまう。だから「分からないことは、分からないと書く」という運用と、人間の確認、そして機械による検査が要ります。速さと正確さは、別々に用意するものでした。

全7話、おつきあいいただきありがとうございました。

このシリーズで作ったサイトは、いまも公開しています。非公式の日本語ガイドで、収益化はしていません。広告も紹介リンクも入っていません。AIと人間で作るとこうなる、という成果物として置いてあります。

🍯 作ったサイト

はちみつ研究所(非公式の日本語ガイド)

投資や購入を勧めるものではありません。仕様を日本語で確認するための資料としてご覧ください。

コメント

タイトルとURLをコピーしました