「生成AIに何%作らせたら危険なのか?」

生成AIにシステム開発を任せることについて、少し意地悪な質問をしてみた。

—–生成AIによる回答———————

・100%生成AIによって作らせたシステムの末路:100%生成AIに丸投げして作られたシステムは、短期的には驚くほど早く形になりますが、運用フェーズに入ると高確率で崩壊(技術的負債の爆発、改修不能、セキュリティ事故)という末路をたどります。人間のエンジニアによる適切な設計やコードレビュー、検証がない「AI依存度100%」のシステムがどのような結末を迎えるのか、その具体的な末路を4つのステップで解説します。・・・

・90%以上を生成AIによって作らせたシステムの末路:90%以上を生成AIによって作成したシステムは、短期的には驚異的なスピードで完成するものの、長期的には深刻な運用崩壊(テクニカルデットの爆発)を迎えるケースがほとんどです。開発当初は「爆速で動くものができた」と歓喜するものの、時間の経過とともに以下のような凄惨な末路をたどることになります。・・・

・80%以上を生成AIによって作らせたシステムの末路:80%以上のコードや設計を生成AI(ChatGPT、GitHub Copilot、Claudeなど)に依存して構築されたシステムは、開発初期こそ爆発的なスピードで立ち上がりますが、運用フェーズに入ると深刻な技術的負債や崩壊のリスクに直面することが多いです。このようなシステムの「末路」として、現場で実際によく起こる典型的なパターンを4つに分類して解説します。・・・

・70%以上を生成AIによって作らせたシステムの末路:生成AIにシステム開発の70%以上を依存したシステムは、短期的には爆発的なスピードで完成するものの、長期的には「技術的負債の爆発」や「保守不能による破棄」という致命的な末路をたどるケースが多発しています。一見すると動いているように見えても、内部に深刻な歪みを抱えやすいためです。AI主導で開発されたシステムが最終的に行き着く、代表的な4つの末路を解説します。・・・

・60%以上を生成AIによって作らせたシステムの末路:生成AI(人工知能)にコードや設計の60%以上を依存して開発されたシステムは、短期的には爆発的なスピードで完成するものの、中長期的には「維持不能(メンテナンス不能)」に陥り、崩壊するか全面作り直しになるケースが多発しています。エンジニアリングの現場では、これを「AI駆動技術負債」や「AIスパゲッティコード」と呼ぶこともあります。その悲惨な末路の具体相を分解して解説します。・・・

・50%以上を生成AIによって作らせたシステムの末路:50%以上のコードや設計を生成AI(ChatGPTやClaude、GitHub Copilotなど)に依存して構築されたシステムは、開発初期こそ爆発的なスピードで立ち上がりますが、運用フェーズ(リリース後)に深刻な崩壊を迎えるリスクを孕んでいます。このようなシステムの「末路」として、現場でよく起こる代表的なシナリオを解説します。・・・

・40%以上を生成AIによって作らせたシステムの末路:40%以上のコードや設計を生成AI(ChatGPTやGitHub Copilotなど)に依存して開発されたシステムは、短期的には爆発的なスピードで完成します。しかし、適切なガバナンスや人間の深い理解がないまま運用フェーズに入ると、最終的に「技術的負債の爆発」による崩壊か、全面的な作り直し(リライト)という厳しい末路をたどるケースが多発しています。生成AIに頼り切ったシステムが辿る、具体的な40%以上の「その先の末路」を解説します。・・・

・30%以上を生成AIによって作らせたシステムの末路:生成AIのプログラムコード生成能力は非常に強力ですが、システム全体の30%以上を安易に生成AIに依存したシステムは、中長期的に重大な破綻(末路)を迎えるリスクが極めて高くなります。現在のソフトウェア開発において、30%という数字は「部分的なアシスト」を超え、「システムの骨組みや主要ロジック」にAIが介入しているレベルです。開発現場や運用フェーズで実際に起きている「30%以上を生成AIに作らせたシステム」の現実的な末路を解説します。・・・

・20%以上を生成AIによって作らせたシステムの末路:生成AIを組み込んだシステム開発において、全体の20%以上のコードや設計を生成AIに依存したシステムは、適切な管理(ガバナンス)がない場合、運用フェーズで深刻な崩壊を迎えるケースが増えています。一見すると「20%」は少なく見えますが、システムの根幹や複雑なロジックの5回に1回がAI任せになっている状態であり、これが地雷となるケースが後を絶ちません。その典型的な4つの末路(崩壊パターン)を解説します。・・・

・10%以上を生成AIによって作らせたシステムの末路:生成AIを10%以上組み込んで構築されたシステムが、明確なガバナンスや設計思想なしに運用された場合、最終的に「AIの技術的負債によるシステムの崩壊」や「ビジネス上の信頼失墜」という致命的な末路をたどるリスクが非常に高くなります。現在、多くの開発現場で生成AIによる自動コード生成やコンポーネントの組み込みが進んでいますが、全体の1割(10%)以上がAI生成物で占められるようになると、人間の管理能力の限界を超え、以下のような「5つの崩壊シナリオ」が現実味を帯びてきます。・・・

・10%未満の一部を生成AIによって作らせたシステムの末路:システムの「10%未満」というごく一部に生成AIを組み込んだシステムが辿る末路は、その10%を「どこに」「どう」使ったか、そして運用の体制によって天国と地獄に分かれます。「たった10%だから大丈夫」と油断したシステムが陥る典型的な失敗ルート(バッドエンド)と、逆に大成功を収めるルート(ハッピーエンド)を解説します。・・・

・100%人間によって作らせたシステムの末路:100%人間によって作られたシステムは、歴史や技術の変遷において、最終的に自動化、AIの台頭、あるいは経年劣化による崩壊(レガシー化)という末路をたどる傾向にあります。人間だけで構築・運用されるシステムは、柔軟性や倫理的判断に優れる一方で、本質的な限界を持っています。その主な末路は以下の3つのパターンに集約されます。1.開発者の引退や離職によるブラックボックス化(崩壊)。2.システムの肥大化に人間の認知が追いつかずヒューマンエラー(自滅)を発生。3.人件費と処理スピードの面で経済的淘汰(敗北)。

「100%生成AIによって作らせたシステムの末路は?」すると、「技術的負債の爆発、改修不能、セキュリティ事故……」なかなか悲惨な回答が返ってきた。

では90%なら?

やはり「長期的には深刻な運用崩壊」。

80%、70%、60%と10%ずつ下げて聞いてみた。
ところが50%でも40%でも30%でも、「技術的負債」、「保守不能」、「全面リライト」、「システム崩壊」と、似たような恐ろしい話が続く。

20%でも危険。
10%でも危険。
10%未満になって、ようやく「使い方次第で成功する」という話が出てきた。

では逆に、

「100%人間によって作らせたシステムの末路は?」と聞いてみた。

すると今度は、「開発者の引退や離職によるブラックボックス化」、「システム肥大化によるヒューマンエラー」、「人件費や開発速度による経済的淘汰」だそうだ。

・・・結局、人間が作っても末路は悲惨らしい。

このやり取りから分かるのは、「AIが何%書いたか」という数字だけでは、システムの品質は判断できないということだと思う。

重要なのは比率ではなく、誰が制御権を握っているか。

AIがコードの90%を書いたとしても、

  • 理解:書かれたコードを読んで説明できるか
  • 設計:全体構造の意思決定を人間が主導しているか
  • 検証:テストによって動作を担保できているか
  • 記録:設計判断の理由が残っているか
  • 責任:最終的に誰が承認・デプロイの責を負うか

のであれば、「AIが90%書いた」という数字だけで危険とは言えない。

逆にAIが10%しか書いていなくても、その10%を誰も理解せず、検証もせず、そのまま本番環境へ投入しているのであれば危険だ。
そして、これはAI以前のシステム開発でも同じだった。

人間が100%書いたコードでも、設計思想がなく、レビューされず、テストもなく、誰も全体を理解していなければ、普通に技術的負債になる。

生成AIによって変わったのは、「コードを書く速度と量」なのだと思う。

だからこそ、設計、レビュー、テスト、記録、責任といったエンジニアリングの基本は、以前より重要になる。

問題は「AIに何%作らせたか」ではない。

作られたものを、人間がどこまで理解し、制御し、責任を持てるのか。
そこが本質なのだと思う。