カリフォルニア大学が開発したロボット「BRETT（Berkeley Robot for the Elimination of Tedious Tasks）」のコンセプトは、私にとって、強烈な衝撃でした。
BRETTは、ハンガーをポールにかけたり、ネジを締めたりといった物理的な作業を、事前のプログラミングなしに「試行錯誤」を通じて学習します。人間が歩き方を覚えるように、ロボットが報酬（成功）を目指して自身の動きを最適化していく姿。これこそが、従来の産業用ロボットが到達できなかった「環境適応」の正体です。
しかし、この「AIによる学習」を実社会へ本格導入しようとしたとき、私たちは機械設計者として一つの大きな壁に突き当たります。
「無自覚な最適化」が招くリスク
強化学習において、ロボットは報酬を最大化するために効率的な動作を追求します。しかし、ロボットには「今の自分は疲弊している」「関節に摩耗が生じている」「カメラの素子が劣化して画像認識が遅延している」といった、自身の状態をメタ認知する機能は備わっていません。
報酬関数さえ満たせば、それがどんなに機械に過酷な負荷を与える動きであっても、ロボットはそれを「最適解」として学習し、実行し続けます。つまり、故障の予兆があるにもかかわらず、ロボットは最高効率で動こうとし、結果として完全な破壊（クラッシュ）を招くのです。
「壊れた脳」を信用してはならない
ここで議論になるのが「自己診断機能」の限界です。AIが故障し、あるいは外部から悪意あるハッキングを受けた場合、ロボットは自分の判断を「正常」だと誤認する可能性があります。
「故障したロボット自身の診断を、信用できるのか？」
答えは、残念ながら「信用してはならない」です。ロボット自身が「私は大丈夫だ」と報告していても、それがAIのバグによるものなら、その言葉を信じて運用を続けることは自殺行為です。
ロボットに「延髄」と「自律神経」を実装する
このリスクを回避するために、私はロボットに大脳と延髄の関係を物理的に持ち込むべきだと提案します。
大脳（AI）： 効率的な作業実行、画像解析、外部通信を司る。しかし、複雑であるがゆえに脆弱でもある。
延髄・自律神経系（物理安全回路）： AIからは独立した、単純な物理回路。
この「延髄」にあたる回路は、AIの良し悪しに関わらず、ロボットの生存を監視します。モーター電流の異常な急上昇、加速度の閾値超え、あるいは「AIからの正常信号（ハートビート）」の途絶。これらを検知した瞬間に、副交感神経のように強制的にロボットを安全な姿勢で停止させるのです。
たとえ外部から「停止せよ」という通信がハッキングされて届いたとしても、この独立した延髄回路が「物理的に異常なし」と判断すれば、ロボットは防御姿勢を維持します。逆に、もし両方のシステムが同時に破壊されるような深刻な事故であれば、防御態勢すら諦めてその場で沈黙する。これこそが、機械としての「潔いフェイルセーフ」ではないでしょうか。
道具から「エージェント」へ
私たちが目指すべきは、ただ動くだけの機械ではありません。自分自身の限界を理解し、最悪の事態を想定しながら、周囲の安全を確保する「生存本能を持ったエージェント」です。
ロボットが真に社会インフラの一部となるためには、効率的な動作アルゴリズムの設計と同じ熱量で、その「死に様（停止のプロセス）」を設計しなければなりません。機械設計者として、私はこれからも、無駄を削ぎ落とした効率的な機構の中に、冷徹なまでの安全本能を組み込んでいきたいと考えています。
コメント
コメントを投稿