日本語レポート · arXiv サーベイ解説
自己進化エージェントの全体像
A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence
静的な大規模言語モデルを巨大化させる路線から、データ・相互作用・経験から継続的に自己を更新する「自己進化エージェント」を設計する路線へ──本サーベイはこのパラダイム転換を、何を・いつ・どのように・どこで進化させるかという軸で体系化した最初の包括的レビューである。
factOpenReview / GitHub の URL は PDF 1ページ目の抽出テキストから確認した。
4つの要点（key takeaways）
- claimLLM は強力だが本質的に静的で、新規タスク・更新される知識・動的な対話文脈に内部パラメータを適応させられない。これがオープンエンドな運用での重大なボトルネックになっている。
- fact本論文は自己進化エージェントを「what / when / how to evolve」の3つの基礎軸（および where）で整理した、当該分野で初の体系的・包括的サーベイを称する。
- fact進化の対象（モデル・メモリ・ツール・アーキテクチャ）、段階（intra/inter-test-time）、機構（スカラー報酬・テキストフィードバック・単一/マルチエージェント）という多層の分類体系を提示する。
- claimコーディング・教育・ヘルスケア等への応用を概観し、安全性・スケーラビリティ・共進化を重要課題として挙げ、人工超知能（ASI）への道筋を描こうとする。
Executive Summary
要約（日本語）
LLM は多様なタスクで高い能力を示す一方、推論後に自分のパラメータや振る舞いを更新できない「静的」な存在にとどまる。エージェントがオープンエンドで対話的な環境に投入される時代には、この静的さこそが本質的な限界になる、と本サーベイは主張する。
そこで著者らは、スケーリングによる静的モデルの巨大化ではなく、データ・相互作用・経験から継続的に学習し適応する自己進化エージェントへと焦点を移す。本論文の貢献は、新手法の提案ではなく、分散した既存研究を統一的な枠組みで地図化したことにある。
枠組みの骨格は3つの問いだ。What（何を進化させるか）＝モデル・コンテキスト（メモリ／プロンプト）・ツール・アーキテクチャ。When（いつ）＝推論内（intra-test-time）か推論をまたいで（inter-test-time）か。How（どのように）＝報酬ベース・模倣／デモ学習・集団／進化的手法、およびそれらを横断する設計次元。これにWhere（どこで）＝汎用ドメインと専門ドメインが加わる。
さらに、自己進化エージェント固有の評価指標（適応性・保持・汎化・効率・安全性・自己主導性）とベンチマーク、評価パラダイム（静的／短期／長期の生涯学習）、そして安全性・公平な比較・共進化ダイナミクスといった未解決課題を整理する。
fact＝出典が直接支持 claim＝著者の明示的主張 interpret＝本レポートの解釈 unknown＝出典に未記載
枠組み ① What to Evolve
何を進化させるか：エージェントの構成要素
fact論文は進化の対象をエージェントの構成要素ごとに分解する。以下の4区分はアウトライン（§3）に対応する。
モデル（§3.1 Models）
factエージェントの中核となる LLM そのもののパラメータを更新する経路。interpret狭義の「学習」に最も近く、能力の底上げに直結する一方、計算コストと忘却（retention）のトレードオフが大きい領域と読める。
コンテキスト：メモリ / プロンプト（§3.2）
factモデル重みを変えずに、入力側を進化させる経路。論文は2つに細分する。
- メモリ進化（§3.2.1）：経験を蓄積・取捨選択し、後続の判断に反映する仕組み。
- プロンプト最適化（§3.2.2）：指示・テンプレート自体を反復的に改善する仕組み。
ツール（§3.3 Tools）
factエージェントが使う外部ツール群を獲得・改良・選択する経路。interpret新しい道具を作り使いこなす能力は、モデル重みを固定したまま実効能力を拡張する手段と位置づけられる。
アーキテクチャ（§3.4 Architecture）
factエージェント系の構造そのものを最適化する経路。論文は2つに分ける。
- 単一エージェント系の最適化（§3.4.1）
- マルチエージェント系の最適化（§3.4.2）：役割分担・連携トポロジーの進化。
枠組み ② When to Evolve
いつ進化させるか：適応の段階
fact論文（§4）は進化のタイミングを2段階に分類する。
推論内自己進化（§4.1 Intra-Test-Time）
fact一つのタスク／推論セッションのその最中に適応する。interpretテスト時の試行錯誤・自己修正・文脈内学習のように、リアルタイムで振る舞いを調整する層と解釈できる。
推論間自己進化（§4.2 Inter-Test-Time）
fact複数のタスク／セッションをまたいで持続的に適応する。interpretセッションを越えて経験を蓄積・転移する、より長期の学習層と読める。
interpret「いつ」軸は、即時的な振る舞い調整（intra）と、運用を重ねるほど賢くなる長期学習（inter）を区別する設計上の分水嶺である。実装者にとっては、メモリやログをセッション境界をまたいで持ち越すか否かが、この軸の具体的な選択肢になる。
枠組み ③ How to Evolve
どのように進化させるか：機構と設計次元
fact論文（§5）は進化の駆動方式を主に3系統に分け、さらにそれらを横断する設計次元を挙げる。
報酬ベース（§5.1 Reward-based）
factスカラー報酬やテキストフィードバックといった信号を手がかりに振る舞いを更新する。
模倣・デモ学習（§5.2 Imitation and Demonstration）
fact良質な実演から学ぶ系統。論文はさらに3つに細分する。
- 自己生成デモ学習（§5.2.1）：自分の成功軌跡を教師信号に再利用。
- クロスエージェント・デモ学習（§5.2.2）：他エージェントの実演から学ぶ。
- ハイブリッド・デモ学習（§5.2.3）：両者の組み合わせ。
集団・進化的手法（§5.3 Population-based & Evolutionary）
fact複数候補を生成・選択し進化させるアプローチ。単一エージェント進化（§5.3.1）とマルチエージェント進化（§5.3.2）を扱う。
横断的な進化の次元（§5.4 / §5.5）
fact上記の機構を貫く設計軸として、論文は以下を整理する。
- オンライン / オフライン学習（§5.4.1）
- オンポリシー / オフポリシー学習（§5.4.2）
- 報酬の粒度（§5.4.3）
- その他の次元（§5.5）
interpret「どのように」軸は単一の最適アルゴリズムを推すものではなく、報酬設計・データ源・更新の同期性という直交する選択肢の組み合わせとして捉えるのが実装上は有用だ。
枠組み ④ Where to Evolve
どこで進化させるか：適用ドメイン
fact論文（§6）は適用領域を2つに大別する。
汎用ドメインの進化（§6.1 General Domain）
fact特定領域に限定されない、横断的なタスクでの自己進化。
専門ドメインの進化（§6.2 Specialized Domain）
claimアブストラクトでは応用領域としてコーディング・教育・ヘルスケアが明示される。interpretこれらは検証可能性・規制・継続的更新の必要性がそれぞれ異なり、自己進化の価値が出やすい代表例と読める。
評価 · Evaluation
自己進化エージェントをどう測るか
fact論文（§7）は、自己進化に固有の評価目標・指標と評価パラダイムを整理する。指標は §7.1 の小節構成に対応する。
| 指標 | 問うこと | 出典 |
|---|---|---|
| 適応性 Adaptivity | 新しいタスク・環境にどれだけ速く適応できるか | §7.1.1 |
| 保持 Retention | 新しく学んでも過去の能力を忘れないか（破滅的忘却の抑制） | §7.1.2 |
| 汎化 Generalization | 学習経験が未知の状況へ転移するか | §7.1.3 |
| 効率 Efficiency | 適応に要する計算・データ・時間のコスト | §7.1.4 |
| 安全性 Safety | 進化が望ましくない振る舞いを生まないか | §7.1.5 |
| 自己主導性 Self-Directedness | 外部介入なしにどこまで自律的に進化を方向づけられるか（評価上のトレードオフを伴う） | §7.1.6 |
評価パラダイム（§7.2）
- fact静的評価（§7.2.1）：固定スナップショットでの能力測定。
- fact短期適応評価（§7.2.2）：限られた相互作用の中での適応を測る。
- fact長期・生涯学習能力評価（§7.2.3）：長い時間軸での継続学習能力を測る。
- fact標準化された評価プロトコル（§7.2.4）の必要性を扱う。
現状の評価実務の限界（§7.3）
- claim能力の交差領域が手薄（§7.3.1）：複数の能力を同時に要求する設定が十分に評価されていない。
- claim公平な比較の困難さ（§7.3.2）：手法間を対等に比較するための条件が揃いにくい。
interpret適応性と保持はしばしば相反し、自己主導性が高いほど評価の再現性は下がる。論文が単一スコアではなく複数指標とパラダイムを並置するのは、自己進化が本質的に多目的の問題だからだと読める。
将来方向 · Future Directions & Risks
これから／リスク
fact論文（§8）は将来方向を4つ提示する。
① AI エージェントのパーソナライズ（§8.1）
fact個々のユーザーに合わせて継続的に適応するエージェント。
② 汎化（§8.2）
fact狭い適応を超えて、広範な状況へ転移する進化能力。
③ 安全で制御可能な自己進化（§8.3）
fact論文はここを2つに分ける。
- 自己進化系に創発するリスク（§8.3.1）
- 規範的ガードレールと緩和策（§8.3.2）
④ マルチエージェントのエコシステム（§8.4）
fact複数エージェントの共進化ダイナミクスを扱う。
claimアブストラクトは安全性・スケーラビリティ・共進化ダイナミクスを「critical challenges」として明示する。interpret自己を書き換える系では、進化そのものが新たな failure mode を生むため、能力向上と制御性の両立が中心課題になると読める。
実装者への含意 · 批判的に
エージェントを作る人にとっての意味
claimこれはサーベイ論文であり、検証済みの単一システムでも新ベンチマークでもない。提示されるのは設計を整理するための枠組み・分類体系であって、「この通り作れば動く」というレシピではない。
素直に使える示唆interpret
- 設計を始める前に what / when / how / where の4問を埋めると、進化の対象・タイミング・駆動信号・適用領域が漏れなく言語化できる。
- 「モデル重みを更新する」前に、メモリ・プロンプト・ツール・アーキテクチャという低コストな進化経路を先に検討する余地がある。
- セッション内（intra）で完結させるか、セッションをまたいで（inter）学習を持ち越すかを早期に決めると、ログ・メモリ基盤の要件が固まる。
留保すべき点interpret
- 各手法の定量的な優劣は本サーベイから直接は読み取れない。採否は引用元の原論文で確認する必要がある。
- 論文自身が公平な比較の困難さ（§7.3.2）を認めており、ベンチマーク横断の数値比較には注意が要る。
- 自己進化は安全性・忘却・コストのリスクと表裏一体。本番投入時はガードレール（§8.3.2）を前提に設計すべきである。
- ASI への道筋という大きな物語は方向性の主張であり、実証ではない点に留意する。
再実装 / 精読チェックリスト
次に何を確認すべきか
interpret本サーベイを起点に、実装または精読へ進むための確認項目。出典の章番号に紐づけてある。
精読の順序
- §2 Definitions で「自己進化エージェント」の定義と他研究との関係（§2.2）を確定させる。
- §3〜§6 の分類軸（what/when/how/where）を、自分のユースケースに当てはめて1枚に整理する。
- §7 の評価指標から、自分が最適化したい目標（適応性・保持・効率…）を選ぶ。
- §8.3 のリスクとガードレールを、安全要件として要件定義に反映する。
再実装に着手する前に埋める表
- What：モデル / メモリ / プロンプト / ツール / アーキテクチャのどれを更新対象にするか。
- When：intra-test-time か inter-test-time か、両方か。
- How：報酬ベース / デモ学習 / 進化的手法のいずれを駆動信号にするか。オンライン/オフライン・オン/オフポリシー・報酬粒度も決める。
- Where：汎用か専門ドメインか。専門なら検証可能性と規制要件を確認。
- 評価：静的 / 短期 / 長期のどのパラダイムで測るか、忘却（retention）をどう検出するか。
- 安全：進化のロールバック・上限・監視（guardrails）をどう設けるか。
出典メモ · 抽出上の限界
このレポートの作り方と限界
何に基づくか
- fact本レポートは、提供された
source-context.md（書誌情報・アブストラクト全文・検出されたセクションアウトライン）のみに基づく。論文本文（paper.txt）は参照していない。 - fact各セクションの構成・小節名は、出典アウトライン（§2〜§9）に直接対応する。
抽出上の限界unknown
- アブストラクトとアウトライン以外の本文の具体的記述・引用文献・図表・定量結果は本レポートに反映されていない。各手法の代表例や数値は原論文で確認が必要。
- OpenReview / GitHub の URL は出典に含まれず、捏造を避けて未記載とした。
- 検出アウトラインには「§3 What to Evolve」の見出しそのものや一部の章タイトルが欠落・断片化している箇所がある（例：§2.1 直後の混入行）。小節番号は出典のまま転記したが、最終版 PDF と完全一致する保証はない。
- interpret と明記した記述は、出典の主張ではなく本レポートによる解釈・補足である。claim はアブストラクトでの著者の明示的主張、fact はアウトライン／書誌に直接支持される事実を指す。
原文の一文（アブストラクトより）
claim“This survey provides the first systematic and comprehensive review of self-evolving agents, organizing the field around three foundational dimensions: what, when, and how to evolve.”