他强调：

• 上下文窗口越长 ≠ 模型表现越好，反而可能导致”上下文腐烂”（Context Rot）
• 构建高质量 AI 应用的关键是：提供高质量、精筛后的上下文，而非堆砌大量信息
• Chroma 专注于构建现代化、AI 原生的检索基础设施，支持两阶段检索、Regex 精确匹配、索引分叉等功能

当前 AI 开发面临的主要挑战：

• 缺乏可复现性：相同输入可能产生不同输出
• 黑箱操作：难以理解模型内部工作原理
• 依赖直觉：开发者凭经验而非系统化方法调整参数

工程化解决方案的核心是建立可测量、可优化、可预测的系统。

上下文腐烂的主要表现：

• 注意力分散：模型难以在长文本中保持对关键信息的关注
• 信息稀释：重要信息被大量无关内容淹没
• 位置偏差：模型倾向于关注上下文开头和结尾的内容

研究表明，当上下文长度超过一定阈值后，模型性能会显著下降，这种现象被称为“上下文腐烂”。

现代化检索基础设施的关键特性：

• 语义理解：超越关键词匹配，理解内容含义
• 高并发性能：支持大规模实时检索需求
• 开发者友好：提供简洁直观的 API 和工具
• 模块化设计：允许灵活组合不同检索策略

Chroma 的设计理念是构建AI 原生的检索系统，而非简单地将传统检索技术应用于 AI 场景。

RAG 的局限性：

• 概念模糊：检索、增强、生成三个环节界限不清
• 过度依赖向量检索：忽视其他有效的检索方法
• 缺乏系统性：未形成完整的工程方法论

上下文工程的核心是建立两个关键循环：

1. 信息选择循环：如何从海量信息中筛选出最相关的内容
2. 系统学习循环：如何基于反馈持续优化检索策略

两阶段检索的技术实现：

# 第一阶段：粗筛
def coarse_search(query, collection, limit=100):
    # 向量搜索
    vector_results = collection.vector_search(query, limit=limit//2)
    # 关键词匹配
    keyword_results = collection.keyword_search(query, limit=limit//2)
    # 合并结果
    return merge_and_deduplicate(vector_results, keyword_results)

# 第二阶段：精排
def fine_rank(query, candidates, limit=10):
    # 使用大模型重排序
    reranked = llm_rerank(query, candidates)
    # 返回最相关的内容
    return reranked[:limit]

这种策略结合了效率与精确度，能够在保证检索质量的同时控制计算成本。

生成式基准测试的流程：

1. 使用大模型基于文档内容生成多样化问题
2. 为每个问题生成高质量参考答案
3. 构建黄金数据集（问题-答案对）
4. 使用该数据集评估检索系统性能
5. 基于评估结果迭代优化系统

这种方法的优势在于能够自动化、规模化地生成评估数据，显著提高开发效率。