内置中间件

常见代理用例的预构建中间件 XpertAI 为常见用例提供预构建中间件。每个中间件都经过生产验证,可根据您的特定需求进行配置。

​

与模型提供商无关的中间件

以下中间件适用于任何 LLM 提供商:

​

上下文压缩

当接近令牌限制时自动汇总对话历史记录,保留最近的消息同时压缩较旧的上下文。汇总功能适用于以下场景:

• 超出上下文窗口的长时间对话。
• 具有大量历史记录的多轮对话。
• 需要保留完整对话上下文的应用程序。