Spring Boot 3 集成 LLM 的 3 种架构怎么选

三种架构一览

方案一：SDK 直调

最直觉：在 Service 里注入官方 SDK 直接调。优点是快；缺点是模型切换要改代码、没有统一的成本视图。适合原型期。

@Service
public class LlmService {
    public String chat(String prompt) {
        return client.messages()
            .model("claude-sonnet-4-5")
            .user(prompt).call().content();
    }
}

方案二：网关统一收口

自建一层薄网关：统一鉴权、限流、日志、模型路由。我把它做进了 QuickAdmin 的 RBAC——AI 接口也是接口，理应进权限体系。模型分级路由（简单请求走小模型）在这里实现，成本降 60%。

方案三：MCP

把系统能力（查库、发通知）封装成 MCP Server，Claude/IDE 直接调用。适合「让 AI 操作我的系统」场景，详见我的 MCP MySQL 实战。

我的选择

个人项目从方案一起步，第二个 AI 功能出现时立刻迁移到方案二。

原文首发于本站，欢迎 RSS 订阅；有帮助点个赞，有问题评论区见。