今天跟大家分享一下 Eino 这个由字节跳动开源的大模型应用开发框架。
🚀 快速阅读
Eino 是字节跳动开源的大模型应用开发框架，旨在帮助开发者高效构建基于大模型的 AI 应用。
- 核心功能：组件化设计、图编排引擎、流式处理机制、回调机制。
- 技术原理：基于 Go 语言，支持稳定的内核、灵活的扩展性和完善的工具生态。
Eino 是什么
Eino 是字节跳动开源的大模型应用开发框架，能够帮助开发者高效构建基于大模型的 AI 应用。它以 Go 语言为基础，具备稳定的内核、灵活的扩展性和完善的工具生态。Eino 的核心是组件化设计，通过定义不同的组件（如 ChatModel、Lambda 等）和编排方式（如 Chain 和 Graph），开发者可以灵活地构建复杂的业务逻辑。此外，Eino 支持流式处理，自动处理流的拼接和复制等细节，提升应用性能。Eino 还提供了可视化开发工具 EinoDev，降低了开发门槛，并结合 Langfuse 平台进行运行观测。
Eino 的目标是成为 Golang 中最好的大模型应用开发框架，借鉴了开源社区中的优秀框架（如 LangChain 和 LlamaIndex），并结合了最新的研究和实际应用场景，强调简单性、可扩展性、可靠性和高效性，更好地符合 Golang 编程规范。
Eino 的主要功能
- 丰富的组件：将常见构建模块抽象为组件，每个组件有多种实现，支持嵌套和复杂业务逻辑。
- 强大的编排：基于图编排实现数据流的有向、可控传输，支持类型检查、流处理、并发管理等。
- 完善的流处理：自动处理流式与非流式数据的转换、拼接、合并和复制。
- 高扩展性的切面（Callbacks）：支持多种切面，用于日志记录、追踪、指标统计等，暴露组件实现的内部细节。
Eino 的技术原理
- 组件化架构：Eino 将应用逻辑拆分为多个组件，每个组件负责特定的功能（如文本生成、数据检索、工具调用等）。组件基于定义好的接口进行交互，开发者根据需求选择或实现具体的组件。
- 图编排引擎：用图（Graph）表示组件之间的依赖关系和执行顺序。每个组件是一个节点（Node），节点之间的连接关系（边 Edge）定义数据的流转路径。支持分支逻辑（Branch），根据条件动态选择不同的执行路径。
- 流式处理机制：支持流式输入和输出，自动处理流的拼接（Concat）和流化（T -> StreamReader[T]），提升应用的实时性和性能。
- 回调机制（Callbacks）：提供 Callbacks 机制，支持开发者在组件运行的开始和结束时插入自定义逻辑。基于回调函数，开发者可以实现日志记录、性能监控等功能。
- 向量化知识库：提供工具将知识库内容进行向量化处理，并存储到向量数据库（如 Redis）中。在应用运行时，基于语义检索从知识库中召回相关信息，增强应用的知识背景支持。
- 可视化开发工具：提供 EinoDev 插件，支持可视化界面进行组件选择和编排。开发者可以通过拖拽组件的方式快速构建应用逻辑，并生成对应的代码。
如何运行 Eino
1. 使用组件直接调用
model, _ := openai.NewChatModel(ctx, config) // 创建一个可调用的 LLM 实例
message, _ := model.Generate(ctx, []*Message{
SystemMessage(\"you are a helpful assistant.\"),
UserMessage(\"what does the future AI App look like?\")})
2. 使用编排创建简单的链
chain, _ := NewChain[map[string]any, *Message]().
AppendChatTemplate(prompt).
AppendChatModel(model).
Compile(ctx)
chain.Invoke(ctx, map[string]any{\"query\": \"what\'s your name?\"})
3. 使用图编排创建更复杂的逻辑
graph := NewGraph[map[string]any, *schema.Message]()
_ = graph.AddChatTemplateNode(\"node_template\", chatTpl)
_ = graph.AddChatModelNode(\"node_model\", chatModel)
_ = graph.AddToolsNode(\"node_tools\", toolsNode)
_ = graph.AddLambdaNode(\"node_converter\", takeOne)
_ = graph.AddEdge(START, \"node_template\")
_ = graph.AddEdge(\"node_template\", \"node_model\")
_ = graph.AddBranch(\"node_model\", branch)
_ = graph.AddEdge(\"node_tools\", \"node_converter\")
_ = graph.AddEdge(\"node_converter\", END)
compiledGraph, err := graph.Compile(ctx)
if err != nil {
return err
}
out, err := r.Invoke(ctx, map[string]any{\"query\":\"Beijing\'s weather this weekend\"})
资源
- GitHub 仓库：https://i2.wp.com/github.com/cloudwego/eino
- Eino 文档：https://www.cloudwego.io/zh/docs/eino/
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
