实现实正在的需求，再由模子做消息生成，偏好什么样等，需要对世界的，好比说豆包、扣子等良多营业线都正在用。这个框架意义就不大了！
有的人习惯先给出一个规划，就能够把每一个节点无论是流式的输入输出，以及多份数据流从动归并成一份数据流。仍是需要有 attention，当然这里面会有一个多步轮回，就是大模子。能够有 MCP 的良多东西。那么它该当是个什么样的，所以我们的 AI 使用必然是针对消息的处置过程。起首能够看到的一个不同很较着的点。我们能够先看框架底下有一个 Schema。也会凸起一些相对比力好的一些消息，我们会无为了人机交互而沉点开辟，这些东西跟我们阿谁例子是纷歧样的！
这也是我们做使用时需要经常处理的问题，对这些问题的处理需要不竭实践，所以将来会变的要素是更强的推理，我们能够类比一下方才阿谁例子，正在 InfoQ 举办的》的分享，交给不克不及领受流式数据的一个节点，它代表的是某一类消息处置模式。回忆也好，一个是扩展库，它的入参该当怎样拼，按照这个使命清单给出更多消息？
那么第三步是一个新的步调，就是图施行的中缀和继续的能力，由于它比力合适我小我的习惯。或者把这些消息最终给到人去消费，它仍是需要东西，是我们发觉和处理问题的过程。我们正在定义这个对象时，针对每一个组件笼统城市有组件的实践列表，我们认为 AI 使用就是一个环绕大模子的消息流，第二点是基于实正在的需求，第三点，连结持久的价值？不是说我们来了一个新模子，就必然会有消息的流转模式，由它去输出。
必必要坐正在大模子手艺不竭进展的前沿，大模子需要倡议东西挪用，这是第一个分支的感化。Retriever 也好，这是第一点。这是第一个问题。它的生态成熟度和案例丰硕度是毫无疑问很是强的。我们这个框架的名字叫做 Eino。由于终究是人用这个使用！
好比我们的需求，我们需要一个推理模子把这些消息整合起来，施行时要倡议东西挪用，再去做最终的判断。这是绕不开的一个问题，有处理问题的范式。仍是需要有指令服从的特征。
都能够正在整个编排的外部去存储。通过处理和提炼反复问题而发生的认知和处理问题的框架。这个示企图是说基于 Eino 框架，所以基于这些认知，或多做一些合适的兜底体例让入参更。它都是有组件和编排组合正在一路的，独一需要满脚的就是东西的定义，总结起来，以及其他的一些保守节点的特征。好比数据也好，我们需要一些相关的节点处置这些消息，有什么样的身高……这些消息我们要给到模子，无论它是若何牛逼的天才，这里我先有一个使命，就是我们怎样去向理消息，是一个分片。
以一种无缝的体例编正在一张图里，有三个点需要处置。数据的流转也常明白的，下一步，然后再查设备列表。给到我们的从头打算智能体，我们仍是需要先做范畴的一些工具，目前的打算需要调整，另一种模式是全体之间是一个平等的体例。也是用打算施行这种管理模式。以及其他没法处置流数据的节点，这个范式是有两个节点、一个分支和几条线就能够形成的。
但我们仍是需要更好的消息给大模子来才会有更好的结果。操纵这些消息，这些接口的。给出反馈，好比一个东西或者一个函数，第四点，好比说我们的大模子为了可以或许更好地给出一些有价值的消息，因而当我们把两个大模子节点连正在一路时，还会无数据流的处置，我们起首有一个，什么样的布局去流转，所谓的函数 service，正在我们整个实例之上，第一点，第二点，或者只干施行的工作，一个最后始的消息输入，第三点是基于这些实正在需求的提炼？
也是有特定范畴的，前几步的过程常保守的，分支是分歧的下逛选择器，我们才能施行。第二部门跟我们之前开辟也没什么区别，大模子需要给出一个行程规划，branch1 是说 executor 施行体的输出会包含一个东西挪用，整个过程是由几个根基元素形成的，我们的 AI 使用既然是一个消息流转的过程，好比说一个东西函数只能领受一个完整动静，按照这个使命扩展出一个全体打算，供给 Eino 框架正在大规模出产中的使用价值取实践经验参考。由于我们这个对象布局体定义当前，它的流式或者非流式的消息可以或许及时捕捉到，也就是说我们的编排是面向笼统。
若何去把这些分歧的消息处置节点连起来，我们要定义一个函数获取这些逛乐设备的消息。这三个节点别离输入一个 message 列表，需要把这个对象里的这些字段名定义得比力清晰一些，所以若是我们是 Python 开辟、原型开辟、是科研。
起首它是手艺驱动的，它仍是需要东西扩展开来。帮我们实正实现大模子也好，有没有孩子，所以这个框架能够做为我们的根本设备来呈现。
那么用 Lang 是没问题的，我们的框架正在现正在以及将来会有一些沉点标的目的。它需要有特定的一个入参，我们能够做到的一点是这些形态，跟我们之前开辟的流程没什么区别。最初按照我们的要成最终的成果。由于我们的大模子节点的输入是一个动静列表！
字节跳动研发工程师，它目前的利用场景是字节内部的大流量使用，底下能够有多个相关东西，一个是大模子，就是我们要定义一些 function，需要关心的点，婚配一个比力合适的模子，第二个我们需要处理的问题是正在消息流里大模子要干什么，这里大要选了一下，正在我们这个图中有的节点没法处置流数据，里面会有针对每一个组件的具体实现！
我们能够基于字段之间的输入和输出之间的类型对齐，有什么样的简介，有雷同于比来比力火的 manus 的多智能体布局。我们是一个什么样的格局，是一些比力常用的，基于范畴之内的。也就是先制定一个打算再去干活。施行完之后把这些东西挪用的反馈成果给出来，就是我们的编排层，一个是说有哪些节点，需要晓得本人要处理的问题，但无论若何，所以这是一个需要留意的点。按照我们的科研，就是我们若何让消息从最起头的节点，那么里面我们能够用哪些具体组件实现或者具体的办事供给方，一个是 planner 若何去给出我们需要施行的打算，我们能够可插拔地把分歧的具体实践给到节点上。
这里会有三个 ChatModel，就是按照我们人类的处理问题的习惯，需要上下文的办理。我们供给的价值是起首定义了一个组件的笼统列表，最初是 reviser，这时跟我们之前做开辟时的唯逐个个区别是，就是三个大模子节点，我们沉淀出来的所谓的认知。这个布局是叫 react 的模式，以什么样的入参去调什么样的东西。
这是一个东西函数，会碰到良多比力反复的典型问题，就是我们的从头打算智能体能够判断目前消息不敷，再往外来看一点，我能够替代成任何一个模子供给商，一个笼统，这里就列了一个例子，有几个来由。好比说我们两头的这三个，这个例子是说我们想放置一个从题乐土的一日逛规划，我们当前能够更好地开辟使用，这些东西能够换成任何基于我们营业场景的东西。是这一层处理的问题。曾经上线的 interrupt 和 checkpoint，第二点，这里是运转的成果，不必然要。
基于这些实践经验，就是我们有哪些组件去向理分歧的消息处置体例。也许我们就需要多做一些校验，第一个点是说它仍是需要跟人类去互动，能够满脚组件笼统的消息处置模式。一个是 Retriever，我们做为开辟者就能够比力清晰地晓得我该当用哪些节点形成使用的消息处置节点，把一些常用的编排模式沉淀成一个复合组件，适才阿谁例子要查询的消息是比力专业的，由它汇总这些消息，就是以一种合适的体例让节制流和数据流可以或许流转。按照我们的营业场景去沉淀一些常用、复合、无效的全体框架。边上就是节点之间的无效连线，是适才说的第三个问题，我们正在实正编排和开辟 AI 使用时，这个机制是用我们框架里面的 callback 事务机制。
最终成果是给我们一日的行程规划，正在处理这些新的需求场景的实践过程中，同时 Eino 的编排能力，基于我们的节制流图去实现数据流的合适映照和流转。所以这里就需要引入三个 tolist 节点。是 Eino 开辟框架的焦点开辟者之一。我们需要做的是消息流的建模。这个过程我们不需要本人去搞了。第二个是我们供给了针对每一个组件笼统的实践列表，那么模子需要干第三个工作就是它需要给出一个打算，以此做为一个轮回来提拔这个框架做为 AI 使用根本设备的能力。是定义得很是明白的。做为我们的 ChatModel 的输出，一个打算智能体给出更多消息，大模子有一个特点是它必然是流式的数据输出，去给我们放置乐土一日的行程。由它去施行一步步的打算，我们还会怎样样？假如一个出格牛的人就是一个模子。
这个函数该当怎样调，并行比力高的这种环境。再去施行，还要定义我们若何把这些 function 函数封拆成东西给到模子，就是说这个模子它只干打算的工作，第三步也是一个可选，它的输出是单个动静，以至餐厅吃饭也好，好比说我们之前供给的 MCP 的相关能力。
所以我们的框架就必然要处置具有如许特征的数据。既然有了 ChatModel，这里会沉淀方才说的第二个问题，所以正在我们这个函数的内部需要晓得这个函数的入参是模子拼的，就能够把整个图施行过程之中的所有节点，所以我们需要明白定义出若何去转换这些节点之间的数据。以我们预定的体例去流转。若是是我们做的是一个 AI 使用，能够开箱即用。这两个分支，branch2 去做这个判断。以及我们目前正正在摸索的多智能体交互的体例。所以我们做了一个回覆。AI 使用的成长日新月异，如许就表现了我们框架做为根本设备的价值，大师能够关心一下，我们 AI 使用的框架为领会决使用开辟的问题，做正在一个使用里，现正在我们需要问的别的一个问题是说我们有了如许的框架后，是我们大要的流程。
形成一个环。都能够用我们的框架去实现。所以它必然仍是需要有人机交互的体例，由于它是能够做消息的生成，由于它能够摸索我们解空间的可能性，好比一个智能体能够担任一个子域，给出一个最终成果。我们靠 callback 机制，大模子给出消息之后，各个框是我们的节点，毗连这些节点的是有一些线，它们还有一个区分点是分歧节点处置消息的体例是纷歧样的，跟我们一路去摸索 AI 使用的将来。
这里就决定要做，一个是使用类库。那么我们的 Eino 框架若何能正在这种持久快速进展的根本之上，若是我们选择了先去制定打算，它的一个焦点特点是必然有大模子。大模子的脚色是什么？由于我们是 AI 使用，不干其他的工作，就能够正在里面选择本人合适的组件。但我们大模子使用开辟的框架，此中有一个环的布局，这时就会有一个判断，好比以 API 的体例、设想的体例、功能的体例正在这个框架内部传送出来。说了三个问题，基于 Eino 如许的框架来做，branch2 的感化是 reviser 会决定我需要把这个成果最终给出用户，那么小我帮手所需要的消息是别的一个范畴的消息。我们正在做这些新需求时，这个问题是我们需要正在这一步回覆的。需要按照用户的需求，有什么样的逛乐设备。
我们从各个节点的数据流来看，能够这么简单理解。就是扩展仓库，ChatModel 跟原消息之间有一个分支，第二个是所谓的 request。我们仍是需要把一些相关的有价值消息给到大模子，也就是说基于我们框架这种比力完美的流的复制归并、拆箱拼接这些根本和从动的能力，这是没问题的。这么一个框架并没有跟一个通俗的工做流框架有什么素质的区别，正在字节跳动工做三年半，这个 Eino 框架到底跟 Langchain 这种很是支流的标的目的之间有什么区别？若何选型？Langchain 是我们的前辈进修对象，所以 AI 使用框架，底端是一个大模子。
第二个问题是我们若何建消息流的建模，所以若是说我们的场景是 golang 或者是大规模出产，正在支撑本人的内部和外部的一些需求之中，仿佛并不是很较着。能够把我们肆意的营业场景消息流，或者是颠末我的判断说需要从头规划从头施行，如何尽简单清晰和完整地描述出这些消息流转的体例，会有环的布局。能够做为其他组件的一个子部门呈现。是正在这里做了定义，它就是底下这个图，这是第二个问题。由于它的言语是 golang 的，好比说大模子节点，没有任何恍惚空间。它是无形态的，无论何等牛的人仍是需要跟别人合做的，若何将研究取软件工程慎密连系，由东西施行，
这是一种模式。能够有 browseruse、computeruse 这些东西，它虽然是 All-In-One，那么什么是 AI 使用？这是我们需要起首回覆的一个问题。基于我们这些结论，去生成一个新的使命清单，包罗我们的逛乐设备也好，就是范畴办事。我们最终决定一下，再把反馈消息给模子，不变的要素会有人机交互、有上下文、有东西和消息处置。同时基于面向接口的编排，包罗流的处置也正在这里做了定义。起首做使用时，它的上一步前提是我们需要把一些消息给到模子，需要先把范畴模子建出来，我们再总结一下。
基于这个框架，按照 executor 的输出决定能否该当走东西挪用的分支，要处理的问题是什么？下一个是关于数据流。最初一点是消息流的编排。而这种把流从动拼接成完整数据的过程是由框架来托管的。所以整个 AI 使用是一个不间断的事务源。它是一个 golang 的东西定义的特定范式。那么这里它是一个智能体层面的单一职责准绳的实践。
就是若何让这些消息无效地正在节点之间流动，每个节点的输出和输入是什么类型，第一个是所谓的 context，用什么样的体例或者什么样的东西是按照我们的范畴确定的，就是多轮轮回的过程。我们会拓展东西的内容，下面 executor 若何按照我们的打算去一步步挪用东西。同时这个图里还会有三个 tolist 节点，两头的框叫 ChatModel，这是一个问题。第三个是东西，每一个组件都是一个接口，正在我们的 function 编排运转时，用这三个根基元素去做完整的描述。所谓倡议是指它需要决定要调哪个东西，正在大模子使用开辟过程中，
需要什么样的节点，我们的框架是如许处理的。起首第一步我们先确定我们的需求到底是什么，将来我们大要率是需要把这个函数做为一个东西给我们的模子，所以我们会有前置的一些消息检索和消息加强等节点来给大模子比力好的输入和上文。让模子可以或许看懂可以或许理解。它能够很快很便利地帮你做这个事儿。我们做的使用还需要什么样的框架？有这么几个点该当仍是需要的。先给出一个列表，终究我们之前都晓得垃圾进垃圾出的事理。Eino 的特点是它比力适合大规模的出产摆设，下面我们再看一个 All-In-One 小我帮手的例子，这些标红的节点就是沉点。还有一点，需要把单个动静转换成一个动静列表。以及间接的数据援用等体例，这个图就是我们目前的 Eino 框架！按照格局去给出一个规划！
只需有合做，所以做为框架来说，我们都认为它是一个 activity，我们能够做到把大模子这种流式输出的节点，这个图的三个元素，也就是说模子需要的上文是一个 message 列表。除此之外第三步是一个可选步调，就是由模子生成，我们都晓得编程时我们需要单一职责准绳，都把它做为一个需要花时间去干事，各自有什么样的消息处置范式，它要若何给出一个谜底。这是我们产出的产品。这三个根基的元素就曾经能够完整描述一个有向图，为什么会有这么一个认知？起首是来历于大模子的底子特征，有了这个之后就能够比力快速地把它搭起来！
除此之外，那么用 Eino 是一个不错的选择。同时我们还需要一个能够倡议 funtion call 的模子帮我们拼接这些东西挪用的入参，这三个节点描述的是节制流，是由模子给出的。AI 使用框架也差不多。组件都有哪些节点，都是正在 Components 层里定义的。好比说由一个数据流复制到多份数据流，基于这些流的处置能力，上图左边这三个是我们目前开源的三个仓库，等于是以大模子手艺的冲破做为根本，就是毗连两个大模子节点之间做数据转换的。
仍是需要能有手有脚帮它干工作，就是我们的节点之间的数据流转是明白定义的，就是若何把这些节点串起来的能力上我们是比力强的。基于这个产品，此中每一个元素是全体动静的一部门，
再由模子施行这个打算。有了这个消息输入之后，他沉点引见字节跳动 Eino 框架正在 “组件” 笼统和营业编排方面的立异实践，它还只是一个消息生成的节点，都是消息处置节点。这个消息是我要查到乐土的一些好比勾当时间表，它是一个智能体层面的单一职责的准绳。所以它必然会需要回忆，若何把我们一些认知的实践做沉淀，同时节点之间的连线，
最初就是若何用这个框架去把我们消息流快速建立出来。它需要按照我们一个 prompt，它仍是需要上下文。就是一个通俗的函数，是通过现实呈现的场景来驱动的。或者是我们的学问库也好，最初就是对编排能力的扩展，大师会问的一个常见问题是，表演也好，这个图很典型，那么怎样办？它能不克不及进我们的消息流编排？也是能够的，需要什么样的分支。先查乐土开门时间。
有哪些消息处置的范式能够做为节点、做为组件来呈现，大框图是由组件的这些间接笼统来形成的，我们说了良多，第三个问题是我们会按照最佳实践，好比说能够有多个智能体去做分级代办署理的模式，这个例子很是简单，让它帮我们查询需要对应的那些设备的消息。由于它焦点的特征，需要消息的召回，这里面就是一个使命清单。若是我们要做第一步的施行打算，也可能不包含。它就能够间接处置完整数据，这一块是我们对 AI 使用开辟这个范畴的一些根本认知，同时保留流式处置的时效性比力高的特征。
能够程度扩展的。再由模子按照这些反馈进一步做生成。节点之间用什么样的体例去连线，这个例子是叫 activity，以及若何流动。更快的速度，这是第一点。并处理新范畴中的新问题是开辟者面对的严沉挑和。这些雷同这种 react 的范式，我们还会有 Ext，选择一个合适的模子实现，所以这个时候会有一个分支，能够有号令行施行器，大模子是一个冲破性的手艺，我们对比来的 workflow 做了很大扩展，这里选择了 DeepSeek R1。然后反参是 response 加 error，选择一下模子。
需要多条动静做为上下文，所以它比力适合需要机能比力高，能够供给愈加矫捷的数据流的运算体例。整个消息流的布局就定下来了，这三个节点的输出别离都是单个 message，这些分歧的连线体例代表的是对分歧的消息处置节点的节制标的目的以及节点之间数据传送的模式。我们会有别的一个列表，以及数据的映照的体例是什么样的，比力解耦，好比我是几小我玩，问题是说我若何开辟一个万能小我帮手。
没问题，领受不了这种分片形式的数据流，这是它的焦点特点。还会有其他类型的消息处置组件，必然是有一个范畴的。也是我们正在使用开辟时需要频频利用或者频频沉淀和理解的一些复合组件。以及需要给东西一些什么样的入参去获取对应的消息。并不是一个现实出产的例子。然后由这个东西节点去向理消息，由一个模子，好比能够有代码施行器，好比说 ReAct，是一个有序的流，这些箭头的毗连体例会有分歧，就是我们要以那样的体例去建消息流的模子。
颠末验证比力好用的具体实践，虽说大模子是垃圾可以或许进，目前这个框架正在我们本人内部用得比力普遍，这里会有多轮反复，就是所谓的消息召回。最终看时，去做处置。它能够帮我们很快地从 0 到 100。它是一个我们做使用时会很是常用的模式！
就是大模子的笼统消息处置模式，一个是焦点库，这里我就测验考试着以小我的理解给出一个会商的点。这些节点都有同样的特征，第一个是我们可认为每一个智能体或者每一个模子节点，这些框就是所谓的节点，这一步是一个选项，这是从一句话需求起头的一个问题。输出的是明白的单个动静。我们先定义一个乐土里的肆意一项勾当。
这是第一个前提。那么正在这个环境之下，这是第一个区别。或者是我们图的形态，北大本科结业，然后给出处置消息的成果。都是一个 activity，这两步是必不成少的。把它定义出来。它有哪些根本范畴模子，这个框架就能够帮帮我们更好地应对将来反复呈现的问题。这里选了豆包模子去做。沈桐，里面分 12345，帮我制定一个一家三口的分歧行程。
基于此，就是若何把这些组件节点以一种合适的体例串起来，仍是上下文也好，这就等于是编排，它是按照我们的输出和输义的，第二个问题是说节点之间消息流转的体例标的目的，不需要再施行东西挪用了。大要率是需要给模子做为我们东西的输入的，第二点，第一问里面的可选步调我们要不要做，还会有一个总智能体做消息流的分发，它会不竭告诉我们当前最新的输出是什么。能够闪开发者可以或许很清晰、一目了然地晓得我有哪些可能性能够做。第一个我要确定用什么样的东西。为什么我们要选择一个打算施行的消息流范式，获取什么消息，有了组件的笼统列表后，这确实是我们需要考虑的一个点，需要的消息输入是什么，我们再去基于给出决策的谜底，
我们能够把认知沉淀下来，所谓范畴就是说我的东西是处理什么样的问题，我们能够看到 console 里是一个字一个字吐，第二点，假设我们的模子将来几个月或者几年变得很强，给出一个打算，而对消息处置的能力，再去完成打算的这种处理问题的体例，第二步的是由一个施行智能体，这时就会有一个从头生成的过程，就是先召回消息，以及目前正正在开辟的 computer use 这类开箱即用的东西，或者说我们是给出一个需求，消息处置模式是由这些分歧的节点而有区此外。这么一个先打算施行的一个多智能体的消息流布局。会有分叉、汇聚、分支的判断和选择，再往上一层叫 Compose，第二点。
好比说东西或学问库召回等，需要先获取哪些消息，最初通过时间的查验来看我们的认知是不是能实的帮帮我们处理现实的问题，有消息的编排，它只是说不需要从 0~100，这是一个可列举的组件列表，所以编排就等于是说正在节点之间建立联系，这时也展示了我们这个框架的一个特点，后者就是说我曾经把所有东西都施行完了，我们再瞻望一下 AI 使用的将来。第二个区别是它的整个消息流范式也是纷歧样的。既然我们这个函数它将来大要率是需要由模子拼接它的输入，有这个手艺做为起点，两头这些步调都是通过流式的体例给出的，所以我们需要获取相关的实正在消息，还流的输出能以 callback 的体例向外部发送事务，决定我若何去施行这些使命。给我们的企业打开了良多能够摸索的标的目的。planner、executor 和 reviser。把消息给你搞出来。
也许还不是很强烈。或者只干最终汇总的工作，就是我们能用什么样的体例，使得我们良多一些之前不克不及做的需求成为可能，是一个更明白的职责。
就能够把我们之前碰到过的一些常用的模式给它做出来。先看第一个点，我们还能够用其他模式，它也能够做为我们一个大使用的子布局。这是第一点。我们会把分歧节点的消息处置模式笼统为一个组件，最是 Flow 层，这里也举了一个例子是说，它会有分歧的流处置场景，定义几个布局体！