LangChain v0.2 使用本地模型llama3进行流式输出_ollama 流式输出

作者：木道寻08 | 2024-08-11 08:10:02

踩

ollama 流式输出

代码


from langchain_community.llms import Ollama
 
# 创建Ollama实例，指定模型名称
ollama = Ollama(model="llama3")
 
# 准备输入提示
prompt = "Once upon a time, in a land far far away..."
 
# 使用stream方法进行流式生成
def stream_generation():
    for chunk in ollama.stream(input=prompt):
        print(chunk, end="", flush=True)
 
# 调用函数执行流式生成
stream_generation()

其它对于LangChain使用llama模型的方法请访问以下链接:

LangChain对Ollama模型的使用文档

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/963095