Skip to content

bug fix for ollama local model without stream mode#42

Open
loadwiki wants to merge 1 commit into
weiwill88:masterfrom
loadwiki:master
Open

bug fix for ollama local model without stream mode#42
loadwiki wants to merge 1 commit into
weiwill88:masterfrom
loadwiki:master

Conversation

@loadwiki

@loadwiki loadwiki commented Jan 2, 2026

Copy link
Copy Markdown
  • bug fix, 聊天的history需要append符合openAI 消息规范的字典对象,否则gradio的回掉中会检测出异常
  • ollama的本地蒸馏小模型支持stream方式的不多,chat 接口的post请求修改为非stream mode

@weiwill88

Copy link
Copy Markdown
Owner

感谢提交这个修复。

我看了一下当前仓库状态,这个 PR 目前不建议直接合并,主要原因是:

  1. 这个 PR 的目标分支是 master,修改文件是旧版单文件入口 rag_demo_pro.py;但仓库当前默认分支是 main,主线已经重构为 rag_demo.py + core/ 模块结构,main 上已经没有 rag_demo_pro.py
  2. 你提到的 Gradio history 需要使用 OpenAI message dict 格式,这一点在当前 mainrag_demo.py 里已经基本采用了 {"role": ..., "content": ...} 的写法。
  3. Ollama 小模型不支持 stream 的问题仍然有参考价值,但应该迁移到当前主线的 core/generator.py,而不是继续修改旧版 rag_demo_pro.py

建议后续处理方式:

  • 如果你愿意继续推进,请把分支 rebase/retarget 到 main
  • 只保留和当前主线相关的改动,重点看 core/generator.py 中 Ollama stream_answer() 的兼容处理;
  • 不要在 history 更新时用 assistant 消息覆盖 user 消息,当前主线的做法是分别 append user 和 assistant 两条消息。

我这边暂时不会合并这个 PR。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants