本地模型路由优化 - #219
Conversation
新增本地实时主题追踪系统(TopicGraph)和可插拔词典分词器: - Segmenter 接口, 支持多语言扩展 - 中文词典分词(正向最大匹配, jieba 词典), 首次使用自动下载 - POS 词性标注过滤虚词(连词/介词/助词/代词等不纳入关键词) - 单字二元组合并(补偿词典未收录的复合词) - FMM 算法修复: 长词优先(修复前高频短词会错误替换长词) - 安全加固: HTTP 30s 超时, 32MB 响应体限制, 缓存目录 0700 - TF-IDF + 余弦相似度实时追踪对话主题 - 会话侧重点摘要(SessionFocus) - 话题切换检测: 与会话主导话题比对, 区分"切换"与"扩展" - 虚词过滤基于 jieba POS 标注(删除硬编码词表) - 会话隔离: /new 切换时 TopicGraph 自动重建 - segmenter.yaml 独立配置文件(不污染 model.yaml) - language: zh 启用中文词典分词(默认不启用,零开销)
|
@yu-zhy 1. 核心功能实际没生效(必修)
结果是 改成 2. 修好 #1 后会暴露的问题
3. CI 是红的
4. 主题追踪与 main 冲突,建议整块移除这个 PR 从 两边做的是同一件事 —— 检测话题切换、提醒用户 5. ONNX 路径应该没跑通过
另外阈值( |
|
收到~~~ |
引入all-minilm-l6-v2进行语义识别替代关键词策略,优化本地模型路由方案
通过/ 预计算的"复杂任务"语义向量(一次性计算,缓存) 来优化路由策略
"重构代码架构", "分析系统依赖关系", "设计模块接口", "排查性能瓶颈", "review代码安全性", "多文件重构", "架构设计" 会路由到pro模型