diff --git a/skills/bailian-docs-llm-wiki/SKILL.md b/skills/bailian-docs-llm-wiki/SKILL.md index 7ec690da..d7ef8a2a 100644 --- a/skills/bailian-docs-llm-wiki/SKILL.md +++ b/skills/bailian-docs-llm-wiki/SKILL.md @@ -148,22 +148,20 @@ description: >- | **按家族筛选**：按 primaryCapability / providers / itemCount / maxContextWindow 找家族 | `models/families.jsonl`（一行一家族，含 items[] 摘要） | | 模型家族总览 / 按能力分桶浏览 | `models/index.md` | | 主题页 / API 文档（按功能领域查找） | `wiki/index.md`（完整索引入口） | -| OpenAI 兼容接口 | `wiki/concepts/openai-compatible-interface.md` | -| API Key 鉴权 | `wiki/concepts/api-key.md` | -| 函数调用（Function Calling） | `wiki/concepts/function-calling.md` | -| 检索增强生成（RAG） | `wiki/concepts/rag.md` | -| 异步调用与任务轮询 | `wiki/concepts/async-invocation.md` | -| Token 与计费 | `wiki/concepts/token-and-billing.md` | -| 流式输出 | `wiki/concepts/streaming-output.md` | -| 业务空间（Workspace） | `wiki/concepts/workspace.md` | -| 模型调优与部署 | `wiki/concepts/fine-tuning-and-deployment.md` | -| MCP 与工具扩展 | `wiki/concepts/mcp-and-tools.md` | -| 模型微调、压缩与部署对比 | `wiki/comparisons/fine-tuning-vs-compression-vs-deployment.md` | -| 模型评估与模型监控对比 | `wiki/comparisons/model-evaluation-vs-monitoring.md` | -| 图像、视频与 3D 生成对比 | `wiki/comparisons/image-vs-video-vs-3d-generation.md` | -| 应用评估与应用监控对比 | `wiki/comparisons/app-evaluation-vs-monitoring.md` | -| 知识库与记忆库对比 | `wiki/comparisons/knowledge-base-vs-memory-library.md` | -| 托管智能体：指南与 API 对比 | `wiki/comparisons/managed-agents-guide-vs-api.md` | +| 函数调用 | `wiki/concepts/function-calling.md` | +| 向量化 | `wiki/concepts/embedding.md` | +| 限流与配额 | `wiki/concepts/rate-limiting.md` | +| 迁移指南 | `wiki/concepts/migration.md` | +| 模型生命周期 | `wiki/concepts/model-lifecycle.md` | +| 长期记忆 | `wiki/concepts/long-term-memory.md` | +| 事件流 | `wiki/concepts/event-stream.md` | +| Prompt工程 | `wiki/concepts/prompt-engineering.md` | +| 生成类 API 对比 | `wiki/comparisons/generation-api-comparison.md` | +| 模型优化方式对比 | `wiki/comparisons/model-optimization-comparison.md` | +| 应用监控与模型监控对比 | `wiki/comparisons/monitoring-comparison.md` | +| 应用评测与模型评测对比 | `wiki/comparisons/evaluation-comparison.md` | +| 托管智能体 API 与指南对比 | `wiki/comparisons/managed-agents-api-vs-guide.md` | +| 应用调用方式对比 | `wiki/comparisons/application-calling-comparison.md` | > 实际文件名以 `wiki/index.md` 为准；上表若有出入应回到索引页查找。 diff --git a/skills/bailian-docs-llm-wiki/llms.txt b/skills/bailian-docs-llm-wiki/llms.txt index f711c7c8..1e90f997 100644 --- a/skills/bailian-docs-llm-wiki/llms.txt +++ b/skills/bailian-docs-llm-wiki/llms.txt @@ -4,116 +4,122 @@ ## 模型使用指南 -- **模型体验** - - [视觉理解](raw/model-user-guide/model-experience/vision-model.md) - - [图片生成与编辑](raw/model-user-guide/model-experience/image-model.md) - - [视频生成与编辑](raw/model-user-guide/model-experience/video-generate-edit-model.md) - - [文本生成](raw/model-user-guide/model-experience/text-generation-model.md) - - [Tripo 3D模型生成](raw/model-user-guide/model-experience/tripo-3d-generation-guide.md) - - [语音合成](raw/model-user-guide/model-experience/tts-model.md) - - [音乐生成](raw/model-user-guide/model-experience/fun-music.md) - - [语音识别](raw/model-user-guide/model-experience/asr-model.md) - - [语音转语音](raw/model-user-guide/model-experience/s2s-model.md) - - [向量与重排序](raw/model-user-guide/model-experience/embedding-rerank-model.md) - - [全模态](raw/model-user-guide/model-experience/omni.md) - **开始使用** - [什么是阿里云百炼](raw/model-user-guide/get-started-with-models/what-is-model-studio.md) - [首次调用千问API](raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md) - [选择模型](raw/model-user-guide/get-started-with-models/models.md) - - [Base URL总览](raw/model-user-guide/get-started-with-models/base-url.md) - [选择地域、服务部署范围和接入域名](raw/model-user-guide/get-started-with-models/regions.md) + - [Base URL总览](raw/model-user-guide/get-started-with-models/base-url.md) - [限流](raw/model-user-guide/get-started-with-models/rate-limit.md) - **产品计费** - [新人免费额度](raw/model-user-guide/test-1/new-free-quota.md) - - [模型训练与部署计费](raw/model-user-guide/test-1/model-training-and-deployment-billing.md) - [节省计划与资源包](raw/model-user-guide/test-1/savings-plan-and-resource-package.md) - [账单查询与成本管理](raw/model-user-guide/test-1/bill-query-and-cost-management.md) + - [模型训练与部署计费](raw/model-user-guide/test-1/model-training-and-deployment-billing.md) - [模型调用价格](raw/model-user-guide/test-1/model-pricing.md) +- **Token Plan** + - **个人版** + - [概述](raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md) + - [快速开始](raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md) + - [常见问题](raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md) + - **团队版** + - [概述](raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md) + - [快速开始](raw/model-user-guide/token-plan-guide/token-plan-quickstart.md) + - [团队管理](raw/model-user-guide/token-plan-guide/token-plan-team.md) + - [常见问题](raw/model-user-guide/token-plan-guide/token-plan-faq.md) + - **最佳实践** + - [接入 Harness 工具](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md) + - [接入多模态生成模型](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md) + - [联网搜索](raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md) + - [添加视觉理解能力](raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md) + - **Coding Plan** + - [Coding Plan概述](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md) + - [常见问题](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md) + - [Token Plan 概述](raw/model-user-guide/token-plan-guide/token-plan-overview.md) +- **模型体验** + - [文本生成](raw/model-user-guide/model-experience/text-generation-model.md) + - [图片生成与编辑](raw/model-user-guide/model-experience/image-model.md) + - [视觉理解](raw/model-user-guide/model-experience/vision-model.md) + - [视频生成与编辑](raw/model-user-guide/model-experience/video-generate-edit-model.md) + - [Tripo 3D模型生成](raw/model-user-guide/model-experience/tripo-3d-generation-guide.md) + - [语音合成](raw/model-user-guide/model-experience/tts-model.md) + - [音乐生成](raw/model-user-guide/model-experience/fun-music.md) + - [语音识别](raw/model-user-guide/model-experience/asr-model.md) + - [向量与重排序](raw/model-user-guide/model-experience/embedding-rerank-model.md) + - [全模态](raw/model-user-guide/model-experience/omni.md) + - [语音转语音](raw/model-user-guide/model-experience/s2s-model.md) - **接入客户端/开发工具** - - [Hermes Agent](raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md) - - [OpenClaw](raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md) - [Claude Code](raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md) + - [Hermes Agent](raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md) - [OpenCode](raw/model-user-guide/use-chat-client-or-development-tool/opencode.md) - - [Qwen Code](raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md) + - [OpenClaw](raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md) - [Cursor](raw/model-user-guide/use-chat-client-or-development-tool/cursor.md) - [Codex](raw/model-user-guide/use-chat-client-or-development-tool/codex.md) + - [Qwen Code](raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md) - [QwenPaw](raw/model-user-guide/use-chat-client-or-development-tool/qwenpaw.md) - - [Cline](raw/model-user-guide/use-chat-client-or-development-tool/cline.md) - [Cherry Studio](raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md) + - [Cline](raw/model-user-guide/use-chat-client-or-development-tool/cline.md) - [Chatbox](raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md) - [Qoder](raw/model-user-guide/use-chat-client-or-development-tool/qoder-agent.md) - [Qoder CN（原 Lingma）](raw/model-user-guide/use-chat-client-or-development-tool/lingma-agent.md) - [Kilo CLI](raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md) - - [使用Postman或cURL调用图像/视频生成API](raw/model-user-guide/use-chat-client-or-development-tool/first-call-to-image-and-video-api.md) - [Dify](raw/model-user-guide/use-chat-client-or-development-tool/dify.md) - [更多工具](raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md) -- **Token Plan（团队版）** - - **最佳实践** - - [工具调用](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md) - - [接入多模态生成模型](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md) - - **Coding Plan** - - [Coding Plan概述](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md) - - [联网搜索](raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md) - - [添加视觉理解能力](raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md) - - [常见问题](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md) - - [快速开始](raw/model-user-guide/token-plan-guide/token-plan-quickstart.md) - - [Token Plan（团队版）概述](raw/model-user-guide/token-plan-guide/token-plan-overview.md) - - [团队管理](raw/model-user-guide/token-plan-guide/token-plan-team.md) - - [常见问题](raw/model-user-guide/token-plan-guide/token-plan-faq.md) + - [使用Postman或cURL调用图像/视频生成API](raw/model-user-guide/use-chat-client-or-development-tool/first-call-to-image-and-video-api.md) - **模型推理** - [TPM 预留](raw/model-user-guide/model-high-speed-inference/tpm-reservation.md) - [快速模式](raw/model-user-guide/model-high-speed-inference/fast-mode.md) -- **模型部署** - - [模型部署](raw/model-user-guide/model-deployment-1/model-deployment-introduction.md) - - [预置吞吐长输入与缓存](raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md) - - [模型导入](raw/model-user-guide/model-deployment-1/model-import.md) - - [使用 API或命令行进行模型部署](raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md) - **模型调优** - **千问模型调优** - - [模型调优简介](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md) - - [在控制台进行模型调优](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md) - [0 代码强化大模型安全合规能力](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/enhance-the-security-compliance-of-large-models.md) + - [在控制台进行模型调优](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md) + - [模型调优简介](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md) - [使用 API 或命令行进行模型调优](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/fine-tuning-api-guide.md) - **语音合成模型调优** - [CosyVoice模型调优](raw/model-user-guide/fine-tuning/fine-tune-speech-synthesis-model/fine-tune-speech-synthesis-model-by-api.md) - [微调图像生成模型](raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md) - [微调视频生成模型](raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md) +- **模型部署** + - [模型部署](raw/model-user-guide/model-deployment-1/model-deployment-introduction.md) + - [预置吞吐长输入与缓存](raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md) + - [使用 API或命令行进行模型部署](raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md) + - [模型导入](raw/model-user-guide/model-deployment-1/model-import.md) - **模型评测** - [模型评测](raw/model-user-guide/model-evaluation-introduction/model-evaluation-overview.md) - [评测维度](raw/model-user-guide/model-evaluation-introduction/evaluation-metrics.md) -- **模型压缩** - - [模型压缩](raw/model-user-guide/model-compression/model-compression-introduction.md) - **用量统计与性能监控** - [模型用量](raw/model-user-guide/model-monitoring/model-usage-statistics.md) - [模型监控](raw/model-user-guide/model-monitoring/model-telemetry.md) +- **模型压缩** + - [模型压缩](raw/model-user-guide/model-compression/model-compression-introduction.md) - **模型数据** - [训练集与评测集](raw/model-user-guide/model-data-overview/training-set-and-evaluation-set.md) - [数据清洗或增强](raw/model-user-guide/model-data-overview/data-processing.md) - **安全合规** - - **安全存储** - - [配置终端节点并发起连接](raw/model-user-guide/security-and-compliance/secure-storage/configure-an-endpoint-and-initiate-a-connection.md) - - [配置可用区IP](raw/model-user-guide/security-and-compliance/secure-storage/configure-zone-ip.md) - - [配置MSE云原生网关](raw/model-user-guide/security-and-compliance/secure-storage/configure-mse.md) - - [配置私有网络中的资源](raw/model-user-guide/security-and-compliance/secure-storage/configure-resources-in-private-network.md) - **传输安全** - [获取RSA的公钥](raw/model-user-guide/security-and-compliance/transmission-security/model-interface-aes-encryption.md) - [以加密的方式接入模型推理功能](raw/model-user-guide/security-and-compliance/transmission-security/encrypted-access-to-model-inference.md) - [通过终端节点私网访问阿里云百炼模型或应用 API](raw/model-user-guide/security-and-compliance/transmission-security/access-model-studio-through-privatelink.md) + - **安全存储** + - [配置终端节点并发起连接](raw/model-user-guide/security-and-compliance/secure-storage/configure-an-endpoint-and-initiate-a-connection.md) + - [配置可用区IP](raw/model-user-guide/security-and-compliance/secure-storage/configure-zone-ip.md) + - [配置私有网络中的资源](raw/model-user-guide/security-and-compliance/secure-storage/configure-resources-in-private-network.md) + - [配置MSE云原生网关](raw/model-user-guide/security-and-compliance/secure-storage/configure-mse.md) - [权限管理](raw/model-user-guide/security-and-compliance/permission-management-overview.md) - [输⼊输出AI安全护栏](raw/model-user-guide/security-and-compliance/content-security.md) + - [合规资质与隐私说明](raw/model-user-guide/security-and-compliance/privacy-notice.md) - [模型备案信息公示](raw/model-user-guide/security-and-compliance/model-filing-information-publicity.md) - [千问大模型应用上架及合规备案](raw/model-user-guide/security-and-compliance/compliance-and-launch-filing-guide-for-ai-apps-powered-by-the-tongyi-model.md) - - [合规资质与隐私说明](raw/model-user-guide/security-and-compliance/privacy-notice.md) - **实践教程** - **三方模型调用教程** - - [DeepSeek-硅基流动](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/siliconflow-deepseek-api.md) - [DeepSeek-阿里云](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md) + - [DeepSeek-硅基流动](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/siliconflow-deepseek-api.md) - [DeepSeek](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api-by-vanchin.md) - - [Kimi](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api.md) - [Kimi-月之暗面](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md) - - [MiniMax](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/minimax-api.md) + - [Kimi](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api.md) - [GLM-智谱](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/glm-zhipu.md) - [GLM](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/glm.md) + - [MiniMax](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/minimax-api.md) - [MiniMax](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/minimax-api-by-minimax.md) - [Vidu视频生成Prompt指南](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/vidu-video-generation-prompt-guide.md) - [MiMo-小米](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/mimo.md) @@ -133,87 +139,109 @@ - **服务支持** - [常见问题](raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md) - [相关协议](raw/model-user-guide/support/related-agreements.md) +- **Realtime API** + - **快速开始** + - [SDK下载](raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md) + - [实现接通模型/应用](raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md) + - [Token鉴权](raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md) + - **最佳实践** + - [通过WebRTC使用多模态交互套件实现实时通话](raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md) + - [通过WebRTC使用qwen3.5-omni-plus-realtime实现实时通话](raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md) + - [通过AOQ使用qwen3.5-omni-plus-realtime实现实时通话](raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md) + - **AOQ客户端API** + - **AOQ SDK功能介绍** + - [自定义音频采集](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md) + - [媒体流发送管理](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md) + - [连接状态管理](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md) + - [音频常用功能介绍](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md) + - [自定义音频播放](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md) + - [视频常用功能介绍](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md) + - [自定义视频输入](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md) + - [AOQ SDK简介](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md) + - [Realtime API简介](raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md) - **产品动态** - [模型平台功能更新](raw/model-user-guide/release-notes/model-release-notes.md) - [模型上下架与更新](raw/model-user-guide/release-notes/newly-released-models.md) ## 应用使用指南 -- **开始使用** - - [0代码构建私有知识问答应用](raw/application-user-guide/start-using/build-knowledge-base-qa-assistant-without-coding.md) - - [应用功能动态](raw/application-user-guide/start-using/application-release-notes.md) -- **应用开发** - - [应用类型介绍](raw/application-user-guide/llm-application/application-introduction.md) - - [智能体应用](raw/application-user-guide/llm-application/single-agent-application.md) - - [新版智能体应用（Agent 2.0）](raw/application-user-guide/llm-application/new-single-agent-application.md) - - [高代码应用](raw/application-user-guide/llm-application/rich-code-application.md) - - [文件问答](raw/application-user-guide/llm-application/file-q-a.md) - - [工作流应用](raw/application-user-guide/llm-application/workflow-application.md) -- **Managed Agents** - - [概述](raw/application-user-guide/managed-agents/managed-agents-introduction.md) - - [快速开始](raw/application-user-guide/managed-agents/managed-agents-quick-start.md) - - [构建 Agent](raw/application-user-guide/managed-agents/managed-agents-agent.md) - - [配置 Agent 环境](raw/application-user-guide/managed-agents/managed-agents-environment.md) - - [委派任务给 Agent](raw/application-user-guide/managed-agents/managed-agents-session.md) - - [Agent 上下文管理](raw/application-user-guide/managed-agents/managed-agents-context.md) - **Prompt** - [Prompt模板概述](raw/application-user-guide/prompt/prompt-template.md) - - [Prompt自动优化](raw/application-user-guide/prompt/optimize-prompt.md) + - [自定义Prompt模板](raw/application-user-guide/prompt/prompt-custom-template.md) - [使用Prompt样例库优化模型输出](raw/application-user-guide/prompt/prompt-sample-optimization.md) + - [Prompt自动优化](raw/application-user-guide/prompt/optimize-prompt.md) - [基于大模型输入输出样例的Prompt自动优化](raw/application-user-guide/prompt/prompt-feedback-optimization.md) - - [自定义Prompt模板](raw/application-user-guide/prompt/prompt-custom-template.md) - **记忆库** - [记忆库](raw/application-user-guide/memory-library-overview/memory-library.md) - [为 OpenClaw 配置长期记忆插件](raw/application-user-guide/memory-library-overview/modelstudio-memory-for-openclaw.md) - [长期记忆 API](raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) +- **Managed Agents** + - [概述](raw/application-user-guide/managed-agents/managed-agents-introduction.md) + - [快速开始](raw/application-user-guide/managed-agents/managed-agents-quick-start.md) + - [构建 Agent](raw/application-user-guide/managed-agents/managed-agents-agent.md) + - [配置 Agent 环境](raw/application-user-guide/managed-agents/managed-agents-environment.md) + - [委派任务给 Agent](raw/application-user-guide/managed-agents/managed-agents-session.md) + - [Agent 上下文管理](raw/application-user-guide/managed-agents/managed-agents-context.md) +- **开始使用** + - [0代码构建私有知识问答应用](raw/application-user-guide/start-using/build-knowledge-base-qa-assistant-without-coding.md) + - [应用功能动态](raw/application-user-guide/start-using/application-release-notes.md) +- **应用开发** + - [应用类型介绍](raw/application-user-guide/llm-application/application-introduction.md) + - [新版智能体应用](raw/application-user-guide/llm-application/new-single-agent-application.md) + - [高代码应用](raw/application-user-guide/llm-application/rich-code-application.md) + - [智能体应用](raw/application-user-guide/llm-application/single-agent-application.md) + - [工作流应用](raw/application-user-guide/llm-application/workflow-application.md) + - [文件问答](raw/application-user-guide/llm-application/file-q-a.md) +- **数据连接** + - [数据连接](raw/application-user-guide/data-connection-overview/data-connection.md) - **知识库（RAG）** - - [知识库](raw/application-user-guide/knowledge-base/rag-knowledge-base.md) - [RAG效果优化](raw/application-user-guide/knowledge-base/rag-optimization.md) + - [知识库](raw/application-user-guide/knowledge-base/rag-knowledge-base.md) - [知识库日志与监控](raw/application-user-guide/knowledge-base/rag-knowledge-base-log-monitoring.md) - [知识库配额与限制](raw/application-user-guide/knowledge-base/rag-knowledge-base-specifications.md) - - [知识检索](raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md) - [知识库计费说明](raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md) - [知识库API指南](raw/application-user-guide/knowledge-base/rag-knowledge-base-api-guide.md) - [知识问答](raw/application-user-guide/knowledge-base/rag-knowledge-qa.md) -- **数据连接** - - [数据连接](raw/application-user-guide/data-connection-overview/data-connection.md) + - [知识检索](raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md) +- **MCP** + - [模型上下文协议（MCP）](raw/application-user-guide/model-context-protocol/mcp-introduction.md) + - [外部调用](raw/application-user-guide/model-context-protocol/mcp-external-calls.md) + - [官方 MCP 服务](raw/application-user-guide/model-context-protocol/official-and-third-party-mcp.md) + - [自定义 MCP 服务](raw/application-user-guide/model-context-protocol/custom-mcp.md) + - [MCP 常见问题](raw/application-user-guide/model-context-protocol/mcp-faq.md) - **Skill** - [Skill](raw/application-user-guide/skill/introduction-to-skill.md) - **插件** - [插件概述](raw/application-user-guide/plug-in/plug-in-overview.md) - [官方和第三方插件](raw/application-user-guide/plug-in/plugins.md) - [自定义插件](raw/application-user-guide/plug-in/custom-plug-ins.md) -- **MCP** - - [模型上下文协议（MCP）](raw/application-user-guide/model-context-protocol/mcp-introduction.md) - - [自定义 MCP 服务](raw/application-user-guide/model-context-protocol/custom-mcp.md) - - [官方 MCP 服务](raw/application-user-guide/model-context-protocol/official-and-third-party-mcp.md) - - [外部调用](raw/application-user-guide/model-context-protocol/mcp-external-calls.md) - - [MCP 常见问题](raw/application-user-guide/model-context-protocol/mcp-faq.md) - **应用发布与分享** - - [使用智能体或工作流作为组件](raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md) - [分享智能体应用](raw/application-user-guide/application-publishing-and-sharing/share-an-application.md) + - [使用智能体或工作流作为组件](raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md) - [UI设计器](raw/application-user-guide/application-publishing-and-sharing/ui-designer.md) - **应用调用** - [应用的自定义参数传递](raw/application-user-guide/bailian-application-calling/pass-through-of-application-parameters.md) - - [调用工作流应用](raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md) - [调用智能体应用](raw/application-user-guide/bailian-application-calling/call-single-agent-application.md) + - [调用工作流应用](raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md) - **应用评测** - **新版应用评测** - [新版评测集](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/new-version-of-evaluation-set.md) - [评测任务](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/evaluation-task.md) - [标签管理](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/label-management.md) - [评估器](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/grader.md) + - [自动评测](raw/application-user-guide/application-evaluation/application-auto-evaluation.md) - [手动评测](raw/application-user-guide/application-evaluation/evaluate-manual-application.md) - [评测集](raw/application-user-guide/application-evaluation/application-evaluation-dataset.md) - - [自动评测](raw/application-user-guide/application-evaluation/application-auto-evaluation.md) +- **应用观测** + - [应用观测](raw/application-user-guide/application-monitoring/application-observation.md) - **应用广场** - **官方应用-通义拍照解题辅导** - **API参考** - **API目录** - [CutQuestions - 试卷切题](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-dir/api-edututor-2025-07-07-cutquestions.md) - [AnswerSSE - 解题辅导](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-dir/api-edututor-2025-07-07-answersse.md) - - [API概览](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-overview.md) - [服务接入点](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-endpoint.md) + - [API概览](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-overview.md) - [授权信息](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-ram.md) - [通义拍照解题辅导产品介绍](raw/application-user-guide/application-gallery/edu-tutor/brief-introduction-of-edu-tutor.md) - **官方应用-通义音频播客生成** @@ -228,58 +256,58 @@ - **官方应用-多模态交互开发套件** - **使用指南** - [应用创建](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-creation.md) - - [应用配置](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-configuration.md) - [应用体验与发布](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-experience-and-publishing.md) + - [应用配置](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-configuration.md) - [百炼应用推荐模板](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/agent-template.md) - [指令列表](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/instruction-list.md) - - [对话日志接入](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-chatlog.md) - [多语言对话](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multi-language-dialogue.md) + - [对话日志接入](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-chatlog.md) - [音色列表](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-timbre-list.md) - [三方Agent接入](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-integration-a2a.md) - **SDK安装** - [服务端Java SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-java.md) - [服务端Python SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-python.md) - [服务端 Go SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/server-go-sdk.md) - - [移动端iOS SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-ios.md) - [移动端Android SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-android.md) + - [移动端iOS SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-ios.md) - [移动端Android Lite SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-android-lite.md) - [移动端iOS Lite SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-ios-lite.md) - [Linux C++ SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-linux.md) - [RTOS C SDK（License模式）](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/mmi-rtos-sdk.md) - - **API参考** - - [实时多模态交互协议（WebSocket）](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-interaction-protocol.md) - - [HTTP协议](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-http-protocol.md) - - [调用官方Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/official-agent.md) - - [调用三方语音模型](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/third-party-voice-integration.md) - - [调用插件](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/call-plugins.md) - - [管理热词](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/management-hot-words.md) - - [多模态对话结果 extra_info 说明](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/extra-info-description.md) - - [多模态交互套件-错误码](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-error-code.md) - - [长期记忆开放接口](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/long-term-memory-api.md) - **最佳实践** - **接入百炼及三方Agent** - [百炼及三方Agent直连调用](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/bailian-and-tripartite-agent/agent-direct-call.md) - - [接入百炼智能体应用](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/bailian-and-tripartite-agent/multimodal-call-app.md) - [接入百炼工作流应用](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/bailian-and-tripartite-agent/multimodal-call-workflow.md) - - **接入图像生成Agent** - - [通过HTTP协议接入图像生成Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/generateimgagent/image-agent.md) - - [语音请求直通图像生成Agent(websocket)](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/generateimgagent/audio-to-generateimgagent.md) - - **接入听悟智能纪要Agent** - - [录音纪要Agent使用教程](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/recording-summary-agent-tutorial.md) - - [快速集成智能纪要Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/fast-integrate-offline-tingwu-meeting-agent.md) - - [实时转写能力集成](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/realtime-tingwu-meeting-agent-integration.md) + - [接入百炼智能体应用](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/bailian-and-tripartite-agent/multimodal-call-app.md) - **接入拍照问答Agent** - [通过HTTP协议接入拍照问答Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/vqa-agent/vqa-agent-through-the-http-protocol.md) - [通过WebSocket协议接入拍照问答Agent和语音合成](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/vqa-agent/vqa-agent-via-websocket-protocol.md) + - **接入听悟智能纪要Agent** + - [录音纪要Agent使用教程](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/recording-summary-agent-tutorial.md) + - [实时转写能力集成](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/realtime-tingwu-meeting-agent-integration.md) + - [快速集成智能纪要Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/fast-integrate-offline-tingwu-meeting-agent.md) + - **接入图像生成Agent** + - [通过HTTP协议接入图像生成Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/generateimgagent/image-agent.md) + - [语音请求直通图像生成Agent(websocket)](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/generateimgagent/audio-to-generateimgagent.md) - [接入多模态备忘录Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/multimodal-memo-agent.md) - - [接入音乐电台Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/music-agent.md) - [接入视频通话Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/live-api-integration.md) + - [接入音乐电台Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/music-agent.md) - [动作情绪控制实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/action-emotion-control-practice.md) - - [自定义指令实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/custom-directive.md) - [自定义对话角色实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/custom-role.md) + - [自定义指令实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/custom-directive.md) - [声音复刻及声音设计实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/voice-cloning-and-voice-design.md) - [音频采集和播放说明](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/audio-capture-and-playback-instructions.md) - [基于RTOS SDK (License模式) 实现聊天能力](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/chat-capability-based-on-rtos-sdk.md) + - **API参考** + - [HTTP协议](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-http-protocol.md) + - [调用官方Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/official-agent.md) + - [调用三方语音模型](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/third-party-voice-integration.md) + - [实时多模态交互协议（WebSocket）](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-interaction-protocol.md) + - [调用插件](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/call-plugins.md) + - [多模态对话结果 extra_info 说明](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/extra-info-description.md) + - [多模态交互套件-错误码](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-error-code.md) + - [长期记忆开放接口](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/long-term-memory-api.md) + - [管理热词](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/management-hot-words.md) - [产品概述](raw/application-user-guide/application-gallery/multimodal-products/multimodal-products-overview.md) - [产品计费](raw/application-user-guide/application-gallery/multimodal-products/product-billing.md) - [多模态交互开发套件常见问题](raw/application-user-guide/application-gallery/multimodal-products/multimodal-products-faq.md) @@ -289,8 +317,8 @@ - [如何对应用进行编辑、删除等管理,如何进行API调用、如何查看调用量](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/application-management.md) - [如何进行基于对话分析Agent方式创建应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/create-an-application-based-on-dialogue-analysis-agent.md) - [如何基于自定义方式创建应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/create-an-application-based-on-a-custom-method.md) - - [热词组配置管理与使用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/hot-phrase-management.md) - [知识库的使用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/using-the-knowledge-base.md) + - [热词组配置管理与使用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/hot-phrase-management.md) - **API参考** - **API目录** - **热词管理** @@ -301,8 +329,8 @@ - [GetVocab - 获取热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-getvocab.md) - **不推荐或白名单开放** - [AnalyzeAudioSync - 语音文件实时分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-not-recommended-or-whitelisted-open/api-contactcenterai-2024-06-03-analyzeaudiosync.md) - - [RunCompletionMessage - 使用原生Prompt调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-runcompletionmessage.md) - [RunCompletion - 通过模版ID调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-runcompletion.md) + - [RunCompletionMessage - 使用原生Prompt调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-runcompletionmessage.md) - [AnalyzeConversation - 通过任务类型调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-analyzeconversation.md) - [CreateTask - 通过上传离线任务数据进行通义晓蜜CCAI-对话分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-createtask.md) - [GetTaskResult - 通过任务ID获取离线任务分析结果](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-gettaskresult.md) @@ -312,17 +340,17 @@ - [服务接入点](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-endpoint.md) - [版本说明](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-changeset.md) - **最佳实践** - - [客服服务质检最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/customer-service-quality-inspection-best-practices.md) - [字段信息抽取最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/best-practices-for-automatic-work-order-generation.md) + - [客服服务质检最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/customer-service-quality-inspection-best-practices.md) - [摘要生成（含摘要/标题/关键词）最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/summary-best-practices.md) - **接口调用示例** - - [通过原生Prompt调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-native-prompt-to-call-tongyi-xiaomi-ccai-aio.md) - [通过模板ID调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-template-id-to-call-tongyi-xiaomi-ccai-aio.md) + - [通过原生Prompt调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-native-prompt-to-call-tongyi-xiaomi-ccai-aio.md) - [通过任务类型调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/call-tongyi-xiaomi-ccai-dialogue-analysis-aio-application-through-task-type.md) - [通过上传离线任务数据进行伶鹊CCAI-对话分析](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/tongyi-xiaomi-ccai-dialogue-analysis-by-uploading-offline-task-data.md) - [ROA风格请求体&签名机制](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/roa-style-request-body-signature-mechanism.md) + - [伶鹊CCAI-对话分析RAM子账号使用方式和授权操作](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-and-authorize-ram-users-for-ccai-dialogue-analysis.md) - [通过伶鹊CCAI-对话分析AIO应用进行图片分析](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/picture-analysis-through-tongyi-xiaomi-ccai-dialogue-analysis-aio-application.md) - - [伶鹊CCAI-对话分析RAM子账号使用方式和授权操作](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/lingque-ccai-dialogue-analytics-ram-subaccount-usage-and-authorization-procedures.md) - [通义晓蜜CCAI更新公告](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/tongyi-xiaomi-ccai-update-announcement.md) - [产品概述](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/product-overview-1.md) - [伶鹊CCAI-对话分析AIO产品计费](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/billing-description-magpie-ccai-dialogue-analysis-aio.md) @@ -331,8 +359,8 @@ - **计费说明（全妙轻应用）** - [电商零售推广文案写作计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/e-commerce-retail-promotion-copywriting-billing.md) - [电商文案智能可控生成计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/e-commerce-copy-intelligent-controllable-generation-billing.md) - - [影视传媒视频理解计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/film-and-television-media-video-understanding-billing.md) - [影视互娱剧本创作计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/film-and-television-mutual-entertainment-script-creation-billing.md) + - [影视传媒视频理解计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/film-and-television-media-video-understanding-billing.md) - [泛企业VOC挖掘计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/pan-enterprise-voc-mining-billing.md) - [车机网络热点信息互动问答计费文档](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/car-machine-network-hot-information-interactive-question-and-answer-billing.md) - [泛企业线索挖掘计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/pan-enterprise-lead-mining-billing.md) @@ -342,17 +370,17 @@ - **使用指南** - [电商文案智能可控生成](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/intelligent-and-controllable-generation-of-e-commerce-copywriting.md) - [传媒/零售文章风格与格式学习](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/media-retail-article-style-and-format-learning.md) - - [影视传媒视频理解](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/media-video-understanding.md) - [影视互娱剧本创作](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/film-and-television-script-creation.md) + - [影视传媒视频理解](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/media-video-understanding.md) - [车机网络热点信息互动问答](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/car-machine-content-platform-news-hot-list-interaction.md) - [泛企业VOC挖掘](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/pan-enterprise-voc-mining.md) - [泛企业线索挖掘](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/pan-enterprise-clue-mining.md) - - [作文批改助手](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/composition-correction-assistant.md) - [网络内容安全审核](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/network-content-security-audit.md) + - [作文批改助手](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/composition-correction-assistant.md) - **开发文档** - **最佳实践** - - [应用视频理解和一键成片的最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-applying-video-understanding-and-one-click-film.md) - [挖掘VOC信息和数据分析的最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-mining-voc-information-and-data-analysis.md) + - [应用视频理解和一键成片的最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-applying-video-understanding-and-one-click-film.md) - [阿里云百炼工作流集成视频理解最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-workflow-integration-video-understanding.md) - **API参考** - **数据结构** @@ -361,73 +389,64 @@ - **电商零售推广文案写作** - [RunMarketingInformationWriting - 电商零售推广文案写作](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-e-commerce-retail-promotion-copy-writing/api-quanmiaolightapp-2024-08-01-runmarketinginformationwriting.md) - [RunMarketingInformationExtract - 电商零售内容实体抽取](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-e-commerce-retail-promotion-copy-writing/api-quanmiaolightapp-2024-08-01-runmarketinginformationextract.md) - - **传媒/零售文章风格与格式学习** - - [RunStyleWriting - 传媒/零售文章风格与格式学习](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-media-retail-article-style-and-format-learning/api-quanmiaolightapp-2024-08-01-runstylewriting.md) - **影视互娱剧本创作** - [RunScriptRefine - 影视互娱剧本创作-剧本整理](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptrefine.md) - [RunScriptPlanning - 影视互娱剧本创作-剧本策划](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptplanning.md) - [RunScriptChat - 影视互娱剧本创作-交互式创作](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptchat.md) - [RunScriptContinue - 影视互娱剧本创作-剧本续写](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptcontinue.md) + - **传媒/零售文章风格与格式学习** + - [RunStyleWriting - 传媒/零售文章风格与格式学习](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-media-retail-article-style-and-format-learning/api-quanmiaolightapp-2024-08-01-runstylewriting.md) - **影视传媒视频理解** - - [SubmitVideoAnalysisTask - 视频理解-提交异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-submitvideoanalysistask.md) - - [GetVideoAnalysisTask - 视频理解-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-getvideoanalysistask.md) - [UpdateVideoAnalysisConfig - 视频理解-更新配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysisconfig.md) - [GetVideoAnalysisConfig - 视频理解-获取配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-getvideoanalysisconfig.md) + - [GetVideoAnalysisTask - 视频理解-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-getvideoanalysistask.md) + - [SubmitVideoAnalysisTask - 视频理解-提交异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-submitvideoanalysistask.md) - [RunVideoAnalysis - 视频理解-在线任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-runvideoanalysis.md) - - [UpdateVideoAnalysisTask - 视频理解-修改异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysistask.md) - [UpdateVideoAnalysisTasks - 视频理解-批量取消任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysistasks.md) + - [UpdateVideoAnalysisTask - 视频理解-修改异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysistask.md) - **影视传媒智能拆条** - - [GetVideoDetectShotTask - 智能拆条-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-getvideodetectshottask.md) - [SubmitVideoDetectShotTask - 智能拆条-提交异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-submitvideodetectshottask.md) + - [GetVideoDetectShotTask - 智能拆条-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-getvideodetectshottask.md) - [UpdateVideoDetectShotTask - 智能拆条-修改异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-updatevideodetectshottask.md) + - [RunVideoDetectShot - 智能拆条-在线任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-runvideodetectshot.md) - [UpdateVideoDetectShotConfig - 智能拆条-更新配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-updatevideodetectshotconfig.md) - [GetVideoDetectShotConfig - 智能拆条-获取配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-getvideodetectshotconfig.md) - - [RunVideoDetectShot - 智能拆条-在线任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-runvideodetectshot.md) - - **车机网络热点信息互动问答** - - [RunHotTopicChat - 播报单（热榜）问答](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicchat.md) - - [RunHotTopicSummary - 播报单热点自定义摘要生成](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicsummary.md) - **泛企业VOC挖掘** - [RunEnterpriseVocAnalysis - 在线企业VOC分析](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-pan-enterprise-voc-mining/api-quanmiaolightapp-2024-08-01-runenterprisevocanalysis.md) - **泛企业线索挖掘** - [GenerateOutputFormat - 获取输出格式示例](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-pan-enterprise-clue-mining/api-quanmiaolightapp-2024-08-01-generateoutputformat.md) - [RunTagMiningAnalysis - 标签挖掘分析](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-pan-enterprise-clue-mining/api-quanmiaolightapp-2024-08-01-runtagmininganalysis.md) - - **网络内容安全审核** - - [RunNetworkContentAudit - 网络内容安全审核](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-network-content-security-audit/api-quanmiaolightapp-2024-08-01-runnetworkcontentaudit.md) + - **车机网络热点信息互动问答** + - [RunHotTopicChat - 播报单（热榜）问答](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicchat.md) + - [RunHotTopicSummary - 播报单热点自定义摘要生成](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicsummary.md) - **作文批改** - [RunEssayCorrection - 作文批改](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-composition-correction/api-quanmiaolightapp-2024-08-01-runessaycorrection.md) - [RunOcrParse - 图片OCR解析](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-composition-correction/api-quanmiaolightapp-2024-08-01-runocrparse.md) - [SubmitEssayCorrectionTask - 提交作文批改任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-composition-correction/api-quanmiaolightapp-2024-08-01-submitessaycorrectiontask.md) - [GetEssayCorrectionTask - 获取作文批改任务结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-composition-correction/api-quanmiaolightapp-2024-08-01-getessaycorrectiontask.md) + - **网络内容安全审核** + - [RunNetworkContentAudit - 网络内容安全审核](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-network-content-security-audit/api-quanmiaolightapp-2024-08-01-runnetworkcontentaudit.md) - **其他** - [GenerateBroadcastNews - 播报单（热榜）热点推荐](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-generatebroadcastnews.md) - - [GetTagMiningAnalysisTask - 获取标签挖掘分析任务结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-gettagmininganalysistask.md) - - [ListHotTopicSummaries - 查询完整播报单（热榜）](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-listhottopicsummaries.md) - [SubmitTagMiningAnalysisTask - 提交标签挖掘分析任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-submittagmininganalysistask.md) + - [ListHotTopicSummaries - 查询完整播报单（热榜）](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-listhottopicsummaries.md) + - [GetTagMiningAnalysisTask - 获取标签挖掘分析任务结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-gettagmininganalysistask.md) - [HotNewsRecommend - 新闻热点推荐](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-hotnewsrecommend.md) - [GetFileContent - 获取文件内容](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-getfilecontent.md) - [BatchQueryTaskStatus - 批量查询异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-batchquerytaskstatus.md) - - [CancelAsyncTask - 根据任务ID取消异步任务的执行](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-cancelasynctask.md) - [BatchCancelTasks - 批量取消异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-batchcanceltasks.md) - - [ExportAnalysisTagDetailByTaskId - 根据任务ID导出分析明细](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-exportanalysistagdetailbytaskid.md) + - [CancelAsyncTask - 根据任务ID取消异步任务的执行](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-cancelasynctask.md) - [GetEnterpriseVocAnalysisTask - 获取企业VOC分析任务结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-getenterprisevocanalysistask.md) + - [ExportAnalysisTagDetailByTaskId - 根据任务ID导出分析明细](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-exportanalysistagdetailbytaskid.md) - [GetTaskExecutionStatistics - 查询任务执行情况统计](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-gettaskexecutionstatistics.md) - [ListAnalysisTagDetailByTaskId - 获取挖掘结果明细列表](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-listanalysistagdetailbytaskid.md) - [SubmitEnterpriseVocAnalysisTask - 提交企业VOC挖掘异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-submitenterprisevocanalysistask.md) - - [API概览](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-overview.md) - [服务接入点](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-endpoint.md) + - [API概览](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-overview.md) - [授权信息](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-ram.md) - [版本说明](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-changeset.md) - [全妙轻应用更新公告](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-update-announcement.md) - [常见问题](raw/application-user-guide/application-gallery/quanmiao-light-application-series/quanmiao-lightapp-faq.md) - - **官方应用-伶鹊CCAI-客服对话Agent** - - **API参考** - - **API目录** - - [SseChat - 问答接口](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-dir/api-bailianchatbot-2024-11-05-ssechat.md) - - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-overview.md) - - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-ram.md) - - [产品概述](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/product-overview-voicepica-beebot-agent.md) - - [计费说明（客服对话Agent）](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/billing-description-beebot-agent.md) - - [使用指南](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/guidelines-for-use.md) - **官方应用-伶鹊CCAI-语音对话机器人** - **API参考** - **API目录** @@ -440,20 +459,20 @@ - [ListVariable - 获取变量列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-listvariable.md) - [UpdateVariable - 更新变量](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-updatevariable.md) - [CreateVariable - 创建变量](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-createvariable.md) - - **三方语音配置** - - [UpdateVoiceAccessProfile - 更新三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-updatevoiceaccessprofile.md) - - [ListVoiceEngines - 获取三方语音引擎列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-listvoiceengines.md) - - [ListVoiceAccessProfile - 获取三方语音配置列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-listvoiceaccessprofile.md) - - [DeleteVoiceAccessProfile - 删除三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-deletevoiceaccessprofile.md) - - [CreateVoiceAccessProfile - 创建三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-createvoiceaccessprofile.md) - **热词管理** - [UpdateVocabulary - 更新热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-updatevocabulary.md) - - [ListVocabulary - 获取热词列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-listvocabulary.md) - [ImportVocabulary - 导入热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-importvocabulary.md) + - [ListVocabulary - 获取热词列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-listvocabulary.md) - [GetVocabulary - 获取热词信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-getvocabulary.md) - [ExportVocabulary - 导出热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-exportvocabulary.md) - [DeleteVocabulary - 删除热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-deletevocabulary.md) - [CreateVocabulary - 创建热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-createvocabulary.md) + - **三方语音配置** + - [ListVoiceEngines - 获取三方语音引擎列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-listvoiceengines.md) + - [UpdateVoiceAccessProfile - 更新三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-updatevoiceaccessprofile.md) + - [ListVoiceAccessProfile - 获取三方语音配置列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-listvoiceaccessprofile.md) + - [CreateVoiceAccessProfile - 创建三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-createvoiceaccessprofile.md) + - [DeleteVoiceAccessProfile - 删除三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-deletevoiceaccessprofile.md) - **克隆音管理** - [ListCloneVoiceModels - 获取克隆音模型列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-listclonevoicemodels.md) - [DeleteCloneVoice - 删除克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-deleteclonevoice.md) @@ -461,41 +480,50 @@ - [CreateCloneVoice - 创建克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-createclonevoice.md) - [UpdateCloneVoice - 更新克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-updateclonevoice.md) - **应用管理** - - [DeleteApplication - 删除语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-deleteapplication.md) - [ListNluModels - 获取对话大模型列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listnlumodels.md) - - [ListBackgroundMusics - 获取背景音列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listbackgroundmusics.md) + - [DeleteApplication - 删除语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-deleteapplication.md) - [PreviewVoice - TTS合成试听](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-previewvoice.md) + - [ListBackgroundMusics - 获取背景音列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listbackgroundmusics.md) - [ListVoices - 获取音色列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listvoices.md) - - [CreateApplicationVersion - 创建语音机器人应用版本](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-createapplicationversion.md) - [ListApplications - 查询语音机器人应用列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listapplications.md) - - [CreateApplication - 创建语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-createapplication.md) - [UpdateApplication - 修改语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-updateapplication.md) + - [CreateApplicationVersion - 创建语音机器人应用版本](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-createapplicationversion.md) + - [CreateApplication - 创建语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-createapplication.md) - [GetApplication - 获取语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-getapplication.md) - - [PublishApplicationVersion - 发布语音机器人](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-publishapplicationversion.md) - [UpdateApplicationVersion - 修改语音机器人应用版本](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-updateapplicationversion.md) + - [PublishApplicationVersion - 发布语音机器人](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-publishapplicationversion.md) - [BridgeWebCall - 软电话测试通话](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-bridgewebcall.md) - [GetDataChannelCredential - 获取数据通道凭证](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-getdatachannelcredential.md) - [GenerateFileUploadParams - 获取文件上传参数](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-generatefileuploadparams.md) - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-overview.md) - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-ram.md) - [版本说明](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-changeset.md) - - [伶鹊CCAI-语音对话机器人产品计费说明](raw/application-user-guide/application-gallery/official-application-lingque-ccai-voice-dialogue-robot/billing-information-lingque-ccai-voice-dialogue-robot.md) - [语音对话机器人产品概述](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/product-0verview.md) - [语音对话机器人操作指南](raw/application-user-guide/application-gallery/official-application-lingque-ccai-voice-dialogue-robot/operation-guide.md) + - [伶鹊CCAI-语音对话机器人产品计费说明](raw/application-user-guide/application-gallery/official-application-lingque-ccai-voice-dialogue-robot/billing-information-lingque-ccai-voice-dialogue-robot.md) + - **官方应用-伶鹊CCAI-客服对话Agent** + - **API参考** + - **API目录** + - [SseChat - 问答接口](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-dir/api-bailianchatbot-2024-11-05-ssechat.md) + - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-ram.md) + - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-overview.md) + - [产品概述](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/product-overview-voicepica-beebot-agent.md) + - [计费说明（客服对话Agent）](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/billing-description-beebot-agent.md) + - [使用指南](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/guidelines-for-use.md) - **通义点金** - **API参考** - **API目录** - **平台能力-文档库** - - [GetAppConfig - 获取配置信息](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getappconfig.md) - [UpdateDocumentChunk - 更新文档块内容](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-updatedocumentchunk.md) + - [GetAppConfig - 获取配置信息](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getappconfig.md) - [CreateLibrary - 创建文档库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-createlibrary.md) - - [GetLibraryList - 获取文档库列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getlibrarylist.md) - - [GetLibrary - 获取文档库详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getlibrary.md) - [UploadDocument - 上传文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-uploaddocument.md) + - [GetLibrary - 获取文档库详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getlibrary.md) - [GetDocumentUrl - 获取文档的下载链接](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumenturl.md) - - [GetFilterDocumentList - 按元信息过滤查询文档列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getfilterdocumentlist.md) - - [GetDocumentList - 获取文档列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumentlist.md) + - [GetLibraryList - 获取文档库列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getlibrarylist.md) - [PreviewDocument - 预览文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-previewdocument.md) + - [GetDocumentList - 获取文档列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumentlist.md) + - [GetFilterDocumentList - 按元信息过滤查询文档列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getfilterdocumentlist.md) - [DeleteDocument - 删除文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-deletedocument.md) - [UpdateDocument - 更新文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-updatedocument.md) - [CreatePredefinedDocument - 创建预定义文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-createpredefineddocument.md) @@ -505,26 +533,28 @@ - [GetParseResult - 获取文档解析结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getparseresult.md) - [DeleteLibrary - 删除文档库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-deletelibrary.md) - [UpdateLibrary - 更新文档库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-updatelibrary.md) - - [GetHistoryListByBizType - 根据业务类型获取对话历史记录](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-gethistorylistbybiztype.md) - - [InvokePlugin - 调用插件](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-invokeplugin.md) - [RunLibraryChatGeneration - 文档库会话生成](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-runlibrarychatgeneration.md) + - [InvokePlugin - 调用插件](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-invokeplugin.md) + - [GetHistoryListByBizType - 根据业务类型获取对话历史记录](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-gethistorylistbybiztype.md) + - **其他** + - [DashscopeAsyncTaskFinishEvent - Dashscope异步任务完成回调事件](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-other/api-dianjin-2024-06-28-dashscopeasynctaskfinishevent.md) - **平台能力-应用** - [EndToEndRealTimeDialog - 语音实时对话](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-endtoendrealtimedialog.md) - [RunDialogAnalysis - 会话分析结果生成](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-rundialoganalysis.md) - - [RunAgent - 运行智能体](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-runagent.md) - [CreateDialog - 创建外呼会话](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdialog.md) - - [RealTimeDialog - 实时会话](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-realtimedialog.md) - - [GetDialogDetail - 获取会话详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialogdetail.md) + - [RunAgent - 运行智能体](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-runagent.md) - [RealtimeDialogAssist - 实时会话辅助](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-realtimedialogassist.md) + - [GetDialogDetail - 获取会话详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialogdetail.md) + - [RealTimeDialog - 实时会话](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-realtimedialog.md) - [GetDialogLog - 获取对话日志](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialoglog.md) - - [CreateDialogAnalysisTask - 创建会话分析任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdialoganalysistask.md) - [GetDialogAnalysisResult - 获取会话分析结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialoganalysisresult.md) - [RebuildTask - 重建任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-rebuildtask.md) - - [GetTaskStatus - 获取任务状态](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gettaskstatus.md) - [EvictTask - 取消任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-evicttask.md) + - [CreateDialogAnalysisTask - 创建会话分析任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdialoganalysistask.md) - [CreateDocsSummaryTask - 创建多文档总结任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdocssummarytask.md) - - [CreateAnnualDocSummaryTask - 创建按年份总结文档任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createannualdocsummarytask.md) + - [GetTaskStatus - 获取任务状态](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gettaskstatus.md) - [CreatePdfTranslateTask - 创建pdf文档翻译任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createpdftranslatetask.md) + - [CreateAnnualDocSummaryTask - 创建按年份总结文档任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createannualdocsummarytask.md) - [CreateFinReportSummaryTask - 创建财报总结任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createfinreportsummarytask.md) - [GetSummaryTaskResult - 获取财报总结任务结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getsummarytaskresult.md) - [GetTaskResult - 获取结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gettaskresult.md) @@ -533,13 +563,11 @@ - [GenDocQaResult - 根据文档解析问答QA](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gendocqaresult.md) - [RecognizeIntention - 意图识别](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-recognizeintention.md) - [UpdateQaLibrary - 更新QA问答库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-updateqalibrary.md) - - [SubmitChatQuestion - 提交问题列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-submitchatquestion.md) - [GetChatQuestionResp - 获取问答结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getchatquestionresp.md) + - [SubmitChatQuestion - 提交问题列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-submitchatquestion.md) - [RunChatResultGeneration - 对话结果生成](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-runchatresultgeneration.md) - - **其他** - - [DashscopeAsyncTaskFinishEvent - Dashscope异步任务完成回调事件](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-other/api-dianjin-2024-06-28-dashscopeasynctaskfinishevent.md) - - [服务接入点](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-endpoint.md) - [API概览](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-overview.md) + - [服务接入点](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-endpoint.md) - [授权信息](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-ram.md) - [版本说明](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-changeset.md) - [产品简介](raw/application-user-guide/application-gallery/tongyi-dianjin/tongyi-dianjin-overview.md) @@ -550,8 +578,8 @@ - [信息抽取](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-information-extraction.md) - [文档内容审核](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-content-audit.md) - [打标分类](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-tagging.md) - - [文档删除](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-delete.md) - [摘要生成](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-summary-generation.md) + - [文档删除](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-delete.md) - [API概览](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-overview.md) - [服务接入点](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-service-access-point.md) - [错误码](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-error-code.md) @@ -560,20 +588,20 @@ - **API参考** - **API目录** - **文本翻译** - - [BatchTranslate - 批量文本翻译](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-batchtranslate.md) - [TextTranslate - 文本翻译接口](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-texttranslate.md) - - [SubmitLongTextTranslateTask - 提交长文本翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-submitlongtexttranslatetask.md) + - [BatchTranslate - 批量文本翻译](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-batchtranslate.md) - [SubmitHtmlTranslateTask - 提交html翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-submithtmltranslatetask.md) + - [SubmitLongTextTranslateTask - 提交长文本翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-submitlongtexttranslatetask.md) - [GetHtmlTranslateTask - 获取html翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-gethtmltranslatetask.md) - [TermEdit - 术语库编辑](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-termedit.md) - - [TermQuery - 术语库查询](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-termquery.md) - [GetLongTextTranslateTask - 获取长文本翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-getlongtexttranslatetask.md) - - **图片翻译** - - [GetImageTranslateTask - 获取图片翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-image-translation/api-anytrans-2025-07-07-getimagetranslatetask.md) - - [SubmitImageTranslateTask - 提交图片翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-image-translation/api-anytrans-2025-07-07-submitimagetranslatetask.md) + - [TermQuery - 术语库查询](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-termquery.md) - **文档翻译** - [SubmitDocTranslateTask - 文档翻译任务提交](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-document-translation/api-anytrans-2025-07-07-submitdoctranslatetask.md) - [GetDocTranslateTask - 文档翻译结果获取](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-document-translation/api-anytrans-2025-07-07-getdoctranslatetask.md) + - **图片翻译** + - [GetImageTranslateTask - 获取图片翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-image-translation/api-anytrans-2025-07-07-getimagetranslatetask.md) + - [SubmitImageTranslateTask - 提交图片翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-image-translation/api-anytrans-2025-07-07-submitimagetranslatetask.md) - [服务接入点](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-endpoint.md) - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-overview.md) - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-ram.md) @@ -584,8 +612,8 @@ - **API参考** - **API目录** - [生成对话](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-chat-generate.md) - - [对话文件管理](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-session-file-management.md) - [上传文件](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-file-upload.md) + - [对话文件管理](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-session-file-management.md) - [生成报告导出](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-report-export.md) - [对接自有知识库](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/docking-self-built-database.md) - [API概览](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-overview.md) @@ -595,8 +623,8 @@ - [操作指南](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-guide.md) - **官方应用-千问联网检索Agent** - **API参考** - - [API概览](raw/application-user-guide/application-gallery/web-search-agent/web-search-agent-api/web-search-agent-api-overview.md) - [服务接入点](raw/application-user-guide/application-gallery/web-search-agent/web-search-agent-api/service-access-point.md) + - [API概览](raw/application-user-guide/application-gallery/web-search-agent/web-search-agent-api/web-search-agent-api-overview.md) - [生成对话](raw/application-user-guide/application-gallery/web-search-agent/web-search-agent-api/web-search-agent-api-chat.md) - [多模态文件操作](raw/application-user-guide/application-gallery/web-search-agent/web-search-agent-api/web-search-agent-api-chat-multimodal-file.md) - [千问联网检索Agent产品简介](raw/application-user-guide/application-gallery/web-search-agent/web-search-agent-guide.md) @@ -610,8 +638,8 @@ - **功能界面** - [妙笔-分布生成创作文章](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/step-by-step-generation.md) - [直接生成](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/direct-generation.md) - - [搜索素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/search-materials.md) - [智能配图](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/smart-image-generation.md) + - [搜索素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/search-materials.md) - [AI妙笔产品概述](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/product-overview-for-amb.md) - [妙笔首页概览](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/amb-homepage-overview.md) - [AI工具箱](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/ai-toolbox.md) @@ -622,14 +650,14 @@ - [智能审校](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/article-review.md) - [深度写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/deep-writing.md) - **文本写作指导** - - **传媒类文体写作指导** - - [快速写一篇传媒稿（prompt一步式撰写）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/quick-media-writing-prompt.md) - - [没有思路，要谋篇布局](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/use-amb-to-help-writing.md) - - [用已有文章，生成标题摘要等](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/generate-titles-summaries-media-text.md) - **政务公文写作指导** - [快速写一篇政务稿（prompt一步式撰写）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/government-document-writing-best-practices/quick-gov-writing-prompt.md) - [分步式撰写政务稿（精准控制章节内容）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/government-document-writing-best-practices/step-by-step-gov-writing.md) - [用已有文章，生成标题摘要等](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/government-document-writing-best-practices/generate-titles-summaries-gov-text.md) + - **传媒类文体写作指导** + - [快速写一篇传媒稿（prompt一步式撰写）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/quick-media-writing-prompt.md) + - [没有思路，要谋篇布局](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/use-amb-to-help-writing.md) + - [用已有文章，生成标题摘要等](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/generate-titles-summaries-media-text.md) - [常见FAQ](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/faq-for-using-quanmiao-series-products.md) - **更新公告** - **功能更新** @@ -639,33 +667,25 @@ - [2024年3月1更新-AI全妙系列 V2.2.1](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2024-03-01-ai-quanmiao-v2-2.md) - [2023年12月19更新-AI妙笔V2.1](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2023-12-19-amb-v2.md) - [2024年2月28更新-AI全妙系列 V2.2](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2024-02-28-ai-quanmiao-v2.md) - - [计费说明（政务公文配套工具）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/government-document-tool-billing.md) - [计费说明（妙笔）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/miaobi-billing.md) - - [计费说明（PPT生成）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/ppt-generation-billing.md) + - [计费说明（政务公文配套工具）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/government-document-tool-billing.md) - [计费说明（妙策-自定义数据源）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/billing-document-miaoce-custom-data-source.md) - [计费说明（视频混剪）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/billing-description-video-mixing.md) + - [计费说明（PPT生成）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/ppt-generation-billing.md) - **妙搜和妙读** - **使用指南** - [妙搜](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaosou-and-miaodu/miaodou-and-miaodu-guidelines-for-use/ai-miaosou.md) - [计费说明（妙搜和妙读）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaosou-and-miaodu/miaosou-miaodu-api-billing.md) - **开发文档** - - **最佳实践** - - [妙笔API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaobi-api.md) - - [智能审校最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-smart-audit.md) - - [妙策API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaoce-api.md) - - [妙搜API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaosou-api.md) - - [妙读最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/miaodu-best-practices.md) - - [视频混剪最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-video-mixing-and-cutting.md) - - [PPT生成最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/ppt-generation-best-practices.md) - **API参考** - **数据结构** - [GenerateTraceability](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-generatetraceability.md) - - [OutlineSearchResult](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-outlinesearchresult.md) - [HottopicNews](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-hottopicnews.md) + - [OutlineSearchResult](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-outlinesearchresult.md) - [OutlineWritingArticle](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-outlinewritingarticle.md) - [TopicSelection](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-topicselection.md) - - [WritingOutline](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-writingoutline.md) - [WritingStyleTemplateDefine](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-writingstyletemplatedefine.md) + - [WritingOutline](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-writingoutline.md) - [WritingStyleTemplateField](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-writingstyletemplatefield.md) - **API目录** - **通用接口** @@ -673,47 +693,47 @@ - [ListDialogues - 生成历史列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-universal-interface/api-aimiaobi-2023-08-01-listdialogues.md) - [ListVersions - 获取版本信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-universal-interface/api-aimiaobi-2023-08-01-listversions.md) - [GetProperties - 获取配置信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-universal-interface/api-aimiaobi-2023-08-01-getproperties.md) + - **通用接口-文件上传下载** + - [GenerateFileUrlByKey - 生成文件URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-file-upload-and-download/api-aimiaobi-2023-08-01-generatefileurlbykey.md) + - [GenerateUploadConfig - 生成上传配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-file-upload-and-download/api-aimiaobi-2023-08-01-generateuploadconfig.md) - **通用接口-异步任务管理** - [SubmitAsyncTask - 提交异步任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-submitasynctask.md) - [CancelAsyncTask - 取消异步任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-cancelasynctask.md) - - [ListAsyncTasks - 获取异步任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-listasynctasks.md) - [QueryAsyncTask - 查询异步任务明细](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-queryasynctask.md) - - **通用接口-文件上传下载** - - [GenerateFileUrlByKey - 生成文件URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-file-upload-and-download/api-aimiaobi-2023-08-01-generatefileurlbykey.md) - - [GenerateUploadConfig - 生成上传配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-file-upload-and-download/api-aimiaobi-2023-08-01-generateuploadconfig.md) + - [ListAsyncTasks - 获取异步任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-listasynctasks.md) + - **通用接口-通用配置** + - [CreateGeneralConfig - 通用配置-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-creategeneralconfig.md) + - [UpdateGeneralConfig - 通用配置-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-updategeneralconfig.md) + - [ListGeneralConfigs - 通用配置-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-listgeneralconfigs.md) + - [GetGeneralConfig - 通用配置-详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-getgeneralconfig.md) + - [DeleteGeneralConfig - 通用配置-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-deletegeneralconfig.md) - **妙笔-创作文章** - [RunAiHelperWriting - AI帮写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runaihelperwriting.md) - - [RunWritingV2 - 智能写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwritingv2.md) - - [RunTranslateGeneration - 中英翻译](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtranslategeneration.md) - [RunWriting - 直接写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwriting.md) + - [RunWritingV2 - 智能写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwritingv2.md) - [RunStepByStepWriting - 分步骤写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runstepbystepwriting.md) + - [RunTranslateGeneration - 中英翻译](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtranslategeneration.md) - [RunTextPolishing - 润色](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtextpolishing.md) - [RunKeywordsExtractionGeneration - 关键词抽取](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runkeywordsextractiongeneration.md) - [RunContinueContent - 内容续写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runcontinuecontent.md) - - [RunWriteToneGeneration - 文风改写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwritetonegeneration.md) - [RunTitleGeneration - 标题生成](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtitlegeneration.md) - - [RunExpandContent - 内容扩写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runexpandcontent.md) + - [RunWriteToneGeneration - 文风改写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwritetonegeneration.md) - [RunSummaryGenerate - 摘要生成](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runsummarygenerate.md) - - [SearchNews - 信息检索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-searchnews.md) + - [RunExpandContent - 内容扩写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runexpandcontent.md) - [RunAbbreviationContent - 内容缩写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runabbreviationcontent.md) + - [SearchNews - 信息检索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-searchnews.md) - [RunQuickWriting - 快速写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runquickwriting.md) - - [GenerateImageTask - 生成智能配图任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-generateimagetask.md) - [ListBuildConfigs - 获取系统自定义预设](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-listbuildconfigs.md) - [FetchImageTask - 获取图片任务执行结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-fetchimagetask.md) + - [GenerateImageTask - 生成智能配图任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-generateimagetask.md) - [FeedbackDialogue - 反馈对话](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-feedbackdialogue.md) - - **通用接口-通用配置** - - [CreateGeneralConfig - 通用配置-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-creategeneralconfig.md) - - [ListGeneralConfigs - 通用配置-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-listgeneralconfigs.md) - - [GetGeneralConfig - 通用配置-详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-getgeneralconfig.md) - - [DeleteGeneralConfig - 通用配置-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-deletegeneralconfig.md) - - [UpdateGeneralConfig - 通用配置-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-updategeneralconfig.md) - **妙笔-文体仿写** - [ListStyleLearningResult - 获取文体学习分析结果列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-liststylelearningresult.md) - [RunStyleFeatureAnalysis - 内容特点分析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-runstylefeatureanalysis.md) - - [GetStyleLearningResult - 获取文体学习分析结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-getstylelearningresult.md) - - [DeleteStyleLearningResult - 删除自定义文体](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-deletestylelearningresult.md) - [SaveStyleLearningResult - 保存文体学习分析结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-savestylelearningresult.md) + - [DeleteStyleLearningResult - 删除自定义文体](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-deletestylelearningresult.md) - [ListWritingStyles - 获取写作文体列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-listwritingstyles.md) + - [GetStyleLearningResult - 获取文体学习分析结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-getstylelearningresult.md) - **妙笔-视频审校** - [SubmitVideoAudit - 提交视频审校任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-review/api-aimiaobi-2023-08-01-submitvideoaudit.md) - [QueryVideoAuditResult - 查询视频审校结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-review/api-aimiaobi-2023-08-01-queryvideoauditresult.md) @@ -731,8 +751,8 @@ - [EditAuditTerms - 编辑自定义词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-editauditterms.md) - [DeleteAuditTerms - 删除指定词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-deleteauditterms.md) - [SubmitImportTermsTask - 提交导入词库任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-submitimporttermstask.md) - - [FetchImportTermsTask - 获取导入词库任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-fetchimporttermstask.md) - [SubmitExportTermsTask - 提交导出词库任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-submitexporttermstask.md) + - [FetchImportTermsTask - 获取导入词库任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-fetchimporttermstask.md) - [FetchExportTermsTask - 获取导出词库任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-fetchexporttermstask.md) - **妙笔-文章审校-事实性审核** - [SubmitFactAuditUrl - 提交事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-submitfactauditurl.md) @@ -740,12 +760,21 @@ - [DeleteFactAuditUrl - 删除事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-deletefactauditurl.md) - **妙笔-文章审校** - [QueryAuditTask - 查询审核结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-queryaudittask.md) - - [SubmitSmartAudit - 提交智能审校任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-submitsmartaudit.md) - [SubmitAuditTask - 提交审核任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-submitaudittask.md) - [CancelAuditTask - 取消审核任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-cancelaudittask.md) + - [SubmitSmartAudit - 提交智能审校任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-submitsmartaudit.md) - [GetSmartAuditResult - 查询智能审校结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-getsmartauditresult.md) - [ListAuditContentErrorTypes - 获取审校维度列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-listauditcontenterrortypes.md) - [ExportAuditContentResult - 导出智能审校报告](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-exportauditcontentresult.md) + - **妙笔-文档管理** + - [GenerateExportWordTask - 生成导出文档任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-generateexportwordtask.md) + - [FetchExportWordTask - 获取导出文档任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-fetchexportwordtask.md) + - [UpdateGeneratedContent - 更新文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-updategeneratedcontent.md) + - [CreateGeneratedContent - 保存文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-creategeneratedcontent.md) + - [DeleteGeneratedContent - 删除文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-deletegeneratedcontent.md) + - [GetGeneratedContent - 获取文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-getgeneratedcontent.md) + - [ListGeneratedContents - 获取文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-listgeneratedcontents.md) + - [ExportGeneratedContent - 导出文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-exportgeneratedcontent.md) - **妙笔-素材库** - [SaveMaterialDocument - 保存素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-savematerialdocument.md) - [DeleteMaterialById - 删除素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-deletematerialbyid.md) @@ -757,108 +786,97 @@ - [UpdateCustomText - 更新自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-updatecustomtext.md) - [ListCustomText - 获取自定义文本列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-listcustomtext.md) - [SaveCustomText - 保存自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-savecustomtext.md) - - [DocumentExtraction - 文档提取](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-documentextraction.md) - [DeleteCustomText - 删除自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-deletecustomtext.md) - - **妙笔-文档管理** - - [GenerateExportWordTask - 生成导出文档任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-generateexportwordtask.md) - - [FetchExportWordTask - 获取导出文档任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-fetchexportwordtask.md) - - [CreateGeneratedContent - 保存文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-creategeneratedcontent.md) - - [DeleteGeneratedContent - 删除文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-deletegeneratedcontent.md) - - [UpdateGeneratedContent - 更新文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-updategeneratedcontent.md) - - [GetGeneratedContent - 获取文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-getgeneratedcontent.md) - - [ListGeneratedContents - 获取文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-listgeneratedcontents.md) - - [ExportGeneratedContent - 导出文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-exportgeneratedcontent.md) + - [DocumentExtraction - 文档提取](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-documentextraction.md) - **妙笔-视频混剪** - [GetClipsBuildInResource - 获取智能混剪内置资源](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-getclipsbuildinresource.md) - [AsyncCreateClipsTimeLine - 创建剪辑口播时间线](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asynccreateclipstimeline.md) - - [AsyncUploadVideo - 异步上传视频剪辑素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asyncuploadvideo.md) - [AsyncEditTimeline - 编辑剪辑口播时间线](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asyncedittimeline.md) + - [AsyncUploadVideo - 异步上传视频剪辑素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asyncuploadvideo.md) - [GetAutoClipsTaskInfo - 获得剪辑任务信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-getautoclipstaskinfo.md) - [AsyncCreateClipsTask - 创建剪辑任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asynccreateclipstask.md) - [ListAutoClipsTask - 智能混剪任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-listautoclipstask.md) + - **妙策-自定义数据源** + - [SubmitCustomSourceTopicAnalysis - 提交自定义源话题选题分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-submitcustomsourcetopicanalysis.md) + - [GetCustomSourceTopicAnalysisTask - 获取自定义源话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-getcustomsourcetopicanalysistask.md) + - [ExportCustomSourceAnalysisTask - 导出自定义源-话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-exportcustomsourceanalysistask.md) - **公文库检索** - [ListDocumentRetrieve - 公文库检索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-public-library-retrieval/api-aimiaobi-2023-08-01-listdocumentretrieve.md) - **妙策-选题热点** - [RunTopicSelectionMerge - 选题热点融合](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-runtopicselectionmerge.md) - - [ListHotNewsWithType - 获取选题热点列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotnewswithtype.md) - [ListHotSources - 获取三方热榜源列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotsources.md) + - [ListHotNewsWithType - 获取选题热点列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotnewswithtype.md) - [ListHotTopics - 获取热点话题列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhottopics.md) - - [ListHotViewPoints - 获取热门视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotviewpoints.md) - [GetTopicById - 获取热点对象](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-gettopicbyid.md) + - [ListHotViewPoints - 获取热门视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotviewpoints.md) + - [ListFreshViewPoints - 获取新颖视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listfreshviewpoints.md) - [ListTimedViewAttitude - 获取时效性视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listtimedviewattitude.md) - [ListWebReviewPoints - 获取网友视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listwebreviewpoints.md) - - [ListFreshViewPoints - 获取新颖视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listfreshviewpoints.md) - [ListPlanningProposal - 获取选题策划列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listplanningproposal.md) - [ExportHotTopicPlanningProposals - 导出选题策划文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-exporthottopicplanningproposals.md) + - **妙策-openapi** + - [SubmitDocClusterTask - 提交内容聚合任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitdocclustertask.md) + - [GetDocClusterTask - 获取内容聚合任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getdocclustertask.md) + - [GetTopicSelectionPerspectiveAnalysisTask - 获取选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-gettopicselectionperspectiveanalysistask.md) + - [SubmitTopicSelectionPerspectiveAnalysisTask - 提交选题热点分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submittopicselectionperspectiveanalysistask.md) + - [GetCustomTopicSelectionPerspectiveAnalysisTask - 获取自定义选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getcustomtopicselectionperspectiveanalysistask.md) + - [SubmitCustomTopicSelectionPerspectiveAnalysisTask - 提交自定义热点选题视角分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitcustomtopicselectionperspectiveanalysistask.md) - **妙策-自定义话题** - [DeleteCustomTopicByTopic - 删除自定义热点事件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-deletecustomtopicbytopic.md) - - [ListTopicRecommendEventList - 获取热点推荐事件列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listtopicrecommendeventlist.md) - [ListTopicViewPointRecommendEventList - 获取热点事件推荐观点列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listtopicviewpointrecommendeventlist.md) + - [ListCustomViewPoints - 获取自定义视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listcustomviewpoints.md) - [RunCustomHotTopicAnalysis - 自定义热点话题分析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-runcustomhottopicanalysis.md) + - [ListTopicRecommendEventList - 获取热点推荐事件列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listtopicrecommendeventlist.md) - [RunCustomHotTopicViewPointAnalysis - 自定义选题视角分析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-runcustomhottopicviewpointanalysis.md) - - [ListCustomViewPoints - 获取自定义视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listcustomviewpoints.md) - [DeleteCustomTopicViewPointById - 删除自定义选题视角](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-deletecustomtopicviewpointbyid.md) - - **妙策-自定义数据源** - - [GetCustomSourceTopicAnalysisTask - 获取自定义源话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-getcustomsourcetopicanalysistask.md) - - [SubmitCustomSourceTopicAnalysis - 提交自定义源话题选题分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-submitcustomsourcetopicanalysis.md) - - [ExportCustomSourceAnalysisTask - 导出自定义源-话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-exportcustomsourceanalysistask.md) - - **妙策-openapi** - - [SubmitDocClusterTask - 提交内容聚合任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitdocclustertask.md) - - [GetDocClusterTask - 获取内容聚合任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getdocclustertask.md) - - [SubmitTopicSelectionPerspectiveAnalysisTask - 提交选题热点分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submittopicselectionperspectiveanalysistask.md) - - [GetTopicSelectionPerspectiveAnalysisTask - 获取选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-gettopicselectionperspectiveanalysistask.md) - - [SubmitCustomTopicSelectionPerspectiveAnalysisTask - 提交自定义热点选题视角分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitcustomtopicselectionperspectiveanalysistask.md) - - [GetCustomTopicSelectionPerspectiveAnalysisTask - 获取自定义选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getcustomtopicselectionperspectiveanalysistask.md) - **妙策-新闻播报** - - [SubmitCustomHotTopicBroadcastJob - 提交自定义播报单任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-submitcustomhottopicbroadcastjob.md) - [GetHotTopicBroadcast - 查询完整播报单（热榜）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-gethottopicbroadcast.md) - [GetCustomHotTopicBroadcastJob - 获取自定义播报单任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-getcustomhottopicbroadcastjob.md) - - **妙搜-智能搜索** - - [ListSearchTasks - 查询妙搜搜索生成历史任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtasks.md) - - [ListSearchTaskDialogues - 查询妙搜搜索生成任务详情列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialogues.md) - - [ListSearchTaskDialogueDatas - 查询搜索生成任务对话详情中数据列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialoguedatas.md) - - [RunSearchGeneration - 妙搜-智能搜索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchgeneration.md) - - [RunSearchSimilarArticles - 妙搜-文搜文](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchsimilararticles.md) + - [SubmitCustomHotTopicBroadcastJob - 提交自定义播报单任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-submitcustomhottopicbroadcastjob.md) - **妙策-企业VOC挖掘** - [ExportAnalysisTagDetailByTaskId - 导出标签挖掘结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-exportanalysistagdetailbytaskid.md) - [ValidateUploadTemplate - 校验VOC上传模板](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-validateuploadtemplate.md) - - [SubmitEnterpriseVocAnalysisTask - 提交企业VOC分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-submitenterprisevocanalysistask.md) - [ListAnalysisTagDetailByTaskId - 根据任务ID获取标签分析明细列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-listanalysistagdetailbytaskid.md) - [GetEnterpriseVocAnalysisTask - 获取企业VOC挖掘任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-getenterprisevocanalysistask.md) - [GetCategoriesByTaskId - 根据任务ID获取分类列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-getcategoriesbytaskid.md) + - [SubmitEnterpriseVocAnalysisTask - 提交企业VOC分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-submitenterprisevocanalysistask.md) - **妙搜-数据源** - - [CreateDataset - 数据源-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-createdataset.md) - - [UpdateDataset - 数据源-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-updatedataset.md) - [GetDataset - 数据源-详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-getdataset.md) - - [DeleteDataset - 数据源-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-deletedataset.md) + - [CreateDataset - 数据源-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-createdataset.md) - [ListDatasets - 数据源-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-listdatasets.md) + - [DeleteDataset - 数据源-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-deletedataset.md) + - [UpdateDataset - 数据源-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-updatedataset.md) - [AddDatasetDocument - 数据源-添加文档到数据集](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-adddatasetdocument.md) - [GetDatasetDocument - 数据源-获取文档详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-getdatasetdocument.md) - [UpdateDatasetDocument - 数据源-修改文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-updatedatasetdocument.md) - - [ListDatasetDocuments - 数据源-文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-listdatasetdocuments.md) - [SearchDatasetDocuments - 数据源-搜索文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-searchdatasetdocuments.md) + - [ListDatasetDocuments - 数据源-文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-listdatasetdocuments.md) - [DeleteDatasetDocument - 数据源-删除数据集文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-deletedatasetdocument.md) + - **妙搜-智能搜索** + - [ListSearchTasks - 查询妙搜搜索生成历史任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtasks.md) + - [ListSearchTaskDialogueDatas - 查询搜索生成任务对话详情中数据列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialoguedatas.md) + - [ListSearchTaskDialogues - 查询妙搜搜索生成任务详情列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialogues.md) + - [RunSearchGeneration - 妙搜-智能搜索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchgeneration.md) + - [RunSearchSimilarArticles - 妙搜-文搜文](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchsimilararticles.md) - **系统配置-干预配置** - - [ListInterveneCnt - 获得所有干预项的数量](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenecnt.md) - [ListIntervenes - 列出干预项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenes.md) - - [InsertInterveneGlobalReply - 插入干预全局回复项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertinterveneglobalreply.md) + - [ListInterveneCnt - 获得所有干预项的数量](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenecnt.md) - [ImportInterveneFile - 同步导入干预项文件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-importintervenefile.md) - - [GetInterveneTemplateFileUrl - 获得干预导入模版文件地址](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getintervenetemplatefileurl.md) + - [InsertInterveneGlobalReply - 插入干预全局回复项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertinterveneglobalreply.md) - [ImportInterveneFileAsync - 异步导入干预项文件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-importintervenefileasync.md) - [ClearIntervenes - 清除所有干预项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-clearintervenes.md) - - [ListInterveneRules - 列出干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenerules.md) - [GetInterveneGlobalReply - 获得干预全局回复内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneglobalreply.md) - - [GetInterveneRuleDetail - 获得干预规则的详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneruledetail.md) - - [InsertInterveneRule - 插入干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertintervenerule.md) + - [GetInterveneTemplateFileUrl - 获得干预导入模版文件地址](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getintervenetemplatefileurl.md) + - [ListInterveneRules - 列出干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenerules.md) - [ListInterveneImportTasks - 列出干预项导入任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listinterveneimporttasks.md) + - [InsertInterveneRule - 插入干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertintervenerule.md) + - [GetInterveneRuleDetail - 获得干预规则的详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneruledetail.md) - [DeleteInterveneRule - 删除干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-deleteintervenerule.md) - [ExportIntervenes - 导出干预项内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-exportintervenes.md) - [GetInterveneImportTaskInfo - 获得干预项目导入任务信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneimporttaskinfo.md) - - **妙读-抽取类** - - [RunHotword - 抽取关键词](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-extraction-class/api-aimiaobi-2023-08-01-runhotword.md) - **系统配置-信源管理** - - [GetDataSourceOrderConfig - 获取信源配置权重数据](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-source-management/api-aimiaobi-2023-08-01-getdatasourceorderconfig.md) - [SaveDataSourceOrderConfig - 保存信源权重配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-source-management/api-aimiaobi-2023-08-01-savedatasourceorderconfig.md) + - [GetDataSourceOrderConfig - 获取信源配置权重数据](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-source-management/api-aimiaobi-2023-08-01-getdatasourceorderconfig.md) - **妙读-基础操作类** - [GetDocInfo - 获取文档信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-getdocinfo.md) - [GetFileContentLength - 获取文件长度](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-getfilecontentlength.md) @@ -867,57 +885,59 @@ - [ListDocs - 获取文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-listdocs.md) - [DeleteDocs - 批量删除文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-deletedocs.md) - **妙读-生成类** - - [RunDocIntroduction - 文档导读](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocintroduction.md) - [RunMultiDocIntroduction - 多文档聚合摘要](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runmultidocintroduction.md) - - [RunDocSummary - 文档摘要](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocsummary.md) - [RunDocBrainmap - 全文脑图](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocbrainmap.md) + - [RunDocSummary - 文档摘要](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocsummary.md) - [RunDocWashing - 改写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocwashing.md) + - [RunDocIntroduction - 文档导读](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocintroduction.md) - [RunBookIntroduction - 书籍导读（抽取书籍卖点/书籍摘要）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runbookintroduction.md) - [RunBookBrainmap - 书籍脑图](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runbookbrainmap.md) - [RunCommentGeneration - 客户之声预测](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runcommentgeneration.md) - **妙读-问答类** - [RunDocQa - 文档问答（文章问答/多模态文件问答）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-question-and-answer-class/api-aimiaobi-2023-08-01-rundocqa.md) - [RunGenerateQuestions - 猜你想问](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-question-and-answer-class/api-aimiaobi-2023-08-01-rungeneratequestions.md) - - **妙读-其他** - - [RunDocSmartCard - 文档智能卡片](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-rundocsmartcard.md) - - [RunDocTranslation - 文档翻译](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-rundoctranslation.md) - - [RunBookSmartCard - 书籍智能卡片](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-runbooksmartcard.md) + - **妙读-抽取类** + - [RunHotword - 抽取关键词](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-extraction-class/api-aimiaobi-2023-08-01-runhotword.md) - **深度写作** - [SubmitDeepWriteTask - 提交深度写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-submitdeepwritetask.md) + - [RunDeepWriting - 查询深度写作事件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-rundeepwriting.md) + - [GetDeepWriteTaskResult - 查询深度写作任务的结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-getdeepwritetaskresult.md) - [GetDeepWriteTask - 查询深度写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-getdeepwritetask.md) - [CancelDeepWriteTask - 取消深度写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-canceldeepwritetask.md) - - [GetDeepWriteTaskResult - 查询深度写作任务的结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-getdeepwritetaskresult.md) - - [RunDeepWriting - 查询深度写作事件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-rundeepwriting.md) - **PPT生成** - [ListEnterprisePptTemplates - 查询企业专属PPT模板列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-listenterpriseppttemplates.md) - [InitiatePptCreationV2 - 初始化PPT创建操作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-initiatepptcreationv2.md) - - [GetPptTemplateSelector - 查询PPT模板筛选器](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getppttemplateselector.md) - [ListPptTemplates - 查询PPT模板列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-listppttemplates.md) - [GetPptArtifactExportResult - 查询PPT导出任务的结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getpptartifactexportresult.md) + - [GetPptTemplateSelector - 查询PPT模板筛选器](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getppttemplateselector.md) - [ExportPptArtifact - 导出PPT作品](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-exportpptartifact.md) - [GetPptArtifact - 查询PPT作品信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getpptartifact.md) - - [RunPptOutlineGeneration - 生成PPT大纲内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-runpptoutlinegeneration.md) - [ListPptArtifacts - 查询PPT作品列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-listpptartifacts.md) - - [InitiatePptCreation - 初始化用来创建PPT的会话](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-initiatepptcreation.md) + - [RunPptOutlineGeneration - 生成PPT大纲内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-runpptoutlinegeneration.md) - [GetPptConfig - 获取PPT组件配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getpptconfig.md) + - [InitiatePptCreation - 初始化用来创建PPT的会话](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-initiatepptcreation.md) - [BindPptArtifact - 绑定PPT作品信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-bindpptartifact.md) - [DeletePptArtifact - 删除PPT作品](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-deletepptartifact.md) + - **妙读-其他** + - [RunDocTranslation - 文档翻译](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-rundoctranslation.md) + - [RunBookSmartCard - 书籍智能卡片](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-runbooksmartcard.md) + - [RunDocSmartCard - 文档智能卡片](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-rundocsmartcard.md) - **标书生成** - - [AsyncUploadTenderDoc - 招标文档解析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncuploadtenderdoc.md) - [GetBiddingRemainLimitNum - 获得标书写作剩余额度](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-getbiddingremainlimitnum.md) + - [AsyncUploadTenderDoc - 招标文档解析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncuploadtenderdoc.md) - [GetBiddingDocInfo - 获得标书写作结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-getbiddingdocinfo.md) - [EditBiddingDoc - 编辑标书内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-editbiddingdoc.md) - [DownloadBiddingDoc - 下载标书文件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-downloadbiddingdoc.md) - - [AsyncWritingBiddingDoc - 标书写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncwritingbiddingdoc.md) - [ListBiddingDoc - 列出标书写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-listbiddingdoc.md) + - [AsyncWritingBiddingDoc - 标书写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncwritingbiddingdoc.md) - **其他** - [RunVideoScriptGenerate - AI生成视频剪辑脚本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-runvideoscriptgenerate.md) - [GetSmartClipTask - 获取智能剪辑任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-getsmartcliptask.md) - [SubmitSmartClipTask - 提交智能一键成片任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-submitsmartcliptask.md) - - [SaveOrUpdateOssConfig - 配置-云存储-参数配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-saveorupdateossconfig.md) - [CreateDataPermissions - 权限-批量添加](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-createdatapermissions.md) - [DeleteDataPermissions - 权限-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-deletedatapermissions.md) - [ListDataPermissions - 权限-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-listdatapermissions.md) + - [SaveOrUpdateOssConfig - 配置-云存储-参数配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-saveorupdateossconfig.md) - [GetPptInfo - 查询PPT任务信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-getpptinfo.md) - [GenerateViewPoint - 生成选题视角（已过时，不推荐使用）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-generateviewpoint.md) - [FetchParseDocumentLayoutTask - 获取排版任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-fetchparsedocumentlayouttask.md) @@ -925,6 +945,14 @@ - [API概览](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-overview.md) - [版本说明](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-changeset.md) - [授权信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-ram.md) + - **最佳实践** + - [妙笔API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaobi-api.md) + - [智能审校最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-smart-audit.md) + - [妙策API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaoce-api.md) + - [妙读最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/miaodu-best-practices.md) + - [妙搜API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaosou-api.md) + - [视频混剪最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-video-mixing-and-cutting.md) + - [PPT生成最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/ppt-generation-best-practices.md) - **更多** - [全妙服务关联角色](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/quanmiao-slr.md) - [妙笔写作信源对接](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/miaobi-writing-source-docking.md) @@ -936,15 +964,13 @@ - [官方应用-通义听悟Agent](raw/application-user-guide/application-gallery/official-application-tingwu-agent.md) - [通义法睿](raw/application-user-guide/application-gallery/tongyi-farui.md) - [官方应用-析言GBI](raw/application-user-guide/application-gallery/xiyan-gbi.md) -- **应用观测** - - [应用观测](raw/application-user-guide/application-monitoring/application-observation.md) - **权限管理** - [权限管理](raw/application-user-guide/application-permission-management/application-permission-management-overview.md) - **实践教程** - [在网站上增加一个AI助手](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-website-in-10-minutes.md) - - [10分钟让微信公众号成为智能客服](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-wechat-in-10-minutes.md) - [在企业微信中集成一个 AI 助手](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-work-wechat.md) - [在钉钉上增加一个AI机器人](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-dingtalk.md) + - [10分钟让微信公众号成为智能客服](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-wechat-in-10-minutes.md) - [基于本地知识库构建RAG应用](raw/application-user-guide/application-use-cases/build-rag-application-based-on-local-retrieval.md) - **服务支持** - [常见问题](raw/application-user-guide/application-support/application-faq.md) @@ -957,22 +983,22 @@ - [安装SDK](raw/model-api-reference/preparations/install-sdk.md) - [使用百炼 CLI](raw/model-api-reference/preparations/use-model-studio-cli.md) - [错误码](raw/model-api-reference/preparations/error-code.md) +- **3D模型生成** + - [Tripo-3D模型生成](raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md) - **图像生成** - **千问** - - [千问-文生图API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md) - [千问-图像编辑API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-edit-api.md) + - [千问-文生图API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md) - [千问-图像翻译API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-mt-image-api.md) - **万相** - [万相-文生图V2版API参考](raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-v2-api-reference.md) - [万相-文生图V1版API参考](raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-api-reference.md) - [万相-图像生成与编辑2.7 API参考](raw/model-api-reference/image-generation/wan-image-api-reference/wan-image-generation-and-editing-api-reference.md) + - [万相-涂鸦作画API参考](raw/model-api-reference/image-generation/wan-image-api-reference/wanx-sketch-to-image-api-reference.md) - [万相-通用图像编辑2.5](raw/model-api-reference/image-generation/wan-image-api-reference/wan2-5-image-edit-api-reference.md) - [万相-图像生成与编辑2.6 API参考](raw/model-api-reference/image-generation/wan-image-api-reference/wan-image-generation-api-reference.md) - [万相-通用图像编辑API参考](raw/model-api-reference/image-generation/wan-image-api-reference/wanx-image-edit-api-reference.md) - - [万相-涂鸦作画API参考](raw/model-api-reference/image-generation/wan-image-api-reference/wanx-sketch-to-image-api-reference.md) - [万相-图像局部重绘API参考](raw/model-api-reference/image-generation/wan-image-api-reference/vary-region-api-reference.md) - - **Z-Image** - - [Z-Image API参考](raw/model-api-reference/image-generation/z-image-generation-api-reference/z-image-api-reference.md) - **可灵** - [可灵-图像生成API参考](raw/model-api-reference/image-generation/kling-image-api-reference/kling-image-generation-api-reference.md) - **Vidu** @@ -984,14 +1010,14 @@ - [鞋靴模特API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/shoe-model-api.md) - [创意海报生成API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md) - [人物实例分割API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-instance-segmentation-api-reference.md) + - [图像背景生成API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md) - [图像擦除补全API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-erase-completion-api-reference.md) - [AI试衣OutfitAnyone](raw/model-api-reference/image-generation/image-creative-tools-api-reference/outfitanyone.md) - - [图像背景生成API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md) - [人物写真生成FaceChain](raw/model-api-reference/image-generation/image-creative-tools-api-reference/facechain-portrait-generation.md) - [创意文字WordArt锦书](raw/model-api-reference/image-generation/image-creative-tools-api-reference/wordart-quick-start.md) + - **Z-Image** + - [Z-Image API参考](raw/model-api-reference/image-generation/z-image-generation-api-reference/z-image-api-reference.md) - [常见问题](raw/model-api-reference/image-generation/image-faq.md) -- **3D模型生成** - - [Tripo-3D模型生成](raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md) - **实时多模态** - [客户端事件](raw/model-api-reference/omni-realtime-api/client-events.md) - [Python SDK](raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md) @@ -1000,23 +1026,23 @@ - [实时多模态交互流程](raw/model-api-reference/omni-realtime-api/omni-realtime-interaction-process.md) - [声音复刻API参考](raw/model-api-reference/omni-realtime-api/qwen-omni-voice-cloning.md) - **更多模型** - - [通义法睿大语言模型](raw/model-api-reference/more-models/tongyi-farui-api.md) - [意图理解能力](raw/model-api-reference/more-models/intent-detect-capability.md) - - [Qwen-Deep-Research API 参考](raw/model-api-reference/more-models/qwen-deep-research-api.md) + - [通义法睿大语言模型](raw/model-api-reference/more-models/tongyi-farui-api.md) - [Qwen-MT API参考](raw/model-api-reference/more-models/qwen-mt-api.md) + - [Qwen-Deep-Research API 参考](raw/model-api-reference/more-models/qwen-deep-research-api.md) - [GUI-Plus API参考](raw/model-api-reference/more-models/gui-plus-interface-interaction-model.md) - [Qwen-OCR API参考](raw/model-api-reference/more-models/qwen-vl-ocr-api-reference.md) - **工具包/框架** - - [OpenAI Chat接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md) - - [OpenAI Responses接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md) - [completions 接口](raw/model-api-reference/toolkits-and-frameworks/completions.md) - [OpenAI Vision接口兼容](raw/model-api-reference/toolkits-and-frameworks/qwen-vl-compatible-with-openai.md) + - [OpenAI Chat接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md) + - [OpenAI Responses接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md) - [OpenAI文件接口兼容](raw/model-api-reference/toolkits-and-frameworks/openai-file-interface.md) - [OpenAI兼容-Batch Chat](raw/model-api-reference/toolkits-and-frameworks/openai-compatible-batch-chat.md) - [OpenAI Embedding接口兼容](raw/model-api-reference/toolkits-and-frameworks/embedding-interfaces-compatible-with-openai.md) - - [OpenAI兼容-Batch（文件输入）](raw/model-api-reference/toolkits-and-frameworks/batch-interfaces-compatible-with-openai.md) - [OpenAI Conversations接口兼容](raw/model-api-reference/toolkits-and-frameworks/openai-compatible-conversations.md) - [在LangChain中使用阿里云百炼](raw/model-api-reference/toolkits-and-frameworks/use-bailian-in-langchain.md) + - [OpenAI兼容-Batch（文件输入）](raw/model-api-reference/toolkits-and-frameworks/batch-interfaces-compatible-with-openai.md) - **模型生产** - [模型调优](raw/model-api-reference/model-production/fine-tuning-jobs-api.md) - [模型部署](raw/model-api-reference/model-production/deployments-api.md) @@ -1025,14 +1051,21 @@ - [异步任务管理 API](raw/model-api-reference/more-about-models/manage-asynchronous-tasks.md) - [通过HTTP回调URL或MQ接收异步任务完成通知](raw/model-api-reference/more-about-models/async-task-api.md) - [子业务空间的模型调用](raw/model-api-reference/more-about-models/model-calling-in-sub-workspace.md) - - [DashScope SDK连接复用配置](raw/model-api-reference/more-about-models/connection-multiplexing-configuration.md) - [上传本地文件获取临时URL](raw/model-api-reference/more-about-models/get-temporary-file-url.md) + - [DashScope SDK连接复用配置](raw/model-api-reference/more-about-models/connection-multiplexing-configuration.md) - **视频生成** - **HappyHorse** + - [HappyHorse-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md) - [HappyHorse-文生视频API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md) - [HappyHorse-参考生视频API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md) - - [HappyHorse-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md) - [HappyHorse-视频编辑API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md) + - **人像驱动** + - [图生舞蹈视频-舞动人像AnimateAnyone](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/animateanyone-quick-start.md) + - [图生播报视频-灵动人像LivePortrait](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/liveportrait-quick-start.md) + - [图生唱演视频-悦动人像EMO](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emo-quick-start.md) + - [图生表情包视频-表情包Emoji](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emoji-quick-start.md) + - [视频口型替换-声动人像VideoRetalk](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/videoretalk.md) + - [视频风格重绘API参考](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/video-style-transform-api-reference.md) - **万相** - **万相-早期视频模型（2.1-2.6）** - [万相-图生视频-基于首帧API参考（2.1-2.6）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-api-reference.md) @@ -1041,8 +1074,8 @@ - [万相-首尾帧生视频API参考（2.2）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md) - [万相-视频编辑API参考（2.1）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wanx-vace-api-reference.md) - [万相2.7-图生视频API参考](raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md) - - [万相2.7-文生视频API参考](raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md) - [万相2.7-参考生视频API参考](raw/model-api-reference/video-generation-api/wan-api-reference/wan-video-to-video-api-reference.md) + - [万相2.7-文生视频API参考](raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md) - [万相2.7-视频编辑API参考](raw/model-api-reference/video-generation-api/wan-api-reference/wan-video-editing-api-reference.md) - [万相-图生动作API参考](raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md) - [万相-数字人](raw/model-api-reference/video-generation-api/wan-api-reference/wan-s2v-overview.md) @@ -1050,35 +1083,34 @@ - **爱诗** - [爱诗-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-image-to-video-api-reference.md) - [爱诗-文生视频API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-text-to-video-api-reference.md) - - [爱诗-图生视频-基于首尾帧API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-keyframe-to-video-api-reference.md) - [爱诗-参考生视频API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-reference-to-video-api-reference.md) - - [爱诗-视频超清API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-upscale-api-reference.md) - - [爱诗-视频对口型API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-lipsync-api-reference.md) + - [爱诗-图生视频-基于首尾帧API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-keyframe-to-video-api-reference.md) - [爱诗-视频动作模仿API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-motioncontrol-api-reference.md) - - **人像驱动** - - [图生舞蹈视频-舞动人像AnimateAnyone](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/animateanyone-quick-start.md) - - [图生唱演视频-悦动人像EMO](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emo-quick-start.md) - - [图生播报视频-灵动人像LivePortrait](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/liveportrait-quick-start.md) - - [图生表情包视频-表情包Emoji](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emoji-quick-start.md) - - [视频口型替换-声动人像VideoRetalk](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/videoretalk.md) - - [视频风格重绘API参考](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/video-style-transform-api-reference.md) + - [爱诗-视频对口型API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-lipsync-api-reference.md) + - [爱诗-视频超清API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-upscale-api-reference.md) + - **可灵** + - [可灵-视频生成API文档](raw/model-api-reference/video-generation-api/kling-api-reference/kling-video-generation-api-reference.md) - **Vidu** - [Vidu-文生视频API参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-text-to-video-api-reference.md) - - [Vidu-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-image-to-video-api-reference.md) - [Vidu-图生视频-基于首尾帧API参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-keyframe-to-video-api-reference.md) + - [Vidu-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-image-to-video-api-reference.md) - [Vidu-参考生视频 API 参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-reference-to-video-api-reference.md) - - **可灵** - - [可灵-视频生成API文档](raw/model-api-reference/video-generation-api/kling-api-reference/kling-video-generation-api-reference.md) - **音频** - **语音识别** - **实时语音识别（Fun-ASR）** - - [Fun-ASR实时语音识别WebSocket API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-websocket-api.md) - [实时语音识别（Fun-ASR）客户端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-client-events.md) + - [Fun-ASR实时语音识别WebSocket API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-websocket-api.md) - [实时语音识别（Fun-ASR）服务端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-server-events.md) - [Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-python-sdk.md) - [Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-java-sdk.md) - - [Fun-ASR实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/android-sdk-for-fun-asr-real-time-service.md) - [Fun-ASR实时语音识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/ios-sdk-for-fun-asr-real-time-service.md) + - [Fun-ASR实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/android-sdk-for-fun-asr-real-time-service.md) + - **录音文件识别（Fun-ASR）** + - [Fun-ASR录音文件识别HTTP API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md) + - [Fun-ASR录音文件识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md) + - [Fun-ASR录音文件识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md) + - [Fun-ASR录音文件识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md) + - [Fun-ASR录音文件识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md) - **实时语音识别（Qwen-ASR-Realtime）** - [Qwen-ASR实时语音识别WebSocket API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-interaction-process.md) - [实时语音识别（Qwen-ASR-Realtime）客户端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-client-events.md) @@ -1087,37 +1119,40 @@ - [实时语音识别（Qwen-ASR-Realtime）Java SDK-API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-java-sdk.md) - **实时语音识别（Paraformer）** - [Paraformer实时语音识别WebSocket API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/websocket-for-paraformer-real-time-service.md) - - [实时语音识别（Paraformer）客户端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-client-events.md) - [实时语音识别（Paraformer）服务端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-server-events.md) + - [实时语音识别（Paraformer）客户端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-client-events.md) - [Paraformer实时语音识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md) - - [Paraformer实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/android-sdk-for-paraformer-real-time-service.md) - [Paraformer实时语音识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md) + - [Paraformer实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/android-sdk-for-paraformer-real-time-service.md) - [Paraformer实时语音识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/ios-sdk-for-paraformer-real-time-service.md) - - **录音文件识别（Fun-ASR）** - - [Fun-ASR录音文件识别HTTP API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md) - - [Fun-ASR录音文件识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md) - - [Fun-ASR录音文件识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md) - - [Fun-ASR录音文件识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md) - - [Fun-ASR录音文件识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md) - **录音文件识别（Paraformer）** - [Paraformer录音文件识别RESTful API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-restful-api.md) - - [Paraformer录音文件识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md) - [Paraformer录音文件识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-python-sdk.md) + - [Paraformer录音文件识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md) - [Paraformer录音文件识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-android-sdk.md) - [Paraformer录音文件识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-ios-sdk.md) - [最佳实践](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-best-practices.md) - **定制热词** - - [定制热词Python SDK参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-python-sdk.md) - [定制热词HTTP API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-http-api.md) + - [定制热词Python SDK参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-python-sdk.md) - [定制热词Java SDK参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-java-sdk.md) - [录音文件识别（Qwen-ASR）API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md) + - **音乐生成** + - [音乐生成Fun-Music API参考](raw/model-api-reference/audio-api-references/music-generation-references/fun-music-api.md) + - **语音翻译** + - **实时音视频翻译（Qwen-Livetranslate-Realtime）** + - [客户端事件](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/live-translator-client-events.md) + - [服务端事件](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/live-translator-server-events.md) + - [实时音视频翻译（Qwen-LiveTranslate）Python SDK-API参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/qwen-livetranslate-python-sdk.md) + - [实时音视频翻译（Qwen-LiveTranslate）Java SDK-API参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/qwen-livetranslate-java-sdk.md) + - [音视频翻译-通义千问 API 参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/qwen3-livetranslate-flash-api.md) - **语音合成** - **实时语音合成（Qwen-Audio-TTS/CosyVoice）** - [Qwen-Audio-TTS/CosyVoice WebSocket API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md) - [Qwen-Audio-TTS/CosyVoice客户端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md) - [Qwen-Audio-TTS/CosyVoice服务端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-server-events.md) - - [实时语音合成Qwen-Audio-TTS/CosyVoice Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md) - [实时语音合成Qwen-Audio-TTS/CosyVoice Java SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md) + - [实时语音合成Qwen-Audio-TTS/CosyVoice Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md) - [语音合成Qwen-Audio-TTS/CosyVoice Android SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md) - [语音合成Qwen-Audio-TTS/CosyVoice iOS SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md) - **实时语音合成（Qwen-TTS-Realtime）** @@ -1131,43 +1166,34 @@ - [Sambert客户端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-client-events.md) - [Sambert服务端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-server-events.md) - [语音合成Sambert Java SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-java-sdk.md) - - [语音合成Sambert Android SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-android-sdk.md) - [语音合成Sambert Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-python-sdk.md) + - [语音合成Sambert Android SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-android-sdk.md) - [语音合成Sambert iOS SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-ios-sdk.md) - - **非实时语音合成（MiniMax）** - - [MiniMax同步语音合成API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/minimax-speech-synthesis/minimax-synchronous-speech-synthesis-api.md) - **非实时语音合成（Qwen-Audio-TTS/CosyVoice）** - - [非实时语音合成Qwen-Audio-TTS/CosyVoice Python SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md) - [非实时语音合成Qwen-Audio-TTS/CosyVoice HTTP API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md) - [非实时语音合成Qwen-Audio-TTS/CosyVoice Java SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md) + - [非实时语音合成Qwen-Audio-TTS/CosyVoice Python SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md) + - **非实时语音合成（MiniMax）** + - [MiniMax同步语音合成API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/minimax-speech-synthesis/minimax-synchronous-speech-synthesis-api.md) - **声音复刻** - - [声音复刻HTTP API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md) - [声音复刻Java SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md) - [声音复刻Python SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md) + - [声音复刻HTTP API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md) - [非实时语音合成（Qwen-TTS）API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-api.md) - [声音设计API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/voice-design-api-references.md) - - **音乐生成** - - [音乐生成Fun-Music API参考](raw/model-api-reference/audio-api-references/music-generation-references/fun-music-api.md) - - **语音翻译** - - **实时音视频翻译（Qwen-Livetranslate-Realtime）** - - [客户端事件](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/live-translator-client-events.md) - - [服务端事件](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/live-translator-server-events.md) - - [实时音视频翻译（Qwen-LiveTranslate）Python SDK-API参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/qwen-livetranslate-python-sdk.md) - - [实时音视频翻译（Qwen-LiveTranslate）Java SDK-API参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/qwen-livetranslate-java-sdk.md) - - [音视频翻译-通义千问 API 参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/qwen3-livetranslate-flash-api.md) - **语音对话** - **实时语音对话** - - [Qwen-Audio 实时语音对话客户端事件](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/fun-audiochat-client-events.md) - [Qwen-Audio 实时语音对话WebSocket API参考](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/qwen-audio-realtime-websocket-api.md) + - [Qwen-Audio 实时语音对话客户端事件](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/fun-audiochat-client-events.md) - [Qwen-Audio 实时语音对话服务端事件](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/qwen-audio-realtime-server-events.md) - **向量与排序** - **通用文本向量** - [同步接口API详情](raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-synchronous-api.md) - [批处理接口API详情](raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md) - - **排序模型（Rerank）** - - [文本排序](raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md) - **多模态向量** - [Multimodal-Embedding API详情](raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md) + - **排序模型（Rerank）** + - [文本排序](raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md) - [文本生成模型API参考](raw/model-api-reference/qwen-api-reference.md) - [文件管理](raw/model-api-reference/file-management-api.md) @@ -1175,91 +1201,92 @@ - **Managed Agents** - [API 总览与认证](raw/application-api-reference/managed-agents-api/managed-agents-api-overview.md) - - [快速开始](raw/application-api-reference/managed-agents-api/managed-agents-quickstart.md) - [Agent](raw/application-api-reference/managed-agents-api/agent-api.md) + - [快速开始](raw/application-api-reference/managed-agents-api/managed-agents-quickstart.md) - [Environment](raw/application-api-reference/managed-agents-api/environment-api.md) - [Session and Event](raw/application-api-reference/managed-agents-api/session-api.md) - [File](raw/application-api-reference/managed-agents-api/files-api.md) - [Skill](raw/application-api-reference/managed-agents-api/skills-api.md) +- **长期记忆** + - [长期记忆（新）API 参考](raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md) - **应用组件** - **API目录** - **数据连接（原应用数据）** - [AddCategory - 新增类目](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addcategory.md) - - [ListCategory - 类目列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-listcategory.md) - [DeleteCategory - 删除类目](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-deletecategory.md) - - [ApplyFileUploadLease - 申请文件上传租约](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-applyfileuploadlease.md) + - [ListCategory - 类目列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-listcategory.md) - [AddFile - 添加文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addfile.md) - [AddFilesFromAuthorizedOss - 从已授权OSS Bucket中导入文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addfilesfromauthorizedoss.md) + - [ApplyFileUploadLease - 申请文件上传租约](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-applyfileuploadlease.md) - [DescribeFile - 查询文件状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-describefile.md) - [ListFile - 文件列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-listfile.md) - [UpdateFileTag - 更新文件标签](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-updatefiletag.md) - [BatchUpdateFileTag - 批量更新文档标签](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-batchupdatefiletag.md) - [DeleteFile - 删除文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-deletefile.md) - [DeleteFiles - 批量删除文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-deletefiles.md) - - [GetAvailableParserTypes - 获取文件支持的解析器类型](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getavailableparsertypes.md) - [GetParseSettings - 获取类目解析设置](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getparsesettings.md) - [ChangeParseSetting - 修改类目解析设置](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-changeparsesetting.md) + - [GetAvailableParserTypes - 获取文件支持的解析器类型](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getavailableparsertypes.md) - [AddTable - 添加表格](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addtable.md) - [UpdateTableFromAuthorizedOss - 从已授权OSS Bucket中选择文件更新表格](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-updatetablefromauthorizedoss.md) - [AddConnector - 新增连接器](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addconnector.md) - - [GetConnector - 获取连接器信息](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getconnector.md) - [UpdateConnector - 编辑连接器](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-updateconnector.md) + - [GetConnector - 获取连接器信息](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getconnector.md) - **知识库** - - [CreateIndex - 创建知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md) - [GetIndexJobStatus - 查询知识库创建任务状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-getindexjobstatus.md) - - [SubmitIndexAddDocumentsJob - 提交知识库追加任务](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-submitindexadddocumentsjob.md) + - [CreateIndex - 创建知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md) - [SubmitIndexJob - 提交知识库创建任务](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-submitindexjob.md) + - [SubmitIndexAddDocumentsJob - 提交知识库追加任务](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-submitindexadddocumentsjob.md) - [Retrieve - 检索知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-retrieve.md) - - [DeleteIndexDocument - 删除知识库下的文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindexdocument.md) - - [ListIndexFileDetails - 查询知识库下的文件详情](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindexfiledetails.md) - [ListIndexDocuments - 查询知识库下的文件列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindexdocuments.md) + - [ListIndexFileDetails - 查询知识库下的文件详情](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindexfiledetails.md) - [UpdateIndex - 更新知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-updateindex.md) + - [DeleteIndexDocument - 删除知识库下的文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindexdocument.md) - [ListIndices - 查询知识库列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindices.md) - - [DeleteIndex - 删除知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindex.md) - - [UpdateChunk - 修改切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-updatechunk.md) - [ListChunks - 查询索引下的分片列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listchunks.md) + - [DeleteIndex - 删除知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindex.md) - [DeleteChunk - 删除切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deletechunk.md) + - [UpdateChunk - 修改切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-updatechunk.md) - [GetIndexMonitor - 获取知识库监控数据](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-getindexmonitor.md) - **Prompt工程** - [CreatePromptTemplate - 创建Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-createprompttemplate.md) - [GetPromptTemplate - 获取Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-getprompttemplate.md) + - [DeletePromptTemplate - 删除Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-deleteprompttemplate.md) - [UpdatePromptTemplate - 更新Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-updateprompttemplate.md) - [ListPromptTemplates - 获取Prompt模板列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-listprompttemplates.md) - - [DeletePromptTemplate - 删除Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-deleteprompttemplate.md) - **其他** - **长期记忆（旧）** - [CreateMemory - 创建长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-creatememory.md) - [UpdateMemory - 更新长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-updatememory.md) - - [GetMemory - 获取长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-getmemory.md) - [DeleteMemory - 删除长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-deletememory.md) + - [GetMemory - 获取长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-getmemory.md) - [ListMemories - 获取长期记忆体列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-listmemories.md) - - [UpdateMemoryNode - 更新记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-updatememorynode.md) - - [GetMemoryNode - 获取记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-getmemorynode.md) - [CreateMemoryNode - 创建记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-creatememorynode.md) + - [GetMemoryNode - 获取记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-getmemorynode.md) + - [UpdateMemoryNode - 更新记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-updatememorynode.md) - [DeleteMemoryNode - 删除记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-deletememorynode.md) - [ListMemoryNodes - 获取记忆片段列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-listmemorynodes.md) - - [GetAlipayTransferStatus - 查询支付宝打赏状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-getalipaytransferstatus.md) - [GetAlipayUrl - 获取支付宝打赏URL](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-getalipayurl.md) - [ApplyTempStorageLease - 申请临时文件上传许可](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-applytempstoragelease.md) + - [GetAlipayTransferStatus - 查询支付宝打赏状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-getalipaytransferstatus.md) + - [AddChunk - 新增切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md) - [API概览](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md) - [服务接入点](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-endpoint.md) - [授权信息](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md) - [版本说明](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-changeset.md) - **应用调用** - - **DashScope API** - - [新版智能体应用 API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/new-agent-application-api-reference.md) - - [应用 DashScope API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/agent-and-workflow-application-api-reference.md) - **Responses API** - [同步调用 API 参考](raw/application-api-reference/application-call/openai-responses-api/synchronous-call-api-reference.md) - [异步调用API参考](raw/application-api-reference/application-call/openai-responses-api/asynchronous-call-api-reference.md) + - **DashScope API** + - [新版智能体应用 API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/new-agent-application-api-reference.md) + - [应用 DashScope API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/agent-and-workflow-application-api-reference.md) - [获取APP ID和Workspace ID](raw/application-api-reference/application-call/obtain-the-app-id-and-workspace-id.md) - **框架** - **Spring AI Alibaba** - [使用Spring AI Alibaba集成阿里云百炼大模型应用](raw/application-api-reference/frameworks/spring-ai-alibaba/spring-ai-alibaba-integrate-llm-application.md) - [通过Spring AI Alibaba检索阿里云百炼知识库](raw/application-api-reference/frameworks/spring-ai-alibaba/spring-ai-alibaba-integrate-knowledge-base.md) - [通过LlamaIndex API构建RAG应用](raw/application-api-reference/frameworks/llamaindex.md) -- **长期记忆** - - [长期记忆（新）API 参考](raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md) - **更多** - [服务关联角色](raw/application-api-reference/more/bailian-service-linked-role.md) - [生成临时API Key](raw/application-api-reference/more/application-obtain-temporary-authentication-token.md) diff --git a/skills/bailian-docs-llm-wiki/models/families.jsonl b/skills/bailian-docs-llm-wiki/models/families.jsonl index 8bcd4a65..c476f524 100644 --- a/skills/bailian-docs-llm-wiki/models/families.jsonl +++ b/skills/bailian-docs-llm-wiki/models/families.jsonl @@ -34,7 +34,7 @@ {"slug":"image-erase-completion","name":"图像擦除补全","description":"图像擦除补全通过指定图像mask中要删除的人体、宠物、物品、文字、水印等图像区域，在保留背景的同时移除图像中的一个或多个人物、物体、文字等元素，此功能不支持输入prompt的消除。擦除补全技术结合了计算机视觉、AIGC inpainting等先进技术，可以在多种场景下应用，从而满足用户对隐私保护、内容创作和图像编辑等方面需求。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"image-erase-completion","name":"图像擦除补全","capabilities":["IG"]}],"detailPath":"groups/image-erase-completion.json"} {"slug":"image-instance-segmentation","name":"人物实例分割","description":"人物实例分割运用了检测和分割技术，不仅能够在图像中识别出不同的对象，而且还能准确地画出每一个对象边界的像素级掩码（mask）。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"image-instance-segmentation","name":"人物实例分割","capabilities":["IG"]}],"detailPath":"groups/image-instance-segmentation.json"} {"slug":"image-out-painting","name":"图像画面扩展","description":"图像画面大模型，对输入图像进行画面自由扩展，支持旋转画面，支持按照扩展系数和扩展像素数两种方式进行扩图。用户可以通过指定宽度、高度画面扩展比例或者左、右、上、下的扩展的像素值来控制画面扩展，可用于创意娱乐、辅助作图、画面设计、影视后期制作等场景。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"image-out-painting","name":"图像画面扩展","capabilities":["IG"]}],"detailPath":"groups/image-out-painting.json"} -{"slug":"kimi-models-market-place","name":"Kimi","description":"由月之暗面提供的Kimi系列模型的API服务。","primaryCapability":"TG","capabilities":["TG","Reasoning","VU"],"providers":["moonshot-ai"],"itemCount":4,"items":[{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","contextWindow":262144,"capabilities":["TG","VU","Reasoning"]},{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]}],"detailPath":"groups/kimi-models-market-place.json","maxContextWindow":262144} +{"slug":"kimi-models-market-place","name":"Kimi","description":"由月之暗面提供的Kimi系列模型的API服务。","primaryCapability":"TG","capabilities":["TG","VU","Reasoning"],"providers":["moonshot-ai"],"itemCount":5,"items":[{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","contextWindow":262144,"capabilities":["TG","VU","Reasoning"]},{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k3","name":"kimi/kimi-k3","contextWindow":1048576,"capabilities":["TG","VU","Reasoning"]}],"detailPath":"groups/kimi-models-market-place.json","maxContextWindow":1048576} {"slug":"kling-models-market-place","name":"可灵AI","description":"由可灵AI提供的高质量视频与图像生成及编辑模型。","primaryCapability":"VG","capabilities":["VG","IG"],"providers":["kling"],"itemCount":4,"items":[{"model":"kling/kling-v3-image-generation","name":"Kling Image 3.0","capabilities":["IG"]},{"model":"kling/kling-v3-omni-image-generation","name":"Kling Image 3.0 Omni","capabilities":["IG"]},{"model":"kling/kling-v3-omni-video-generation","name":"Kling Video 3.0 Omni","capabilities":["VG"]},{"model":"kling/kling-v3-video-generation","name":"Kling Video 3.0","capabilities":["VG"]}],"detailPath":"groups/kling-models-market-place.json"} {"slug":"liveportrait-detect","name":"灵动人像LivePortrait-detect","description":"LivePortrait-detect是辅助LivePortrait的图像检测模型，用于检测图片中的人物形象是否符合视频生成要求。","primaryCapability":"VG","capabilities":["VG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"liveportrait-detect","name":"灵动人像LivePortrait-detect","capabilities":["VG"]}],"detailPath":"groups/liveportrait-detect.json"} {"slug":"liveportrait","name":"灵动人像LivePortrait","description":"LivePortrait是一款视频生成模型，可基于人物图片生成轻量化的人物肖像动态视频。","primaryCapability":"VG","capabilities":["VG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"liveportrait","name":"灵动人像LivePortrait","capabilities":["VG"]}],"detailPath":"groups/liveportrait.json"} @@ -54,14 +54,14 @@ {"slug":"pixverse-v6-market-place","name":"PixVerse V6","description":"由爱诗科技提供的PixVerse V系列视频大模型API服务。","primaryCapability":"VG","capabilities":["VG"],"providers":["pixverse"],"itemCount":4,"items":[{"model":"pixverse/pixverse-v6-it2v","name":"PixVerse-V6-it2v","capabilities":["VG"]},{"model":"pixverse/pixverse-v6-kf2v","name":"PixVerse-V6-kf2v","capabilities":["VG"]},{"model":"pixverse/pixverse-v6-r2v","name":"PixVerse-V6-r2v","capabilities":["VG"]},{"model":"pixverse/pixverse-v6-t2v","name":"PixVerse-V6-t2v","capabilities":["VG"]}],"detailPath":"groups/pixverse-v6-market-place.json"} {"slug":"qvq-max","name":"QVQ-Max","description":"千问QVQ视觉推理模型，支持视觉输入及思维链输出，在数学、编程、视觉分析、创作以及通用任务上都表现了更强的能力。","primaryCapability":"Reasoning","capabilities":["Reasoning","VU"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qvq-max","name":"QVQ-Max","contextWindow":131072,"capabilities":["Reasoning","VU"]}],"detailPath":"groups/qvq-max.json","maxContextWindow":131072} {"slug":"qvq-plus","name":"Qwen-QVQ-Plus","description":"千问QVQ视觉推理模型增强版，支持视觉输入及思维链输出，在数学、编程、视觉分析、创作以及通用任务上都表现了更强的能力。","primaryCapability":"Reasoning","capabilities":["Reasoning","VU"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qvq-plus","name":"QVQ-Plus","contextWindow":131072,"capabilities":["Reasoning","VU"]}],"detailPath":"groups/qvq-plus.json","maxContextWindow":131072} -{"slug":"qwen-audio-realtime-flash","name":"Qwen-Audio-Realtime-Flash","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Flash版更注重极致的响应速度","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","contextWindow":8192,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-flash.json","maxContextWindow":8192} -{"slug":"qwen-audio-realtime-plus","name":"Qwen-Audio-Realtime-Plus","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Plus版本更注重高质量的回复结果。","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","contextWindow":8192,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-plus.json","maxContextWindow":8192} +{"slug":"qwen-audio-realtime-flash","name":"Qwen-Audio-Realtime-Flash","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Flash版更注重极致的响应速度","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","contextWindow":40960,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-flash.json","maxContextWindow":40960} +{"slug":"qwen-audio-realtime-plus","name":"Qwen-Audio-Realtime-Plus","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Plus版本更注重高质量的回复结果。","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","contextWindow":40960,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-plus.json","maxContextWindow":40960} {"slug":"qwen-audio-tts","name":"Qwen-Audio-TTS","description":"Qwen-Audio-TTS是一款面向实时交互场景和高质量语音生成场景的语音合成大模型。模型支持多种小语种和中文方言，并具有Free-style 指令遵循能力、Context能力和细粒度标签控制能力，可更灵活地控制情绪、语气、角色、语速、音量等表达方式。","primaryCapability":"Realtime-Text-to-Speech","capabilities":["Realtime-Text-to-Speech"],"providers":["qwen"],"itemCount":2,"items":[{"model":"qwen-audio-3.0-tts-flash","name":"qwen-audio-3.0-tts-flash","capabilities":["Realtime-Text-to-Speech"]},{"model":"qwen-audio-3.0-tts-plus","name":"qwen-audio-3.0-tts-plus","capabilities":["Realtime-Text-to-Speech"]}],"detailPath":"groups/qwen-audio-tts.json"} {"slug":"qwen-coder-plus","name":"Qwen-Coder-Plus","description":"千问系列代码及编程模型是专门用于编程和代码生成的语言模型，性能出色，效果突出。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-coder-plus","name":"Qwen-Coder-Plus","contextWindow":131072,"capabilities":["TG"]}],"detailPath":"groups/qwen-coder-plus.json","maxContextWindow":131072} {"slug":"qwen-coder-turbo","name":"Qwen-Coder-Turbo","description":"Qwen-Coder-Turbo模型是专门用于编程和代码生成的语言模型，推理速度快，成本低。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-coder-turbo","name":"Qwen-Coder-Turbo","contextWindow":131072,"capabilities":["TG"]}],"detailPath":"groups/qwen-coder-turbo.json","maxContextWindow":131072} {"slug":"qwen-deep-research","name":"qwen-deep-research","description":"千问深入研究是一款面向复杂研究任务的高级智能体系统，具备多轮推理与全局规划能力，能够运用互联网搜索等多种工具，对任务进行精细化拆解，开展推理与分析，最终为用户生成可溯源、逻辑严谨的研究型报告。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-deep-research","name":"qwen-deep-research","contextWindow":1000000,"capabilities":["TG"]}],"detailPath":"groups/qwen-deep-research.json","maxContextWindow":1000000} {"slug":"qwen-doc-turbo","name":"Qwen-Doc-Turbo","description":"快速对文档进行精准信息抽取，打标分类，内容审核及摘要总结。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-doc-turbo","name":"Qwen-Doc-Turbo","contextWindow":262144,"capabilities":["TG"]}],"detailPath":"groups/qwen-doc-turbo.json","maxContextWindow":262144} -{"slug":"qwen-embedding","name":"Qwen-Embedding","description":"基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度。","primaryCapability":"TR","capabilities":["TR"],"providers":["qwen-domain-model"],"itemCount":6,"items":[{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","capabilities":["TR"]},{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","capabilities":["TR"]},{"model":"text-embedding-v1","name":"通用文本向量-v1","capabilities":["TR"]},{"model":"text-embedding-v2","name":"通用文本向量-v2","capabilities":["TR"]},{"model":"text-embedding-v3","name":"通用文本向量-v3","capabilities":["TR"]},{"model":"text-embedding-v4","name":"通用文本向量-v4","capabilities":["TR"]}],"detailPath":"groups/qwen-embedding.json"} +{"slug":"qwen-embedding","name":"Qwen-Embedding","description":"基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度。","primaryCapability":"TR","capabilities":["TR"],"providers":["qwen","qwen-domain-model"],"itemCount":7,"items":[{"model":"qwen3.7-text-embedding","name":"Qwen3.7-Text-Embedding","contextWindow":131072,"capabilities":["TR"]},{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","capabilities":["TR"]},{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","capabilities":["TR"]},{"model":"text-embedding-v1","name":"通用文本向量-v1","capabilities":["TR"]},{"model":"text-embedding-v2","name":"通用文本向量-v2","capabilities":["TR"]},{"model":"text-embedding-v3","name":"通用文本向量-v3","capabilities":["TR"]},{"model":"text-embedding-v4","name":"通用文本向量-v4","capabilities":["TR"]}],"detailPath":"groups/qwen-embedding.json","maxContextWindow":131072} {"slug":"qwen-flash-character","name":"Qwen-Flash-Character","description":"千问系列多语言角色扮演模型，本模型是动态更新版本，模型更新会提前通知，适合拟人化的角色扮演，同时优化了限定人设指令遵循、话题推进、倾听共情等能力，支持个性化角色的深度还原。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-flash-character","name":"Qwen-Flash-Character","contextWindow":8192,"capabilities":["TG"]}],"detailPath":"groups/qwen-flash-character.json","maxContextWindow":8192} {"slug":"qwen-flash","name":"Qwen-Flash","description":"Qwen3系列Flash模型，实现思考模式和非思考模式的有效融合，可在对话中切换模式。复杂推理类任务性能优秀，指令遵循、文本理解等能力显著提高。支持1M上下文长度，按照上下文长度进行阶梯计费。","primaryCapability":"Reasoning","capabilities":["Reasoning","TG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-flash","name":"Qwen-Flash","contextWindow":1000000,"capabilities":["Reasoning","TG"]}],"detailPath":"groups/qwen-flash.json","maxContextWindow":1000000} {"slug":"qwen-image-2.0-pro","name":"Qwen-Image-2.0-Pro","description":"Qwen-Image-2.0系列满血版模型，实现了图片生成和图片编辑的融合；具备更专业的文字渲染1k token指令支持能力、更细腻的真实质感，细腻刻画写实场景、更强的语义遵循能力。满血版具备2.0系列最强的文字渲染能力和真实质感。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-image-2.0-pro","name":"Qwen-Image-2.0-Pro","capabilities":["IG"]}],"detailPath":"groups/qwen-image-2.0-pro.json"} diff --git a/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json b/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json index 1646ab45..9523e538 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json +++ b/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json @@ -2,6 +2,117 @@ "name": "Kimi", "description": "由月之暗面提供的Kimi系列模型的API服务。", "items": [ + { + "inferenceMetadata": { + "response_modality": [ + "Text" + ], + "request_modality": [ + "Text", + "Image", + "Video" + ] + }, + "description": "Kimi K3 是 Kimi 迄今能力最强的旗舰模型，拥有 2.8 万亿参数，基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。它是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。", + "features": [ + "function-calling", + "structured-outputs", + "cache", + "prefix-completion" + ], + "provider": "moonshot-ai", + "model": "kimi/kimi-k3", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "20", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "100", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "2", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], + "qpmInfo": { + "model-default-actual": { + "count_limit_period": 60, + "usage_limit": 3000000, + "usage_limit_field": "total_tokens", + "count_limit": 500, + "usage_limit_period": 60, + "type": "model-default" + }, + "model-default": { + "count_limit_period": 60, + "usage_limit": 3000000, + "usage_limit_field": "total_tokens", + "count_limit": 500, + "usage_limit_period": 60, + "type": "model-default" + } + }, + "capabilities": [ + "TG", + "VU", + "Reasoning" + ], + "modelAlias": "", + "versionTag": "MAJOR", + "maxOutputTokens": 1048576, + "latestOnlineAt": "2026-07-17T08:23:12.000+00:00", + "contextWindow": 1048576, + "maxInputTokens": 1048576, + "inferenceProvider": "moonshot-ai", + "name": "kimi/kimi-k3", + "docUrl": "https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620", + "category": "Third-party", + "predictConfig": [ + { + "name": "system", + "key": "systemMessage", + "tip": "系统人设，例如“你是一个AI助手”。" + }, + { + "name": "top_p", + "key": "top_p", + "default": 0.8, + "tip": "控制核采样方法的概率阈值，取值越大，生成的随机性越高。", + "range": [ + 0.0001, + 1 + ] + }, + { + "name": "temperature", + "key": "temperature", + "default": 0.7, + "tip": "控制生成随机性和多样性，数值越高多样性越强，数值越低一致性越强，范围(0,2)。建议该参数和top_p只设置1个。", + "range": [ + 0, + 1.9999 + ] + } + ], + "samples": { + "openai": { + "completionsAPI": { + "curl": "curl --location 'https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n \"model\": \"kimi/kimi-k3\",\n \"messages\": [\n {\n \"role\": \"user\",\n \"content\": [\n {\"type\": \"image_url\", \"image_url\": {\"url\": \"https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241108/ctdzex/biaozhun.jpg\"}},\n {\"type\": \"text\", \"text\": \"请仅输出图像中的文本内容。\"}\n ]\n }]\n}'", + "python": "import os\nfrom openai import OpenAI\n\nclient = OpenAI(\n api_key=os.getenv(\"DASHSCOPE_API_KEY\"),\n base_url=\"https://dashscope.aliyuncs.com/compatible-mode/v1\",\n)\n\ncompletion = client.chat.completions.create(\n model=\"kimi/kimi-k3\",\n messages=[\n {\n \"role\": \"user\",\n \"content\": [\n {\n \"type\": \"image_url\",\n \"image_url\": {\n \"url\": \"https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241108/ctdzex/biaozhun.jpg\"\n },\n },\n {\"type\": \"text\", \"text\": \"请仅输出图像中的文本内容。\"},\n ],\n },\n ],\n)\nprint(completion.choices[0].message.content)", + "nodejs": "import OpenAI from \"openai\";\n\nconst openai = new OpenAI({\n // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey: \"sk-xxx\"\n apiKey: process.env.DASHSCOPE_API_KEY,\n baseURL: \"https://dashscope.aliyuncs.com/compatible-mode/v1\"\n});\n\nasync function main() {\n const response = await openai.chat.completions.create({\n model: \"kimi/kimi-k3\",\n messages: [\n {\n role: \"user\",\n content: [{\n type: \"image_url\",\n image_url: {\n \"url\": \"https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241108/ctdzex/biaozhun.jpg\"\n }\n },\n {\n type: \"text\",\n text: \"请仅输出图像中的文本内容。\"\n }\n ]\n }\n ]\n });\n console.log(response.choices[0].message.content);\n}\nmain()", + "docUrl": "https://help.aliyun.com/document_detail/3021620.html" + } + } + } + }, { "inferenceMetadata": { "response_modality": [ @@ -21,10 +132,27 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.7-code-highspeed", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "13", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "54", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "2.6", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 60, @@ -114,10 +242,27 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.7-code", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "6.5", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "27", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "1.3", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 60, @@ -207,10 +352,27 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.6", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "6.5", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "27", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "1.1", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 6, @@ -287,11 +449,28 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.5", "iconUrl": "https://img.alicdn.com/imgextra/i4/O1CN01KzHLBW1LISVEUaotl_!!6000000001276-2-tps-56-56.png", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "4", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "21", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 6, diff --git a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json index 52c4ecf2..f7459176 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json +++ b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json @@ -68,10 +68,10 @@ ], "modelAlias": "", "versionTag": "MAJOR", - "maxOutputTokens": 4096, - "latestOnlineAt": "2026-07-14T06:59:47.013+00:00", - "contextWindow": 8192, - "maxInputTokens": 4096, + "maxOutputTokens": 8192, + "latestOnlineAt": "2026-07-14T06:59:47.000+00:00", + "contextWindow": 40960, + "maxInputTokens": 16384, "inferenceProvider": "aliyun-bailian", "name": "千问实时语音对话大模型3.0（极速版）", "docUrl": "https://help.aliyun.com/document_detail/3041584.html", diff --git a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json index e02c2e41..e0e67a7c 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json +++ b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json @@ -68,10 +68,10 @@ ], "modelAlias": "", "versionTag": "MAJOR", - "maxOutputTokens": 4096, - "latestOnlineAt": "2026-07-14T06:59:43.526+00:00", - "contextWindow": 8192, - "maxInputTokens": 4096, + "maxOutputTokens": 8192, + "latestOnlineAt": "2026-07-14T06:59:43.000+00:00", + "contextWindow": 40960, + "maxInputTokens": 16384, "inferenceProvider": "aliyun-bailian", "name": "千问实时语音大模型 （标准版）", "docUrl": "https://help.aliyun.com/document_detail/3041584.html", diff --git a/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json b/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json index f4d5508c..0d655f22 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json +++ b/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json @@ -2,6 +2,75 @@ "name": "Qwen-Embedding", "description": "基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度。", "items": [ + { + "inferenceMetadata": { + "response_modality": [ + "Text" + ], + "request_modality": [ + "Text" + ] + }, + "description": "是通义实验室基于Qwen3.7训练的多语言文本统一向量模型，相较text-embedding-v4版本在文本检索、聚类、分类性能大幅提升；在MTEB多语言、中英、Code检索等评测任务上效果提升20%；支持256~2560维用户自定义向量维度。", + "collectionTag": "qwen3.7", + "features": [ + "model-experience" + ], + "provider": "qwen", + "model": "qwen3.7-text-embedding", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.5", + "type": "embedding_token", + "priceName": "文本输入" + } + ], + "qpmInfo": { + "model-default-actual": { + "count_limit_period": 6, + "usage_limit": 100000, + "usage_limit_field": "total_tokens", + "count_limit": 2400, + "usage_limit_period": 6, + "type": "model-default" + }, + "model-default": { + "count_limit_period": 6, + "usage_limit": 100000, + "usage_limit_field": "total_tokens", + "count_limit": 2400, + "usage_limit_period": 6, + "type": "model-default" + } + }, + "capabilities": [ + "TR" + ], + "modelAlias": "", + "versionTag": "MAJOR", + "latestOnlineAt": "2026-07-15T02:24:33.000+00:00", + "contextWindow": 131072, + "maxInputTokens": 131072, + "inferenceProvider": "aliyun-bailian", + "name": "Qwen3.7-Text-Embedding", + "docUrl": "https://help.aliyun.com/document_detail/2842587.html", + "category": "Embeddings", + "predictConfig": [ + { + "name": "topK" + } + ], + "samples": { + "dashscope": { + "default": { + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"qwen3.7-text-embedding\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"qwen3.7-text-embedding\",\ninput=input_texts\n)\nprint(resp)", + "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"qwen3.7-text-embedding\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" + } + } + } + }, { "inferenceMetadata": { "response_modality": [ @@ -16,10 +85,21 @@ "model-experience" ], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v4", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.25", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.5", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -44,7 +124,7 @@ "versionTag": "MAJOR", "latestOnlineAt": "2025-06-05T03:07:20.000+00:00", "offlineInfo": {}, - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v4", "docUrl": "https://help.aliyun.com/document_detail/2842587.html", "category": "Embeddings", @@ -56,7 +136,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v4\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v4\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v4\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v4\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -73,10 +153,21 @@ "description": "通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v3", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.25", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.5", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -100,7 +191,7 @@ ], "versionTag": "MAJOR", "latestOnlineAt": "2024-07-12T09:44:51.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v3", "docUrl": "https://help.aliyun.com/document_detail/2712515.html", "predictConfig": [ @@ -133,7 +224,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v3\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v3\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v3\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v3\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -150,10 +241,21 @@ "description": "通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v2", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.35", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -177,7 +279,7 @@ ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:03:19.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v2", "docUrl": "https://help.aliyun.com/document_detail/2712515.html", "predictConfig": [ @@ -210,7 +312,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v2\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v2\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -227,10 +329,21 @@ "description": "通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v1", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.35", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -254,7 +367,7 @@ ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:02:12.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v1", "docUrl": "https://help.aliyun.com/document_detail/2712515.html", "predictConfig": [ @@ -287,7 +400,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v1\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v1\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -304,16 +417,21 @@ "description": "通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，大模型服务平台会将结果信息存储在结果文件中供客户下载解析。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-async-v2", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "capabilities": [ "TR" ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:05:28.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-async-v2", "docUrl": "https://help.aliyun.com/document_detail/2712516.html", "predictConfig": [ @@ -346,7 +464,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-async-v2\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-async-v2\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -363,16 +481,21 @@ "description": "通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，大模型服务平台会将结果信息存储在结果文件中供客户下载解析。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-async-v1", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "capabilities": [ "TR" ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:04:41.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-async-v1", "docUrl": "https://help.aliyun.com/document_detail/2712516.html", "predictConfig": [ @@ -405,7 +528,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-async-v1\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-async-v1\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } diff --git a/skills/bailian-docs-llm-wiki/models/index.json b/skills/bailian-docs-llm-wiki/models/index.json index c5024785..cb6e4771 100644 --- a/skills/bailian-docs-llm-wiki/models/index.json +++ b/skills/bailian-docs-llm-wiki/models/index.json @@ -1,7 +1,7 @@ { - "updatedAt": "2026-07-16", + "updatedAt": "2026-07-20", "totalFamilies": 170, - "totalModels": 385, + "totalModels": 387, "capabilityDistribution": { "TG": 35, "IG": 30, @@ -21,7 +21,7 @@ "3D-generation": 1 }, "providerDistribution": { - "qwen": 100, + "qwen": 101, "qwen-domain-model": 34, "wan": 13, "happyhorse": 4, @@ -635,20 +635,21 @@ "primaryCapability": "TG", "capabilities": [ "TG", - "Reasoning", - "VU" + "VU", + "Reasoning" ], "providers": [ "moonshot-ai" ], - "itemCount": 4, + "itemCount": 5, "items": [ "kimi/kimi-k2.5", "kimi/kimi-k2.6", "kimi/kimi-k2.7-code", - "kimi/kimi-k2.7-code-highspeed" + "kimi/kimi-k2.7-code-highspeed", + "kimi/kimi-k3" ], - "maxContextWindow": 262144 + "maxContextWindow": 1048576 }, { "slug": "kling-models-market-place", @@ -974,7 +975,7 @@ "items": [ "qwen-audio-3.0-realtime-flash" ], - "maxContextWindow": 8192 + "maxContextWindow": 40960 }, { "slug": "qwen-audio-realtime-plus", @@ -990,7 +991,7 @@ "items": [ "qwen-audio-3.0-realtime-plus" ], - "maxContextWindow": 8192 + "maxContextWindow": 40960 }, { "slug": "qwen-audio-tts", @@ -1080,17 +1081,20 @@ "TR" ], "providers": [ + "qwen", "qwen-domain-model" ], - "itemCount": 6, + "itemCount": 7, "items": [ + "qwen3.7-text-embedding", "text-embedding-async-v1", "text-embedding-async-v2", "text-embedding-v1", "text-embedding-v2", "text-embedding-v3", "text-embedding-v4" - ] + ], + "maxContextWindow": 131072 }, { "slug": "qwen-flash-character", diff --git a/skills/bailian-docs-llm-wiki/models/index.md b/skills/bailian-docs-llm-wiki/models/index.md index 16b4073f..bb3855c1 100644 --- a/skills/bailian-docs-llm-wiki/models/index.md +++ b/skills/bailian-docs-llm-wiki/models/index.md @@ -1,6 +1,6 @@ # 百炼模型市场索引 -> 自动生成 · 共 170 个模型家族 · 385 个主干模型 · 更新于 2026-07-16 +> 自动生成 · 共 170 个模型家族 · 387 个主干模型 · 更新于 2026-07-20 **机器查询走结构化文件**： @@ -20,7 +20,7 @@ join：`models.jsonl[].family == families.jsonl[].slug == index.json.families[]. - [Kimi](groups/Kimi-K2.json) — Kimi是由月之暗面提供的开源模型，包含k2.7-code、k2.6、k2.5、k2-thinking、k2-instruct等多模态和大语言模型。 - 模型：`kimi-k2-thinking`, `kimi-k2.5`, `kimi-k2.6`, `kimi-k2.7-code`, `Moonshot-Kimi-K2-Instruct` - [Kimi](groups/kimi-models-market-place.json) — 由月之暗面提供的Kimi系列模型的API服务。 - - 模型：`kimi/kimi-k2.5`, `kimi/kimi-k2.6`, `kimi/kimi-k2.7-code`, `kimi/kimi-k2.7-code-highspeed` + - 模型：`kimi/kimi-k2.5`, `kimi/kimi-k2.6`, `kimi/kimi-k2.7-code`, `kimi/kimi-k2.7-code-highspeed`, `kimi/kimi-k3` - [MiMo文本模型](groups/xiaomi-models-market-place.json) — 由小米MiMo提供的MiMo文本模型API服务 - 模型：`xiaomi/mimo-v2.5-pro` - [MiniMax文本模型](groups/minimax-models-market-place.json) — 由MiniMax提供的MiniMax-M系列文本模型API服务。 @@ -390,7 +390,7 @@ join：`models.jsonl[].family == families.jsonl[].slug == index.json.families[]. ## 翻译 `TR` — 2 个家族 - [Qwen-Embedding](groups/qwen-embedding.json) — 基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度… - - 模型：`text-embedding-async-v1`, `text-embedding-async-v2`, `text-embedding-v1`, `text-embedding-v2`, `text-embedding-v3`, `text-embedding-v4` + - 模型：`qwen3.7-text-embedding`, `text-embedding-async-v1`, `text-embedding-async-v2`, `text-embedding-v1`, `text-embedding-v2`, `text-embedding-v3`, `text-embedding-v4` - [Qwen-Rerank](groups/qwen-rerank.json) — 基于Qwen LLM底座训练的文本排序模型，对输入的Query和候选Docs进行相关性排序，支持100+语种和长文本输入，适用于文本检索、RAG等场景，效果对齐Qwen家族开源Rerank系列模型。 - 模型：`gte-rerank-v2`, `qwen3-rerank`, `qwen3-vl-rerank` diff --git a/skills/bailian-docs-llm-wiki/models/models.jsonl b/skills/bailian-docs-llm-wiki/models/models.jsonl index 5e7d3d5e..db90620f 100644 --- a/skills/bailian-docs-llm-wiki/models/models.jsonl +++ b/skills/bailian-docs-llm-wiki/models/models.jsonl @@ -73,10 +73,11 @@ {"model":"image-erase-completion","name":"图像擦除补全","family":"image-erase-completion","familyName":"图像擦除补全","provider":"qwen","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2840907.html","detailPath":"groups/image-erase-completion.json"} {"model":"image-instance-segmentation","name":"人物实例分割","family":"image-instance-segmentation","familyName":"人物实例分割","provider":"qwen","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2840906.html","detailPath":"groups/image-instance-segmentation.json"} {"model":"image-out-painting","name":"图像画面扩展","family":"image-out-painting","familyName":"图像画面扩展","provider":"qwen","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2796845.html","detailPath":"groups/image-out-painting.json"} -{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} -{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} -{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","VU","Reasoning"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} -{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"4"},{"type":"output_token","unit":"每百万tokens","price":"21"},{"type":"input_token_cache","unit":"每百万tokens","price":"0.7"}],"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"6.5"},{"type":"output_token","unit":"每百万tokens","price":"27"},{"type":"input_token_cache","unit":"每百万tokens","price":"1.1"}],"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","VU","Reasoning"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"6.5"},{"type":"output_token","unit":"每百万tokens","price":"27"},{"type":"input_token_cache","unit":"每百万tokens","price":"1.3"}],"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"13"},{"type":"output_token","unit":"每百万tokens","price":"54"},{"type":"input_token_cache","unit":"每百万tokens","price":"2.6"}],"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k3","name":"kimi/kimi-k3","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","VU","Reasoning"],"features":["function-calling","structured-outputs","cache","prefix-completion"],"contextWindow":1048576,"maxInputTokens":1048576,"maxOutputTokens":1048576,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"20"},{"type":"output_token","unit":"每百万tokens","price":"100"},{"type":"input_token_cache","unit":"每百万tokens","price":"2"}],"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} {"model":"kling/kling-v3-image-generation","name":"Kling Image 3.0","family":"kling-models-market-place","familyName":"可灵AI","provider":"kling","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image","Text"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","detailPath":"groups/kling-models-market-place.json"} {"model":"kling/kling-v3-omni-image-generation","name":"Kling Image 3.0 Omni","family":"kling-models-market-place","familyName":"可灵AI","provider":"kling","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image","Text"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","detailPath":"groups/kling-models-market-place.json"} {"model":"kling/kling-v3-omni-video-generation","name":"Kling Video 3.0 Omni","family":"kling-models-market-place","familyName":"可灵AI","provider":"kling","capabilities":["VG"],"features":[],"inferenceMetadata":{"response_modality":["Video"],"request_modality":["Image","Text","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","detailPath":"groups/kling-models-market-place.json"} @@ -113,20 +114,21 @@ {"model":"pixverse/pixverse-v6-t2v","name":"PixVerse-V6-t2v","family":"pixverse-v6-market-place","familyName":"PixVerse V6","provider":"pixverse","capabilities":["VG"],"features":[],"inferenceMetadata":{"response_modality":["Video"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","docUrl":"○ https://help.aliyun.com/document_detail/3025608.html","detailPath":"groups/pixverse-v6-market-place.json"} {"model":"qvq-max","name":"QVQ-Max","family":"qvq-max","familyName":"QVQ-Max","provider":"qwen","capabilities":["Reasoning","VU"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":106496,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":60,"count_limit_period":60,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":60,"count_limit_period":60,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2877996.html","detailPath":"groups/qvq-max.json"} {"model":"qvq-plus","name":"QVQ-Plus","family":"qvq-plus","familyName":"Qwen-QVQ-Plus","provider":"qwen","capabilities":["Reasoning","VU"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":106496,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":5,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":5,"count_limit_period":5,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2877996.html","detailPath":"groups/qvq-plus.json"} -{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","family":"qwen-audio-realtime-flash","familyName":"Qwen-Audio-Realtime-Flash","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":8192,"maxInputTokens":4096,"maxOutputTokens":4096,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"30"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"3"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"30"},{"type":"audio_output_token","unit":"每百万tokens","price":"100"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-flash.json"} -{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","family":"qwen-audio-realtime-plus","familyName":"Qwen-Audio-Realtime-Plus","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":8192,"maxInputTokens":4096,"maxOutputTokens":4096,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"40"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"5"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"40"},{"type":"audio_output_token","unit":"每百万tokens","price":"150"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-plus.json"} +{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","family":"qwen-audio-realtime-flash","familyName":"Qwen-Audio-Realtime-Flash","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":40960,"maxInputTokens":16384,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"30"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"3"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"30"},{"type":"audio_output_token","unit":"每百万tokens","price":"100"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-flash.json"} +{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","family":"qwen-audio-realtime-plus","familyName":"Qwen-Audio-Realtime-Plus","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":40960,"maxInputTokens":16384,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"40"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"5"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"40"},{"type":"audio_output_token","unit":"每百万tokens","price":"150"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-plus.json"} {"model":"qwen-audio-3.0-tts-flash","name":"qwen-audio-3.0-tts-flash","family":"qwen-audio-tts","familyName":"Qwen-Audio-TTS","provider":"qwen","capabilities":["Realtime-Text-to-Speech"],"features":[],"inferenceMetadata":{"response_modality":["Audio"],"request_modality":["Text"]},"prices":[{"type":"cosy_tts_number","unit":"每万字符","price":"1"}],"qpmInfo":{"model-default-actual":{"count_limit":3,"count_limit_period":1},"model-default":{"count_limit":3,"count_limit_period":1}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2938790.html","detailPath":"groups/qwen-audio-tts.json"} {"model":"qwen-audio-3.0-tts-plus","name":"qwen-audio-3.0-tts-plus","family":"qwen-audio-tts","familyName":"Qwen-Audio-TTS","provider":"qwen","capabilities":["Realtime-Text-to-Speech"],"features":[],"inferenceMetadata":{"response_modality":["Audio"],"request_modality":["Text"]},"prices":[{"type":"cosy_tts_number","unit":"每万字符","price":"1.4"}],"qpmInfo":{"model-default-actual":{"count_limit":3,"count_limit_period":1},"model-default":{"count_limit":3,"count_limit_period":1}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2938790.html","detailPath":"groups/qwen-audio-tts.json"} {"model":"qwen-coder-plus","name":"Qwen-Coder-Plus","family":"qwen-coder-plus","familyName":"Qwen-Coder-Plus","provider":"qwen-domain-model","capabilities":["TG"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":129024,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2850166.html","detailPath":"groups/qwen-coder-plus.json"} {"model":"qwen-coder-turbo","name":"Qwen-Coder-Turbo","family":"qwen-coder-turbo","familyName":"Qwen-Coder-Turbo","provider":"qwen-domain-model","capabilities":["TG"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":129024,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2850166.html","detailPath":"groups/qwen-coder-turbo.json"} {"model":"qwen-deep-research","name":"qwen-deep-research","family":"qwen-deep-research","familyName":"qwen-deep-research","provider":"qwen-domain-model","capabilities":["TG"],"features":[],"contextWindow":1000000,"maxInputTokens":997952,"maxOutputTokens":32768,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":120,"count_limit_period":60,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":120,"count_limit_period":60,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2975991.html","detailPath":"groups/qwen-deep-research.json"} {"model":"qwen-doc-turbo","name":"Qwen-Doc-Turbo","family":"qwen-doc-turbo","familyName":"Qwen-Doc-Turbo","provider":"qwen-domain-model","capabilities":["TG"],"features":["cache"],"contextWindow":262144,"maxInputTokens":253952,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":60,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":60,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2948885.html","detailPath":"groups/qwen-doc-turbo.json"} -{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v1","name":"通用文本向量-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v2","name":"通用文本向量-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v3","name":"通用文本向量-v3","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v4","name":"通用文本向量-v4","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2842587.html","detailPath":"groups/qwen-embedding.json"} +{"model":"qwen3.7-text-embedding","name":"Qwen3.7-Text-Embedding","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen","capabilities":["TR"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":131072,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"prices":[{"type":"embedding_token","unit":"每百万tokens","price":"0.5"}],"qpmInfo":{"model-default-actual":{"count_limit":2400,"count_limit_period":6,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":2400,"count_limit_period":6,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2842587.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v1","name":"通用文本向量-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.35"},{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v2","name":"通用文本向量-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.35"},{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v3","name":"通用文本向量-v3","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.25"},{"type":"embedding_token","unit":"每百万tokens","price":"0.5"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v4","name":"通用文本向量-v4","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.25"},{"type":"embedding_token","unit":"每百万tokens","price":"0.5"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2842587.html","detailPath":"groups/qwen-embedding.json"} {"model":"qwen-flash-character","name":"Qwen-Flash-Character","family":"qwen-flash-character","familyName":"Qwen-Flash-Character","provider":"qwen","capabilities":["TG"],"features":["model-experience","cache","web-search"],"contextWindow":8192,"maxInputTokens":8000,"maxOutputTokens":4096,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":120,"count_limit_period":60,"usage_limit":500000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":120,"count_limit_period":60,"usage_limit":500000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2874763.html","detailPath":"groups/qwen-flash-character.json"} {"model":"qwen-flash","name":"Qwen-Flash","family":"qwen-flash","familyName":"Qwen-Flash","provider":"qwen","capabilities":["Reasoning","TG"],"features":["model-experience","function-calling","structured-outputs","web-search","prefix-completion","cache","batch"],"contextWindow":1000000,"maxInputTokens":997952,"maxOutputTokens":32768,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":15000,"count_limit_period":30,"usage_limit":5000000,"usage_limit_field":"total_tokens","usage_limit_period":30},"model-default":{"count_limit":15000,"count_limit_period":30,"usage_limit":5000000,"usage_limit_field":"total_tokens","usage_limit_period":30}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712576.html","detailPath":"groups/qwen-flash.json"} {"model":"qwen-image-2.0-pro","name":"Qwen-Image-2.0-Pro","family":"qwen-image-2.0-pro","familyName":"Qwen-Image-2.0-Pro","provider":"qwen","capabilities":["IG"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Text","Image"]},"qpmInfo":{"model-default-actual":{"count_limit":2,"count_limit_period":60},"model-default":{"count_limit":2,"count_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2976416.html","detailPath":"groups/qwen-image-2.0-pro.json"} diff --git a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md new file mode 100644 index 00000000..807c00f2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md @@ -0,0 +1,233 @@ +# AddChunk - 新增切片 + +使用此API可为文档搜索类（document）、数据查询类（table）、图片问答类（image）知识库添加切片。 + +## 接口说明 + +- 对于文档搜索类（document）、数据查询类（table）、图片问答类（image）知识库，本接口可向指定知识库中添加切片内容；目前尚不支持对音视频搜索类（multimedia）知识库进行相关操作。仅当数据源为表格连接器(excel)时，对数据查询与图片问答类型知识库的操作方可生效。 + +- RAM 用户（子账号）需要首先获取阿里云百炼的 [API 权限](https://help.aliyun.com/zh/model-studio/grant-data-access-permission-to-ram-user)（需要`AliyunBailianDataFullAccess`，已包括 sfm:ChunkList 权限点），并[加入一个业务空间](https://help.aliyun.com/zh/model-studio/grant-the-business-space-permission-to-ram-users)后，方可调用本接口。阿里云账号（主账号）可直接调用无须授权。建议您通过最新版[阿里云百炼 SDK](https://api.aliyun.com/api-tools/sdk/bailian?version=2023-12-29)[阿里云百炼 SDK](https://api.alibabacloud.com/api-tools/sdk/bailian?version=2023-12-29)来调用本接口。 + +- 调用本接口前，请确保您的知识库已经创建完成且未被删除（即知识库 ID`IndexId`有效）。 + +- 本接口具有幂等性。 + + +**限流说明：** 本接口频繁调用会被限流，频率请勿超过 10 次/秒。如遇限流，请稍后重试。 + +## 调试 + +[您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。](https://api.aliyun.com/api/bailian/2023-12-29/AddChunk) + + [![](https://img.alicdn.com/tfs/TB16JcyXHr1gK0jSZR0XXbP8XXa-24-26.png) 调试](https://api.aliyun.com/api/bailian/2023-12-29/AddChunk) + +## **授权信息** + +当前API暂无授权信息透出。 + +## 请求语法 + +``` +POST /{WorkspaceId}/chunk/create HTTP/1.1 +``` + +## 路径参数 + +**名称** + +**类型** + +**必填** + +**描述** + +**示例值** + +WorkspaceId + +string + +是 + +工作区标识 + +llm-19hxxxxx7htdf9lh + +## 请求参数 + +**名称** + +**类型** + +**必填** + +**描述** + +**示例值** + +PipelineId + +string + +是 + +知识库 id + +79c0alxxxx + +dataId + +string + +否 + +文件 id + +doc\_xxx + +field + +object + +否 + +插入的切片内容信息，以键值对形式传入。文档搜索类知识库使用固定 key 列表： + +- content（**String**）：**必填**，切片正文内容 + +- title（**String**）**选填**，切片标题 + +- image\_urls（**Array**）：**选填**，切片包含的图片链接，最多 10 张 + + +数据查询类、图片问答类知识库 key 不固定，由该知识库的数据源表格决定：key 为 Excel 列标题，value 为对应列的值。 + +{ "content": "The Bailian platform supports parsing multiple document formats including PDF, Word, and PPT.", "title": "Document Parsing and Chunking", "image\_urls": \[ "https://example.com/images/chunk-flow.png", "https://example.com/images/parsing-result.png" \] } + +any + +否 + +插入切片的表头字段信息，仅数据查询类与图片问答类知识库支持。需要参与检索或参与回复的表头为必填。各类型取值要求： + +- **String 类型** ：最大长度 6000 + +- **时间 类型**：13 位时间戳（毫秒） + +- **Long 类型**：整数，最大 2147483647 + +- **Double 类型**：支持小数 + +- **image\_url 类型**：最多 5 张，多张用英文逗号拼接为一个字符串 + + +{"Product Name": "Wireless Bluetooth Headphones", "Publish Time": 1752624000000, "Stock Quantity": 1580, "Unit Price": 299.99, "image\_url":"https://example.com/images/headphones-front.jpg,https://example.com/images/headphones-side.jpg,https://example.com/images/headphones-package.jpg" } + +## **返回参数** + +**名称** + +**类型** + +**描述** + +**示例值** + +object + +Schema of Response + +RequestId + +string + +请求 id + +35A267BF-xxxx-54DB-8394-AA3B0742D833 + +Code + +string + +错误状态码 + +Index.InvalidParameter + +Message + +string + +错误信息 + +Required parameter(%s) missing or invalid, please check the request parameters. + +Success + +boolean + +接口调用是否成功 + +**枚举值：** + +- true : + + true + +- false : + + false + + +true + +Data + +boolean + +请求成功返回的业务数据 + +**枚举值：** + +- true : + + true + +- false : + + false + + +true + +Status + +string + +接口返回的状态码 + +200 + +## 示例 + +正常返回示例 + +`JSON`格式 + +``` +{ + "RequestId": "35A267BF-xxxx-54DB-8394-AA3B0742D833", + "Code": "Index.InvalidParameter", + "Message": "Required parameter(%s) missing or invalid, please check the request parameters.", + "Success": true, + "Data": true, + "Status": "200" +} +``` + +## 错误码 + +访问[错误中心](https://api.aliyun.com/document/bailian/2023-12-29/errorCode)查看更多错误码。 + +## **变更历史** + +更多信息，参考[变更详情](https://api.aliyun.com/document/bailian/2023-12-29/AddChunk#workbench-doc-change-demo)。 diff --git a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md index 70c29639..8d6507eb 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md +++ b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md @@ -373,3 +373,9 @@ API概述 申请临时文件上传许可 该接口用于高代码部署，其他场景暂不支持。用于申请临时文件上传许可，之后需要自己完成文件上传动作。 + +[AddChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addchunk) + +新增切片 + +使用此API可为文档搜索类（document）、数据查询类（table）、图片问答类（image）知识库添加切片。 diff --git a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md index fa10b5cc..ef5ee20d 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md +++ b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md @@ -78,11 +78,11 @@ **关联操作** -sfm:ChangeParseSetting +sfm:ListCategory -[ChangeParseSetting](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-changeparsesetting) +[ListCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listcategory) -update +list \*全部资源 @@ -92,11 +92,11 @@ update 无 -sfm:UpdateFileTag +sfm:GetIndexJobStatus -[UpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatefiletag) +[GetIndexJobStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexjobstatus) -update +get \*全部资源 @@ -106,11 +106,11 @@ update 无 -sfm:DeleteCategory +sfm:AddCategory -[DeleteCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletecategory) +[AddCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addcategory) -delete +create \*全部资源 @@ -120,11 +120,11 @@ delete 无 -sfm:UpdatePromptTemplate +sfm:GetAlipayUrl -[UpdatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateprompttemplate) +[GetAlipayUrl](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipayurl) -update +none \*全部资源 @@ -134,11 +134,11 @@ update 无 -sfm:SubmitIndexJob +sfm:DeleteMemoryNode -[SubmitIndexJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexjob) +[DeleteMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememorynode) -create +delete \*全部资源 @@ -162,11 +162,11 @@ get 无 -sfm:DeleteChunk +sfm:SubmitIndexJob -[DeleteChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletechunk) +[SubmitIndexJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexjob) -delete +create \*全部资源 @@ -176,11 +176,11 @@ delete 无 -sfm:GetAlipayTransferStatus +sfm:DeleteCategory -[GetAlipayTransferStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipaytransferstatus) +[DeleteCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletecategory) -none +delete \*全部资源 @@ -190,11 +190,11 @@ none 无 -sfm:DeletePromptTemplate +sfm:ListIndexFileDetails -[DeletePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteprompttemplate) +[ListIndexFileDetails](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexfiledetails) -delete +list \*全部资源 @@ -204,11 +204,11 @@ delete 无 -sfm:ListIndex +sfm:UpdateConnector -[ListIndices](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindices) +[UpdateConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateconnector) -list +update \*全部资源 @@ -218,11 +218,11 @@ list 无 -sfm:CreateMemoryNode +sfm:ChangeParseSetting -[CreateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememorynode) +[ChangeParseSetting](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-changeparsesetting) -create +update \*全部资源 @@ -232,11 +232,11 @@ create 无 -sfm:UpdateMemory +sfm:GetMemory -[UpdateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememory) +[GetMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemory) -update +get \*全部资源 @@ -246,11 +246,11 @@ update 无 -sfm:ChunkList +sfm:GetAvailableParserTypes -[ListChunks](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listchunks) +[GetAvailableParserTypes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getavailableparsertypes) -list +get \*全部资源 @@ -260,11 +260,11 @@ list 无 -sfm:ListIndexFileDetails +sfm:UpdateMemory -[ListIndexFileDetails](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexfiledetails) +[UpdateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememory) -list +update \*全部资源 @@ -274,9 +274,9 @@ list 无 -sfm:SubmitIndexAddDocumentsJob +sfm:CreateMemory -[SubmitIndexAddDocumentsJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexadddocumentsjob) +[CreateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememory) create @@ -288,11 +288,11 @@ create 无 -sfm:UpdateIndex +sfm:ApplyFileUploadLease -[UpdateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateindex) +[ApplyFileUploadLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applyfileuploadlease) -update +none \*全部资源 @@ -316,25 +316,11 @@ list 无 -sfm:Retrieve - -[Retrieve](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-retrieve) - -none - -\*全部资源 - -`*****` - -无 - -无 - -sfm:AddConnector +sfm:DeleteConnector -[AddConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addconnector) +DeleteConnector -create +delete \*全部资源 @@ -344,11 +330,11 @@ create 无 -sfm:ListMemories +sfm:BatchUpdateFileTag -[ListMemories](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemories) +[BatchUpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-batchupdatefiletag) -list +update \*全部资源 @@ -372,11 +358,11 @@ create 无 -sfm:UpdateConnector +sfm:DeleteChunk -[UpdateConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateconnector) +[DeleteChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletechunk) -update +delete \*全部资源 @@ -386,9 +372,9 @@ update 无 -sfm:DeleteFile +sfm:DeleteMemory -[DeleteFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefile) +[DeleteMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememory) delete @@ -400,11 +386,11 @@ delete 无 -sfm:AddCategory +sfm:DeletePromptTemplate -[AddCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addcategory) +[DeletePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteprompttemplate) -create +delete \*全部资源 @@ -414,11 +400,11 @@ create 无 -sfm:BatchUpdateFileTag +sfm:ListMemories -[BatchUpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-batchupdatefiletag) +[ListMemories](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemories) -update +list \*全部资源 @@ -428,11 +414,11 @@ update 无 -sfm:ListIndexFiles +sfm:AddConnector -[ListIndexDocuments](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexdocuments) +[AddConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addconnector) -list +create \*全部资源 @@ -442,11 +428,11 @@ list 无 -sfm:ListMemoryNodes +sfm:GetConnector -[ListMemoryNodes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemorynodes) +[GetConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getconnector) -list +get \*全部资源 @@ -456,11 +442,11 @@ list 无 -sfm:DescribeFile +sfm:UpdatePromptTemplate -[DescribeFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-describefile) +[UpdatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateprompttemplate) -none +update \*全部资源 @@ -470,11 +456,11 @@ none 无 -sfm:CreateIndex +sfm:DeleteFiles -[CreateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createindex) +[DeleteFiles](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefiles) -create +delete \*全部资源 @@ -484,11 +470,11 @@ create 无 -sfm:ListCategory +sfm:GetMemoryNode -[ListCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listcategory) +[GetMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemorynode) -list +get \*全部资源 @@ -498,11 +484,11 @@ list 无 -sfm:AddTable +sfm:ApplyTempStorageLease -[AddTable](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addtable) +[ApplyTempStorageLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applytempstoragelease) -create +none \*全部资源 @@ -512,11 +498,11 @@ create 无 -sfm:UpdateMemoryNode +sfm:DeleteFile -[UpdateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememorynode) +[DeleteFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefile) -update +delete \*全部资源 @@ -526,11 +512,11 @@ update 无 -sfm:GetAvailableParserTypes +sfm:AddFilesFromAuthorizedOss -[GetAvailableParserTypes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getavailableparsertypes) +[AddFilesFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addfilesfromauthorizedoss) -get +create \*全部资源 @@ -540,11 +526,11 @@ get 无 -sfm:DeleteMemory +sfm:CreateMemoryNode -[DeleteMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememory) +[CreateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememorynode) -delete +create \*全部资源 @@ -554,11 +540,11 @@ delete 无 -sfm:DeleteConnector +sfm:UpdateChunk -DeleteConnector +[UpdateChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatechunk) -delete +update \*全部资源 @@ -568,11 +554,11 @@ delete 无 -sfm:UpdateTableFromAuthorizedOss +sfm:ListCategory -[UpdateTableFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatetablefromauthorizedoss) +[ListCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listcategory) -update +list \*全部资源 @@ -582,11 +568,11 @@ update 无 -sfm:ApplyTempStorageLease +sfm:GetIndexJobStatus -[ApplyTempStorageLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applytempstoragelease) +[GetIndexJobStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexjobstatus) -none +get \*全部资源 @@ -596,9 +582,9 @@ none 无 -sfm:GetConnector +sfm:GetParseSettings -[GetConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getconnector) +[GetParseSettings](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getparsesettings) get @@ -610,11 +596,11 @@ get 无 -sfm:DeleteMemoryNode +sfm:GetAlipayUrl -[DeleteMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememorynode) +[GetAlipayUrl](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipayurl) -delete +none \*全部资源 @@ -624,11 +610,11 @@ delete 无 -sfm:GetMemory +sfm:AddCategory -[GetMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemory) +[AddCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addcategory) -get +create \*全部资源 @@ -638,11 +624,11 @@ get 无 -sfm:DeleteIndex +sfm:SubmitIndexJob -[DeleteIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindex) +[SubmitIndexJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexjob) -none +create \*全部资源 @@ -652,9 +638,9 @@ none 无 -sfm:UpdateChunk +sfm:ChangeParseSetting -[UpdateChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatechunk) +[ChangeParseSetting](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-changeparsesetting) update @@ -666,9 +652,9 @@ update 无 -sfm:DeleteIndexDocument +sfm:DeleteMemoryNode -[DeleteIndexDocument](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindexdocument) +[DeleteMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememorynode) delete @@ -680,11 +666,11 @@ delete 无 -sfm:GetMemoryNode +sfm:UpdateConnector -[GetMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemorynode) +[UpdateConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateconnector) -get +update \*全部资源 @@ -694,9 +680,9 @@ get 无 -sfm:GetIndexJobStatus +sfm:GetMemory -[GetIndexJobStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexjobstatus) +[GetMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemory) get @@ -708,11 +694,11 @@ get 无 -sfm:ApplyFileUploadLease +sfm:ListIndexFileDetails -[ApplyFileUploadLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applyfileuploadlease) +[ListIndexFileDetails](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexfiledetails) -none +list \*全部资源 @@ -722,11 +708,25 @@ none 无 -sfm:GetPromptTemplate +sfm:DeleteConnector -[GetPromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getprompttemplate) +DeleteConnector -get +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateMemory + +[UpdateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememory) + +update \*全部资源 @@ -750,9 +750,79 @@ create 无 -sfm:GetAlipayUrl +sfm:ListFile -[GetAlipayUrl](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipayurl) +[ListFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listfile) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteChunk + +[DeleteChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletechunk) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetAvailableParserTypes + +[GetAvailableParserTypes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getavailableparsertypes) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteCategory + +[DeleteCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletecategory) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListMemories + +[ListMemories](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemories) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ApplyFileUploadLease + +[ApplyFileUploadLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applyfileuploadlease) none @@ -764,11 +834,11 @@ none 无 -sfm:CreatePromptTemplate +sfm:BatchUpdateFileTag -[CreatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createprompttemplate) +[BatchUpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-batchupdatefiletag) -create +update \*全部资源 @@ -778,9 +848,9 @@ create 无 -sfm:GetIndexMonitor +sfm:GetConnector -[GetIndexMonitor](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexmonitor) +[GetConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getconnector) get @@ -792,6 +862,48 @@ get 无 +sfm:GetMemoryNode + +[GetMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemorynode) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:AddFile + +[AddFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addfile) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:AddConnector + +[AddConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addconnector) + +create + +\*全部资源 + +`*****` + +无 + +无 + sfm:DeleteFiles [DeleteFiles](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefiles) @@ -806,6 +918,48 @@ delete 无 +sfm:DeleteFile + +[DeleteFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefile) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeletePromptTemplate + +[DeletePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteprompttemplate) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdatePromptTemplate + +[UpdatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateprompttemplate) + +update + +\*全部资源 + +`*****` + +无 + +无 + sfm:AddFilesFromAuthorizedOss [AddFilesFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addfilesfromauthorizedoss) @@ -820,6 +974,174 @@ create 无 +sfm:CreateMemoryNode + +[CreateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememorynode) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteMemory + +[DeleteMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememory) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateChunk + +[UpdateChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatechunk) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ApplyTempStorageLease + +[ApplyTempStorageLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applytempstoragelease) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetIndexMonitor + +[GetIndexMonitor](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexmonitor) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:Retrieve + +[Retrieve](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-retrieve) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteIndex + +[DeleteIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindex) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListMemoryNodes + +[ListMemoryNodes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemorynodes) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListIndex + +[ListIndices](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindices) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateMemoryNode + +[UpdateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememorynode) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetPromptTemplate + +[GetPromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getprompttemplate) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:CreateIndex + +[CreateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createindex) + +create + +\*全部资源 + +`*****` + +无 + +无 + sfm:ListPromptTemplates [ListPromptTemplates](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listprompttemplates) @@ -834,6 +1156,160 @@ list 无 +sfm:DeleteIndexDocument + +[DeleteIndexDocument](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindexdocument) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:SubmitIndexAddDocumentsJob + +[SubmitIndexAddDocumentsJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexadddocumentsjob) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateFileTag + +[UpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatefiletag) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateTableFromAuthorizedOss + +[UpdateTableFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatetablefromauthorizedoss) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListIndexFiles + +[ListIndexDocuments](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexdocuments) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateIndex + +[UpdateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateindex) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DescribeFile + +[DescribeFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-describefile) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ChunkList + +[ListChunks](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listchunks) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:AddTable + +[AddTable](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addtable) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:CreatePromptTemplate + +[CreatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createprompttemplate) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetAlipayTransferStatus + +[GetAlipayTransferStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipaytransferstatus) + +none + +\*全部资源 + +`*****` + +无 + +无 + ## 资源（Resource） 下表是_大模型服务平台百炼_定义的资源，这些资源可以在 RAM 权限策略语句的`Resource`元素中使用，用来授予对该资源执行具体操作的权限。 其中，资源 ARN 是资源在阿里云上的唯一标识。具体说明如下： diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md index 587f5b5c..0d68fb2b 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md @@ -171,7 +171,7 @@ Fun-ASR、通义千问3-ASR-Flash-Realtime 语音合成 -CosyVoice-v3-Plus、通义千问3-TTS 系列 +Qwen-Audio-3.0-TTS-Plus、Qwen-Audio-3.0-TTS-Flash、CosyVoice-v3.5-Plus、CosyVoice-v3.5-Flash、CosyVoice-v3-Plus、通义千问3-TTS 系列 3x diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/lingque-ccai-dialogue-analytics-ram-subaccount-usage-and-authorization-procedures.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-and-authorize-ram-users-for-ccai-dialogue-analysis.md similarity index 100% rename from skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/lingque-ccai-dialogue-analytics-ram-subaccount-usage-and-authorization-procedures.md rename to skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-and-authorize-ram-users-for-ccai-dialogue-analysis.md diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md index 29f6ac10..36597cef 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md @@ -271,7 +271,45 @@ ### **2.2 模型调用费用** -在创建、更新、检索、命中测试知识库时，会调用向量模型（用于内容向量化）和排序模型（Rerank，用于重排序），这些调用会产生费用。 +在创建、更新、检索知识库以及使用知识问答服务时，会调用以下模型，这些调用会产生独立于规格费用之外的模型调用费用： + +**模型类别** + +**模型名称** + +**用途** + +**向量模型** + +[text-embedding-v4](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v4)等 + +文档类知识库的文本向量化 + +[qwen3-vl-embedding](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-embedding) + +图片问答类、音视频搜索类知识库的多模态向量化 + +**排序模型** + +[qwen3-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank) + +文档类知识库检索结果的二次排序（可选） + +[qwen3-vl-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-rerank) + +图片问答类、音视频搜索类知识库检索结果的二次排序（可选） + +**路由模型** + +[qwen-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-plus-latest) + +开启知识库路由时，系统调用 qwen-plus 判断查询应路由至哪些知识库 + +**问答模型** + +[qwen3.7-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3.7-plus?serviceSite=asia-pacific-china) 等 + +知识问答服务中生成回答的大语言模型，由用户在应用中自行选择 **重要** @@ -281,20 +319,28 @@ **多个知识库计费规则：**阿里云百炼应用挂载了多个知识库时，会在多个知识库内执行检索，Token 消耗量（Query 向量化和 Rerank 排序）**按知识库数量倍数增加**（N 个知识库则消耗量 × N）。 -#### **2.2.1 创建/更新知识库** +#### **2.2.1 知识管理（创建与更新知识库）** - **调用场景：**上传新文件或增量更新时，调用向量模型对文本内容进行向量化处理。 - **计费说明：按新增内容的 Token 数量计费。**删除文件不产生模型调用费用。 +- **调用的模型：** + + - 文档搜索类知识库：[text-embedding-v4](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v4) 或 [text-embedding-v3](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v3)（文本向量模型）。 + + - 图片问答类、音视频搜索类知识库：[qwen3-vl-embedding](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-embedding)（多模态向量模型）。 + -#### **2.2.2 检索知识库** +#### **2.2.2 知识检索** - **调用场景** - 1. 调用向量模型，对用户的查询（Query）进行向量化。 + 1. **向量化：**调用向量模型，对用户的查询（Query）进行向量化。 + + 2. **知识库路由（可选）：**若应用关联了多个知识库并开启了知识库路由功能，系统会调用 [qwen-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-plus-latest) 判断用户查询应路由至哪些知识库，该调用按 qwen-plus 的 Token 用量计费。 - 2. 调用排序模型（Rerank），对初步检索到的结果进行重新排序，以提升最终答案的精准度。 + 3. **排序（可选）：**调用排序模型对初步检索到的结果进行重新排序，以提升最终答案的精准度。文档搜索类知识库使用 [qwen3-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank)，图片问答类和音视频搜索类知识库使用 [qwen3-vl-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-rerank)。 - **计费说明** @@ -304,7 +350,7 @@ - **检索流程与计费关系详解** - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0647879771/CAEQaxiBgMCFrtjd3BkiIDA2ZWRiNzYxYzZiNzRkNGM5Mzg4NGQ5ZjhlODBlOWZj6139615_20260107153729.136.svg) + ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6004524871/CAEQaxiBgMCFrtjd3BkiIDA2ZWRiNzYxYzZiNzRkNGM5Mzg4NGQ5ZjhlODBlOWZj6139615_20260107153729.136.svg) 1. **初步召回** 系统根据以下参数从知识库中召回文本切片： @@ -328,7 +374,22 @@ Rerank 模型排序后，系统会根据**最终召回最大数量**参数（例如 5）返回相应数量的切片。 -#### **2.2.3 费用优化建议** +#### **2.2.3 知识问答** + +通过百炼应用（智能体应用、工作流应用）使用知识库进行问答时，除了检索阶段的模型费用外，还会产生以下模型调用费用： + +- **问答生成模型：**系统根据您在应用中选择的问答模型（如 qwen-plus 等）生成回答，按该模型的 Token 用量计费。具体价格以[模型计费标准](https://help.aliyun.com/zh/model-studio/model-pricing)为准。 + +- **预文件解析（可选）：**当用户在对话中上传文件并开启预文件解析功能时，系统会调用 [qwen3-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank) 对文件内容进行排序处理，按排序模型的 Token 用量计费。 + +- **知识库路由（可选）：**若应用关联了多个知识库并开启了路由功能，系统会调用 [qwen-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-plus-latest) 进行路由判断（详见 [2.2.2 知识检索](#c868ef3a653qx)）。 + + +**重要** + +知识问答服务的完整费用 = **规格费用**（知识库运行时长）+ **检索阶段的模型费用**（向量化 + 排序 + 路由）+ **问答阶段的模型费用**（问答生成 + 预文件解析）。各模型费用按实际 Token 消耗量独立计算，请关注[模型计费标准](https://help.aliyun.com/zh/model-studio/model-pricing)了解各模型的单价。 + +#### **2.2.4 费用优化建议** 有以下两种方式： @@ -366,6 +427,19 @@ 点击知识库卡片上的**命中测试**，进入配置调试页面进行测试，会产生相应的模型（向量模型、排序模型）调用计费。 +#### **2.2.5 节省计划抵扣说明** + +知识库使用的向量模型（如 text-embedding-v4）和排序模型（如 qwen3-rerank）属于百炼平台 A 类模型，其调用费用支持通过以下节省计划抵扣： + +- **AI 通用型节省计划**（推荐）：覆盖 A 类全部模型（含文本向量、多模态向量、排序模型），按月承诺消费享阶梯折扣。详情请参见[节省计划与资源包](https://help.aliyun.com/zh/model-studio/savings-plan-and-resource-package)。 + +- **向量及排序模型节省计划**：专门针对向量和排序模型的节省计划，一次性购买固定金额。详情请参见[节省计划与资源包 > 向量及排序模型节省计划](https://help.aliyun.com/zh/model-studio/savings-plan-and-resource-package)。 + + +**说明** + +节省计划仅可抵扣模型调用费用，不可抵扣知识库的规格费用（运行时长费用）。规格费用的优化请参见[资源包](#a06c023507qq3)。 + ## 3\. 计费示例 ### 3.1 连续运行 1 天 @@ -396,7 +470,7 @@ ### 3.2 创建、更新与检索知识库 -基于 **text-embedding-v4**（向量模型）与 **qwen3-rerank**（排序模型），价格均为 **0.0005 元/千 Token**。 +以下示例基于文档搜索类知识库，使用 [**text-embedding-v4**](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v4)（向量模型）与 [**qwen3-rerank**](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank)（排序模型），价格均为 **0.0005 元/千 Token**。图片问答类和音视频搜索类知识库使用的多模态模型（[qwen3-vl-embedding](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-embedding)、[qwen3-vl-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-rerank)）价格请参见对应模型详情页。 **计费逻辑**：费用 = Token 消耗量（以“千 Token”为单位） × 模型单价 @@ -550,7 +624,7 @@ 5. **为什么我的排序（Rerank）费用特别高？如何降低模型调用费用？** - 排序（Rerank）模型的费用与您最终返回的结果数量无关，而是由**初步召回**的文本切片总数决定的。降低模型调用费用详见本文[2.2.3 费用优化建议](#9a9e30ecc3pbe)内容。 + 排序（Rerank）模型的费用与您最终返回的结果数量无关，而是由**初步召回**的文本切片总数决定的。降低模型调用费用详见本文[2.2.4 费用优化建议](#9a9e30ecc3pbe)内容。 6. **如何彻底停止知识库的计费？删除库内文件可以吗？** diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md index c5cdc98d..73ce26f5 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md @@ -62,7 +62,7 @@ 2. 填写**知识库名称**和**知识库描述**，其余设置保持默认，点击**下一步**。 -3. 选择**默认类目**，上传[阿里云百炼系列手机产品介绍.docx](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250603/duuuxk/%E9%98%BF%E9%87%8C%E4%BA%91%E7%99%BE%E7%82%BC%E7%B3%BB%E5%88%97%E6%89%8B%E6%9C%BA%E4%BA%A7%E5%93%81%E4%BB%8B%E7%BB%8D.docx)文件。点击**下一步**，然后点击**完成**。 +3. 选择**配置类目**，上传[阿里云百炼系列手机产品介绍.docx](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250603/duuuxk/%E9%98%BF%E9%87%8C%E4%BA%91%E7%99%BE%E7%82%BC%E7%B3%BB%E5%88%97%E6%89%8B%E6%9C%BA%E4%BA%A7%E5%93%81%E4%BB%8B%E7%BB%8D.docx)文件。点击**下一步**，然后点击**完成**。 ### 2\. 集成到业务应用 @@ -184,12 +184,10 @@ 2. **填写基础信息** - 根据应用场景选择合适的**知识库类型**（单一知识库不支持同时选择多个类型）。选择**文档搜索**类型后，还需选择**使用场景**（基础文档问答、图文并茂回复、视觉理解（富文本文档）或极速问答）： + 根据应用场景选择合适的**知识库类型**（单一知识库不支持同时选择多个类型）。选择**文档搜索**类型后，还需选择**使用场景**（基础文档问答、视觉理解（富文本文档）或极速问答）： - **基础文档问答：**适用于纯文本文档的语义检索。 - - **图文并茂回复：**适用于需要返回图文混排内容的场景。 - - **视觉理解（富文本文档）：**使用多模态向量模型对 PDF、图片等富文本文档进行视觉级理解和索引，保留原始版面信息。适合含有复杂排版、图表、公式的文档，支持文字、图片和图文组合三种命中测试模式。 - **极速问答：**针对检索速度进行优化，适合高度结构化或简单文档类型（如 FAQ、产品参数表等），提供极速低延时的问答体验。索引配置与基础文档问答一致，差异在于后端检索策略针对低延迟场景进行了专项优化。仅支持文本查询，不支持图片输入。 @@ -466,7 +464,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ## **相似度阈值** @@ -534,7 +532,7 @@ > 文档搜索类知识库无法实现此效果。 - - 支持导入多个Excel文件，但要求各文件的**表结构完全一致**。 + - 支持导入单份xlsx、xls格式的文档，文件大小限制20MB以内。 - **选择连接器：**选择指定的数据连接器。如尚未创建数据连接器，请参阅[数据连接](https://help.aliyun.com/zh/model-studio/data-connection)。 @@ -609,7 +607,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ### **相似度阈值** @@ -721,7 +719,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ### **相似度阈值** @@ -865,7 +863,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ### **相似度阈值** @@ -894,7 +892,7 @@ - **使用场景**可根据需求选择**基础文档问答**、**图文并茂回复**、**视觉理解（富文本文档）**或**极速问答**（适用于高度结构化或简单文档类型，任务明确，提供极低延迟的问答体验）。 + **使用场景**可根据需求选择**基础文档问答**、**视觉理解（富文本文档）**或**极速问答**（适用于高度结构化或简单文档类型，任务明确，提供极低延迟的问答体验）。 在请求高峰时段，创建过程可能需要数小时（取决于数据量），请耐心等待。 @@ -905,11 +903,15 @@ ## **文档搜索类知识库** -- **自动更新（推荐）** +1. **自动更新（推荐）** - 通过对象存储OSS管理文件，借助函数计算 FC 监听文件变更事件，自动同步更新至知识库，实现知识的实时更新。详见[告别手动操作，让AI知识库自动更新](https://www.aliyun.com/solution/tech-solution/auto-updated-knowledge-base)。 + 通过对象存储OSS类型连接器监听OSS内数据变动，自动同步更新至知识库，实现知识的实时更新。操作步骤如下： -- **手动更新** + 1. **创建连接器：**前往[创建连接器](https://bailian.console.aliyun.com/cn-beijing?tab=app#/connector/create)，创建**OSS**类型的连接器并选择进行监听的Bucket。 + + 2. **创建知识库：**创建一个知识库，在**选择数据**步骤的**数据来源**选项选择创建完成的OSS类型的连接器。 + +2. **手动更新** 在[知识库](https://bailian.console.aliyun.com/?tab=app#/knowledge-base)页面，找到目标知识库，单击卡片上的**查看详情**。 @@ -1230,22 +1232,12 @@ **方式一（仅适用智能体应用）** - 1. 在[构建知识库](#c0fa1080aerzp)时，知识库类型选择**文档搜索**，使用场景选择**图文并茂回复**。 - - > 选择图文并茂回复后，知识库将从文件插图中提取摘要，大模型根据摘要与问题的相关性自主决定是否插入图片。 + 1. 在[构建知识库](#c0fa1080aerzp)时，知识库类型选择**文档搜索**，使用场景选择**视觉理解（富文本文档）**。 - **重要** - - 上传文档时不能选择**电子文档解析**，否则无法获取图片内容。电子文档解析不识别文档中的图片，会导致图文并茂回复功能无法正常使用。 + > 选择视觉理解（富文本文档）回复后，知识库将从文件插图中提取摘要，大模型根据摘要与问题的相关性自主决定是否插入图片。 2. 创建或编辑智能体应用时，选择**千问-Plus**或**千问-Plus-Latest**模型（经测试，两款模型效果最佳）。点击**文档知识库**右侧的**+**按钮，添加上一步构建的知识库。 - **说明** - - 召回长度须小于文档实际长度。若召回长度超过文档实际长度，系统将直接返回完整文档内容，不执行图文并茂的逻辑判断。 - - > 注意：当前"图文并茂回复"与"展示回答来源"功能暂不支持同时开启。 - 3. 实际问答效果： ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1699676371/p903021.png) diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md index ede0fcdc..48466f2f 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md @@ -1,4 +1,4 @@ -# 新版智能体应用（Agent 2.0） +# 新版智能体应用 新版智能体应用（Agent 2.0）将知识库、MCP 等多种能力统一为工具，并通过自主思考和规划来调用，以解决复杂任务。 @@ -53,7 +53,7 @@ - **最长回复长度**：模型生成的长度限制，不包含提示词。 - - **temperature**：控制生成随机性和多样性，数值越高随机性越强。 + - **温度系数**：控制生成随机性和多样性，数值越高随机性越强。 - **enable\_thinking**：是否开启思考模式。开启思考模式有助于提升智能体的反思效果。不支持思考模式的模型无法配置 enable\_thinking 参数。 @@ -245,3 +245,15 @@ - 意图与技能的相关性：请评估问题的表述是否清晰，其意图是否能明确指向特定技能。如果意图模糊或与技能功能不相关，模型可能选择不调用。 - 执行轮次限制：请检查是否达到了 ReAct 轮次上限。智能体可能已规划调用该技能，但在执行到该步骤前因轮次耗尽而被强制终止。 + + +### 智能体应用是否支持上下文缓存？ + +支持**隐式缓存**，暂不支持在应用中配置**显式缓存**。 + +- **隐式缓存**：智能体在调用支持隐式缓存的模型时会自动生效，无需任何配置、也无法关闭。系统会自动识别并缓存请求的公共前缀（如相同的系统提示词、多轮对话历史、知识库召回内容等），命中缓存的输入 Token 按标准输入单价的 20% 计费，可相应降低模型调用成本。 + +- **显式缓存**：需要在模型调用请求中主动为指定内容创建缓存标记。智能体应用由平台统一构造模型请求，暂不支持配置显式缓存。 + + +上下文缓存的工作模式、支持的模型及计费详情，请参见[上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md index 2872f1a4..2f03243c 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md @@ -143,7 +143,7 @@ 提交单个语音实时转写任务，通过传入本地文件的方式同步阻塞地拿到转写结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9365892871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1744724871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) 实例化[Recognition类](#adcb5e9bddbyq)，调用`call`方法绑定[请求参数](#d72d661a1brzp)和待识别文件，进行识别并最终获取识别结果。 @@ -161,7 +161,7 @@ import java.io.File; public class Main { public static void main(String[] args) { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; // 创建Recognition实例 Recognition recognizer = new Recognition(); // 创建RecognitionParam @@ -200,7 +200,7 @@ public class Main { 提交单个语音实时转写任务，通过实现回调接口的方式流式输出实时识别结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9365892871/CAEQURiBgID1ooWUpxkiIDcyOTEyYjZiZmUxNzRkZjVhMTNhYmNkYjI2NzYzYTMy4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1744724871/CAEQURiBgID1ooWUpxkiIDcyOTEyYjZiZmUxNzRkZjVhMTNhYmNkYjI2NzYzYTMy4709861_20241015153444.149.svg) 1. 启动流式语音识别 @@ -244,7 +244,7 @@ import java.util.concurrent.TimeUnit; public class Main { public static void main(String[] args) throws InterruptedException { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; ExecutorService executorService = Executors.newSingleThreadExecutor(); executorService.submit(new RealtimeRecognitionTask()); executorService.shutdown(); @@ -364,7 +364,7 @@ class TimeUtils { public class Main { public static void main(String[] args) throws InterruptedException { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; ExecutorService executorService = Executors.newSingleThreadExecutor(); executorService.submit(new RealtimeRecognitionTask(Paths.get(System.getProperty("user.dir"), "asr_example.wav"))); executorService.shutdown(); @@ -503,7 +503,7 @@ import java.nio.ByteBuffer; public class Main { public static void main(String[] args) throws NoApiKeyException { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; // 创建一个Flowable Flowable audioSource = Flowable.create( diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md index bba41596..65c45077 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md @@ -143,7 +143,7 @@ 提交单个语音实时转写任务，通过传入本地文件的方式同步阻塞地拿到转写结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6455892871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5924724871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) 实例化[Recognition类](#d6bc1f133f871)绑定[请求参数](#555007db2033f)，调用`call`进行识别/翻译并最终获取[识别结果（RecognitionResult）](#bc3e1a43d6hhy)。 @@ -155,7 +155,7 @@ from http import HTTPStatus from dashscope.audio.asr import Recognition # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 -dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" +dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference" # 若没有将API Key配置到环境变量中，需将下面这行代码注释放开，并将apiKey替换为自己的API Key # import dashscope @@ -170,10 +170,12 @@ recognition = Recognition(model='paraformer-realtime-v2', result = recognition.call('asr_example.wav') if result.status_code == HTTPStatus.OK: print('识别结果：') - print(result.get_sentence()) + sentences = result.get_sentence() + for sentence in sentences: + print(sentence['text']) else: print('Error: ', result.message) - + print( '[Metric] requestId: {}, first package delay ms: {}, last package delay ms: {}' .format( @@ -183,11 +185,15 @@ print( )) ``` +`result.get_sentence()`在非流式调用（`call`）中返回**句子列表**（`List[Dict]`），每个元素为`Dict[str, Any]`，包含`text`（识别文本）、`begin_time` / `end_time`（时间戳）、`words`（字时间戳）等字段。如需获取识别文本，需遍历列表并通过`sentence['text']`提取。 + +在流式回调（`on_event`）中，`result.get_sentence()`返回**单句信息**（`Dict[str, Any]`），可直接使用`sentence['text']`获取识别文本。两种调用模式的返回值类型不同，详见[识别结果（RecognitionResult）](#bc3e1a43d6hhy)中的`get_sentence`方法说明。 + ### **双向流式调用** 提交单个语音实时转写任务，通过实现回调接口的方式流式输出实时识别结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6455892871/CAEQURiBgIDvi..2pxkiIGE4NTc3Njg4ZGM2YzQ2NzVhZGI3MzE2YWUwYTA3OGEy4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5924724871/CAEQURiBgIDvi..2pxkiIGE4NTc3Njg4ZGM2YzQ2NzVhZGI3MzE2YWUwYTA3OGEy4709861_20241015153444.149.svg) 1. 启动流式语音识别 @@ -221,7 +227,7 @@ import dashscope import pyaudio from dashscope.audio.asr import * # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 -dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" +dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference" mic = None stream = None @@ -349,7 +355,7 @@ import os import time from dashscope.audio.asr import * # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 -dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" +dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference" # 若没有将API Key配置到环境变量中，需将下面这行代码注释放开，并将apiKey替换为自己的API Key # import dashscope diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md index 4a80c542..85bb048c 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md @@ -70,7 +70,7 @@ try: # 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key # 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：api_key = "sk-xxx", api_key=os.getenv("DASHSCOPE_API_KEY"), - # 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", ) @@ -130,7 +130,7 @@ const client = new OpenAI({ // 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key // 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：apiKey: "sk-xxx", apiKey: process.env.DASHSCOPE_API_KEY, - // 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 baseURL: "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", }); @@ -157,11 +157,9 @@ async function main() { // stream_options: { // "include_usage": true // }, - extra_body: { - asr_options: { - // language: "zh", - enable_itn: false - } + asr_options: { + // language: "zh", + enable_itn: false } }); @@ -191,7 +189,7 @@ main(); #### cURL -以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 +以下为华北2（北京）地域的配置，调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)，各地域的配置不同。 ``` curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/chat/completions' \ @@ -301,7 +299,7 @@ try: # 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key # 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：api_key = "sk-xxx", api_key=os.getenv("DASHSCOPE_API_KEY"), - # 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", ) @@ -364,8 +362,8 @@ const client = new OpenAI({ // 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key // 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：apiKey: "sk-xxx", apiKey: process.env.DASHSCOPE_API_KEY, - // 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 - baseURL: "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 + baseURL: "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", }); const encodeAudioFile = (audioFilePath) => { @@ -399,11 +397,9 @@ async function main() { // stream_options: { // "include_usage": true // }, - extra_body: { - asr_options: { - // language: "zh", - enable_itn: false - } + asr_options: { + // language: "zh", + enable_itn: false } }); @@ -443,7 +439,7 @@ main(); System Message `_object_`（可选） -模型的目标或角色。如果设置系统消息，请放在messages列表的第一位。 +用于为语音识别提供上下文（Context），如背景文本和实体词表等参考信息，不支持设置模型角色等传统系统提示词。如果设置系统消息，请放在messages列表的第一位。 **属性** @@ -909,14 +905,6 @@ curl -X POST "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services "model": "qwen3-asr-flash", "input": { "messages": [ - { - "content": [ - { - "text": "" - } - ], - "role": "system" - }, { "content": [ { @@ -981,7 +969,7 @@ public class Main { } public static void main(String[] args) { try { - // 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; simpleMultiModalConversationCall(); } catch (ApiException | NoApiKeyException | UploadFileException e) { @@ -998,7 +986,7 @@ public class Main { import os import dashscope -# 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 +# 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' messages = [ @@ -1035,7 +1023,7 @@ print(response) System Message `_object_`（可选） -模型的目标或角色。如果设置系统消息，请放在messages列表的第一位。 +用于为语音识别提供上下文（Context），如背景文本和实体词表等参考信息，不支持设置模型角色等传统系统提示词。如果设置系统消息，请放在messages列表的第一位。 仅千问3-ASR-Flash支持该参数。 @@ -2010,6 +1998,14 @@ print(response.json()) + + + + + + + + 详情参见[异步调用识别结果说明](#2c27ad3e80p4y)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md index 3d4ec241..2c798bb3 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md @@ -277,7 +277,7 @@ API Key。建议使用时效性短、安全性更高的[临时API Key](https://h 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -394,7 +394,7 @@ SSML 的使用限制（支持的模型、音色和接口），请参见[使用 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 > 时间戳结果在[INativeStreamInputTtsCallback](#secstreamcallback)的all\_response中。 @@ -440,7 +440,7 @@ cosyvoice-v1不支持该参数。 - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -460,9 +460,15 @@ cosyvoice-v1不支持该参数。 - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 `instruction` @@ -834,6 +840,7 @@ STREAM\_INPUT\_TTS\_EVENT\_TASK\_FAILED - 解压 ZIP 包。在 `app/libs` 目录中获取 AAR 格式 SDK，并添加到项目依赖。 需要 Android CPP 接入时，使用 ZIP 包内的 `android_libs` 与 `android_include` 获取动态库和头文件。 + - 用 Android Studio 打开工程。示例代码位于`DashCosyVoiceStreamTtsActivity.java`，替换 API Key 后体验功能。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md index dabe4c85..a0503061 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md @@ -91,7 +91,7 @@ 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -173,7 +173,7 @@ SSML 的使用限制（支持的模型、音色和接口），请参见[使用 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **seed** `_integer_` （可选） @@ -209,7 +209,7 @@ cosyvoice-v1不支持该参数。 - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -229,9 +229,15 @@ cosyvoice-v1不支持该参数。 - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 **instruction** `_string_` （可选） diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md index 5a534022..6631da6e 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md @@ -243,7 +243,7 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 语音合成所使用的音色。 - - **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) + - **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -360,7 +360,7 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 默认值：false。 - 仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 + 仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 > 时间戳结果在[onStreamInputTtsEventCallback](#bea29bbafcosq)的all\_response中。 @@ -406,7 +406,7 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 - zh：中文 - - en：英文 + - en：英语 - fr：法语 @@ -426,9 +426,15 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 - vi：越南语 + - es：西班牙语 + - it：意大利语 - - ms：马来语 + - ms：马来西亚语 + + - fil：菲律宾语 + + - ar：阿拉伯语 `instruction` diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md index f3e4feda..e7a79d91 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md @@ -242,7 +242,7 @@ public long getFirstPackageDelay() ``` SpeechSynthesisParam param = SpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 模型 - .voice("longanlingxi") // 音色 + .voice("longanhuan_v3.6") // 音色 .format(SpeechSynthesisAudioFormat.WAV_8000HZ_MONO_16BIT) // 音频编码格式、采样率 .volume(50) // 音量，取值范围：[0, 100] .speechRate(1.0f) // 语速，取值范围：[0.5, 2] @@ -278,7 +278,7 @@ String 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -345,7 +345,7 @@ boolean 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 `seed(int)` @@ -391,7 +391,7 @@ List - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -411,9 +411,15 @@ List - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 `instruction(String)` @@ -458,7 +464,7 @@ paramHotFix.setReplace(replaceItems); SpeechSynthesisParam param = SpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 模型 - .voice("your_voice") // 替换成qwen-audio-3.0-tts-flash复刻音色 + .voice("longanhuan_v3.6") // 音色 .hotFix(paramHotFix) .build(); ``` @@ -488,7 +494,7 @@ Map ``` SpeechSynthesisParam param = SpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_markdown_filter", true) .build(); ``` @@ -842,7 +848,7 @@ SDK提供了语音合成的关键接口，支持以下几种调用方式： ### **非流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1094204871/CAEQURiBgIDHpsn4phkiIDQ0ZGE2OTk3NmY5NTRhNDVhZDQwNWE3ZGZiMzk4Yjk54709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9016724871/CAEQURiBgIDHpsn4phkiIDQ0ZGE2OTk3NmY5NTRhNDVhZDQwNWE3ZGZiMzk4Yjk54709861_20241015153444.149.svg) 发送的文本长度不得超过20000字符。 @@ -864,7 +870,7 @@ public class Main { // 模型 private static String model = "qwen-audio-3.0-tts-flash"; // 音色 - private static String voice = "longanlingxi"; + private static String voice = "longanhuan_v3.6"; public static void streamAudioDataToSpeaker() { // 请求参数 @@ -917,7 +923,7 @@ public class Main { ### **单向流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1094204871/CAEQVRiBgMCfo..hrBkiIGEyMjNkZjVlMWZiYzRhZDU4ZjEyZjdjMmMzYjM1YzMz4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9016724871/CAEQVRiBgMCfo..hrBkiIGEyMjNkZjVlMWZiYzRhZDU4ZjEyZjdjMmMzYjM1YzMz4709861_20241015153444.149.svg) 发送的文本长度不得超过20000字符。 @@ -949,7 +955,7 @@ public class Main { // 模型 private static String model = "qwen-audio-3.0-tts-flash"; // 音色 - private static String voice = "longanlingxi"; + private static String voice = "longanhuan_v3.6"; public static void streamAudioDataToSpeaker() { CountDownLatch latch = new CountDownLatch(1); @@ -1024,7 +1030,7 @@ public class Main { ### 双向流式调用 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1094204871/CAEQVRiBgICHxPGhrBkiIGE3ZTVmMzY0YzI3NzQxYTFiYWE2MmU2NTBhMDgzZGM14709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0116724871/CAEQVRiBgICHxPGhrBkiIGE3ZTVmMzY0YzI3NzQxYTFiYWE2MmU2NTBhMDgzZGM14709861_20241015153444.149.svg) 单次发送文本长度不得超过 20000 字符，且累计发送文本总长度不得超过 20 万字符。 @@ -1076,7 +1082,7 @@ public class Main { "减少了用户等待时间。", "适用于调用大规模", "语言模型（LLM），以", "流式输入文本的方式", "进行语音合成的场景。"}; private static String model = "qwen-audio-3.0-tts-flash"; // 模型 - private static String voice = "longanlingxi"; // 音色 + private static String voice = "longanhuan_v3.6"; // 音色 public static void streamAudioDataToSpeaker() { // 配置回调函数 @@ -1177,7 +1183,7 @@ class TimeUtils { public class Main { private static String model = "qwen-audio-3.0-tts-flash"; // 模型 - private static String voice = "longanlingxi"; // 音色 + private static String voice = "longanhuan_v3.6"; // 音色 public static void streamAudioDataToSpeaker() throws NoApiKeyException { // 请求参数 @@ -1252,7 +1258,7 @@ public class Main { "减少了用户等待时间。", "适用于调用大规模", "语言模型（LLM），以", "流式输入文本的方式", "进行语音合成的场景。"}; private static String model = "qwen-audio-3.0-tts-flash"; - private static String voice = "longanlingxi"; + private static String voice = "longanhuan_v3.6"; public static void streamAudioDataToSpeaker() throws NoApiKeyException { // 模拟流式输入 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md index 8e94f9c5..5f3bf1fd 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md @@ -185,7 +185,7 @@ str 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -263,7 +263,7 @@ int ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="longanlingxi", + voice="longanhuan_v3.6", additional_params={"bit_rate": 128000} ) ``` @@ -278,7 +278,7 @@ bool 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **说明** @@ -287,7 +287,7 @@ bool ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="your_voice", + voice="longanhuan_v3.6", additional_params={"word_timestamp_enabled": True} ) ``` @@ -334,7 +334,7 @@ list\[str\] - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -354,9 +354,15 @@ list\[str\] - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 instruction @@ -388,7 +394,7 @@ bool ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="longanlingxi", + voice="longanhuan_v3.6", additional_params={ "enable_aigc_tag": True, "aigc_propagator": "your_propagator", @@ -447,7 +453,7 @@ qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v2、cosyvoice-v1 ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="your_voice", # 替换成qwen-audio-3.0-tts-flash复刻音色 + voice="longanhuan_v3.6", # 音色 hot_fix={ "pronunciation": [{"天气": "tian1 qi4"}], "replace": [{"今天": "金天"}] @@ -483,7 +489,7 @@ bool ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="your_voice", # 替换成qwen-audio-3.0-tts-flash复刻音色 + voice="longanhuan_v3.6", # 音色 additional_params={"enable_markdown_filter": True} ) ``` @@ -693,7 +699,7 @@ SDK提供了语音合成的关键接口，支持以下几种调用方式： ### **非流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1194204871/CAEQURiBgMDRr9T4phkiIGNmYzBiZjFkZjQ4MDQzZGU4NDIyZDU2NWJjYjkyZTQ04709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7516724871/CAEQURiBgMDRr9T4phkiIGNmYzBiZjFkZjQ4MDQzZGU4NDIyZDU2NWJjYjkyZTQ04709861_20241015153444.149.svg) 单次调用发送的文本长度不得超过20000字符，超出限制将返回错误。 @@ -718,7 +724,7 @@ dashscope.base_websocket_api_url='wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.c # 模型 model = "qwen-audio-3.0-tts-flash" # 音色 -voice = "longanlingxi" +voice = "longanhuan_v3.6" # 实例化SpeechSynthesizer，并在构造方法中传入模型（model）、音色（voice）等请求参数 synthesizer = SpeechSynthesizer(model=model, voice=voice) @@ -736,7 +742,7 @@ with open('output.mp3', 'wb') as f: ### **单向流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1194204871/CAEQVRiBgIDv9fShrBkiIDhmNTk5YmQ1ZDgwNzRjZjRiN2VlMTU5YzI1ZGMwMTlm4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7516724871/CAEQVRiBgIDv9fShrBkiIDhmNTk5YmQ1ZDgwNzRjZjRiN2VlMTU5YzI1ZGMwMTlm4709861_20241015153444.149.svg) 单次调用发送的文本长度不得超过20000字符，超出限制将返回错误。 @@ -769,7 +775,7 @@ dashscope.base_websocket_api_url='wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.c # 模型 model = "qwen-audio-3.0-tts-flash" # 音色 -voice = "longanlingxi" +voice = "longanhuan_v3.6" # 定义回调接口 class Callback(ResultCallback): @@ -823,7 +829,7 @@ synthesizer.call("今天天气怎么样？") ### **双向流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1194204871/CAEQVRiBgMDb7PahrBkiIDVkNjEwOTMxYjEwOTRmOWFhMmI1OTRiY2Q3ZDgzZmE54709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7516724871/CAEQVRiBgMDb7PahrBkiIDVkNjEwOTMxYjEwOTRmOWFhMmI1OTRiY2Q3ZDgzZmE54709861_20241015153444.149.svg) 单次发送文本长度不得超过 20000 字符，且累计发送文本总长度不得超过 20 万字符。 @@ -888,7 +894,7 @@ dashscope.base_websocket_api_url='wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.c # 模型 model = "qwen-audio-3.0-tts-flash" # 音色 -voice = "longanlingxi" +voice = "longanhuan_v3.6" # 定义回调接口 class Callback(ResultCallback): diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md index 90389819..56124c1b 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md @@ -87,7 +87,7 @@ Authorization 鉴权在 WebSocket 握手阶段验证。如果 API Key 无效或 ## 交互流程 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/8684204871/CAEQaxiBgID50pCW3hkiIDVlOWNkODdhOGYyYjQ2ZDFiMzgyYjNmMmUzOGZkNGVh4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9336814871/CAEQaxiBgID50pCW3hkiIDVlOWNkODdhOGYyYjQ2ZDFiMzgyYjNmMmUzOGZkNGVh4709861_20241015153444.149.svg) 客户端事件和服务端事件的详细说明，请参见[客户端事件](https://help.aliyun.com/zh/model-studio/cosyvoice-client-events)和[服务端事件](https://help.aliyun.com/zh/model-studio/cosyvoice-server-events)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md index e78e4fb1..a25c2588 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md @@ -66,7 +66,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ "model": "qwen-audio-3.0-tts-flash", "input": { "text": "我家的后面有一个很大的花园。", - "voice": "longanlingxi", + "voice": "longanhuan_v3.6", "format": "wav", "sample_rate": 24000 } @@ -84,7 +84,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ "model": "qwen-audio-3.0-tts-flash", "input": { "text": "我家的后面有一个很大的花园。", - "voice": "longanlingxi", + "voice": "longanhuan_v3.6", "format": "wav", "sample_rate": 24000 } @@ -135,7 +135,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ 取值范围： -- 系统音色：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- 系统音色：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - 声音复刻音色：如何创建音色请参见[CosyVoice声音复刻/设计API](https://help.aliyun.com/zh/model-studio/cosyvoice-clone-design-api) @@ -211,7 +211,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **seed** `_integer_` （可选） @@ -245,7 +245,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -265,6 +265,16 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ - vi：越南语 +- es：西班牙语 + +- it：意大利语 + +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 + **instruction** `_string_` （可选） diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md index 7e77c178..1c261549 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md @@ -207,7 +207,7 @@ String 取值范围： -- 系统音色：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- 系统音色：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - 声音复刻音色：如何创建音色请参见[CosyVoice声音复刻/设计API](https://help.aliyun.com/zh/model-studio/cosyvoice-clone-design-api) @@ -301,7 +301,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("你好") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_ssml", true) .build(); ``` @@ -312,7 +312,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("你好") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("enable_ssml", true)) .build(); ``` @@ -327,7 +327,7 @@ boolean 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **说明** @@ -339,7 +339,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("word_timestamp_enabled", true) .build(); ``` @@ -350,7 +350,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("word_timestamp_enabled", true)) .build(); ``` @@ -377,7 +377,7 @@ int HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("seed", 1234) .build(); ``` @@ -388,7 +388,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("seed", 1234)) .build(); ``` @@ -421,7 +421,7 @@ List - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -441,6 +441,16 @@ List - vi：越南语 +- es：西班牙语 + +- it：意大利语 + +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 + **说明** @@ -452,7 +462,7 @@ List HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("language_hints", Arrays.asList("zh")) .build(); ``` @@ -463,7 +473,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("language_hints", Arrays.asList("zh"))) .build(); ``` @@ -488,7 +498,7 @@ String HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("instruction", "请用非常开心的语气说话。") .build(); ``` @@ -499,7 +509,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("instruction", "请用非常开心的语气说话。")) .build(); ``` @@ -530,7 +540,7 @@ int HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .format("opus") .parameter("bit_rate", 32) .build(); @@ -542,7 +552,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .format("opus") .parameters(Collections.singletonMap("bit_rate", 32)) .build(); @@ -570,7 +580,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_aigc_tag", true) .build(); ``` @@ -581,7 +591,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("enable_aigc_tag", true)) .build(); ``` @@ -608,7 +618,7 @@ String HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_aigc_tag", true) .parameter("aigc_propagator", "xxxx") .build(); @@ -624,7 +634,7 @@ map.put("aigc_propagator", "xxxx"); HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(map) .build(); ``` @@ -651,7 +661,7 @@ String HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_aigc_tag", true) .parameter("aigc_propagate_id", "xxxx") .build(); @@ -667,7 +677,7 @@ map.put("aigc_propagate_id", "xxxx"); HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(map) .build(); ``` @@ -726,7 +736,7 @@ hotFix.put("replace", replace); HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("今天天气真好。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("hot_fix", hotFix) .build(); ``` @@ -738,7 +748,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("今天天气真好。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("hot_fix", hotFix)) .build(); ``` @@ -774,7 +784,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("# 标题\n正文内容") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_markdown_filter", true) .build(); ``` @@ -785,7 +795,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("# 标题\n正文内容") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("enable_markdown_filter", true)) .build(); ``` @@ -837,7 +847,7 @@ public class CosyVoiceSyncExample { HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 更换模型时，需同步更换为对应版本的音色 .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 + .voice("longanhuan_v3.6") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 .format("wav") .sampleRate(24000) // 未配置环境变量时，将下行替换为：apiKey("sk-xxx")，即替换为实际的API Key @@ -877,7 +887,7 @@ public class CosyVoiceSyncExample { HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 更换模型时，需同步更换为对应版本的音色 .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 + .voice("longanhuan_v3.6") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 .format("wav") .sampleRate(24000) // 未配置环境变量时，将下行替换为：apiKey("sk-xxx")，即替换为实际的API Key @@ -938,7 +948,7 @@ public class CosyVoiceStreamExample { HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 更换模型时，需同步更换为对应版本的音色 .text("今天天气真好，适合出去玩。") - .voice("longanlingxi") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 + .voice("longanhuan_v3.6") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 .format("wav") .sampleRate(24000) // 未配置环境变量时，将下行替换为：apiKey("sk-xxx")，即替换为实际的API Key diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md index 7143911a..a3f50903 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md @@ -109,7 +109,7 @@ str 取值范围： -- 系统音色：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- 系统音色：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - 声音复刻音色：如何创建音色请参见[CosyVoice声音复刻/设计API](https://help.aliyun.com/zh/model-studio/cosyvoice-clone-design-api) @@ -222,7 +222,7 @@ bool - False：关闭。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 seed @@ -264,7 +264,7 @@ list - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -284,6 +284,16 @@ list - vi：越南语 +- es：西班牙语 + +- it：意大利语 + +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 + instruction @@ -443,7 +453,7 @@ dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.co result = HttpSpeechSynthesizer.call( model="qwen-audio-3.0-tts-flash", # 更换模型时，需同步更换为对应版本的音色 text="今天是个好日子，适合构建人们喜爱的产品！", - voice="longanhuan", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 + voice="longanhuan_v3.6", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 format="wav", sample_rate=24000, stream=False, @@ -478,7 +488,7 @@ dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.co stream_result = HttpSpeechSynthesizer.call( model="qwen-audio-3.0-tts-flash", # 更换模型时，需同步更换为对应版本的音色 text="今天是个好日子，适合构建人们喜爱的产品！", - voice="longanhuan", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 + voice="longanhuan_v3.6", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 format="wav", sample_rate=24000, stream=True, diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md index 2673fe86..a2402160 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md @@ -181,7 +181,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 辅助模型识别样本音频的语种，从而更准确地提取音色特征，提升复刻效果。若设置的语种与实际音频语种不符（例如为中文音频设置 `en`），系统将忽略该设置并自动检测语种。 @@ -189,11 +189,11 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ 取值范围（因模型而异）： -- qwen-audio-3.0-tts-flash： +- qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash： - zh：中文 - - en：英文 + - en：英语 - fr：法语 @@ -215,7 +215,13 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ - it：意大利语 - - ms：马来语 + - es：西班牙语 + + - ms：马来西亚语 + + - fil：菲律宾语 + + - ar：阿拉伯语 - cosyvoice-v3-plus： @@ -297,7 +303,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 音频预处理后用于声音复刻的参考音频最大时长（秒）。取值范围：\[3.0, 30.0\]。时间越长效果越好。 @@ -307,7 +313,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 是否开启音频预处理（降噪、音频增强、音量规整）。有背景噪音时建议开启；安静环境建议关闭以最大程度还原音色。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md index be92e944..36aa6d87 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md @@ -121,7 +121,7 @@ customParam 否 -自定义参数，可指定languageHints、maxPromptAudioLength等。 +自定义参数，可通过 parameter() 方法指定 language\_hints、max\_prompt\_audio\_length 等参数。 **返回值**：`Voice` 对象，通过 `getVoiceId()` 方法获取音色ID。 @@ -283,108 +283,11 @@ String 声音复刻模型，固定为"voice-enrollment"。 -languageHints(List) - -List - -**重要** - -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 - -辅助模型识别样本音频的语种，从而更准确地提取音色特征，提升复刻效果。若设置的语种与实际音频语种不符（例如为中文音频设置 `en`），系统将忽略该设置并自动检测语种。 - -此参数为数组，但当前版本仅处理第一个元素。 - -取值范围（因模型而异）： - -- qwen-audio-3.0-tts-flash： - - - zh：中文 - - - en：英文 - - - fr：法语 - - - de：德语 - - - ja：日语 - - - ko：韩语 - - - ru：俄语 - - - pt：葡萄牙语 - - - th：泰语 - - - id：印尼语 - - - vi：越南语 - - - it：意大利语 - - - ms：马来语 - -- cosyvoice-v3-plus： - - - zh：中文 - - - en：英文 - - - fr：法语 - - - de：德语 - - - ja：日语 - - - ko：韩语 - - - ru：俄语 - -- cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash： - - - zh：中文 - - - en：英文 - - - fr：法语 - - - de：德语 - - - ja：日语 - - - ko：韩语 - - - ru：俄语 - - - pt：葡萄牙语 - - - th：泰语 - - - id：印尼语 - - - vi：越南语 - - -默认值：\["zh"\]。 - -maxPromptAudioLength(Float) - -Float - -**重要** - -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 - -音频预处理后用于声音复刻的参考音频最大时长（秒）。取值范围：\[3.0, 30.0\]。时间越长效果越好。 - -默认值：10.0。 - parameter(String, Object) Object -设置[扩展参数](#a18b66cba924j)，如 parameter("enable\_preprocess", false)。 +设置自定义参数，如 parameter("language\_hints", Arrays.asList("zh"))、parameter("max\_prompt\_audio\_length", 10.0f)、parameter("enable\_preprocess", false)。 ### **扩展参数** @@ -404,7 +307,7 @@ boolean **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 是否开启音频预处理（降噪、音频增强、音量规整）。有背景噪音时建议开启；安静环境建议关闭以最大程度还原音色。 @@ -422,7 +325,7 @@ import com.alibaba.dashscope.utils.Constants; import org.slf4j.Logger; import org.slf4j.LoggerFactory; -import java.util.Collections; +import java.util.Arrays; public class Main { private static final Logger logger = LoggerFactory.getLogger(Main.class); @@ -444,8 +347,8 @@ public class Main { fileUrl, VoiceEnrollmentParam.builder() .model(cloneModelName) - .languageHints(Collections.singletonList("zh")) - // .maxPromptAudioLength(10.0f) + .parameter("language_hints", Arrays.asList("zh")) + // .parameter("max_prompt_audio_length", 10.0f) // .parameter("enable_preprocess", false) .build()); diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md index 14b73cd2..42410c27 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md @@ -112,7 +112,7 @@ List\[str\] **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 辅助模型识别样本音频的语种，从而更准确地提取音色特征，提升复刻效果。若设置的语种与实际音频语种不符（例如为中文音频设置 `en`），系统将忽略该设置并自动检测语种。 @@ -120,11 +120,11 @@ List\[str\] 取值范围（因模型而异）： -- qwen-audio-3.0-tts-flash： +- qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash： - zh：中文 - - en：英文 + - en：英语 - fr：法语 @@ -146,7 +146,13 @@ List\[str\] - it：意大利语 - - ms：马来语 + - es：西班牙语 + + - ms：马来西亚语 + + - fil：菲律宾语 + + - ar：阿拉伯语 - cosyvoice-v3-plus： @@ -199,7 +205,7 @@ float **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 音频预处理后用于声音复刻的参考音频最大时长（秒）。取值范围：\[3.0, 30.0\]。时间越长效果越好。 @@ -213,7 +219,7 @@ bool **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 是否开启音频预处理（降噪、音频增强、音量规整）。有背景噪音时建议开启；安静环境建议关闭以最大程度还原音色。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md index 0a687e48..96d7ae74 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md @@ -80,7 +80,6 @@ curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.c "generate_mode":"generate", "generate_num":1 }, - "auxiliary_parameters": "WMq4SC4......", "parameters":{} }' ``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md index 720eeeec..825a4dde 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md @@ -71,14 +71,16 @@ wanx-background-generation-v2 ### **步骤1：创建任务获取任务ID** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/background-generation/generation/` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/background-generation/generation` #### **请求头（Headers）** ## 图像背景生成 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 + ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/background-generation/generation/' \ +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/background-generation/generation' \ --header 'X-DashScope-Async: enable' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ @@ -396,7 +398,7 @@ foreground\_edge图像列表和background\_edge图像列表之和不得超过10 ### **步骤2：根据任务ID查询结果** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` #### **请求头（Headers）** @@ -404,10 +406,10 @@ foreground\_edge图像列表和background\_edge图像列表之和不得超过10 请将`86ecf553-d340-4e21-xxxxxxxxx`替换为真实的task\_id。 -> 若使用新加坡地域的模型，需将base\_url替换为https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx，其中WorkspaceId需替换为真实的业务空间ID。 +> 若使用新加坡地域的模型，需将base\_url替换为https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx，其中{WorkspaceId}需替换为真实的业务空间ID。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md index 79c7fb66..c8e22c77 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md @@ -4,13 +4,13 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 ## 适用范围 -为确保调用成功，请务必保证模型、endpoint URL 和 API Key 均属于**同一地域**。跨地域调用将会失败。 +为确保调用成功，请务必保证模型、endpoint URL和API Key 均属于**同一地域**。跨地域调用将会失败。 - [**选择模型**](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all)：确认模型所属的地域。 - **选择 URL**：选择对应的地域 Endpoint URL，支持HTTP URL。 -- **配置 API Key**：获取该地域的[API Key](https://help.aliyun.com/zh/model-studio/get-api-key)，再[配置API Key到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 +- **配置API Key**：获取该地域的[API Key](https://help.aliyun.com/zh/model-studio/get-api-key)，再[配置API Key到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 **说明** @@ -19,14 +19,14 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 ## 图生视频-基于首帧 ``` +# 以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -169,7 +166,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi 1. 公网URL： - - 支持 HTTP 或 HTTPS 协议。 + - 支持HTTP或HTTPS协议。 - 示例值：https://xxx/xxx.png。 @@ -326,14 +323,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -342,8 +335,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频生成过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -363,7 +354,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md index b93ad55b..97c7bc86 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md @@ -19,14 +19,14 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 ## 参考生视频（多图像） ``` +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -368,14 +365,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -384,8 +377,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频生成过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -403,7 +394,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md index 385ff8f8..2db67804 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md @@ -19,14 +19,14 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 ## 文生视频 ``` +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -266,14 +263,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -282,8 +275,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频生成过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -303,7 +294,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md index edfc94c8..b5a84b4f 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md @@ -19,14 +19,14 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 ## 视频编辑（指令+参考图） ``` +# 以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -369,14 +366,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -385,8 +378,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频编辑过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -404,7 +395,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md index 732930c9..a9d58fee 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md @@ -4,7 +4,7 @@ ## **模型调优流程** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/8010204871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3396534871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) ## **步骤一：选择调优方式** @@ -776,3 +776,21 @@ Checkpoint 有保存时长限制，超过保存时长后将被自动清理，届 **说明** 您可以在模型调优任务列表中，点击训练失败任务右侧的**日志**，查看具体的训练失败原因。 + +### **微调后模型体验仍回答基座模型身份怎么办？** + +**原因说明** + +控制台**模型体验**页面不支持设置 system prompt，导致微调后的身份设定无法生效。 + +**解决方案** + +可以通过以下方式验证微调模型的身份设定效果： + +- **方案一：通过 API 调用传入 system prompt** + + 调用 API 时，在请求的 `system` 字段中填写身份设定内容，即可让模型按照微调后的设定进行回答。 + +- **方案二：在百炼控制台模型调试页面测试** + + 前往百炼控制台**模型调试**页面，在系统提示词输入框中填写身份设定内容，再进行测试。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md index ae2396d5..27d187cf 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md @@ -25,7 +25,7 @@ ### **模型调优流程** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/2700204871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7786534871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) 详情参见： diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md index bb37de23..cc2e49c7 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md @@ -12,6 +12,16 @@ [ +qwen3.8-max-preview + +](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +仅 Token Plan 可用 + +qwen3.8-max-preview 目前仅面向 Token Plan 订阅用户提供，[前往开通 Token Plan →](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +[ + qwen3.7-max ](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-max) @@ -558,27 +568,27 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/a [ -kimi-k2.7-code +kimi-k3 -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi-k2.7-code) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi-k3) 华北2（北京）新加坡德国（法兰克福）美国（弗吉尼亚） OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/apps/anthropic` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1` @@ -586,19 +596,19 @@ API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api- OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/apps/anthropic` API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1` @@ -606,19 +616,19 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=mod OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/apps/anthropic` API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/api/v1` @@ -626,19 +636,19 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://dashscope-us.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://dashscope-us.aliyuncs.com/apps/anthropic` API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://dashscope-us.aliyuncs.com/api/v1` @@ -888,7 +898,7 @@ qwen3.5-omni-plus 华北2（北京）新加坡 -OpenAI 兼容Anthropic 兼容DashScope +OpenAI 兼容 模型 ID`qwen3.5-omni-plus` @@ -896,19 +906,7 @@ Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?t API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope +OpenAI 兼容 模型 ID`qwen3.5-omni-plus` @@ -916,41 +914,29 @@ Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-south API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - [ -kimi-k2.7-code +kimi-k3 -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi-k2.7-code) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi-k3) 华北2（北京）新加坡德国（法兰克福）美国（弗吉尼亚） OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/apps/anthropic` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1` @@ -958,19 +944,19 @@ API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api- OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/apps/anthropic` API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1` @@ -978,19 +964,19 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=mod OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/apps/anthropic` API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/api/v1` @@ -998,19 +984,19 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model OpenAI 兼容Anthropic 兼容DashScope -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://dashscope-us.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://dashscope-us.aliyuncs.com/apps/anthropic` API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) -模型 ID`kimi-k2.7-code` +模型 ID`kimi-k3` Base URL`https://dashscope-us.aliyuncs.com/api/v1` @@ -1426,24 +1412,18 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=mod [ -qwen3.5-omni-plus-realtime +qwen-audio-3.0-realtime-plus -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.5-omni-plus-realtime) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen-audio-3.0-realtime-plus) -华北2（北京）新加坡 +华北2（北京） -模型 ID`qwen3.5-omni-plus-realtime` +模型 ID`qwen-audio-3.0-realtime-plus` Request URL`wss://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`qwen3.5-omni-plus-realtime` - -Request URL`wss://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - [ qwen3.5-omni-plus diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md index 8e375ee1..fc4388c6 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md @@ -665,6 +665,14 @@ qwen3.6-flash-2026-04-16 1,000,000 +qwen3.6-flash-us + +美国 + +15,000 + +5,000,000 + qwen3.5-plus 全球 @@ -4695,17 +4703,21 @@ kimi-k2.7-code > **含输入与输出Token** -kimi/kimi-k2.7-code-highspeed +kimi/kimi-k3 中国内地 500 -> 同一个阿里云百炼API Key 下，在 4 个模型中共享 500 RPM 限流配额。即这 4 个模型的每分钟请求总数加起来不能超过 500。 +> 同一个阿里云百炼API Key 下，在 5 个模型中共享 500 RPM 限流配额。即这 5 个模型的每分钟请求总数加起来不能超过 500。 3,000,000 -> 同一个阿里云百炼API Key 下，在 4 个模型中共享 3000000 TPM 限流配额。即这 4 个模型的每分钟 Token 消耗总数加起来不能超过 3000000。 +> 同一个阿里云百炼API Key 下，在 5 个模型中共享 3000000 TPM 限流配额。即这 5 个模型的每分钟 Token 消耗总数加起来不能超过 3000000。 + +kimi/kimi-k2.7-code-highspeed + +中国内地 kimi/kimi-k2.7-code diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md index d9c3ff39..775296d9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md @@ -18,7 +18,7 @@ 3. 推理结果回到接入地域存储，再响应给应用（用户静态数据始终存于所选地域）。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7478182871/CAEQchiBgIDPq_PR9xkiIDJhZDdiNzAxMGFiODRhNmRiMDYxYjNjNGU2NTJkMDYw7466796_20260515102254.505.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5407814871/CAEQchiBgIDPq_PR9xkiIDJhZDdiNzAxMGFiODRhNmRiMDYxYjNjNGU2NTJkMDYw7466796_20260515102254.505.svg) ## 选择地域和服务部署范围 @@ -104,7 +104,7 @@ 推荐在生产环境中使用，具备更高并发承载能力与网络隔离性，保障大流量场景下的稳定、低延迟访问体验。 -存量业务兼容，建议[迁移至业务空间专属域名](#section-migrate-domain)。 +存量业务兼容，建议迁移至[业务空间专属域名](#section-migrate-domain)。 快速体验、功能验证，不建议用于生产环境。 @@ -247,13 +247,9 @@ HTTP、SSE 从 Dashscope 域名或试用域名迁移到业务空间专属域名只需两步，无需修改业务逻辑代码： -1. **获取业务空间专属域名**： +1. **获取业务空间专属域名**：在[业务空间管理](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management)页面，复制 **API Host** 列的内容。 - - 方式一：在[API Key 创建](https://bailian.console.aliyun.com/cn-beijing#/api-key)后的弹窗中，复制 **API Host** 。 - - - 方式二：在[业务空间管理](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management)页面，复制 **API Host** 列的内容。 - -2. **替换 Base URL 中的域名**：将原域名替换为业务空间专属域名。以华北2（北京）地域为例，`llm-xxx` 为业务空间 ID： +2. **替换请求地址中的域名**：将复制的 API Host（如 `llm-xxx.cn-beijing.maas.aliyuncs.com`）替换代码中原有的域名部分，以华北2（北京）地域为例，`llm-xxx` 为业务空间 ID： - OpenAI 兼容接口：从 `https://dashscope.aliyuncs.com/compatible-mode/v1` 替换为 `https://llm-xxx.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md index fbf3abc6..45773ac4 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md @@ -108,7 +108,7 @@ 1. 预付费按天计费。无法提前退费 -2. 如果单位时间内使用超出购买的吞吐量，将自动切换成百炼提供的[模型调用](https://help.aliyun.com/zh/model-studio/model-pricing)服务。 +2. 如果单位时间内使用超出购买的吞吐量，按创建时选择的溢出策略处理：自动溢出则切换为该模型的[模型调用](https://help.aliyun.com/zh/model-studio/model-pricing)按量付费，仅使用 PTU 容量则返回 429。 预付费购买后，若在首月内提前退订，日单价（≈ 月单价 / 30）将按 **1.2** 倍计费 @@ -137,9 +137,9 @@ - 后付费时，如果账户欠费，部署的资源将继续保留并计费 24 小时，在这 24 小时内服务仍可正常使用。超过 24 小时后系统停止计费，模型部署进入欠费状态，底层资源将被删除，但模型部署任务仍会保留。补足欠费后，系统将重新分配资源并恢复使用（恢复后继续产生费用）。如果您不希望继续产生费用，可删除模型部署任务，删除成功后将不再计费。 -当模型输入超过最长输入 Token 或 超出购买的 TPM 量时，相关调用将自动切换为当前模型的按量付费模式。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 +当模型输入超过最长输入 Token 时，相关调用将自动切换为当前模型的按量付费模式；超出购买的 TPM 量时，按创建时选择的溢出策略处理（「自动溢出」切换为按量付费，「仅使用 PTU 容量」返回 429）。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 -- 此时，调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 +- 此时（仅「自动溢出」策略下），调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 - TPM 统计请前往：[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)。 @@ -483,15 +483,33 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-35B-A3B qwen3.6-35b-a3b -MU8 x 1 +MU1 x 8 -¥47 +¥432 -¥22,400 +¥208,944 + +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 MU9 x 1 @@ -509,6 +527,12 @@ MU1 x 2 ¥52,236 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-Plus-2026-04-02 qwen3.6-plus-2026-04-02 @@ -529,12 +553,6 @@ PD分离模式：¥417,888 qwen3.5-397b-a17b -MU2 x 8 - -¥504 - -¥240,288 - MU3 x 8 MU3 x 16（PD分离模式） @@ -547,6 +565,12 @@ PD分离模式：¥2,192 PD分离模式：¥1,055,504 +MU6 x 16 + +¥400 + +¥193,424 + 千问3.5-122B-A10B qwen3.5-122b-a10b @@ -557,11 +581,17 @@ MU1 x 4 ¥104,472 -MU2 x 8 +MU3 x 8 -¥504 +¥1,096 -¥240,288 +¥527,752 + +MU6 x 16 + +¥400 + +¥193,424 千问3.5-35B-A3B @@ -579,10 +609,40 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + +MU9 x 1 + +¥51 + +¥24,600 + 千问3.5-27B qwen3.5-27b +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 + +MU8 x 1 + +¥47 + +¥22,400 + MU9 x 1 ¥51 @@ -599,6 +659,12 @@ MU1 x 2 ¥52,236 +MU2 x 2 + +¥126 + +¥60,072 + MU8 x 1 ¥47 @@ -625,12 +691,24 @@ MU1 x 2 qwen3.5-plus-2026-02-15 +MU1 x 8 + MU1 x 16（PD分离模式） +¥432 + PD分离模式：¥864 +¥208,944 + PD分离模式：¥417,888 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 8 MU3 x 16（PD分离模式） @@ -659,57 +737,25 @@ MU2 x 8 ¥240,288 -千问3-Next-80B-A3B-Instruct - -qwen3-next-80b-a3b-instruct - -MU1 x 2 - -¥108 - -¥52,236 - 千问3-32B qwen3-32b -MU1 x 4 - -¥216 - -¥104,472 - -MU6 x 4 - -¥100 - -¥48,356 - -千问3-30B-A3B - -qwen3-30b-a3b - -MU9 x 2 - -¥102 - -¥49,200 +MU6 x 16 -千问3-30B-A3B-Instruct-2507 +¥400 -qwen3-30b-a3b-instruct-2507 +¥193,424 -MU1 x 4 +千问3-30B-A3B-Thinking-2507 -¥216 +qwen3-30b-a3b-thinking-2507 -¥104,472 - -MU2 x 8 +MU1 x 2 -¥504 +¥108 -¥240,288 +¥52,236 千问3-8B @@ -759,12 +805,6 @@ MU1 x 2 ¥52,236 -MU5 x 1 - -¥21 - -¥10,139 - 千问3-Embedding-0.6B qwen3-embedding-0.6b @@ -837,11 +877,11 @@ MU5 x 1 qwen2.5-72b-instruct -MU1 x 4 +MU1 x 8 -¥216 +¥432 -¥104,472 +¥208,944 千问2.5-开源版-32B @@ -879,26 +919,6 @@ MU5 x 1 ¥10,139 -千问2.5-开源版-3B - -qwen2.5-3b-instruct - -MU5 x 1 - -¥21 - -¥10,139 - -千问-Flash-2025-07-28 - -qwen-flash-2025-07-28 - -MU1 x 4 - -¥216 - -¥104,472 - 千问-Plus-2025-07-28 qwen-plus-2025-07-28 @@ -955,6 +975,12 @@ GLM-5.1 glm-5.1 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 16（PD分离模式） PD分离模式：¥2,192 @@ -987,6 +1013,16 @@ PD分离模式：¥800 PD分离模式：¥386,848 +GLM-4.7-Flash + +glm-4.7-flash + +MU3 x 16（PD分离模式） + +PD分离模式：¥2,192 + +PD分离模式：¥1,055,504 + #### DeepSeek **模型名称** @@ -1007,11 +1043,11 @@ DeepSeek-v4-Flash deepseek-v4-flash -MU1 x 8 +MU3 x 8 -¥432 +¥1,096 -¥208,944 +¥527,752 DeepSeek-v3.2 @@ -1039,16 +1075,6 @@ PD分离模式：¥480,576 **最小计费：天** -MiniMax-M2.5 - -MiniMax-M2.5 - -MU1 x 16（PD分离模式） - -PD分离模式：¥864 - -PD分离模式：¥417,888 - Kimi-K2.5 kimi-k2.5 @@ -1091,15 +1117,21 @@ MU2 x 8 **最小计费：天** -千问3-VL-235B-A22B-Instruct +千问3-VL-32B-Instruct -qwen3-vl-235b-a22b-instruct +qwen3-vl-32b-instruct -MU1 x 4 +MU2 x 8 -¥216 +¥504 -¥104,472 +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 千问3-VL-8B-Instruct @@ -1111,6 +1143,12 @@ MU1 x 2 ¥52,236 +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-4B-Instruct qwen3-vl-4b-instruct @@ -1131,6 +1169,16 @@ MU5 x 1 ¥10,139 +千问3-VL-Embedding-2B + +qwen3-vl-embedding-2b + +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-Flash-2025-10-15 qwen3-vl-flash-2025-10-15 @@ -1161,16 +1209,6 @@ MU6 x 4 ¥48,356 -千问VL-OCR-2025-11-20 - -qwen-vl-ocr-2025-11-20 - -MU6 x 4 - -¥100 - -¥48,356 - #### 千问 Omni **模型名称** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md index 37f2cbeb..230abbfc 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md @@ -1,6 +1,6 @@ # 预置吞吐长输入与缓存 -本文介绍 PTU（预置吞吐）部署的长输入和前缀缓存能力，包括额度消耗规则、容量计算器使用方法和 API 响应字段说明。 +本文介绍 PTU（预置吞吐）部署的长输入和前缀缓存能力，包括额度消耗规则、**预置吞吐额度计算器**使用方法和 API 响应字段说明。 ## 功能概述 @@ -12,12 +12,12 @@ PTU 部署支持长输入请求（部分模型最高 200K token）和前缀缓 - 前缀缓存优惠：部分模型支持前缀缓存，命中缓存的输入 token 按折扣系数消耗额度（具体折扣率因模型而异），可降低多轮对话和重复前缀场景的额度消耗。 -- 自动转按量计费：超出 PTU 额度或输入超过模型上限（千问 128K / DeepSeek 64K）时，请求自动转为按量计费，无需修改调用代码。 +- 溢出策略：创建 PTU 时可选——自动溢出至按量计费（默认，业务不中断）或仅使用 PTU 容量（超出返回 429、不产生额外费用）。输入超过模型上限（千问 128K / DeepSeek 64K）仍自动转为按量计费。 **重要** -自动转按量计费后，费用按对应模型的按量付费单价计算。建议通过容量计算器合理规划 PTU 额度，避免意外费用。 +自动溢出策略下转为按量计费后，费用按对应模型的按量付费单价计算（仅使用 PTU 容量策略下超出返回 429、不产生额外费用）。建议通过**预置吞吐额度计算器**合理规划 PTU 额度，避免意外费用。 常见于长文档分析（合同、研报摘要）和多轮对话（客服、编程助手）等输入超 32K token 的场景。 @@ -44,6 +44,8 @@ glm-5.1 \[0, 32K)：输入 1.0 / 输出 1.0 \[32K, 200K\]：输入 1.33 / 输出 1.17 + + deepseek-v4-pro @@ -87,17 +89,17 @@ qwen3.7-plus-2026-05-26 输入合计 = 31.940 KTPM（比无缓存节省 43%） ``` -## 使用容量计算器估算额度 +## 使用**预置吞吐额度计算器**估算额度 **说明** 建议在创建或扩容前使用计算器评估长输入场景的额度需求，避免额度不足导致请求转为按量计费。购买上限以控制台实际展示为准。 -前提条件：已开通百炼服务并具备 PTU 部署权限。登录[百炼控制台](https://bailian.console.aliyun.com/#/efm/model_deploy/create)，在**模型部署** > **创建部署**页面（或在已有部署详情页单击**扩容**），选择可部署的PTU（预置吞吐）模型后，展开**容量计算器**。 +前提条件：已开通百炼服务并具备 PTU 部署权限。登录[百炼控制台](https://bailian.console.aliyun.com/#/efm/model_deploy/create)，在**模型部署** > **创建部署**页面（或在已有部署详情页单击**扩容**），选择可部署的PTU（预置吞吐）模型后，展开**预置吞吐额度计算器**。 ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4645961871/p1082157.png) -容量计算器根据业务负载自动推荐 TPM 额度。填写以下参数后，计算器输出推荐的输入 TPM 和输出 TPM。 +**预置吞吐额度计算器**根据业务负载自动推荐额度。填写以下参数后，计算器输出建议购买的输入 KTPM 和输出 KTPM。 **参数** @@ -109,25 +111,25 @@ qwen3.7-plus-2026-05-26 业务高峰期每分钟的请求数。 -RPM 越大，建议购买的输入和输出 TPM 同比增大。 +RPM 越大，建议购买输入 KTPM 和输出 KTPM 同比增大。 平均输入长度（token） 每条请求的平均输入 token 数。 -输入越长，所处阶梯越高，系数越大，建议购买的输入 TPM 越高。不同模型的阶梯边界不同，以控制台实际展示为准。 +输入越长，所处阶梯越高，系数越大，建议购买输入 KTPM 越高。不同模型的阶梯边界不同，以控制台实际展示为准。 平均输出长度（token） 每条请求的平均输出 token 数。 -输出越长，系数可能越大，建议购买的输出 TPM 越高。 +输出越长，系数可能越大，建议购买输出 KTPM 越高。 -预估缓存命中率（%） +缓存命中率（%） 请求中重复前缀被缓存命中的比例。实际命中率取决于请求内容的重复程度，以运行结果为准。 -命中率越高，输入容量消耗越慢，建议购买的输入 TPM 越低。仅影响输入 TPM，不影响输出 TPM。 +命中率越高，输入容量消耗越慢，建议购买输入 KTPM 越低。仅影响输入 KTPM，不影响输出 KTPM。 ## API 响应字段说明 @@ -271,7 +273,7 @@ PTU 部署的运行监控通过百炼平台的模型监控功能实现，支持 - Token 用量与缓存命中：包含 `cached_tokens` 数据系列，可查看缓存命中量占总输入的比例。 -- 配额内/外调用次数：了解超出 PTU 额度后转为按量计费的请求占比。 +- 配额内/外调用次数：了解超出 PTU 额度后的请求占比（自动溢出策略下转为按量计费，仅使用 PTU 容量策略下返回 429）。 更多监控指标和操作方式，请参见[模型监控](https://help.aliyun.com/zh/model-studio/model-telemetry)。 @@ -280,7 +282,7 @@ PTU 部署的运行监控通过百炼平台的模型监控功能实现，支持 **Q: 超出 PTU 额度时会怎样？** -请求自动转为按量计费。API 响应中 `service_tier` 字段不返回或返回 `default`，同时响应头包含 `x-dashscope-ptu-overflow:true`。业务不会中断。 +取决于创建时选择的溢出策略：「自动溢出」策略下，请求自动转为按量计费，API 响应中 `service_tier` 字段不返回或返回 `default`，同时响应头包含 `x-dashscope-ptu-overflow:true`，业务不会中断；「仅使用 PTU 容量」策略下，超出请求返回 429 错误，不产生额外费用。 **Q: 单次输入超过模型上限时会怎样？** @@ -296,4 +298,4 @@ PTU 部署的运行监控通过百炼平台的模型监控功能实现，支持 **Q: 利用率为什么超过 100%？** -部分模型（如 glm-5.1）的长输入阶梯系数使实际额度消耗高于原始 token 数。利用率 = 折算后消耗 ÷ 购买额度。超过 100% 表示消耗速度超过购买额度，超出部分自动转为按量计费，不影响服务可用性。 +部分模型（如 glm-5.1）的长输入阶梯系数使实际额度消耗高于原始 token 数。利用率 = 折算后消耗 ÷ 购买额度。超过 100% 表示消耗速度超过购买额度，超出部分按溢出策略处理（自动溢出则转为按量计费、不影响服务可用性；仅使用 PTU 容量则返回 429）。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md index 9a3c0b1a..dc841b66 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md @@ -14,13 +14,13 @@ OpenAI GPT Realtime、Gemini 3.1 Live -`qwen3.5-omni-plus-realtime` +`qwen-audio-3.0-realtime-plus` 成本敏感对话 OpenAI gpt-4o-mini Realtime -`qwen3.5-omni-flash-realtime` +`qwen-audio-3.0-realtime-flash` 实时翻译 / 同传 @@ -74,7 +74,7 @@ Gemini 3.1 Live ## 实时还是文件模式？ -- **实时（WebSocket）**：适用于语音助手、呼叫中心、同声传译等实时语音交互场景。音频流式输入，语音流式输出。模型名称中包含`-realtime`。 +- **实时（WebSocket）**：适用于语音助手、呼叫中心、同声传译等实时语音交互场景。音频流式输入，语音流式输出。 - **文件模式（HTTP）**：可以用延迟换取更好的效果，适用于视频配音、播客翻译、离线内容处理等场景。文件模式下还支持 Function Calling、联网搜索、思考模式、视频上下文等附带能力（详见下方“S2S 单模型的附带能力”）。 @@ -91,13 +91,13 @@ Gemini 3.1 Live 语音助手 / 客服对话 -`qwen3.5-omni-plus-realtime` +`qwen-audio-3.0-realtime-plus` WebSocket 成本敏感的对话 -`qwen3.5-omni-flash-realtime` +`qwen-audio-3.0-realtime-flash` WebSocket @@ -127,27 +127,27 @@ WebSocket ## S2S 单模型的附带能力 -以下能力由 Qwen3.5-Omni / Qwen3-Omni 模型在 S2S 单模型路线下直接提供。Pipeline 路线中，对应能力需要由其中的 LLM 等组件分别支持。 +以下能力由 Qwen3.5-Omni / Qwen3-Omni 模型在 S2S 单模型路线下直接提供；其中 Function Calling 也可由 Qwen-Audio Realtime 提供。Qwen-Audio Realtime 不支持联网搜索和思考模式。Pipeline 路线中，对应能力需要由其中的 LLM 等组件分别支持。 ### Function Calling -让模型根据听到和看到的内容执行操作 -- 查询知识库、查询日程、触发工作流。使用Qwen3.5 Omni（WebSocket与HTTP模式） 或 Qwen3 Omni（HTTP模式）。 +让模型根据听到和看到的内容执行操作 -- 查询知识库、查询日程、触发工作流。使用 Qwen3.5 Omni（WebSocket 与 HTTP 模式）、Qwen3 Omni（HTTP 模式）或 Qwen-Audio Realtime（WebSocket 模式）。 **说明** -Qwen3.5-Omni/Qwen3-Omni实时（WebSocket）模式和Livetranslate模型不支持此功能。Qwen-Audio Realtime（WebSocket）支持Function Calling。 +Qwen3.5-Omni / Qwen3-Omni 实时（WebSocket）模式和 Livetranslate 模型不支持此功能。 ### 联网搜索 -让模型检索实时信息，回答关于时事、股价、天气等问题。使用Qwen3.5 Omni（HTTP和WebSocket），包括Plus和Flash系列。模型自主决定是否搜索。 +让模型检索实时信息，回答关于时事、股价、天气等问题。使用 Qwen3.5 Omni（HTTP 和 WebSocket），包括 Plus 和 Flash 系列。模型自主决定是否搜索。Qwen-Audio Realtime 不支持此功能。 **说明** -Qwen3-Omni-Flash和Livetranslate模型不支持此功能。 +Qwen3-Omni-Flash 和 Livetranslate 模型不支持此功能。 ### 思考模式 -当回答质量比延迟更重要时，使用Qwen3 Omni（HTTP模式）。模型在回复前会逐步推理，适用于视频分析、批量打标等场景。 +当回答质量比延迟更重要时，使用 Qwen3 Omni（HTTP 模式）。模型在回复前会逐步推理，适用于视频分析、批量打标等场景。Qwen-Audio Realtime 不支持此功能。 **说明** @@ -157,7 +157,7 @@ Qwen3-Omni-Flash和Livetranslate模型不支持此功能。 以下模型系列均支持语音翻译： -- **Qwen3.5-Livetranslate**：支持 60 种语言互译，其中 29 种支持音频+文本输出、31 种仅支持文本输出，覆盖中文、英语、法语、德语、俄语、日语、韩语、西班牙语、葡萄牙语、阿拉伯语等主流语种。。 +- **Qwen3.5-Livetranslate**：支持 60 种语言互译，其中 29 种支持音频+文本输出、31 种仅支持文本输出，覆盖中文、英语、法语、德语、俄语、日语、韩语、西班牙语、葡萄牙语、阿拉伯语等主流语种。 - **Qwen3-Livetranslate**：支持18种语言 + 5种中文方言，约3秒延迟，开箱即用。文件模式支持输入视频以获得上下文感知的翻译精度。其中7种语言仅输出文本（不输出语音）。 @@ -992,6 +992,50 @@ HTTP ## 所有模型 +### Qwen-Audio + +**模型** + +**API** + +**输入** + +**Function Calling** + +**联网搜索** + +**思考模式** + +**翻译** + +`qwen-audio-3.0-realtime-plus` + +WebSocket + +音频、文本 + +支持 + +\-- + +\-- + +\-- + +`qwen-audio-3.0-realtime-flash` + +WebSocket + +音频、文本 + +支持 + +\-- + +\-- + +\-- + ### Qwen3.5-Omni **模型** @@ -1256,50 +1300,6 @@ HTTP 18 -### Qwen-Audio - -**模型** - -**API** - -**输入** - -**Function Calling** - -**联网搜索** - -**思考模式** - -**翻译** - -`qwen-audio-3.0-realtime-plus` - -WebSocket - -音频、文本 - -支持 - -\-- - -\-- - -\-- - -`qwen-audio-3.0-realtime-flash` - -WebSocket - -音频、文本 - -支持 - -\-- - -\-- - -\-- - ### 旧版模型 以下模型不再更新，新项目建议使用Qwen3.5-Omni。 @@ -1356,6 +1356,8 @@ WebSocket 选定模型后，参考对应的调用文档： +- Qwen-Audio Realtime（WebSocket，实时语音对话）→ [实时语音对话（Qwen-Audio-Realtime）](https://help.aliyun.com/zh/model-studio/qwen-audio-realtime-user-guides) + - Qwen3.5-Omni / Qwen3-Omni（WebSocket，实时）→ [实时（Qwen-Omni-Realtime）](https://help.aliyun.com/zh/model-studio/realtime) - Qwen3.5-Omni / Qwen3-Omni（HTTP，文件）→ [非实时（Qwen-Omni）](https://help.aliyun.com/zh/model-studio/qwen-omni) @@ -1363,5 +1365,3 @@ WebSocket - Qwen3.5-Livetranslate（WebSocket，实时）→ [实时语音/音视频翻译-千问](https://help.aliyun.com/zh/model-studio/qwen3-5-livetranslate-flash-realtime) - Qwen3-Livetranslate（HTTP，文件）→ [音视频文件翻译-千问](https://help.aliyun.com/zh/model-studio/qwen3-livetranslate-flash) - -- Qwen-Audio Realtime（WebSocket，实时语音对话）→ [实时语音对话（Qwen-Audio-Realtime）](https://help.aliyun.com/zh/model-studio/qwen-audio-realtime-user-guides) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md index 560fb0a8..6f2eda70 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md @@ -4,7 +4,7 @@ ## 做 AI 编程或 Agent 开发（OpenClaw、Claude Code、Hermes 等）该选哪个模型？ -推荐 `qwen3.7-plus`——能力与成本均衡，完整工具调用支持，1M 上下文适合大型代码库。如需最强推理能力，可选择 `qwen3.7-max`。 +推荐 `qwen3.7-plus`——能力与成本均衡，完整工具调用支持，1M 上下文适合大型代码库。如需最强推理能力，可选择`qwen3.8-max-preview`（ Token Plan 可用），或 `qwen3.7-max`。 ## 从闭源模型迁移到百炼? @@ -18,7 +18,7 @@ GPT-5.5、Claude Opus 4.7、Gemini 3.1 Pro -`qwen3.7-max` +`qwen3.7-max`、`qwen3.8-max-preview`（仅 Token Plan 可用） 平衡 @@ -34,7 +34,7 @@ GPT-5.4-mini、Claude Haiku 4.5、Gemini 3.1 Flash ## 应用场景 -聊天机器人、内容生成、摘要总结、文档处理等场景，推荐使用 `qwen3.7-plus`，能力与成本均衡，拥有100万上下文窗口和完整的内置工具。确认效果满足需求后，可以尝试 `qwen3.6-flash` 来降低成本，效果接近旗舰模型，且拥有相同的上下文长度和功能支持。如需最强推理能力，可选择 `qwen3.7-max`（百万 token 上下文），但成本较高。 +聊天机器人、内容生成、摘要总结、文档处理等场景，推荐使用 `qwen3.7-plus`，能力与成本均衡，拥有100万上下文窗口和完整的内置工具。确认效果满足需求后，可以尝试 `qwen3.6-flash` 来降低成本，效果接近旗舰模型，且拥有相同的上下文长度和功能支持。如需最强推理能力，可选择 `qwen3.7-max`（百万 token 上下文）；也可选择 `qwen3.8-max-preview`（ Token Plan 可用）。 ### 办公场景（非编程） @@ -42,7 +42,7 @@ GPT-5.4-mini、Claude Haiku 4.5、Gemini 3.1 Flash 确认效果满足需求后，可尝试 `qwen3.6-flash` 降低成本，效果接近旗舰模型，且拥有相同的上下文长度和功能支持。 -如需最强推理能力（如复杂数据分析、多步逻辑推演），可选择 `qwen3.7-max`，但成本较高。 +如需最强推理能力（如复杂数据分析、多步逻辑推演），可选择 `qwen3.7-max`，但成本较高；也可选择 `qwen3.8-max-preview`（仅 Token Plan 可用）。 处理超长文档（如同时审阅多份合同、大规模文献梳理）时，推荐 `qwen-long`——上下文窗口达 1000 万 Token，可完整处理大体量文档。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md index 65c53e25..e784e1ba 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md @@ -54,7 +54,7 @@ ElevenLabs Multilingual v3 `qwen-audio-3.0-tts-plus`、`MiniMax/speech-2.8-hd` -`qwen-audio-3.0-tts-flash`（声音复刻）、`cosyvoice-v3.5-plus`（声音设计）、`MiniMax/speech-2.8-hd`（声音复刻） +`qwen-audio-3.0-tts-plus`（声音复刻）、`cosyvoice-v3.5-plus`（声音设计）、`MiniMax/speech-2.8-hd`（声音复刻） - **使用标准语音合成**：当内置音色库能满足需求，希望快速上手、无需额外配置时。 @@ -89,7 +89,7 @@ ElevenLabs Multilingual v3 推荐模型 -`qwen-audio-3.0-tts-flash`、`MiniMax/speech-2.8-hd` +`qwen-audio-3.0-tts-plus`、`qwen-audio-3.0-tts-flash`、`MiniMax/speech-2.8-hd` `cosyvoice-v3.5-plus`、`cosyvoice-v3.5-flash` @@ -145,7 +145,7 @@ Qwen-Audio-TTS WebSocket / HTTP -不支持 +支持 不支持 @@ -205,7 +205,7 @@ HTTP WebSocket / HTTP -不支持 +支持 不支持 @@ -225,7 +225,7 @@ WebSocket / HTTP - 系统音色（因音色而异）：中文（普通话）、英文 -- 声音复刻音色（方言通过指令控制功能进行设置）：中文（普通话、广东话、重庆话、东北话、甘肃话、贵州话、浙江话、河北话、河南话、湖北话、湖南话、江西话、宁波话、宁夏话、青岛话、陕西话、山西话、山东话、上海话、四川话、云南话）、英文、日语、韩语、德语、法语、意大利语、俄语、葡萄牙语、泰语、印尼语、马来语、越南语 +- 声音复刻音色（方言通过指令控制功能进行设置）：中文（普通话、广东话、重庆话、东北话、甘肃话、贵州话、浙江话、河北话、河南话、湖北话、湖南话、江西话、宁波话、宁夏话、青岛话、陕西话、山西话、山东话、上海话、四川话、云南话）、英语、日语、韩语、俄语、法语、德语、葡萄牙语、泰语、印尼语、越南语、西班牙语、意大利语、马来西亚语、菲律宾语、阿拉伯语 ### CosyVoice diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md index 8e525acd..ecfee151 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md @@ -10,7 +10,7 @@ TPM 预留为指定模型锁定专属推理容量，确保业务高峰期不受 - 专属模型 code：创建 TPM 预留后，系统自动生成专属模型 code，您需要将 API 请求中的 `model` 参数替换为该 code。 -- 超额不中断：超出预留容量的请求自动降级为按量计费处理，无需修改代码。 +- 溢出策略：创建时可选超额处理方式——自动溢出至按量计费（默认，业务不中断）或仅使用预留容量（超出返回 429，不产生额外费用）。 ## **方案对比与选型** @@ -61,7 +61,7 @@ TPM 预留 **流量可预估、不能接受限流** -超出自动降级公共池按量，不中断 +可选：自动溢出按量（默认）/仅预留容量返回429 替换 model 参数即可 @@ -73,7 +73,7 @@ PTU（[模型部署](https://help.aliyun.com/zh/model-studio/model-deployment-in **高吞吐高性能** -超出转按量 +可选：自动溢出按量（默认）/仅PTU容量返回429 替换 model 参数即可 @@ -199,7 +199,7 @@ DeepSeek-v4-Pro `退款 = 降量部分预付费 - (降量部分预付费 × 已用时长/购买时长 × 1.5)` -- 超出保障额度后自动降级为标准按量计费，服务不中断。可在详情页**超额降级统计**中查看降级次数。 +- 溢出策略为「自动溢出」时：超出保障额度自动降级为标准按量计费，服务不中断，可在详情页**超额降级统计**查看降级次数；为「仅使用预留容量」时：超出返回 429，不产生额外费用。 - 服务到期后 2 小时内：实例仍为运行中，可继续调用，可续费；到期后 2~14 小时：实例已停止，不可调用，仍可续费；到期 14 小时后：实例已删除，不可恢复。 @@ -232,6 +232,7 @@ glm-5.1 \[0, 32K)：输入 1.0 / 输出 1.0 \[32K, 200K\]：输入 1.33 / 输出 1.17 + deepseek-v4-pro @@ -357,6 +358,14 @@ Qwen 系列 在输入框中输入天数，取值范围与购买时长一致。 + 溢出策略 + + 预留容量耗尽时，超出部分请求的处理方式。 + + 是 + + 自动溢出至按 token 付费（默认，超出转按量、业务不中断）/ 仅使用预留容量（超出返回 429、不产生额外费用） + 2. 确认参数后单击**立即购买**，在费用确认弹窗中核对费用，单击**确认支付**。 3. 在 TPM 预留详情页的**概览** Tab，找到**专属模型 code**，单击复制。 @@ -451,7 +460,7 @@ RPM 越大，建议购买的输入和输出 TPM 同比增大。 - 使用率趋势：可切换输入/输出方向，展示预留容量线和实际用量。 -- 超额降级统计：展示超出预留容量后被降级处理的次数。 +- 超额降级统计：展示超出预留容量后被降级处理的次数（仅「自动溢出」策略下产生降级）。 #### 监控 @@ -476,6 +485,10 @@ RPM 越大，建议购买的输入和输出 TPM 同比增大。 单击**扩缩容**，在弹窗中调整输入 TPM 和输出 TPM。 +**说明** + +输入 TPM 和输出 TPM 支持调整为 0：归 0 后不再产生容量费用，且专属模型 code 继续保留，避免因到期或退订导致 code 失效。但归 0 属于减配，已使用部分按 1.5 倍系数结算违约金（详见上方计费与使用说明）。 + #### 续费 单击**续订**，选择续费时长并完成支付。如已开启**到期自动续费**，系统在到期前一天 08:00 自动扣款续费。 @@ -524,7 +537,7 @@ RPM 越大，建议购买的输入和输出 TPM 同比增大。 **Q: 超出预留容量时会怎样？** -超出预留容量的请求自动降级为按量计费处理，服务不中断。可在详情页概览 Tab 的**超额降级统计**中查看降级次数和时间。频繁降级时建议扩容。 +取决于创建时选择的溢出策略：「自动溢出」策略下，超出预留容量的请求自动降级为按量计费，服务不中断，可在详情页概览 Tab 的**超额降级统计**查看降级次数和时间，频繁降级时建议扩容；「仅使用预留容量」策略下，超出请求返回 429 错误，不产生额外费用，频繁 429 时建议扩容。 **Q: 专属模型 code 怎么获取？** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md index 27e89c0c..a229ac38 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md @@ -11,9 +11,9 @@ ## 支持的模型 -- **监控：普通监控**支持[选择模型](https://help.aliyun.com/zh/model-studio/models)中的所有模型，包括基于它们调优后的[自定义模型](https://help.aliyun.com/zh/model-studio/model-deployment-introduction#f17bf700c06k5)；**高级监控**支持北京、新加坡、弗吉尼亚地域下的所有模型**。** +- **监控：普通监控**支持[选择模型](https://help.aliyun.com/zh/model-studio/models)中的所有模型，包括基于它们调优后的[自定义模型](https://help.aliyun.com/zh/model-studio/model-deployment-introduction#f17bf700c06k5)；**高级监控**支持北京、上海、新加坡、弗吉尼亚地域下的所有模型**。** -- **告警功能：**支持北京、新加坡地域下的所有模型。 +- **告警功能：**支持北京、新加坡、弗吉尼亚地域下的所有模型。 ## **监控模型运行** @@ -22,9 +22,9 @@ > 列表记录按“模型 + 业务空间”维度生成。新模型在首次数据同步完成后自动加入列表（普通监控的延迟通常为小时级，请耐心等待；如需分钟级的数据洞察，请使用[高级监控](#2e5f2f0dffijg)）。 -列表顶部「监控数据看板」以卡片形式汇总**模型总量**、**总调用次数**、**总失败次数**、**平均调用时长**、**平均首包时长**。 +列表顶部「**监控数据**」以卡片形式汇总**模型总量**、**总调用次数**、**总失败次数**、**平均调用时长**、**平均首包时长**。 -「模型监控」表格列出各模型的**模型 Code**、**业务空间**、**调用总量**、**调用失败量**、**失败率**、**平均调用时长**、**平均首包时长**（除模型 Code、业务空间外均可排序），操作列提供**监控**、**日志**入口。 +「模型监控」表格列出各模型的**模型Code**、**业务空间**、**调用总量**、**调用失败量**、**失败率**、**平均调用时长**、**平均首Token延时**（除模型Code、业务空间外均可排序），操作列提供**监控**、**日志**入口。列表工具栏还提供**日志回流**入口，可将推理日志回流为训练数据集。 > 默认业务空间成员可查看所有业务空间的模型调用情况；子业务空间成员仅能查看当前空间的数据，无法切换查看其他业务空间数据。 @@ -80,7 +80,11 @@ ### **查看某次调用的 Token 消耗** -> 该功能目前仅适用于**华北2（北京）**地域的部分模型。 +> 该功能目前适用于**华北2（北京）**、新加坡地域的部分模型，弗吉尼亚地域同样支持。 + +**说明** + +**数据说明：**推理日志（高级监控）从调用发生到可查询存在分钟级延迟，请耐心等待；普通监控的用量汇总（如调用次数、Token 总量）延迟为小时级，高峰期可能达 1-2 小时。如遇无数据或查不到记录的情况，请先确认已等待足够的数据同步时间。仅记录**开启推理日志后**的调用数据，开通前的历史调用无法追溯。 1. 使用主账号（[或拥有足够权限的子账号](#f9d06146c0xe0)）登录，在目标业务空间的[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)页面，点击右上角的**模型监控配置**，按照指引依次开通审计日志和推理日志。 @@ -88,7 +92,7 @@ 2. 在模型监控列表中找到目标模型，点击其右侧**操作**列的**日志**。 -3. **日志**页签展示该模型的[实时推理](#f131611173sdx)调用记录，**用量**字段即为本次调用的Token消耗。 +3. **日志**页签以表格形式展示该模型的[实时推理](#f131611173sdx)调用记录，表格包含**Request ID/调用时间**、**调用时长**、**状态码**（支持筛选）、**错误码**、**用量**、**请求和响应**、**操作**等列。其中**用量**字段即为本次调用的Token消耗。 ### **创建异常消耗告警** @@ -100,10 +104,14 @@ **重要** -该功能目前仅适用于**华北2（北京）**地域的部分模型。 +该功能目前适用于**华北2（北京）**、新加坡地域的部分模型，弗吉尼亚地域同样支持。 模型监控支持查看模型的每一次对话，包括输入、输出及耗时，是故障排查和内容审计的关键工具。 +**说明** + +**数据说明：**日志从调用发生到可查询存在分钟级延迟，请耐心等待。如遇实时更新延迟或查不到记录的情况，请先确认已等待足够时间（普通监控用量汇总为小时级延迟，高级监控/推理日志为分钟级）。仅记录**开启推理日志后**的调用数据，开通前的历史调用无法追溯。 + ### **步骤一：开通日志** 使用主账号（[或拥有足够权限的子账号](#f9d06146c0xe0)）登录，在目标业务空间的[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)页面，点击右上角的**模型监控配置**，按照指引依次开通审计日志和推理日志。 @@ -116,7 +124,7 @@ 1. 在模型监控列表中找到目标模型，点击其右侧**操作**列的**日志**。 -2. **日志**页签展示该模型的[实时推理](#f131611173sdx)调用记录，**请求和响应**字段分别对应本次调用的输入与输出。 +2. **日志**页签以表格形式展示该模型的[实时推理](#f131611173sdx)调用记录，表格包含**Request ID/调用时间**、**调用时长**、**状态码**（支持筛选）、**错误码**、**用量**、**请求和响应**、**操作**等列。其中**请求和响应**字段分别对应本次调用的输入与输出。 **支持请求和响应的模型** @@ -152,14 +160,20 @@ - 三方模型：deepseek-v3.1、deepseek-v3.2、deepseek-v3.2-exp +并非所有模型都支持推理日志（请求/响应内容记录）。是否支持由模型本身决定，与模型是否为多模态无关。当所选模型不支持时，界面会显示**当前模型暂不支持日志**。 + +请注意：请求和响应内容**仅在开启推理日志后**才会被采集，开通前的历史调用不会补录。若某次调用的输出内容缺失或存在日志缺失，请先确认该模型是否支持推理日志，以及推理日志是否已在调用发生前完成开通。 + ## **建立主动告警** **重要** -该功能目前仅适用于新加坡和华北2（北京）地域。 +该功能目前适用于新加坡、北京和弗吉尼亚地域。 模型的静默失败（如超时、Token消耗突增），传统应用日志难以发现。模型监控支持对监控指标（如成本、失败率、响应延迟）设置告警。一旦指标出现异常，系统立即告警。 +模型告警页面包含**告警规则**和**告警历史**两个页签。**告警历史**页签可按告警时间、告警规则、告警等级、状态筛选查看历史告警记录，点击详情可查看告警详情。 + ### **步骤一：开启高级监控** 1. 使用主账号（[或拥有足够权限的子账号](#54ea9ba526ovz)）登录，在目标业务空间的模型监控（[北京](https://bailian.console.aliyun.com/?tab=model#/model-telemetry) 或 [新加坡](https://modelstudio.console.aliyun.com/?tab=dashboard#/model-telemetry)）页面，点击右上角的**模型监控配置**。 @@ -171,7 +185,7 @@ 1. 在模型告警（[北京](https://bailian.console.aliyun.com/?tab=model#/model-alert) 或[新加坡](https://modelstudio.console.aliyun.com/?tab=dashboard#/model-alert)）页面，点击右上角的**创建告警规则**。 -2. 在对话框中，选择要监控的模型和监控模板，确认无误后点击**创建**。当指定的监控指标（如调用统计或性能指标）出现异常时，系统将通知您的团队。 +2. 在对话框中，选择要监控的模型和监控模板，确认无误后点击**确定**。当指定的监控指标（如调用统计或性能指标）出现异常时，系统将通知您的团队。 - **通知方式：**支持短信、电子邮件、电话、钉钉群机器人、企业微信机器人及Webhook。 @@ -289,12 +303,20 @@ 模型非首包时长p99 + **TPS** + + model\_tps\_per\_request + + 单次请求输出 Token 速度（TPS），每秒生成 Token 数，衡量模型生成速度（仅高级监控支持） + **用量** model\_usage 模型用量总和 + **关于 TPS 指标：**`model_tps_per_request` 仅在**高级监控**中展示，高级监控为收费功能。TPS（每秒生成 Token 数）与非首包时长（每 Token 的平均生成耗时）呈倒数关系（TPS ≈ 1 ÷ 非首包时长均值）。排查响应慢的问题时，建议结合首 Token 延时（TTFT）、非首 Token 延时及输入 Token 量综合分析，单次调用总耗时还受输入长度、网络等因素影响，不能仅凭 TPS 判断。TPS 触发的是按请求维度的限流，区别于 TPM（每分钟 Token 数）的按账号维度限流。 + - **HTTP API：**`{HTTP API}`需替换为前面[步骤一](#title-tkb-ds1-4p5)获取的HTTP API地址。 - **Authorization：**需将阿里云账号的 `AccessKey:AccessKeySecret` 拼接后进行Base64编码，并以 `Basic 编码后字符串` 的形式提供。 @@ -530,6 +552,12 @@ 模型非首包时长p99 + **TPS** + + model\_tps\_per\_request + + 单次请求输出 Token 速度（TPS），每秒生成 Token 数，衡量模型生成速度（仅高级监控支持） + **用量** model\_usage @@ -715,6 +743,12 @@ } ``` +- **API Key 用量限额：**当前不支持为单个 API Key 设置月度或每日 Token 消耗上限并自动停服（即不支持硬性阻断，无法实现额度用尽后自动禁用 API 调用）。如需防止意外欠费，可采用以下替代方案： + + - **告警通知 + 手动禁用 Key：**开启**高级监控**（收费功能）后，可对 Token 消耗配置告警阈值，当消耗超出阈值时接收消费预警通知，再人工介入处理（如手动禁用对应 API Key）。普通监控仅支持基础用量查看，不支持配置告警。 + + - **免费额度用完即停：**适用于仅使用免费配额的场景，开启后免费额度耗尽时自动停止调用。 + ## **计费说明** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md new file mode 100644 index 00000000..8eaec477 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md @@ -0,0 +1,17 @@ +# AOQ SDK简介 + +阿里云AOQ SDK面向实时多模态场景，帮助开发者快速搭建基于阿里云实时多模态模型的解决方案。 + +欢迎使用AOQ SDK来实现您的业务需求，阿里云AOQ基于阿里云多年以来服务全球客户的深厚技术沉淀，以面向实时多模态场景向全球开发者开放的产品，致力于帮助全球开发者快速高效的搭建基于阿里云的实时多模态模型的解决方案。 + +## **API设计与回调机制** + +阿里云AOQ SDK的API设计遵循状态式API设计原则。客户只需要把想要的状态通过API传至SDK，SDK内部会进行状态判断，并在适当时机达成用户想要的目标状态，同时在执行时通过回调机制及时向客户反馈SDK当前执行状态，使客户使用我们的SDK时享受到无忧的体验。您只需设置期望的状态，SDK便会自动处理并通过回调通知您，无需重复调用，也不需要关心具体的调用时机和场景。 + +## **异常处理机制** + +遇到异常情况时，AOQ SDK会优先尝试内部解决，仅在内部无法恢复时，才会提示客户介入处理。目前这些无法恢复的内部错误主要分为物理限制（如网络问题、音频设备故障、视频设备故障、CPU或内存资源限制）和外部因素（token无效）两类。 + +## **下载指南** + +阿里云AOQ SDK是阿里云自研产品，请通过阿里云官网进行下载，详情请参见[SDK下载](https://help.aliyun.com/zh/model-studio/realtime-sdk-download)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md new file mode 100644 index 00000000..f675adaa --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md @@ -0,0 +1,1179 @@ +# 音频常用功能介绍 + +AOQ Client SDK 提供了完整的音频能力，覆盖音频采集、播放、编解码配置、扬声器管理、文件混音、外部音频流注入、音频帧数据回调等核心场景。本文档基于 Android（Java）、iOS（Objective-C）、Ohos（ArkTS）三个平台的公开 API，对音频常用功能进行统一介绍。 + +## **音频采集** + +音频采集用于打开设备麦克风，将实时音频数据送入 SDK 编码推流管线。SDK 支持两种采集模式： + +- **内部采集**（默认）：SDK 自动管理麦克风设备的打开、录音和关闭。 + +- **外部采集**：由应用自行管理麦克风，采集到的 PCM 数据通过外部音频流接口输入 SDK。 + + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +isExternal + +bool + +false + +是否使用外部采集模式 + +isVoipMode + +bool + +false + +是否启用 VoIP 模式（硬件 AEC），移动端有效，采集播放参数先到为准 + +channel + +int + +1 + +采集通道数，支持 1（单声道）/ 2（立体声） + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开启采集 + +`startAudioCapture(config)` + +`startAudioCapture:config:` + +`startAudioCapture(config)` + +关闭采集 + +`stopAudioCapture()` + +`stopAudioCapture` + +`stopAudioCapture()` + +静音/取消静音 + +`muteAudioCapture(mute)` + +`muteAudioCapture:` + +`muteAudioCapture(mute)` + +### 使用示例 + +**Android** + +``` +AoqAudioCaptureConfig config = new AoqAudioCaptureConfig(); +config.isVoipMode = true; +config.channel = 1; +engine.startAudioCapture(config); +``` + +**iOS** + +``` +AoqAudioCaptureConfig *config = [[AoqAudioCaptureConfig alloc] init]; +config.isVoipMode = YES; +config.channel = 1; +[engine startAudioCapture:config]; +``` + +**Ohos** + +``` +const config: AoqAudioCaptureConfig = { isVoipMode: true, channel: 1 }; +engine.startAudioCapture(config); +``` + +## **音频播放** + +音频播放用于将接收到的远端音频数据渲染到本地扬声器或耳机。SDK 支持播放暂停/恢复（带淡入淡出）、打断当前轮音频通话等高级控制。 + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +isVoipMode + +bool + +false + +是否启用 VoIP 模式（硬件AEC），移动端有效，采集播放参数先到为准 + +isDefaultSpeaker + +bool + +true + +是否默认使用扬声器（移动端有效，非VoIP时无效） + +isExternal + +bool + +false + +是否使用外部播放模式 + +channel + +int + +1 + +播放通道数，支持 1（单声道）/ 2（立体声） + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开始播放 + +`startAudioPlayer(config)` + +`startAudioPlayer:config:` + +`startAudioPlayer(config)` + +停止播放 + +`stopAudioPlayer()` + +`stopAudioPlayer` + +`stopAudioPlayer()` + +暂停播放 + +`pauseAudioPlayer(fadeMs)` + +`pauseAudioPlayer:` + +`pauseAudioPlayer(fadeMs)` + +恢复播放 + +`resumeAudioPlayer(fadeMs)` + +`resumeAudioPlayer:` + +`resumeAudioPlayer(fadeMs)` + +打断通话 + +`interruptAudioPlayer(trackType, fadeMs)` + +`interruptAudioPlayer:fadeMs:` + +`interruptAudioPlayer(trackType, fadeMs)` + +**说明** + +**fadeMs 参数**：暂停和恢复播放时的淡入/淡出时长（毫秒），设为 0 则立即切换。 + +## **扬声器管理** + +控制音频输出设备在扬声器和听筒之间切换。 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +切换扬声器 + +`enableSpeakerphone(enable)` + +`enableSpeakerphone:` + +`enableSpeakerphone(enable)` + +查询扬声器状态 + +`isSpeakerphoneEnabled()` + +`isSpeakerphoneEnabled` + +`isSpeakerphoneEnabled()` + +**说明** + +需要在 VoIP 模式下才允许切换，非 VoIP 时，`enableSpeakerphone` 调用有 OnError(AoqECAudioDeviceEarpieceRequiresVoipMode) 错误通知。 + +**说明** + +**iOS 特殊行为**：iPad 设备只有扬声器模式；当 AVAudioSession 不是 PlayAndRecord 类别时，也始终返回 YES。 + +## **音频编解码配置** + +设置音频上行（编码器）和下行（解码器）的编码格式、采样率、声道数和码率。表示推流/拉流的格式。 + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +Audio + +音频轨道类型，当前只支持一条音频流 + +codecType + +AoqEncoderType + +AudioPCM + +编码类型：AudioPCM(1) 或 AudioOpus(2) + +sampleRate + +int + +48000 + +采样率，Opus 支持 8K/16K/48K，PCM 支持 8K/16K/32K/48K + +channel + +int + +1 + +声道数，支持 1（单声道）/ 2（立体声） + +bitrate + +int + +32000 + +码率（bps） + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +设置编码参数 + +`setAudioEncoderConfig(config)` + +`setAudioEncoderConfig:` + +`setAudioEncoderConfig(config)` + +设置解码参数 + +`setAudioDecoderConfig(config)` + +`setAudioDecoderConfig:` + +`setAudioDecoderConfig(config)` + +### 支持的编码格式 + +**枚举值** + +**数值** + +**说明** + +AoqEncoderTypeAudioPCM + +1 + +PCM 裸音频 + +AoqEncoderTypeAudioOpus + +2 + +Opus 编码 + +## **音频文件混音** + +支持将本地音频文件混入当前音频流中一起推流和/或本地播放。每个音频文件通过业务自分配的 `fileId` 标识，可同时管理多个文件实例。 + +### 混音配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +fileName + +String + +\- + +音频文件路径（含文件名） + +cycles + +int + +\-1 + +循环次数，-1 表示无限循环 + +startPosMs + +long + +0 + +起始播放位置（毫秒） + +publishVolume + +int + +100 + +推流音量 \[0-100\] + +playoutVolume + +int + +100 + +本地播放音量 \[0-100\] + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开始播放 + +`startAudioFile(fileId, config)` + +`startAudioFile:config:` + +`startAudioFile(fileId, config)` + +停止播放 + +`stopAudioFile(fileId)` + +`stopAudioFile:` + +`stopAudioFile(fileId)` + +暂停 + +`pauseAudioFile(fileId)` + +`pauseAudioFile:` + +`pauseAudioFile(fileId)` + +恢复 + +`resumeAudioFile(fileId)` + +`resumeAudioFile:` + +`resumeAudioFile(fileId)` + +获取文件时长 + +`getAudioFileDuration(fileId)` + +`getAudioFileDuration:` + +`getAudioFileDuration(fileId)` + +获取当前位置 + +`getAudioFileCurrentPosition(fileId)` + +`getAudioFileCurrentPosition:` + +`getAudioFileCurrentPosition(fileId)` + +设置播放位置 + +`setAudioFilePositionMillis(fileId, pos)` + +`setAudioFilePositionMillis:positionMillis:` + +`setAudioFilePositionMillis(fileId, pos)` + +设置音量 + +`setAudioFileVolume(fileId, type, vol)` + +`setAudioFileVolume:type:volume:` + +`setAudioFileVolume(fileId, type, vol)` + +获取音量 + +`getAudioFileVolume(fileId, type)` + +`getAudioFileVolume:type:` + +`getAudioFileVolume(fileId, type)` + +**说明** + +**音量方向（type）**：`AoqAudioStreamPublish(0)` 控制推流音量；`AoqAudioStreamPlayout(1)` 控制本地播放音量。 + +### 状态回调 + +**状态码** + +**数值** + +**说明** + +AoqAudioFileNone + +0 + +初始状态 + +AoqAudioFileStarted + +1 + +已开始播放 + +AoqAudioFileStopped + +2 + +已停止 + +AoqAudioFilePaused + +3 + +已暂停 + +AoqAudioFileResumed + +4 + +已恢复 + +AoqAudioFileEnded + +5 + +播放结束 + +AoqAudioFileBuffering + +6 + +缓冲中 + +AoqAudioFileBufferingEnd + +7 + +缓冲结束 + +AoqAudioFileFailed + +8 + +播放失败 + +## **外部音频流** + +外部音频流允许将应用生成的 PCM 音频数据注入到 SDK 的音频管线中，支持推流和/或本地播放。典型场景包括 TTS 语音合成输出、AI 模型音频输出、背景音效等。每个外部音频流通过业务自分配的 `streamId` 标识。 + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +Audio + +音频轨道类型 + +codecType + +AoqEncoderType + +AudioPCM + +音频流格式 + +channels + +int + +1 + +声道数 + +sampleRate + +int + +48000 + +采样率，支持 8/12/16/24/32/44.1/48/64/88.2/96/176.4/192K + +playoutVolume + +int + +100 + +本地播放音量 \[0-100\] + +publishVolume + +int + +100 + +推流音量 \[0-100\] + +maxBufferDuration + +int + +600000 + +最大缓冲时长（毫秒），取值范围 \[100, ~\]，超过时 Push 失败 + +enable3A + +bool + +false + +输入 PCM 是否经过 3A 处理 + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +新增外部音频流 + +`addAudioExternalStream(streamId, config)` + +`addAudioExternalStream:config:` + +`addAudioExternalStream(streamId, config)` + +输入音频数据 + +`pushAudioExternalStreamData(streamId, data)` + +`pushAudioExternalStreamData:data:` + +`pushAudioExternalStreamData(streamId, data)` + +设置音量 + +`setAudioExternalStreamVolume(streamId, type, vol)` + +`setAudioExternalStreamVolume:type:volume:` + +`setAudioExternalStreamVolume(streamId, type, vol)` + +获取音量 + +`getAudioExternalStreamVolume(streamId, type)` + +`getAudioExternalStreamVolume:type:` + +`getAudioExternalStreamVolume(streamId, type)` + +清空缓存 + +`clearAudioExternalStreamBuffer(streamId, fadeoutMs)` + +`clearAudioExternalStreamBuffer:fadeoutMs:` + +`clearAudioExternalStreamBuffer(streamId, fadeoutMs)` + +移除流 + +`removeAudioExternalStream(streamId)` + +`removeAudioExternalStream:` + +`removeAudioExternalStream(streamId)` + +### Push 数据最佳实践 + +- 需要循环调用 `pushAudioExternalStreamData`，保证数据 push 成功 + +- 返回错误码 110（缓冲区满）时短暂 Sleep 30ms 后重试，不要丢弃数据 + +- 引擎退出前先停止推送循环，再调用 `removeAudioExternalStream` + +- 实时采集每帧 10ms 长，有数据就调用 push；从文件解析每帧 40ms 长，间隔 30ms 调用 push 一次 + + +## **音频帧数据回调** + +音频帧回调允许开发者在音频管线的不同位置获取原始 PCM 数据，用于音频分析、自定义处理、录制等场景。 + +### 支持的数据源位置 + +**数据源** + +**枚举值** + +**说明** + +Captured + +0 + +采集后的原始音频数据（未经 3A 处理） + +ProcessCaptured + +1 + +经过 3A 处理后的音频数据，需要 Connect 成功后才回调数据 + +Publish + +2 + +即将推流的音频数据（需要 Connect 成功） + +Playback + +3 + +即将播放的音频数据（远端下行） + +### 回调配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +sampleRate + +int + +48000 + +回调音频的采样率 + +channels + +int + +1 + +回调音频的声道数，支持 1/2 + +mode + +AoqAudioObserverMode + +ReadOnly + +只读(0)/读写(1) 模式 + +### 使用步骤 + +1. **注册观察者**：调用 `setAudioFrameObserver` 设置音频帧回调监听器 + +2. **启用数据源**：调用 `enableAudioFrameObserver` 选择需要监听的数据源位置，开启回调 + +3. **处理回调数据**：在回调函数中获取 PCM 数据 + + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +注册观察者 + +`setAudioFrameObserver(listener)` + +`setAudioFrameObserver:` + +`setAudioFrameObserver(observer)` + +启用回调 + +`enableAudioFrameObserver(enabled, source, config)` + +`enableAudioFrameObserver:audioSource:config:` + +`enableAudioFrameObserver(enabled, source, config)` + +### 回调方法 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +采集数据 + +`onCapturedAudioFrame(frame)` + +`onCapturedAudioFrame:` + +`onCapturedAudioFrame(frame)` + +3A 后数据 + +`onProcessCapturedAudioFrame(frame)` + +`onProcessCapturedAudioFrame:` + +`onProcessCapturedAudioFrame(frame)` + +推流数据 + +`onPublishAudioFrame(trackType, frame)` + +`onPublishAudioFrame:frame:` + +`onPublishAudioFrame(trackType, frame)` + +播放数据 + +`onPlaybackAudioFrame(frame)` + +`onPlaybackAudioFrame:` + +`onPlaybackAudioFrame(frame)` + +## **音频状态与路由** + +SDK 自动监测音频设备的状态变化和路由切换，并通过回调通知应用层。 + +### 设备状态码 + +**状态码** + +**值** + +**说明** + +AoqAudioDeviceNone + +0 + +初始状态 + +RecordStarting + +1 + +采集启动中 + +RecordStarted + +2 + +采集已启动 + +RecordStopping + +3 + +采集停止中 + +RecordStopped + +4 + +采集已停止 + +RecordFail + +5 + +采集失败 + +PlayStarting + +6 + +播放启动中 + +PlayStarted + +7 + +播放已启动 + +PlayStopping + +8 + +播放停止中 + +PlayStopped + +9 + +播放已停止 + +PlayFail + +10 + +播放失败 + +### 设备路由类型 + +**路由** + +**值** + +**说明** + +Default + +0 + +默认 + +Headset + +1 + +有线耳机 + +Earpiece + +2 + +听筒 + +HeadsetNoMic + +3 + +无麦克风耳机 + +SpeakerPhone + +4 + +扬声器 + +Usb + +5 + +USB 设备 + +Bluetooth + +6 + +蓝牙 SCO + +BluetoothA2dp + +7 + +蓝牙 A2DP + +### 回调对照 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +设备状态变化 + +`onAudioDeviceStateChanged(state)` + +`onAudioDeviceStateChanged:` + +`onAudioDeviceStateChanged(state, reason)` + +路由变化 + +`onAudioDeviceRouteChanged(routeType)` + +`onAudioDeviceRouteChanged:` + +`onAudioDeviceRouteChanged(routeType)` + +设备中断 + +`onAudioDeviceInterrupted(interrupt)` + +`onAudioDeviceInterrupted:` + +`onAudioDeviceInterrupted(interrupt)` + +文件状态 + +`onAudioFileState(state)` + +`onAudioFileState:` + +`onAudioFileState(fileId, stateCode, errorCode)` + +## **音频错误码与警告码** + +### 音频错误码 + +**错误码** + +**值** + +**说明** + +AoqErrorCodeAudio + +100 + +通用音频错误 + +AudioExternalBufferFull + +110 + +外部缓冲区已满 + +AudioDevice + +120 + +设备通用错误 + +RecordingAuthFailed + +121 + +麦克风权限失败 + +RecordingOccupied + +122 + +麦克风被占用 + +RecordingBackgroundStart + +123 + +后台启动录音 + +RecordingStartFail + +124 + +录音启动失败 + +PlayoutOccupied + +125 + +播放设备被占用 + +PlayoutBackgroundStart + +126 + +后台启动播放 + +PlayoutStartFail + +127 + +播放启动失败 + +EarpieceRequiresVoipMode + +128 + +听筒需要启用 VoIP 模式 + +### 音频警告码 + +**警告码** + +**值** + +**说明** + +AoqWCAudio + +100 + +通用音频警告 + +AudioHowling + +101 + +啸叫检测 + +AudioDevice + +120 + +设备通用警告 + +MicEnumerateError + +121 + +麦克风枚举错误 + +MicStartTimeout + +122 + +麦克风启动超时 + +RecordingError + +123 + +录音错误 + +SpeakerEnumerateError + +124 + +扬声器枚举错误 + +SpeakerStartTimeout + +125 + +扬声器启动超时 + +PlayoutError + +126 + +播放错误 + +## **iOS 专有：AVAudioSession 控制** + +iOS 平台提供了 `setAudioSessionRestriction` 接口，可精细控制 SDK 对系统 AVAudioSession 的管理权限。 + +**控制项** + +**说明** + +SetCategory + +SDK 是否有权设置 Session 类别 + +ConfigureSession + +SDK 是否有权配置 Session 参数 + +DeactivateSession + +SDK 是否有权停用 Session + +ActivateSession + +SDK 是否有权激活 Session + +通过按位组合传入 restriction 值，可限制 SDK 对 AVAudioSession 的控制范围，避免与应用层其他音频组件冲突。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md new file mode 100644 index 00000000..dea40376 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md @@ -0,0 +1,169 @@ +# 连接状态管理 + +本章节介绍 AOQ Client SDK 的连接状态机及其对应的 API 调用。 + +## **连接状态图** + +下图描述了 AOQ Client SDK 的连接状态迁移关系： + +AOQ Client SDK 连接状态迁移图 + +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/2375914871/p1088081.svg) + +## **状态说明** + +**状态** + +**枚举值** + +**说明** + +链接中（Connecting） + +1 + +调用 `connect` 后进入，正在与 AI Service 建立连接 + +已连接（Connected） + +2 + +连接建立成功，可正常收发音视频和数据消息 + +失败（Failed） + +3 + +连接异常（鉴权失败/超时/服务端拒绝等），SDK 内部会自动迁移到已断开 + +已断开（Disconnected） + +0 + +初始状态/主动断开/异常断开后的终态 + +## **状态迁移规则** + +1. **App 调用** `connect` → 进入 `Connecting` 状态。 + +2. **链接成功** → 从 `Connecting` 迁移到 `Connected`。 + +3. **链接异常** → 从 `Connecting` 迁移到 `Failed`，随后 SDK 自动迁移到 `Disconnected`。 + +4. **App 调用** `disconnect` → 从 `Connected` 迁移到 `Disconnected`。 + + +**说明**：`Failed` 是瞬态，SDK 触发 `onConnectionStatusChange(Failed)` 后会自动迁移到 `Disconnected`，业务层无需手动调用 disconnect。 + +## **connect API** + +调用 `connect` 发起与 AI Service 的连接，传入由 AppServer allocate 接口返回的鉴权凭证。 + +### **方法签名** + +**Android：** + +``` +public abstract int connect(@NonNull AoqConnectConfig config); +``` + +**iOS：** + +``` +- (int)connect:(AoqConnectConfig * _Nonnull)config; +``` + +**Ohos：** + +``` +connect(config: AoqConnectConfig): number; +``` + +**返回值：**`0` 表示调用成功（异步建连）；`< 0` 表示失败。 + +### **行为说明** + +- 调用后触发 `onConnectionStatusChange(connecting)` 回调。 + +- 如果链接成功时触发 `onConnectionStatusChange(connected)` 回调。 + +- 如果链接失败时触发 `onConnectionStatusChange(failed)` 回调。 + + +## **disconnect API** + +调用 `disconnect` 主动断开与 AI Service 的连接。 + +### **方法签名** + +**Android：** + +``` +public abstract int disconnect(); +``` + +**iOS：** + +``` +- (int)disconnect; +``` + +**Ohos：** + +``` +disconnect(): number; +``` + +**返回值：**`0` 表示成功；`< 0` 表示失败。 + +### **行为说明** + +- 调用后触发 `onConnectionStatusChange(Disconnected)` 回调。 + +- 引擎不会自动释放，可重新调用 `connect` 进行重连。 + +- 未连接状态下调用 `disconnect` 是安全的，返回 0。 + + +## **onConnectionStatusChange 回调** + +连接状态变化时，SDK 通过此回调通知业务层。 + +**Android：** + +``` +public void onConnectionStatusChange( + @NonNull AoqClientEngine.AoqConnectionStatus status) {} +``` + +**iOS：** + +``` +- (void)onConnectionStatusChange:(AoqConnectionStatus)status; +``` + +**Ohos：** + +``` +onConnectionStatusChange?: (status: AoqConnectionStatus) => void; +``` + +### **示例代码** + +``` +func onConnectionStatusChange(_ status: AoqConnectionStatus) { + switch status { + case .connecting: + print("正在连接...") + case .connected: + print("连接成功") + // 连接成功后可发送 session.update + case .failed: + print("连接失败") + // SDK 会自动迁移到 disconnected，无需手动 disconnect + case .disconnected: + print("已断开") + // 可根据业务决定是否重连 + } +} +``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md new file mode 100644 index 00000000..670fc6f0 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md @@ -0,0 +1,253 @@ +# 自定义音频采集 + +介绍如何使用 AOQ Client SDK 实现自定义音频采集功能，包括外部音频流的添加、PCM 数据推送和管理。 + +## **功能介绍** + +AOQ Client SDK 内部音频模块可满足应用中对基本音频功能的需求，但在特定场景中，SDK 内部的音频采集模块可能无法满足开发需求，需要实现自定义音频采集功能，例如： + +- 解决音频采集设备被占用问题。 + +- 需要从定制的采集系统、音频文件中获取音频数据后交给 SDK 传输。 + +- 需要将 AI TTS 生成的音频数据通过 SDK 推流传输。 + + +AOQ Client SDK 支持灵活的自定义采集功能，允许用户根据业务场景自行管理音频设备与音频源。外部音频流的数据会与内部采集的音频数据混音后一起推流发送。 + +## **示例代码** + +暂无 + +## **前提条件** + +- 已创建引擎实例（调用 `createEngine`）。 + +- 已成功连接服务器（`onConnectionStatusChange` 回调状态为 `AoqConnectionStatusConnected`）。 + + +## **功能实现** + +### **1\. 打开或关闭音频采集** + +需要先开启音频采集，外部音频流输入的数据会与内部采集数据混音后一起推流。如果不需要内部麦克风采集，可以设置 `isExternal=true` 关闭内部采集设备。 + +``` +// 方式一：开启内部采集，外部音频流数据会与麦克风数据混音推流 +AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig(); +config.isExternal = false; // 使用内部麦克风采集 +config.isVoipMode = false; +engine.startAudioCapture(config); + +// 方式二：关闭内部采集，仅推送外部音频流数据 +AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig(); +config.isExternal = true; // 不打开麦克风，由外部音频流提供数据 +engine.startAudioCapture(config); +``` + +### **2\. 连接成功后，添加外部音频流** + +在 `onConnectionStatusChange` 回调状态变为 `AoqConnectionStatusConnected` 后，调用 `addAudioExternalStream` 添加外部音频流。需要指定一个唯一的 `streamId` 用于后续推送数据和管理。 + +如果需要音频 3A 处理（回声消除、噪声抑制、自动增益），请配置 `AoqAudioExternalStreamConfig` 中的 `enable3A` 参数。 + +``` +// 在 onConnectionStatusChange 回调中确认连接成功后添加 +@Override +public void onConnectionStatusChange(AoqClientEngine.AoqConnectionStatus status) { + if (status == AoqClientEngine.AoqConnectionStatus.AoqConnectionStatusConnected) { + addExternalAudioStream(); + } +} + +private void addExternalAudioStream() { + AoqClientEngine.AoqAudioExternalStreamConfig config = new AoqClientEngine.AoqAudioExternalStreamConfig(); + config.sampleRate = 48000; // 采样率，需与实际音频数据一致 + config.channels = 1; // 声道数 + config.publishVolume = 100; // 推流音量 [0-100] + config.playoutVolume = 0; // 本地播放音量 [0-100]，0 表示不本地播放 + config.maxBufferDuration = 1000; // 最大缓冲时长（毫秒） + config.enable3A = true; // 是否对输入 PCM 进行 3A 处理 + + String streamId = "external_audio_1"; + int ret = engine.addAudioExternalStream(streamId, config); + if (ret == 0) { + mExternalStreamId = streamId; + } +} +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +AoqTrackTypeAudio + +音频轨道类型 + +codecType + +AoqEncoderType + +AoqEncoderTypeAudioPCM + +音频流格式 + +channels + +int + +1 + +声道数 + +sampleRate + +int + +48000 + +采样率（Hz） + +playoutVolume + +int + +100 + +播放音量 \[0-100\] + +publishVolume + +int + +100 + +推流音量 \[0-100\] + +maxBufferDuration + +int + +1000 + +最大缓冲时长（毫秒） + +enable3A + +boolean + +false + +是否对输入 PCM 进行 3A 处理 + +### **3\. 实现自采集模块或从文件获取 PCM 数据** + +自定义采集功能需要根据业务场景自行采集并处理音频数据，之后将数据传入 SDK 进行传输。常见的数据来源： + +- **麦克风采集**：通过 Android AudioRecord 采集 PCM 数据。 + +- **文件读取**：从本地 PCM/WAV 音频文件中解析获取 PCM 数据。 + +- **AI TTS**：从语音合成引擎获取 PCM 数据。 + +- **网络流**：从网络音频流中解码获取 PCM 数据。 + + +音频数据需要为 PCM 格式，并记录对应的采样率、声道数等参数，用于构造 `AoqAudioFrameData` 对象。 + +### **4\. 通过外部音频流 ID 推送音频数据到 SDK** + +调用 `pushAudioExternalStreamData` 接口，将采集到的 PCM 音频数据传入 SDK。 + +- 从硬件采集：建议采集 10ms 为一帧数据，采集到数据就 push 给 SDK。 + +- 从文件解析：建议 40ms 为一帧数据，每 push 一帧 Sleep 30ms 后 push 下一帧。 + +- 需要维护一个 `running` 标记，当引擎退出或 stream ID 被删除时退出推送循环。 + + +``` +// 成员变量：控制推送循环的运行标记 +private volatile boolean mPushRunning = false; + +// 推送单帧音频数据 + +private void pushAudioData(byte[] audioData, int bytesRead) { + + if (engine == null || mExternalStreamId == null || bytesRead <= 0) { + return; + } + + int channels = 1; + int bytesPerSample = 2; // 16bit PCM + int sampleRate = 48000; + + // 构造音频帧数据 + AoqClientEngine.AoqAudioFrameData frameData = new AoqClientEngine.AoqAudioFrameData(); + frameData.dataPtr = audioData; + frameData.dataSize = bytesRead; + frameData.numOfSamples = bytesRead / (channels * bytesPerSample); + frameData.bytesPerSample = bytesPerSample; + frameData.numOfChannels = channels; + frameData.samplesPerSec = sampleRate; + + // 推送数据，处理缓冲区满的情况 + int ret; + final int WAIT_MS = 30; + + do { + // 检查运行标记和 stream ID 是否仍有效 + if (!mPushRunning || mExternalStreamId == null) { + break; + } + ret = engine.pushAudioExternalStreamData(mExternalStreamId, frameData); + if (ret == 110) { // AoqErrorCodeAudioExternalBufferFull + try { + Thread.sleep(WAIT_MS); + } catch (InterruptedException e) { + break; + } + } else { + break; + } + } while (true); +} +``` + +**注意事项：** + +- 需要在连接成功且添加外部音频流之后再开始推送数据。 + +- 需要按照数据的实际长度设置 `AoqAudioFrameData` 的 `numOfSamples`。 + +- 调用 `pushAudioExternalStreamData` 时，可能出现内部缓冲区满（错误码 110）而导致失败，需要等待重试。 + +- 实时采集建议 10ms 一帧数据 push，有数据就调用 push，注意处理内部缓冲区满（错误码 110）。 + +- 从文件解析建议 40ms 一帧数据，间隔 30ms 调用 push，注意处理内部缓冲区满（错误码 110）。 + +- 引擎退出（`destroy`）或 stream ID 被移除前，必须先设置 `mPushRunning = false` 停止推送循环，避免在已释放的资源上操作。 + + +### **5\. 移除外部音频流** + +当不再需要发布自定义采集的音频时，先停止推送循环，再调用 `removeAudioExternalStream` 接口移除外部音频流。 + +``` +// 先停止推送 +stopPushAudio(); +// 再移除外部音频流 +engine.removeAudioExternalStream(mExternalStreamId); +mExternalStreamId = null; +``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md new file mode 100644 index 00000000..1d94d8e7 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md @@ -0,0 +1,235 @@ +# 自定义音频播放 + +AOQ Client SDK 支持自定义音频播放功能，通过音频帧回调机制将解码后的 PCM 数据回调给应用层，由开发者自行实现音频渲染播放。 + +## **功能介绍** + +AOQ Client SDK 内部音频模块默认会将接收到的远端音频数据通过系统扬声器/听筒播放，但在特定场景中，SDK 内部的音频播放模块可能无法满足开发需求，需要实现自定义音频播放功能，例如： + +- 需要将接收到的音频数据输出到自定义的播放设备或音频处理管线。 + +- 需要对接收到的音频数据进行二次处理（如 AI 语音识别、音效处理等）。 + +- 解决音频播放设备被占用的问题。 + + +AOQ Client SDK 支持灵活的自定义播放功能，通过音频帧回调机制，将解码后的 PCM 数据回调给应用层，由开发者自行实现音频渲染播放。 + +## **示例代码** + +暂无 + +## **前提条件** + +- 已创建引擎实例（调用 `createEngine`）。 + +- 已成功连接服务器（`onConnectionStatusChange` 回调状态为 `AoqConnectionStatusConnected`）。 + + +## **功能实现** + +### **1\. 开启音频播放（外部模式）** + +调用 `startAudioPlayer` 时设置 `isExternal=true`，关闭 SDK 内部的音频渲染设备，由应用层自行处理音频播放。 + +``` +AoqClientEngine.AoqAudioPlaybackConfig config = new AoqClientEngine.AoqAudioPlaybackConfig(); +config.isExternal = true; // 关闭 SDK 内部播放，由应用层自行渲染 +config.channel = 1; // 声道数 +engine.startAudioPlayer(config); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +isVoipMode + +boolean + +false + +是否启用 VoIP 模式（硬件AEC），移动端有效 + +isDefaultSpeaker + +boolean + +true + +是否默认扬声器，移动端有效 + +isExternal + +boolean + +false + +是否外部播放模式，true 时 SDK 不打开播放设备 + +channel + +int + +1 + +声道数 + +### **2\. 设置音频帧回调监听** + +调用 `setAudioFrameObserver` 设置音频帧数据回调监听器，实现 `onPlaybackAudioFrame` 回调方法接收播放 PCM 数据。 + +``` +engine.setAudioFrameObserver(new AoqClientListener.AoqAudioFrameListener() { + @Override + public void onPlaybackAudioFrame(@NonNull AoqClientEngine.AoqAudioFrameData frame) { + // 在此处理接收到的播放音频数据 + // frame.dataPtr: PCM 数据 + // frame.numOfSamples: 采样点数 + // frame.numOfChannels: 声道数 + // frame.samplesPerSec: 采样率 + // frame.bytesPerSample: 每采样点字节数 + playPcmData(frame); + } +}); +``` + +### **3\. 开启播放数据回调** + +调用 `enableAudioFrameObserver` 开启播放位置的音频帧回调，指定数据源为 `AoqAudioSourcePlayback`。 + +``` +AoqClientEngine.AoqAudioObserverConfig observerConfig = new AoqClientEngine.AoqAudioObserverConfig(); +observerConfig.sampleRate = 48000; // 回调音频采样率 +observerConfig.channels = 1; // 回调音频声道数 +observerConfig.mode = AoqClientEngine.AoqAudioObserverMode.AoqAudioObserverModeReadOnly; // 只读模式 + +engine.enableAudioFrameObserver( + true, // 开启回调 + AoqClientEngine.AoqAudioSource.AoqAudioSourcePlayback, // 播放数据源 + observerConfig +); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +sampleRate + +int + +48000 + +回调音频采样率（Hz） + +channels + +int + +1 + +回调音频声道数 + +mode + +AoqAudioObserverMode + +AoqAudioObserverModeReadOnly + +读写模式 + +### **4\. 实现自定义音频渲染** + +在 `onPlaybackAudioFrame` 回调中接收到 PCM 数据后，由应用层自行实现音频渲染播放。常见的实现方式： + +- **Android AudioTrack**：通过 AudioTrack 将 PCM 数据写入系统音频设备播放。 + +- **AI 语音识别**：将 PCM 数据传入 ASR 引擎进行语音识别。 + +- **音效处理**：对 PCM 数据进行音效处理后再播放。 + +- **文件存储**：将接收到的音频数据保存到本地文件。 + + +``` +// 示例：使用 Android AudioTrack 播放 +private AudioTrack mAudioTrack; +private volatile boolean mPlayRunning = false; + +private void initAudioTrack(int sampleRate, int channels) { + int channelConfig = (channels == 2) + ? AudioFormat.CHANNEL_OUT_STEREO + : AudioFormat.CHANNEL_OUT_MONO; + int bufferSize = AudioTrack.getMinBufferSize( + sampleRate, channelConfig, AudioFormat.ENCODING_PCM_16BIT); + + mAudioTrack = new AudioTrack( + AudioManager.STREAM_VOICE_CALL, + sampleRate, + channelConfig, + AudioFormat.ENCODING_PCM_16BIT, + bufferSize, + AudioTrack.MODE_STREAM); + mAudioTrack.play(); + mPlayRunning = true; +} + +private void playPcmData(AoqClientEngine.AoqAudioFrameData frame) { + if (!mPlayRunning || mAudioTrack == null) { + return; + } + if (frame.dataPtr != null && frame.dataSize > 0) { + mAudioTrack.write(frame.dataPtr, 0, frame.dataSize); + } +} +``` + +**注意事项：** + +- `onPlaybackAudioFrame` 回调在 SDK 内部线程触发，回调中的 `frame.dataPtr` 仅在回调期间有效，异步使用需自行拷贝。 + +- AudioTrack.write 是阻塞操作，在回调中直接写入即可，SDK 内部会按节奏回调。 + +- 需要维护 `mPlayRunning` 标记，当引擎退出或停止播放时退出处理逻辑。 + + +### **5\. 停止自定义播放** + +当不再需要自定义播放时，先关闭音频帧回调，再停止播放设备，释放 AudioTrack 资源。 + +``` +// 1. 关闭播放位置的音频帧回调 +AoqClientEngine.AoqAudioObserverConfig observerConfig = new AoqClientEngine.AoqAudioObserverConfig(); +engine.enableAudioFrameObserver( + false, // 关闭回调 + AoqClientEngine.AoqAudioSource.AoqAudioSourcePlayback, + observerConfig +); + +// 2. 移除音频帧回调监听 +engine.setAudioFrameObserver(null); + +// 3. 停止 SDK 音频播放 +engine.stopAudioPlayer(); + +// 4. 释放 AudioTrack 资源 +mPlayRunning = false; +if (mAudioTrack != null) { + mAudioTrack.stop(); + mAudioTrack.release(); + mAudioTrack = null; +} +``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md new file mode 100644 index 00000000..358f530f --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md @@ -0,0 +1,647 @@ +# 自定义视频输入 + +介绍 AOQ Client SDK 自定义视频输入的两种模式：原始帧模式和编码帧模式，以及各模式的配置方法和示例代码。 + +## **功能介绍** + +AOQ Client SDK 内部视频模块可满足应用中对基本视频功能的需求，但在特定场景中，SDK 内部的视频采集模块可能无法满足开发需求，需要实现自定义视频采集功能，例如： + +- 解决摄像头设备被占用或不兼容问题。 + +- 需要从定制的采集系统、视频文件中获取视频数据后交给 SDK 传输。 + +- 需要将 AI 生成的画面、屏幕录制、虚拟摄像头等内容通过 SDK 推流传输。 + + +AOQ Client SDK 支持两种自定义视频采集模式： + +- **原始帧模式**：自行采集原始视频帧（BGRA、I420、NV12、NV21 等格式），通过 `pushExternalVideoCapturedFrame` 推送给 SDK 进行编码和传输。SDK 内部完成编码、传输等完整流程。 + +- **编码帧模式**：自行完成视频编码（目前支持 JPEG），通过 `pushExternalVideoEncodedFrame` 直推已编码数据给 SDK，跳过 SDK 内部编码器，直接打包发送。 + + +## **示例代码** + +暂无 + +## **前提条件** + +- 已创建引擎实例（调用 `createEngine`）。 + +- 已成功连接服务器（`onConnectionStatusChange` 回调状态为 `AoqConnectionStatusConnected`）。 + + +## **功能实现** + +根据业务场景选择以下两种模式之一。两种模式不可混用：同一时间只能使用其中一种推送接口。 + +## **模式一：原始帧模式** + +自行采集原始视频帧（BGRA、I420、NV12、NV21 等格式），推送给 SDK 进行编码和传输。SDK 内部完成编码、传输等完整流程。 + +### **1\. 配置视频编码参数** + +SDK 内部编码器会对推送的原始帧进行编码，可根据业务需要调整编码参数。 + +``` +AoqClientEngine.AoqVideoCodecConfig config = new AoqClientEngine.AoqVideoCodecConfig(); +config.width = 1280; +config.height = 720; +config.fps = 2; +config.bitrate = 500000; // 起始码率 500kbps +config.minBitrate = 128000; // 最小码率 128kbps +config.keyframeInterval = 2; +// isExternal 保持默认 false，SDK 内部编码 + +engine.setVideoEncoderConfig(config); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +AoqTrackTypeVideo + +视频轨道类型 + +codecType + +AoqEncoderType + +AoqEncoderTypeVideoH264 + +编码器类型 + +width + +int + +720 + +编码宽度（像素） + +height + +int + +1280 + +编码高度（像素） + +fps + +int + +5 + +帧率 + +bitrate + +int + +500000 + +起始码率（bps） + +minBitrate + +int + +128000 + +最小码率（bps） + +keyframeInterval + +int + +2 + +关键帧间隔（秒） + +isExternal + +boolean + +false + +原始帧模式保持 false + +mirrorMode + +AoqMirrorMode + +AoqMirrorModeDisabled + +镜像模式 + +orientationMode + +AoqOrientationMode + +AoqOrientationModeAuto + +画面方向模式 + +### **2\. 以外部采集模式启动视频采集** + +调用 `startVideoCapture` 并设置 `isExternal=true`，告知 SDK 不打开摄像头，由外部源提供视频帧。这是原始帧模式的前置条件，未调用则 SDK 不会消费推送的帧数据。 + +``` +AoqClientEngine.AoqVideoCaptureConfig config = new AoqClientEngine.AoqVideoCaptureConfig(); +config.isExternal = true; // 不打开摄像头，由外部源推送视频帧 +// isExternal=true 时 width/height/fps 无效，实际分辨率和帧率由推送数据决定 +int ret = engine.startVideoCapture(config); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +width + +int + +1280 + +采集宽度（`isExternal=true` 时无效） + +height + +int + +720 + +采集高度（`isExternal=true` 时无效） + +fps + +int + +15 + +采集帧率（`isExternal=true` 时无效） + +isExternal + +boolean + +false + +true：不打开摄像头，由外部源推送帧数据 + +cameraDirection + +AoqCameraDirection + +AoqCameraDirectionFront + +摄像头方向（`isExternal=true` 时无效） + +### **3\. 推送原始视频帧** + +调用 `pushExternalVideoCapturedFrame` 接口，将采集到的原始视频帧传入 SDK。SDK 内部完成编码和传输。 + +支持的视频帧格式：BGRA、I420、NV12、NV21、RGBA。Apple 平台额外支持 CVPixelBuffer 零拷贝格式。 + +#### **3.1 BGRA 格式** + +BGRA 为打包格式，每个像素 4 字节（Blue、Green、Red、Alpha），一帧数据量 = width x height x 4。 + +``` +// 构造 BGRA 视频帧 +AoqClientEngine.AoqVideoFrame frame = new AoqClientEngine.AoqVideoFrame(); +frame.format = AoqClientEngine.AoqVideoPixelFormat.AoqVideoPixelFormatBGRA; +frame.width = 1280; +frame.height = 720; + +frame.data = bgraBytes; // byte[]，长度 = width * height * 4 + +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoCapturedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +#### **3.2 I420 格式** + +I420 为三平面格式（Y、U、V 分离），Y 平面大小 = width x height，U/V 平面各为 (width/2) x (height/2)。 + +``` +// 构造 I420 视频帧 +AoqClientEngine.AoqVideoFrame frame = new AoqClientEngine.AoqVideoFrame(); +frame.format = AoqClientEngine.AoqVideoPixelFormat.AoqVideoPixelFormatI420; +frame.width = 1280; +frame.height = 720; + +frame.dataY = yPlane; // byte[]，长度 = width * height + +frame.dataU = uPlane; // byte[]，长度 = (width/2) * (height/2) + +frame.dataV = vPlane; // byte[]，长度 = (width/2) * (height/2) + +frame.strideY = 1280; // Y 平面行字节数 +frame.strideU = 640; // U 平面行字节数 +frame.strideV = 640; // V 平面行字节数 +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoCapturedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +#### **3.3 NV12 / NV21 格式** + +NV12 和 NV21 为半平面格式，Y 平面 + UV 交错平面。NV12 为 UV 交替排列，NV21 为 VU 交替排列。数据量 = width x height x 3 / 2，打包在 `data` 字段中。 + +``` +// 构造 NV12 视频帧（NV21 同理，修改 format 即可） +AoqClientEngine.AoqVideoFrame frame = new AoqClientEngine.AoqVideoFrame(); +frame.format = AoqClientEngine.AoqVideoPixelFormat.AoqVideoPixelFormatNV12; +frame.width = 1280; +frame.height = 720; + +frame.data = nv12Bytes; // byte[]，长度 = width * height * 3 / 2 + +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoCapturedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +#### **3.4 CVPixelBuffer 格式（Apple 平台）** + +iOS / macOS 平台支持直接传递 `CVPixelBufferRef`，实现零拷贝传输，避免内存拷贝带来的性能开销。 + +``` +// iOS / macOS 平台 +let frame = AoqVideoFrame() +frame.format = .cvPixelBuffer +frame.width = 1280 +frame.height = 720 +frame.pixelBuffer = pixelBuffer // CVPixelBufferRef +frame.timeStamp = Int64(Date().timeIntervalSince1970 * 1000) + +// SDK 内部异步持有 pixelBuffer，需要额外 +1 引用计数 +// SDK 消费完毕后会自行释放 +let _ = Unmanaged.passRetained(pixelBuffer) + +engine.pushExternalVideoCapturedFrame(.video, frame: frame) +``` + +### **4\. 停止原始帧采集** + +当不再需要推送视频帧时，先停止推帧定时器，再调用 `stopVideoCapture` 关闭视频采集。 + +``` +// 1. 停止推帧定时器 +stopExternalFramePush(); +// 2. 停止视频采集 +engine.stopVideoCapture(); +``` + +## **模式二：编码帧模式** + +自行完成视频编码（目前支持 JPEG），直推已编码数据给 SDK，跳过 SDK 内部编码器，直接打包发送。此模式**不需要调用** `startVideoCapture` 等采集相关接口。 + +### **1\. 配置视频编码参数并启用外部编码** + +调用 `setVideoEncoderConfig` 并设置 `isExternal=true`，告知 SDK 跳过内部编码器，由外部提供已编码数据。 + +``` +AoqClientEngine.AoqVideoCodecConfig config = new AoqClientEngine.AoqVideoCodecConfig(); +config.width = 1280; +config.height = 720; +config.fps = 2; +config.isExternal = true; // 跳过内部编码，由外部推送已编码帧 + +engine.setVideoEncoderConfig(config); +``` + +设置完成后即可直接推送编码帧，无需调用 `startVideoCapture`。 + +### **2\. 推送编码视频帧** + +调用 `pushExternalVideoEncodedFrame` 接口，将已编码的视频数据直传给 SDK。目前仅支持 JPEG 编码格式。 + +``` +// 从 Bitmap 生成 JPEG 数据 +android.graphics.Bitmap bmp = android.graphics.Bitmap.createBitmap( + width, height, android.graphics.Bitmap.Config.ARGB_8888); +// ... 填充 Bitmap 内容 ... + +java.io.ByteArrayOutputStream baos = new java.io.ByteArrayOutputStream(); +bmp.compress(android.graphics.Bitmap.CompressFormat.JPEG, 85, baos); +bmp.recycle(); + +// 构造编码帧并推送 +AoqClientEngine.AoqVideoEncodedFrame frame = new AoqClientEngine.AoqVideoEncodedFrame(); +frame.codec = AoqClientEngine.AoqVideoCodecType.AoqVideoCodecTypeJPEG; +frame.data = baos.toByteArray(); +frame.width = width; +frame.height = height; +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoEncodedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +**AoqVideoEncodedFrame 参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +codec + +AoqVideoCodecType + +AoqVideoCodecTypeJPEG + +编码格式，目前仅支持 JPEG + +data + +byte\[\] + +null + +编码后的数据 + +width + +int + +0 + +画面宽度（像素） + +height + +int + +0 + +画面高度（像素） + +timeStamp + +long + +0 + +时间戳（毫秒），为 0 时 SDK 使用本地时钟补充 + +### **3\. 停止编码帧推送** + +编码帧模式无需管理采集设备，停止推帧定时器即可。 + +``` +stopExternalFramePush(); +``` + +## **视频帧格式参考** + +### **AoqVideoFrame（原始帧模式使用）** + +**字段** + +**类型** + +**说明** + +format + +AoqVideoPixelFormat + +像素格式 + +width + +int + +画面宽度（像素） + +height + +int + +画面高度（像素） + +data + +byte\[\] + +打包格式数据（NV12/NV21/BGRA/RGBA） + +dataY + +byte\[\] + +I420 Y 平面数据 + +dataU + +byte\[\] + +I420 U 平面数据 + +dataV + +byte\[\] + +I420 V 平面数据 + +strideY + +int + +I420 Y 平面行字节数 + +strideU + +int + +I420 U 平面行字节数 + +strideV + +int + +I420 V 平面行字节数 + +textureId + +int + +Android 纹理 ID（TextureOES/Texture2D） + +transformMatrix + +float\[\] + +纹理变换矩阵（4x4 行优先） + +eglContext + +EGLContext + +Android 共享 EGL context（纹理模式使用） + +pixelBuffer + +CVPixelBufferRef + +Apple 零拷贝 CVPixelBuffer（仅 iOS/macOS） + +timeStamp + +long + +时间戳（毫秒），为 0 时 SDK 用本地时钟补充 + +### **AoqVideoPixelFormat 枚举值** + +**枚举值** + +**数值** + +**说明** + +AoqVideoPixelFormatUnknown + +0 + +未知格式 + +AoqVideoPixelFormatI420 + +1 + +I420 三平面格式 + +AoqVideoPixelFormatNV12 + +2 + +NV12 半平面格式（UV 交替） + +AoqVideoPixelFormatNV21 + +3 + +NV21 半平面格式（VU 交替） + +AoqVideoPixelFormatBGRA + +4 + +BGRA 打包格式 + +AoqVideoPixelFormatRGBA + +5 + +RGBA 打包格式 + +AoqVideoPixelFormatCVPixelBuffer + +6 + +Apple CVPixelBuffer（仅 iOS/macOS） + +AoqVideoPixelFormatTextureOES + +7 + +Android OES 外部纹理 + +AoqVideoPixelFormatTexture2D + +8 + +Android 2D 纹理 + +### **AoqVideoEncodedFrame（编码帧模式使用）** + +**字段** + +**类型** + +**说明** + +codec + +AoqVideoCodecType + +编码格式 + +data + +byte\[\] + +编码后的数据 + +width + +int + +画面宽度（像素） + +height + +int + +画面高度（像素） + +timeStamp + +long + +时间戳（毫秒），为 0 时 SDK 用本地时钟补充 + +### **AoqVideoCodecType 枚举值** + +**枚举值** + +**数值** + +**说明** + +AoqVideoCodecTypeJPEG + +0 + +JPEG 编码格式 + +## **注意事项** + +- 原始帧模式：必须先调用 `startVideoCapture(isExternal=true)` 再推送帧，否则 SDK 返回参数错误。 + +- 编码帧模式：只需调用 `setVideoEncoderConfig(isExternal=true)` 即可推送，**不需要**调用 `startVideoCapture`。 + +- 原始帧模式与编码帧模式不可混用：同一时间只能使用其中一种推送接口。 + +- 编码帧模式目前仅支持 JPEG 格式。 + +- 视频帧数据在推送后由 SDK 内部管理生命周期，调用方无需在推送后继续持有数据引用。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md new file mode 100644 index 00000000..69b625b7 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md @@ -0,0 +1,115 @@ +# 媒体流发送管理 + +`enableSendMediaStream` 用于控制客户端是否向 AI 服务发送音频/视频媒体流，在 AOQ 协议接入场景中精确控制发送时机。 + +## **概述** + +`enableSendMediaStream` 用于控制客户端是否向 AI 服务发送音频/视频媒体流。在 AOQ 协议接入场景中，部分模型要求在收到 `session.updated` 确认后才能接收媒体数据，因此需要通过此接口精确控制发送时机。 + +## **API 定义** + +**iOS / Mac** + +``` +// iOS / Mac +func enableSendMediaStream(_ trackType: AoqTrackType, enable: Bool) +``` + +**Android** + +``` +// Android +void enableSendMediaStream(AoqTrackType trackType, boolean enable) +``` + +**OHOS (ArkTS)** + +``` +// OHOS (ArkTS) +enableSendMediaStream(trackType: AoqTrackType, enable: boolean): void +``` + +**参数说明：** + +**参数** + +**类型** + +**说明** + +trackType + +AoqTrackType + +媒体轨道类型：`.audio` 或 `.video` + +enable + +Bool + +`true` = 开启发送，`false` = 暂停发送 + +## **控制流程** + +典型的媒体流控制流程如下： + +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0575914871/p1088082.svg) + +## **使用示例（iOS Swift）** + +### **connect 前禁用发送** + +``` +// 连接前关闭音视频发送，避免模型未就绪时收到数据 +engine.enableSendMediaStream(.audio, enable: false) +engine.enableSendMediaStream(.video, enable: false) + +// 发起连接 +engine.connect(config) +``` + +### **收到 session.updated 后开启** + +``` +func onDataMsg(_ msg: AoqDataMsg) { + guard let obj = try? JSONSerialization.jsonObject(with: msg.data) as? [String: Any], + let type = obj["type"] as? String else { return } + + if type == "session.updated" { + // AI 侧已确认会话配置，开启媒体发送 + engine.enableSendMediaStream(.audio, enable: true) + engine.enableSendMediaStream(.video, enable: true) + } +} +``` + +## **注意事项** + +- **调用时机**：必须在 `createEngine` 之后调用，引擎未创建时调用无效。 + +- **默认行为**：如果不调用此接口，connect 成功后 SDK 会立即开始发送媒体流。 + +- **模型兼容性**：部分模型要求先收到 `session.updated` 再接收媒体数据，建议统一采用"先禁用、后开启"模式。 + +- **独立控制**：音频和视频可独立控制，例如仅发送音频不发送视频。 + + +## **常见场景** + +**场景** + +**操作** + +**说明** + +连接模型前 + +`enable(.audio, false)` + +等待 session.updated 再发送 + +收到 session.updated + +`enable(.audio, true)` + +AI 已就绪，开始发送 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md new file mode 100644 index 00000000..f71bf047 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md @@ -0,0 +1,1186 @@ +# 视频常用功能介绍 + +AOQ Client SDK 提供了完整的视频能力，覆盖视频采集、渲染显示、编码配置、帧数据回调、外部视频输入等核心场景。本文档基于 Android（Java）、iOS（Objective-C）、Ohos（ArkTS）三个平台的公开 API，对视频常用功能进行统一介绍。 + +## **1\. 视频采集** + +### 1.1 功能说明 + +视频采集用于打开设备摄像头，将实时视频帧数据送入 SDK 编码推流管线。SDK 支持两种采集模式： + +- **内部采集（默认）**：SDK 自动管理摄像头设备的打开、帧采集和关闭，支持前后置摄像头切换。 + +- **外部采集**：由应用自行管理摄像头或其他视频源，采集到的帧数据通过 `pushExternalVideoCapturedFrame` 接口输入 SDK。 + + +### 1.2 采集配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +width + +int + +1280 + +采集宽度（像素），外部采集时无效 + +height + +int + +720 + +采集高度（像素），外部采集时无效 + +fps + +int + +15 + +采集帧率，外部采集时由送帧节奏决定 + +isExternal + +bool + +false + +是否使用外部采集模式 + +cameraDirection + +AoqCameraDirection + +Front(0) + +摄像头方向，外部采集时无效 + +### 1.3 摄像头方向枚举 + +**枚举值** + +**数值** + +**说明** + +AoqCameraDirectionFront + +0 + +前置摄像头 + +AoqCameraDirectionBack + +1 + +后置摄像头 + +### 1.4 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开启采集 + +startVideoCapture(config) + +startVideoCapture:config: + +startVideoCapture(config) + +关闭采集 + +stopVideoCapture() + +stopVideoCapture + +stopVideoCapture() + +切换摄像头 + +switchCamera(direction) + +switchCamera: + +switchCamera(direction) + +### 1.5 使用示例 + +**Android** + +``` +AoqVideoCaptureConfig config = new AoqVideoCaptureConfig(); +config.width = 1280; +config.height = 720; +config.fps = 15; +config.cameraDirection = AoqCameraDirection.AoqCameraDirectionFront; +engine.startVideoCapture(config); +``` + +**iOS** + +``` +AoqVideoCaptureConfig *config = [[AoqVideoCaptureConfig alloc] init]; +config.width = 1280; +config.height = 720; +config.fps = 15; +config.cameraDirection = AoqCameraDirectionFront; +[engine startVideoCapture:config]; +``` + +**Ohos** + +``` +let config: AoqVideoCaptureConfig = { + width: 1280, + height: 720, + fps: 15, + cameraDirection: AoqCameraDirection.AoqCameraDirectionFront +}; +engine.startVideoCapture(config); +``` + +## **2\. 视频渲染** + +### 2.1 功能说明 + +视频渲染用于将本地采集或远端接收的视频帧数据显示到屏幕上。SDK 支持设置本地预览窗口和远端渲染窗口，通过 `trackType` 区分视频流（Video）和屏幕共享流（Screen）。 + +### 2.2 渲染模式 + +**枚举值** + +**数值** + +**说明** + +AoqRenderModeAuto + +0 + +自动模式 + +AoqRenderModeStretch + +1 + +拉伸平铺，画面可能变形 + +AoqRenderModeFill + +2 + +填充黑边，画面完整显示 + +AoqRenderModeCrop + +3 + +裁剪模式，画面内容可能丢失 + +### 2.3 画布配置 + +**参数** + +**类型** + +**默认值** + +**说明** + +view + +平台视图 + +null + +渲染视图（Android: SurfaceView/TextureView, iOS: UIView, Ohos: XComponent） + +renderMode + +AoqRenderMode + +Auto(0) + +渲染显示模式 + +### 2.4 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +设置本地预览 + +setLocalView(trackType, canvas) + +setLocalView:trackType:canvas: + +setLocalView(trackType, canvas) + +设置远端渲染 + +setRemoteView(trackType, canvas) + +setRemoteView:trackType:canvas: + +setRemoteView(trackType, canvas) + +**说明** + +**平台差异**：Android 使用 SurfaceView 或 TextureView 作为渲染容器；iOS 使用 UIView（内部通过 AoqRenderView 封装，支持 Metal 加速）；Ohos 使用 XComponent（通过 AoqXComponentController 管理 native 渲染视图）。 + +## **3\. 视频编码配置** + +### 3.1 功能说明 + +设置视频编码参数，包括编码格式、分辨率、帧率、码率、关键帧间隔、镜像和方向等。通过 `trackType` 区分视频轨道和屏幕共享轨道的编码配置。 + +### 3.2 编码配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +Video(1) + +轨道类型：Video + +codecType + +AoqEncoderType + +VideoH264(3) + +编码格式 + +width + +int + +720 + +编码宽度 + +height + +int + +1280 + +编码高度 + +fps + +int + +5 + +编码帧率 + +bitrate + +int + +500000 + +目标码率（bps） + +minBitrate + +int + +128000 + +最小码率（bps） + +keyframeInterval + +int + +2 + +关键帧间隔（秒） + +mirrorMode + +AoqMirrorMode + +Disabled(0) + +镜像模式 + +orientationMode + +AoqOrientationMode + +Auto(0) + +方向模式 + +isExternal + +bool + +false + +外部编码模式（true 时由应用推送已编码帧） + +### 3.3 编码格式枚举 + +**枚举值** + +**数值** + +**说明** + +AoqEncoderTypeVideoH264 + +3 + +H.264 编码 + +AoqEncoderTypeVideoJpeg + +4 + +JPEG 编码（用于外部编码帧） + +### 3.4 镜像模式 + +**枚举值** + +**数值** + +**说明** + +AoqMirrorModeDisabled + +0 + +禁用镜像 + +AoqMirrorModeEnabled + +1 + +启用镜像 + +### 3.5 方向模式 + +**枚举值** + +**数值** + +**说明** + +AoqOrientationModeAuto + +0 + +自动方向 + +AoqOrientationModePortrait + +1 + +竖屏方向 + +AoqOrientationModeLandscape + +2 + +横屏方向 + +### 3.6 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +设置编码参数 + +setVideoEncoderConfig(config) + +setVideoEncoderConfig: + +setVideoEncoderConfig(config) + +## **4\. 外部视频帧输入** + +### 4.1 功能说明 + +外部视频帧输入允许应用将自定义的视频帧数据推送到 SDK，用于外部采集或外部编码场景。支持两种推送方式： + +- **推送原始帧**：将未编码的像素数据（I420/NV12/NV21/BGRA/RGBA 等格式）推送给 SDK，由 SDK 进行编码。 + +- **推送已编码帧**：将已编码的数据（如 JPEG）直推给 SDK，SDK 不做二次编码，直接打包发送。 + + +通过 `trackType` 路由，`AoqTrackTypeVideo` 对应视频采集的外部帧，`AoqTrackTypeScreen` 对应屏幕共享的外部帧。 + +### 4.2 像素格式枚举 + +**枚举值** + +**数值** + +**说明** + +**平台支持** + +AoqVideoPixelFormatI420 + +1 + +I420 三平面 + +全平台 + +AoqVideoPixelFormatNV12 + +2 + +NV12 双平面 + +全平台 + +AoqVideoPixelFormatNV21 + +3 + +NV21 双平面 + +全平台 + +AoqVideoPixelFormatBGRA + +4 + +BGRA 打包 + +全平台 + +AoqVideoPixelFormatRGBA + +5 + +RGBA 打包 + +全平台 + +AoqVideoPixelFormatCVPixelBuffer + +6 + +Apple 零拷贝 + +仅 iOS + +AoqVideoPixelFormatTextureOES + +7 + +OES 纹理 + +仅 Android + +AoqVideoPixelFormatTexture2D + +8 + +2D 纹理 + +仅 Android + +### 4.3 原始视频帧数据结构 (AoqVideoFrame) + +**字段** + +**类型** + +**说明** + +format + +AoqVideoPixelFormat + +像素格式 + +width + +int + +宽度（像素） + +height + +int + +高度（像素） + +data + +byte\[\] / ArrayBuffer + +打包格式数据（NV12/NV21/BGRA/RGBA） + +dataY / dataU / dataV + +byte\[\] / ArrayBuffer + +I420 三平面数据 + +strideY / strideU / strideV + +int + +I420 三平面步长 + +textureId + +int + +纹理 ID（Android TextureOES/Texture2D 时有效） + +transformMatrix + +float\[16\] + +4x4 纹理变换矩阵（Android） + +eglContext + +EGLContext + +共享 EGL 上下文（Android） + +pixelBuffer + +CVPixelBufferRef + +Apple 零拷贝（iOS） + +timeStamp + +long + +时间戳（ms），0 时 SDK 用本地时钟补 + +### 4.4 已编码视频帧数据结构 (AoqVideoEncodedFrame) + +**字段** + +**类型** + +**默认值** + +**说明** + +codec + +AoqVideoCodecType + +JPEG(0) + +编码格式 + +data + +byte\[\] / ArrayBuffer + +\- + +编码后数据 + +width + +int + +\- + +宽度（像素） + +height + +int + +\- + +高度（像素） + +timeStamp + +long + +0 + +时间戳（ms） + +### 4.5 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +推送原始帧 + +pushExternalVideoCapturedFrame(trackType, frame) + +pushExternalVideoCapturedFrame:frame: + +pushExternalVideoCapturedFrame(trackType, frame) + +推送已编码帧 + +pushExternalVideoEncodedFrame(trackType, frame) + +pushExternalVideoEncodedFrame:frame: + +pushExternalVideoEncodedFrame(trackType, frame) + +## **5\. 视频帧数据回调** + +### 5.1 功能说明 + +视频帧回调允许开发者在视频管线的不同位置获取原始帧数据，用于视频分析、自定义处理、录制等场景。支持只读和读写两种模式，读写模式下可修改帧数据并写回 SDK。 + +### 5.2 支持的数据源位置 + +**数据源** + +**枚举值** + +**说明** + +Captured + +0 + +采集后的视频数据（前处理前） + +PreEncode + +1 + +编码前的视频数据（前处理后） + +Remote + +2 + +远端解码后、渲染前的视频数据 + +### 5.3 回调配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +format + +AoqVideoPixelFormat + +I420(1) + +期望回调的像素格式 + +alignment + +AoqVideoObserverAlignment + +Default(0) + +宽度对齐策略 + +mode + +AoqVideoObserverMode + +ReadOnly(0) + +只读(0)/读写(1) 模式 + +mirrorApplied + +bool + +false + +是否对回调数据应用镜像 + +### 5.4 宽度对齐枚举 + +**枚举值** + +**数值** + +**说明** + +AoqVideoObserverAlignmentDefault + +0 + +默认对齐 + +AoqVideoObserverAlignmentEven + +1 + +2 字节对齐 + +AoqVideoObserverAlignment4 + +2 + +4 字节对齐 + +AoqVideoObserverAlignment8 + +3 + +8 字节对齐 + +AoqVideoObserverAlignment16 + +4 + +16 字节对齐 + +### 5.5 使用步骤 + +1. **注册观察者**：调用 `setVideoFrameObserver` 设置视频帧回调监听器 + +2. **启用数据源**：调用 `enableVideoFrameObserver` 选择需要监听的数据源位置，开启回调 + +3. **处理回调数据**：在回调函数中获取帧数据（仅回调期间有效，异步使用需自行拷贝） + + +### 5.6 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +注册观察者 + +setVideoFrameObserver(listener) + +setVideoFrameObserver: + +setVideoFrameObserver(observer) + +启用回调 + +enableVideoFrameObserver(enabled, source, config) + +enableVideoFrameObserver:videoSource:config: + +enableVideoFrameObserver(enabled, source, config) + +### 5.7 回调方法 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +采集后数据 + +onCapturedVideoFrame(frame) + +onCapturedVideoFrame: + +onCapturedVideoFrame(frame) + +编码前数据 + +onPreEncodeVideoFrame(trackType, frame) + +onPreEncodeVideoFrame:frame: + +onPreEncodeVideoFrame(trackType, frame) + +远端数据 + +onRemoteVideoFrame(trackType, frame) + +onRemoteVideoFrame:frame: + +onRemoteVideoFrame(trackType, frame) + +**说明** + +回调方法返回 `true`/`YES` 表示数据已修改、需写回 SDK（仅 ReadWrite 模式且 I420 格式时生效）。 + +## **7\. 媒体流发送控制** + +### 7.1 功能说明 + +控制本地媒体流的发送开关，通过 `trackType` 路由到不同轨道（Audio/Video/Screen）。停用发送后，采集和编码继续运行，但数据不会发送到远端。 + +### 7.2 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +控制流发送 + +enableSendMediaStream(trackType, enable) + +enableSendMediaStream:enable: + +enableSendMediaStream(trackType, enable) + +### 7.3 轨道类型枚举 + +**枚举值** + +**数值** + +**说明** + +AoqTrackTypeAudio + +0 + +音频轨道 + +AoqTrackTypeVideo + +1 + +视频轨道 + +AoqTrackTypeData + +2 + +数据轨道 + +## **8\. 视频设备状态监控** + +### 8.1 功能说明 + +SDK 自动监测视频采集设备（摄像头）的状态变化，并通过 `onVideoDeviceStateChanged` 回调通知应用层。 + +### 8.2 设备状态码 + +**状态码** + +**值** + +**说明** + +AoqVideoDeviceNone + +0 + +初始状态 + +AoqVideoDeviceCaptureStarting + +1 + +采集启动中 + +AoqVideoDeviceCaptureStarted + +2 + +采集已启动 + +AoqVideoDeviceCaptureStopping + +3 + +采集停止中 + +AoqVideoDeviceCaptureStopped + +4 + +采集已停止 + +AoqVideoDeviceCaptureFail + +5 + +采集失败 + +### 8.3 回调对照 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +设备状态变化 + +onVideoDeviceStateChanged(state) + +onVideoDeviceStateChanged: + +onVideoDeviceStateChanged(state) + +## **9\. 视频错误码与警告码** + +### 9.1 视频错误码 + +**错误码** + +**值** + +**说明** + +AoqErrorCodeVideo + +200 + +通用视频错误 + +VideoExternalBufferFull + +210 + +视频外部缓冲区已满 + +VideoDevice + +220 + +视频设备通用错误 + +CameraOpenFail + +221 + +摄像头打开失败 + +CameraAuthFailed + +222 + +摄像头权限被拒绝 + +CameraOccupied + +223 + +摄像头被占用 + +CameraRunningError + +224 + +摄像头运行错误 + +VideoCodec + +230 + +视频编解码通用错误 + +EncoderInitFail + +231 + +编码器初始化失败 + +VideoRender + +240 + +视频渲染通用错误 + +RenderCreateFail + +241 + +渲染器创建失败 + +RenderDrawError + +242 + +渲染绘制错误 + +Screen + +300 + +屏幕共享通用错误 + +**说明** + +Android 额外错误码：ScreenPermissionDenied(310) 屏幕共享权限被拒绝、ScreenForegroundServiceFailed(311) 前台服务启动失败。 + +### 9.2 视频警告码 + +**警告码** + +**值** + +**说明** + +AoqWCVideo + +200 + +通用视频警告 + +CameraEnumerateError + +201 + +摄像头枚举错误 + +EncoderSwitched + +202 + +编码器切换警告 + +RenderDowngrade + +203 + +渲染降级警告 + +## **附录：完整视频 API 方法列表** + +**分类** + +**方法名** + +**说明** + +采集控制 + +startVideoCapture + +打开视频采集设备 + +采集控制 + +stopVideoCapture + +关闭视频采集设备 + +采集控制 + +switchCamera + +切换前后置摄像头 + +渲染控制 + +setLocalView + +设置本地预览窗口 + +渲染控制 + +setRemoteView + +设置远端渲染窗口 + +编解码 + +setVideoEncoderConfig + +设置视频编码参数 + +外部输入 + +pushExternalVideoCapturedFrame + +推送原始视频帧 + +外部输入 + +pushExternalVideoEncodedFrame + +推送已编码视频帧 + +屏幕共享 + +startScreenCapture + +启动屏幕采集 + +屏幕共享 + +stopScreenCapture + +停止屏幕采集 + +流控制 + +enableSendMediaStream + +控制媒体流发送 + +帧回调 + +setVideoFrameObserver + +注册视频帧观察者 + +帧回调 + +enableVideoFrameObserver + +启用/禁用视频帧回调 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md new file mode 100644 index 00000000..a291cc23 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md @@ -0,0 +1,520 @@ +# 通过AOQ使用qwen3.5-omni-plus-realtime实现实时通话 + +本文档说明如何在 Android、iOS、HarmonyOS 平台接入 AOQ Client SDK，实现 AOQ+qwen3.5-omni-plus-realtime 音视频通话功能。 + +## **SDK 获取** + +AOQ Client SDK 及音频 Opus 插件请参见[SDK下载](https://help.aliyun.com/zh/model-studio/realtime-sdk-download)。Opus 编码以独立插件形式提供，请根据您的场景按需引入。 + +## **SDK 导入** + +请根据不同平台将核心 SDK 产物导入工程依赖目录，并在工程配置中声明相关权限。 + +### **Android** + +将 `AoqClientSdk-release.aar` 放入工程 `app/libs/` 目录，将 `libPluginOpus.so` 按 ABI 放入 `app/libs/armeabi-v7a/` 和 `app/libs/arm64-v8a/`，并在 `app/build.gradle` 中： + +``` +android { + defaultConfig { + minSdk 21 + ndk { abiFilters 'armeabi-v7a', 'arm64-v8a' } + } + sourceSets { main { jniLibs.srcDirs = ['libs'] } } + packagingOptions { + // 避免与宿主工程的同名 so 冲突 + pickFirsts += ['lib/*/*.so'] + } +} + +dependencies { + implementation fileTree(dir: 'libs', include: ['*.aar']) +} +``` + +在 `AndroidManifest.xml` 声明权限： + +``` + + + + + +``` + +其中 `RECORD_AUDIO` 和 `CAMERA` 为运行时权限，应用需在运行时调用 Android `ActivityCompat.requestPermissions()` 方法，主动向 Android 系统申请用户授权。 + +### **iOS（framework）** + +1. 将 `AoqClientSdk.framework` 与 `PluginOpus.framework` 拖入 Xcode 工程，在 Target > General > Frameworks, Libraries, and Embedded Content 中选择 **Embed & Sign**。 + +2. 权限声明：在 Xcode 中选中您的 Target > Info > Custom iOS Target Properties，添加以下两项权限用途描述： + + **Key** + + **Value** + + `NSMicrophoneUsageDescription` + + 用于实时语音通话 + + `NSCameraUsageDescription` + + 用于实时视频通话 + +3. Swift 工程：`import AoqClientSdk`；Objective-C 工程：`#import `。 + + +### **HarmonyOS（har）** + +1. 将 `aoq-client-sdk.har` 放入工程 `libs/` 目录，将 `libPluginOpus.so` 按 ABI 放入 `entry/libs/armeabi-v7a/` 和 `entry/libs/arm64-v8a/`；并在 `entry/oh-package.json5` 中声明。 + +2. 在 `entry/src/main/module.json5` 添加权限： + + ``` + "requestPermissions": [ + { "name": "ohos.permission.INTERNET" }, + { "name": "ohos.permission.MICROPHONE", + "reason": "$string:perm_mic_reason", + "usedScene": { "abilities": ["EntryAbility"], "when": "inuse" } }, + { "name": "ohos.permission.CAMERA", + "reason": "$string:perm_camera_reason", + "usedScene": { "abilities": ["EntryAbility"], "when": "inuse" } } + ] + ``` + +3. 在 `EntryAbility` 中通过 `abilityAccessCtrl.createAtManager().requestPermissionsFromUser` 触发运行时授权。 + + +## **AppServer获取Token** + +请按照[Token鉴权](https://help.aliyun.com/zh/model-studio/realtime-token-authentication)的 AOQ 章节搭建获取 Token 的 AppServer。每次通话前，客户端需要向业务侧 AppServer 请求一次 Token。 + +## **实现 AI 音视频通话** + +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0075914871/p1088080.svg) + +### **创建引擎并设置回调** + +调用 `createEngine` 接口创建 `AoqClientEngine` 实例。 + +**iOS：** + +``` +let config = AoqCreateConfig() +config.workDir = workDir +engine = AoqClientEngine.createEngine(config, delegate: self) +``` + +实现 `AoqEngineDelegate` 协议监听 `onConnectionStatusChange`、`onDataMsg`、`onError` 等回调。 + +**Android：** + +``` +AoqCreateConfig config = new AoqCreateConfig(); +config.workDir = appCtx.getFilesDir().getAbsolutePath(); +engine = AoqClientEngine.createEngine(appCtx, config, this); +``` + +**HarmonyOS：** + +``` +const config: AoqCreateConfig = { workDir: context.filesDir, extras: '' }; +engine = AoqClientEngine.createEngine(config, this, context); +``` + +### **启动音视频采集与播放** + +调用 `startAudioCapture` 与 `startAudioPlayer` 启动本地音频采集与播放；调用 `startVideoCapture` 启动摄像头，并通过 `setLocalView` 将 SDK 渲染目标绑定到业务侧的预览控件。 + +**iOS：** + +``` +// 音频采集 +let capCfg = AoqAudioCaptureConfig() +capCfg.channel = 1; capCfg.isExternal = false +engine.startAudioCapture(capCfg) + +// 音频播放 +let playCfg = AoqAudioPlaybackConfig() +playCfg.channel = 1; playCfg.isExternal = false +engine.startAudioPlayer(playCfg) + +// 视频采集 +let vidCfg = AoqVideoCaptureConfig() +vidCfg.width = 720; vidCfg.height = 1280; vidCfg.fps = 15 +engine.startVideoCapture(vidCfg) + +// 为本地预览画面设置渲染视图 +let canvas = AoqVideoCanvas() +canvas.view = localPreview +canvas.renderMode = .crop +engine.setLocalView(.video, canvas: canvas) +``` + +**Android：** + +``` +// 音频采集 +AoqAudioCaptureConfig capCfg = new AoqAudioCaptureConfig(); +capCfg.channel = 1; capCfg.isExternal = false; +engine.startAudioCapture(capCfg); + +// 音频播放 +AoqAudioPlaybackConfig playCfg = new AoqAudioPlaybackConfig(); +playCfg.channel = 1; playCfg.isExternal = false; +engine.startAudioPlayer(playCfg); + +// 视频采集 +AoqVideoCaptureConfig vidCfg = new AoqVideoCaptureConfig(); +vidCfg.width = 720; vidCfg.height = 1280; vidCfg.fps = 15; +engine.startVideoCapture(vidCfg); + +// 为本地预览画面设置渲染视图 +AoqVideoCanvas canvas = new AoqVideoCanvas(); +canvas.view = localPreview; +canvas.renderMode = AoqRenderMode.AoqRenderModeCrop; +engine.setLocalView(AoqTrackType.AoqTrackTypeVideo, canvas); +``` + +**HarmonyOS：** + +``` +// 音频采集 +const capCfg: AoqAudioCaptureConfig = { channel: 1, isExternal: false }; +engine.startAudioCapture(capCfg); + +// 音频播放 +const playCfg: AoqAudioPlaybackConfig = { channel: 1, isExternal: false }; +engine.startAudioPlayer(playCfg); + +// 视频采集 +const vidCfg: AoqVideoCaptureConfig = { width: 720, height: 1280, fps: 15, isExternal: false }; +engine.startVideoCapture(vidCfg); + +// 为本地预览画面设置渲染视图 +const canvas: AoqVideoCanvas = { view: localCtrl, renderMode: AoqRenderMode.AoqRenderModeCrop }; +engine.setLocalView(AoqTrackType.AoqTrackTypeVideo, canvas); +``` + +### **获取连接凭证** + +由业务 AppServer 代理百炼请求，参见[Token鉴权](https://help.aliyun.com/zh/model-studio/realtime-token-authentication)。 + +### **设置编解码及建立连接** + +设置编解码参数后调用 `connect`。 + +注意：qwen3.5-omni-plus-realtime 要求客户端在收到服务端的 `session.updated` 之后才能开始发送媒体数据。为避免 `connect` 建联成功到 `session.updated` 到达之间的空档期误推媒体，在 `connect` 之前对上行音频与视频轨道分别调用 `enableSendMediaStream(trackType, false)`，将上行推流暂时关闭。WebSocket事件说明详见[客户端事件](https://help.aliyun.com/zh/model-studio/client-events)。 + +**iOS：** + +``` +// 音频编解码配置 +let encCfg = AoqAudioCodecConfig() +encCfg.codecType = .audioPCM; encCfg.sampleRate = 16000; encCfg.channel = 1 +engine.setAudioEncoderConfig(encCfg) +engine.setAudioDecoderConfig(encCfg) + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(.audio, enable: false) +engine.enableSendMediaStream(.video, enable: false) + +// 建立连接 +let conn = AoqConnectConfig() +conn.token = token; conn.sid = sid; conn.certFingerprint = cert +conn.relayEndpoints = endpoints; conn.workspaceIdHash = workspaceIdHash + +let aTrack = AoqTrackParam(); aTrack.trackType = .audio +let vTrack = AoqTrackParam(); vTrack.trackType = .video +let dTrack = AoqTrackParam(); dTrack.trackType = .data +conn.publishTracks = [aTrack, vTrack, dTrack] +conn.subscribeTracks = [aTrack, dTrack] +engine.connect(conn) +``` + +**Android：** + +``` +// 音频编解码配置 +AoqAudioCodecConfig encCfg = new AoqAudioCodecConfig(); +encCfg.codecType = AoqEncoderType.AoqEncoderTypeAudioPCM; +encCfg.sampleRate = 16000; encCfg.channel = 1; +engine.setAudioEncoderConfig(encCfg); +engine.setAudioDecoderConfig(encCfg); + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, false); +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, false); + +// 建立连接 +AoqConnectConfig conn = new AoqConnectConfig(); +conn.token = token; conn.sid = sid; conn.certFingerprint = cert; +conn.relayEndpoints.addAll(endpoints); conn.workspaceIdHash = workspaceIdHash; + +AoqTrackParam aTrack = new AoqTrackParam(); aTrack.trackType = AoqTrackType.AoqTrackTypeAudio; +AoqTrackParam vTrack = new AoqTrackParam(); vTrack.trackType = AoqTrackType.AoqTrackTypeVideo; +AoqTrackParam dTrack = new AoqTrackParam(); dTrack.trackType = AoqTrackType.AoqTrackTypeData; +conn.publishTracks.add(aTrack); +conn.publishTracks.add(vTrack); +conn.publishTracks.add(dTrack); +conn.subscribeTracks.add(aTrack); +conn.subscribeTracks.add(dTrack); +engine.connect(conn); +``` + +**HarmonyOS：** + +``` +// 音频编解码配置 +const encCfg: AoqAudioCodecConfig = { + codecType: AoqEncoderType.AoqEncoderTypeAudioPCM, + sampleRate: 16000, channel: 1 +}; +engine.setAudioEncoderConfig(encCfg); +engine.setAudioDecoderConfig(encCfg); + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, false); +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, false); + +// 建立连接 +const conn: AoqConnectConfig = { + token, sid, certFingerprint: cert, + relayEndpoints: endpoints, + workspaceIdHash, + publishTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeVideo }, + { trackType: AoqTrackType.AoqTrackTypeData } + ], + subscribeTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeData } + ] +}; +engine.connect(conn); +``` + +**重要**：AOQ SDK 在建联后会默认发送媒体数据，此示例演示了连接模型时关闭媒体发送的能力。 + +### **配置 AI 会话** + +在 `onConnectionStatusChange(Connected)` 回调中通过 `sendDataMsg` 发送 `session.update` 消息（业务自定义 JSON，包含 modalities、voice、instructions、turn\_detection 等会话参数），完成会话握手，WebSocket事件说明详见[客户端事件](https://help.aliyun.com/zh/model-studio/client-events)。 + +**iOS：** + +``` +func onConnectionStatusChange(_ status: AoqConnectionStatus) { + if status == .connected { sendSessionUpdate() } +} + +private func sendSessionUpdate() { + let json = """ + { + // 该事件的id，由客户端生成 + "event_id": "event_ToPZqeobitzUJnt3QqtWg", + // 事件类型，固定为session.update + "type": "session.update", + // 会话配置 + "session": { + // 输出模态，支持设置为["text"]（仅输出文本）或["text","audio"]（输出文本与音频）。 + "modalities": [ + "text", + "audio" + ], + // 输出音频的音色 + "voice": "Ethan", + // 输入音频格式，当前仅支持设置为pcm。输入音频为16 kHz采样率的PCM音频流。 + "input_audio_format": "pcm", + // 输出音频格式，当前仅支持设置为pcm。输出音频为24 kHz采样率的PCM音频流。 + "output_audio_format": "pcm", + // 系统消息，用于设定模型的目标或角色。 + "instructions": "你是某五星级酒店的AI客服专员，请准确且友好地解答客户关于房型、设施、价格、预订政策的咨询。请始终以专业和乐于助人的态度回应，杜绝提供未经证实或超出酒店服务范围的信息。", + // 是否开启语音活动检测。若需启用，需传入一个配置对象，服务端将据此自动检测语音起止。 + // 设置为null表示由客户端决定何时发起模型响应。 + "turn_detection": { + // VAD类型，取值为server_vad或semantic_vad。使用qwen3.5-omni-realtime模型时推荐设为semantic_vad。 + "type": "semantic_vad", + // VAD检测阈值。建议在嘈杂的环境中增加，在安静的环境中降低。 + "threshold": 0.5, + // 检测语音停止的静音持续时间，超过此值后会触发模型响应 + "silence_duration_ms": 800 + } + } + } + """ + let msg = AoqDataMsg() + msg.data = json.data(using: .utf8)! + engine.send(msg) +} +``` + +**Android：** + +``` +@Override +public void onConnectionStatusChange(AoqConnectionStatus status) { + if (status == AoqConnectionStatus.AoqConnectionStatusConnected) { + sendSessionUpdate(); + } +} + +private void sendSessionUpdate() { + String sessionUpdateJson = /* 与 Swift 示例中相同的 session.update JSON */; + AoqDataMsg msg = new AoqDataMsg(); + msg.data = sessionUpdateJson.getBytes(StandardCharsets.UTF_8); + engine.sendDataMsg(msg); +} +``` + +**HarmonyOS：** + +``` +onConnectionStatusChange(status: AoqConnectionStatus): void { + if (status === AoqConnectionStatus.AoqConnectionStatusConnected) { + this.sendSessionUpdate(); + } +} + +private sendSessionUpdate(): void { + const sessionUpdateJson = /* 与 Swift 示例中相同的 session.update JSON */; + const msg: AoqDataMsg = { data: new TextEncoder().encode(sessionUpdateJson).buffer }; + this.engine.sendDataMsg(msg); +} +``` + +### **收到 session.updated 后开启媒体发送** + +在 `onDataMsg` 回调中解析下行消息，收到模型回复 `session.updated` 的时候，对上一步禁推的每个轨道类型调用 `enableSendMediaStream(trackType, true)` 放开推流。下面为代码示例，WebSocket事件说明详见[服务端事件](https://help.aliyun.com/zh/model-studio/server-events)。 + +**iOS：** + +``` +func onDataMsg(_ msg: AoqDataMsg) { + guard let obj = try? JSONSerialization.jsonObject(with: msg.data) as? [String: Any], + let type = obj["type"] as? String else { return } + if type == "session.updated" { + engine.enableSendMediaStream(.audio, enable: true) + engine.enableSendMediaStream(.video, enable: true) + } +} +``` + +**Android：** + +``` +@Override +public void onDataMsg(AoqDataMsg msg) { + if (msg == null || msg.data == null) return; + try { + JSONObject obj = new JSONObject(new String(msg.data, StandardCharsets.UTF_8)); + if ("session.updated".equals(obj.optString("type"))) { + engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, true); + engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, true); + } + } catch (JSONException ignored) {} +} +``` + +**HarmonyOS：** + +``` +onDataMsg(msg: AoqDataMsg): void { + if (!msg?.data) return; + try { + const text = new TextDecoder('utf-8').decode(new Uint8Array(msg.data)); + const obj = JSON.parse(text) as { type?: string }; + if (obj.type === 'session.updated') { + this.engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, true); + this.engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, true); + } + } catch (_) { /* 非 JSON，忽略 */ } +} +``` + +**重要** + +1. 模型必须在收到 `session.updated` 后才开启媒体流发送，否则 AI 侧可能还未准备好接收数据。 + +2. 建连时添加的音频轨道和视频轨道（即 AOQ 媒体通道）会自动将数据传输到服务端。 + + 1. 音频：通过音频轨道直接传输，无需发送 `input_audio_buffer.append` 事件。 + + 2. 视频：通过视频轨道发送画面帧，无需发送 `input_image_buffer.append` 事件。 + + +### **断开连接与销毁引擎** + +``` +engine.disconnect() +AoqClientEngine.destroy() +``` + +## **典型场景** + +### **打断（Barge-in）** + +- SDK 与百炼深度融合，支持百炼模型的打断消息会在新一轮对话开始时打断上一轮次。 + +- SDK 提供**本地播放器打断**接口 `interruptAudioPlayer`，当用户主动需要停止时可以调用打断 API 实现此功能。 + + +``` +// iOS +engine.interruptAudioPlayer(.audio, fadeMs: 100) +``` + +### **静音 / 取消静音** + +静音后 SDK 仍在采集音频，但只推送静音帧，`session` 不会中断。 + +``` +engine.muteAudioCapture(true); // 静音麦克风（采集仍在跑，但只送静音帧） +engine.muteAudioCapture(false); // 恢复 +``` + +### **切换前后摄像头** + +``` +// 传入期望切换到的方向枚举即可 +engine.switchCamera(AoqCameraDirection.AoqCameraDirectionFront); +engine.switchCamera(AoqCameraDirection.AoqCameraDirectionBack); +``` + +### **通话字幕与ASR结果显示** + +服务端通过下行数据消息推送 ASR 结果与 AI 文本回复。业务侧在 `onDataMsg` 回调中根据 `type` 字段分流即可。WebSocket事件说明详见[服务端事件](https://help.aliyun.com/zh/model-studio/server-events)。 + +## **注意事项** + +1. **单例语义**：`createEngine` 是单例，重复调用返回同一实例；`destroy` 后才能重新创建。多页面共用建议在 Application/Ability 级管理引擎生命周期。 + +2. **本地预览 View 类型**： + + - Android：`SurfaceView` 或 `TextureView`；其它类型不支持。 + + - iOS：任意 `UIView` 子类。 + + - HarmonyOS：请参考 SDK 文档。 + +3. **音频路由变化**：耳机插拔、蓝牙连接等会触发 `onAudioDeviceRouteChanged`，业务侧通常无需处理；如果 UI 上显示"扬声器/听筒"开关，需要根据该回调同步状态。 + +4. **后台续传**：如需通话切到后台后继续传音频，`Info.plist` 必须开启 `UIBackgroundModes = audio`，并在前台时正确激活 `AVAudioSession`（SDK 会处理大部分情况，业务侧用 `setAudioSessionRestriction:` 可精细控制是否让 SDK 接管）。 + + +## **Demo 示例下载** + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5762814871/p1087917.png) + +示例源码下载： + +**iOS：**[aoqdemo.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/grpnos/aoqdemo.zip) + +## **相关文档** + +- AOQ Client SDK 详细 API：[AOQ SDK简介](https://help.aliyun.com/zh/model-studio/realtime-api-aoq-sdk-desc/) + +- qwen3.5-omni-plus-realtime 模型客户端事件：[客户端事件](https://help.aliyun.com/zh/model-studio/client-events) + +- qwen3.5-omni-plus-realtime 模型服务端事件：[服务端事件](https://help.aliyun.com/zh/model-studio/server-events) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md new file mode 100644 index 00000000..e743e6b6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md @@ -0,0 +1,512 @@ +# 通过WebRTC使用多模态交互套件实现实时通话 + +本文档说明如何在浏览器端通过 WebRTC + JavaScript 接入通义多模态交互套件（multimodal-dialog），实现与多模态 AI 应用的实时音视频交互。 + +**说明** + +多模态交互套件面向 **AI/AR 眼镜、学习机、智能机器人**等硬件场景，提供可视化应用配置、预置 Agent/插件、音色管理等完整业务能力。WebRTC 模式下音频通过 UDP 直接传输，内置回声消除和降噪，适合浏览器端低延迟交互场景。 + +## **前提条件及注意事项** + +1. 已在百炼控制台完成以下准备： + + - 已[配置 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)并将其[设置到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 + + - 创建多模态交互应用，获取 **Workspace ID** 和 **App ID**（详情请参见[应用创建](https://help.aliyun.com/zh/model-studio/multimodal-app-creation)）。 + + - 在应用中完成模型、音色、提示词、Agent/插件等配置（详情请参见[应用配置](https://help.aliyun.com/zh/model-studio/multimodal-app-configuration)）。 + +2. 使用支持 WebRTC 的现代浏览器（Chrome、Edge、Firefox、Safari 等）。 + +3. 浏览器需要麦克风权限；如需视频交互，还需摄像头权限。 + +4. 浏览器无法直接向服务端发起 SDP 交换请求（受 CORS 限制），Demo 中需通过终端执行 curl 命令完成连接建立；正式产品中由业务后端代理时不存在此限制。 + + +## **实现实时通话** + +以下时序图展示了整个 WebRTC 实时通话的完整流程： + +WebRTC 多模态交互套件实时通话流程时序图 + +![1111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6265914871/p1088078.svg) + +### **创建 RTCPeerConnection** + +调用浏览器原生 `RTCPeerConnection` 构造函数创建连接实例。服务端采用 ICE-lite 模式直连，无需配置 ICE 服务器。 + +``` +pc = new RTCPeerConnection(); +``` + +同时注册关键回调： + +``` +pc.onconnectionstatechange = () => { + if (pc.connectionState === 'connected') { + // 连接成功 + } else if (['failed', 'closed', 'disconnected'].includes(pc.connectionState)) { + // 连接断开，清理资源 + endSession(); + } +}; + +pc.ontrack = (e) => { + // 将远端音频流绑定到 audio 元素播放 + const remoteAudio = document.createElement('audio'); + remoteAudio.autoplay = true; + remoteAudio.srcObject = e.streams[0]; + document.body.appendChild(remoteAudio); +}; +``` + +### **获取本地媒体流** + +通过 `navigator.mediaDevices.getUserMedia` 获取麦克风权限（必须），以及摄像头权限（可选）。 + +**纯音频模式：** + +``` +const localStream = await navigator.mediaDevices.getUserMedia({ audio: true }); +``` + +**音视频模式（需要 AI 视觉理解时）：** + +``` +const localStream = await navigator.mediaDevices.getUserMedia({ + audio: true, + video: { + facingMode: { ideal: 'environment' }, // 后置摄像头 + frameRate: { ideal: 30, max: 30 }, + width: { ideal: 640 }, + height: { ideal: 480 } + } +}); +``` + +**说明** + +视频帧率根据场景调整。需要 AI 实时理解画面的场景（如物体识别、场景描述）建议 15-30 fps。 + +### **添加媒体轨道到 PeerConnection** + +将本地音频轨道添加到 PeerConnection。如果开启了视频，视频轨道一并添加。 + +``` +localStream.getTracks().forEach(track => pc.addTrack(track, localStream)); +``` + +**维持视频发送质量（可选）：** + +在弱网环境下，浏览器可能自动降低视频分辨率。可通过设置 sender 参数尽量维持： + +``` +const sender = pc.getSenders().find(s => s.track && s.track.kind === 'video'); +if (sender) { + const params = sender.getParameters(); + if (!params.encodings || params.encodings.length === 0) params.encodings = [{}]; + params.encodings[0].scaleResolutionDownBy = 1.0; + params.encodings[0].maxBitrate = 2500000; // 2.5 Mbps + params.encodings[0].maxFramerate = 30; + params.degradationPreference = 'maintain-resolution'; + await sender.setParameters(params); +} +``` + +### **创建 DataChannel** + +创建名为 `oai-events` 的 DataChannel，用于与服务端交换控制消息（run-task、事件通知等）。 + +``` +const dc = pc.createDataChannel('oai-events'); + +dc.onopen = () => { + console.log('DataChannel open'); + // DataChannel 就绪后发送 run-task + sendStartMessage(dc); +}; + +dc.onmessage = (e) => { + const evt = JSON.parse(e.data); + handleServerEvent(evt, dc); +}; +``` + +同时监听 `pc.ondatachannel` 以处理服务端主动创建的 DataChannel： + +``` +pc.ondatachannel = (event) => { + const ch = event.channel; + if (ch.label === 'txt' || ch.label === 'oai-events') { + ch.onopen = () => sendStartMessage(ch); + ch.onmessage = (e) => handleServerEvent(JSON.parse(e.data), ch); + } +}; +``` + +### **生成 Offer SDP** + +调用 `createOffer` 并 `setLocalDescription`，浏览器生成包含本地媒体能力描述的 Offer SDP。服务端采用 ICE-lite 模式，客户端无需等待 ICE candidates 收集完成，`setLocalDescription` 后即可发送。 + +``` +const offer = await pc.createOffer(); +await pc.setLocalDescription(offer); + +// offer.sdp 即为待发送的 Offer SDP 字符串 +``` + +### **交换 SDP（HTTP POST）** + +将 Offer SDP 通过 HTTP POST 发送到服务端 WebRTC 端点，服务端返回 Answer SDP。 + +**Endpoint 格式：**`{workspace_id}.{region}.maas.aliyuncs.com`，其中 `workspace_id` 为百炼工作空间 ID（如 `llm-xxxxxxxxxx`），`region` 为部署区域（如 `cn-beijing`）。创建工作空间后即可在百炼控制台获取。 + +**请求配置：** + +**配置项** + +**说明** + +请求地址 + +`POST https://{workspace_id}.{region}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog` + +Content-Type + +`application/sdp` + +请求头 + +`Authorization: Bearer {DASHSCOPE_API_KEY}` + +请求体 + +客户端生成的 Offer SDP 字符串 + +响应 + +成功：HTTP 200，返回服务端 Answer SDP 字符串 + +``` +const API_KEY = 'your-api-key'; // 百炼控制台获取 +const WORKSPACE_ID = '{workspace-id}'; // 百炼控制台获取 +const REGION = 'cn-beijing'; +const SIGNALING_URL = `https://${WORKSPACE_ID}.${REGION}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog`; + +const resp = await fetch(SIGNALING_URL, { + method: 'POST', + headers: { + 'Content-Type': 'application/sdp', + 'Authorization': `Bearer ${API_KEY}`, + }, + body: offer.sdp, +}); + +if (!resp.ok) throw new Error('SDP 交换失败: ' + resp.status); +const answerSdp = await resp.text(); +``` + +**说明** + +由于浏览器端受 CORS 限制无法直接请求服务端，Demo 中需用户手动在终端执行 curl 命令。正式产品中应通过业务后端代理此请求。 + +**curl 命令格式：** + +``` +curl -X POST 'https://{workspace_id}.{region}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog' \ + -H 'Content-Type: application/sdp' \ + -H 'Authorization: Bearer $DASHSCOPE_API_KEY' \ + --data-binary '' +``` + +### **设置 Answer SDP 建立连接** + +将从服务端获取的 Answer SDP 设置为远端描述，WebRTC 连接随即建立。 + +``` +await pc.setRemoteDescription({ type: 'answer', sdp: answerSdp }); +// 连接建立完成，pc.connectionState 将变为 'connected' +``` + +### **发送 run-task 启动会话** + +WebRTC 连接建立、DataChannel 就绪后，客户端发送 **run-task** 消息启动多模态会话。 + +``` +let currentTaskId = null; + +function sendStartMessage(channel) { + currentTaskId = generateTaskId(); + const msg = { + payload: { + input: { + workspace_id: '{workspace-id}', + app_id: '{app-id}', + directive: 'Start' + }, + task_group: 'aigc', + task: 'multimodal-generation', + function: 'generation', + model: 'multimodal-dialog', + parameters: { + client_info: { + user_id: '{user-id}', + device: { uuid: '{device-uuid}' }, + network: { ip: '{client-ip}' } + }, + upstream: { + mode: 'duplex', + sample_rate: '16000', + type: 'AudioAndVideo' // 'Audio' 或 'AudioAndVideo' + }, + dialog_attributes: { + vocabulary_id: '{vocabulary-id}' // 可选 + }, + downstream: { + voice: 'longanhuan', + sample_rate: 24000, + audio_format: 'pcm' + } + } + }, + header: { + streaming: 'duplex', + action: 'run-task', + task_id: currentTaskId + } + }; + channel.send(JSON.stringify(msg)); +} + +function generateTaskId() { + if (window.crypto && typeof window.crypto.randomUUID === 'function') { + return window.crypto.randomUUID().replace(/-/g, ''); + } + const r = () => Math.random().toString(16).slice(2); + return (Date.now().toString(16) + r() + r()).slice(0, 32); +} +``` + +**参数说明：** + +**参数路径** + +**类型** + +**说明** + +`payload.input.workspace_id` + +string + +百炼工作空间 ID，在控制台「应用管理」中获取 + +`payload.input.app_id` + +string + +多模态交互应用 ID，在控制台「应用管理」中获取 + +`payload.input.directive` + +string + +固定值 `Start` + +`payload.parameters.client_info.user_id` + +string + +业务系统中的用户标识，用于日志追踪 + +`payload.parameters.client_info.device.uuid` + +string + +设备唯一标识，用于设备维度的数据分析 + +`payload.parameters.upstream.mode` + +string + +交互模式：`duplex`（全双工）、`push2talk`（按住说话）、`tap2talk`（点击说话） + +`payload.parameters.upstream.type` + +string + +上行媒体类型：`Audio`（纯语音）或 `AudioAndVideo`（音视频） + +`payload.parameters.upstream.sample_rate` + +string + +上行音频采样率，通常 `16000` + +`payload.parameters.downstream.voice` + +string + +下行音色，可在百炼控制台音色列表中选取 + +`payload.parameters.downstream.sample_rate` + +number + +下行音频采样率，通常 `24000` + +`payload.parameters.dialog_attributes.vocabulary_id` + +string + +可选，热词表 ID，提升专有名词识别准确率 + +**说明** + +应用中的模型选择、提示词、Agent/插件、知识库等配置均在百炼控制台可视化完成，无需通过代码传入。run-task 只需指定 `workspace_id` 和 `app_id`，服务端会自动加载对应配置。 + +### **实时对话** + +run-task 发送成功后，进入实时对话状态： + +- **上行**：浏览器采集的音频/视频通过 RTP 协议自动发送到服务端 + +- **下行音频**：AI 语音回复通过 `ontrack` 回调接收并播放 + +- **下行事件**：通过 DataChannel 接收业务事件 + + +``` +function handleServerEvent(evt, channel) { + const type = evt.type || evt.header?.action; + + switch (type) { + case 'open_videochat': + // 服务端请求开启视频通道 + // 延迟数秒响应，确保视频处理通道就绪 + setTimeout(() => { + channel.send(JSON.stringify({ + payload: { + input: { text: '', type: 'prompt', directive: 'RequestToRespond' }, + parameters: { + biz_params: { + videos: [{ action: 'connect', type: 'voicechat_video_channel' }] + } + } + }, + header: { + streaming: 'duplex', + action: 'continue-task', + task_id: currentTaskId + } + })); + }, 3000); + break; + + default: + console.log('[服务端事件]', type, evt); + break; + } +} +``` + +**说明** + +**open\_videochat 机制**：当 `upstream.type` 设为 `AudioAndVideo` 时，客户端已通过 WebRTC 发送视频轨道。服务端在需要时（如 AI Agent 判断需要"看"画面）会推送 `open_videochat` 事件，客户端需回复 `continue-task` 确认视频通道建立。该机制允许按需开启视频处理，节省服务端资源。 + +**静音 / 取消静音：** + +``` +// 静音 +localStream.getAudioTracks().forEach(t => { t.enabled = false; }); +// 取消静音 +localStream.getAudioTracks().forEach(t => { t.enabled = true; }); +``` + +**开启/关闭视频：** + +``` +// 关闭视频 +localStream.getVideoTracks().forEach(t => { t.enabled = false; }); +// 开启视频 +localStream.getVideoTracks().forEach(t => { t.enabled = true; }); +``` + +### **结束会话与资源清理** + +通话结束后需要正确释放所有资源，避免内存泄漏和设备占用。 + +``` +function endSession() { + // 1. 关闭 DataChannel + if (dataChannel) { + dataChannel.close(); + dataChannel = null; + } + + // 2. 停止本地媒体流（释放麦克风/摄像头） + if (localStream) { + localStream.getTracks().forEach(t => t.stop()); + localStream = null; + } + + // 3. 关闭 PeerConnection + if (pc) { + pc.close(); + pc = null; + } + + // 4. 重置状态 + currentTaskId = null; +} +``` + +## **注意事项** + +1. **API Key 安全**：切勿将 API Key 硬编码在前端代码中。生产环境应通过后端服务代理 SDP 交换请求，API Key 仅存放在服务端。 + +2. **CORS 限制**：浏览器端无法直接调用百炼 API 进行 SDP 交换，正式产品中需要通过后端代理转发请求。 + +3. **HTTPS 要求**：`getUserMedia` 在非 localhost 环境下要求页面必须通过 HTTPS 提供服务。 + +4. **交互模式选择**：多模态套件支持三种交互模式——`duplex`（全双工，用户可随时打断）、`push2talk`（按住说话）、`tap2talk`（点击说话）。根据硬件形态选择合适的模式。 + +5. **视频帧率**：视频理解场景建议 15-30 fps；如果仅需偶尔拍照识别，可降低帧率节省带宽。 + +6. **浏览器兼容性**：推荐使用 Chrome 90+、Edge 90+、Firefox 85+、Safari 15+。 + +7. **单实例限制**：同一页面同时只应维护一个 `RTCPeerConnection` 实例，创建新会话前需先关闭旧连接。 + + +## **完整 Demo 示例下载** + +以下是一个完整的 HTML 页面 Demo，可直接在浏览器中运行体验多模态交互。由于浏览器 CORS 限制，SDP 交换通过 curl 命令手动完成。 + +[webrtc\_multimodel\_demo.html](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/ifirko/webrtc_multimodel_demo.html) + +**使用步骤：** + +1. 在浏览器中打开该文件。 + +2. 填写连接配置：Endpoint（格式为 `{workspace_id}.{region}.maas.aliyuncs.com`）、API Key、Workspace ID 和 App ID。 + +3. 如需视频交互，勾选“开启视频”。 + +4. 点击**开始会话**，允许浏览器访问麦克风（及摄像头）。 + +5. 如果浏览器能直接发起请求（无 CORS 限制），将自动完成连接；否则页面会显示 curl 命令，复制到终端执行后将返回的 Answer SDP 粘贴回页面即可。 + +6. 连接建立后，对着麦克风说话即可与多模态 AI 实时对话。 + +7. 通话结束后可点击“下载远端音频”保存 AI 回复的录音。 + + +## **相关文档** + +- [通义多模态交互开发套件产品概述](https://help.aliyun.com/zh/model-studio/multimodal-products-overview) + +- [多模态交互套件使用指南](https://help.aliyun.com/zh/model-studio/multimodal-guidelines/) + +- [多模态交互 SDK（Python/Java）GitHub 示例代码](https://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/multimodal_dialog) + +- [WebRTC API (MDN)](https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md new file mode 100644 index 00000000..b5d496b5 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md @@ -0,0 +1,388 @@ +# 通过WebRTC使用qwen3.5-omni-plus-realtime实现实时通话 + +本文档说明如何在浏览器端通过 WebRTC + JavaScript 接入百炼 Realtime API，实现与 qwen3.5-omni-plus-realtime 模型的实时音视频通话。 + +**说明** + +WebRTC 适合浏览器端、低延迟语音场景，音频通过 UDP 直接传输，内置回声消除和降噪。WebRTC 仅支持服务端 VAD 模式（`server_vad` 或 `semantic_vad`），不支持手动模式。 + +## **前提条件及注意事项** + +1. 已[配置 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)并将其[设置到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 + +2. 使用支持 WebRTC 的现代浏览器（Chrome、Edge、Firefox、Safari 等）。 + +3. 浏览器需要麦克风权限；如需视频通话，还需摄像头权限。 + +4. 浏览器无法直接向服务端发起 SDP 交换请求（受 CORS 限制），Demo 中通过终端执行 curl 命令完成连接建立；正式使用时由业务 AppServer 代理完成，无此限制。 + + +## **实现 AI 音视频通话** + +以下时序图展示了整个 WebRTC 音视频通话的完整流程： + +WebRTC 音视频通话流程时序图 + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5665914871/p1088079.png) + +### **创建 RTCPeerConnection** + +调用浏览器原生 `RTCPeerConnection` 创建连接实例，无需配置 ICE 服务器（服务端会处理 NAT 穿透）。 + +``` +pc = new RTCPeerConnection({ iceServers: [ ] }); +``` + +注册关键回调： + +``` +// 连接状态监听 +pc.onconnectionstatechange = () => { + if (!pc) return; + if (pc.connectionState === 'connected') { + setStatus('已连接，请说话', 'connected'); + } else if (["failed", "closed", "disconnected"].includes(pc.connectionState)) { + endSession(true); + } +}; + +// 接收远端音频流并播放 + 启动录制 +pc.ontrack = async (e) => { + const stream = e.streams[0]; + ensureHiddenAudioEl(); + hiddenRemoteAudioEl.srcObject = stream; + try { await hiddenRemoteAudioEl.play(); } catch {} + startRecordingRemoteStream(stream); +}; +``` + +### **获取本地媒体流** + +通过一次 `getUserMedia` 调用获取所需的音频（必须）和视频（可选）。是否开启视频由用户勾选"开启视频"复选框决定。 + +``` +const wantVideo = !!sendVideoCheckbox.checked; + +const constraints = wantVideo + ? { + audio: true, + video: { + facingMode: { ideal: "user" }, + frameRate: { ideal: 30, max: 30 }, + width: { ideal: 640 }, + height: { ideal: 480 }, + } + } + : { audio: true }; + +localStream = await navigator.mediaDevices.getUserMedia(constraints); +``` + +**说明** + +音频和视频通过**同一次** `getUserMedia` 调用获取，而非分开请求。视频预览帧率为 30fps（本地流畅预览），发送帧率会通过 Canvas 降至 2fps。 + +### **添加媒体轨道到 PeerConnection** + +**添加音频轨道：** + +``` +localStream.getAudioTracks().forEach(t => { + pc.addTrack(t, localStream); + gatedAudioTracks.push(t); +}); +``` + +**添加视频轨道（可选，通过 Canvas 降帧至 2fps）：** + +Canvas 尺寸从摄像头实际分辨率动态获取，而非硬编码： + +``` +const sendFps = 2; +const settings = localStream.getVideoTracks()[0].getSettings(); +sendCanvas = document.createElement("canvas"); +sendCanvas.width = settings.width || 640; // 动态获取实际宽度 +sendCanvas.height = settings.height || 480; // 动态获取实际高度 +sendCanvasCtx = sendCanvas.getContext("2d", { alpha: false }); + +sendCanvasStream = sendCanvas.captureStream(sendFps); // 2fps +const lowFpsTrack = sendCanvasStream.getVideoTracks()[0]; +pc.addTrack(lowFpsTrack, sendCanvasStream); +gatedVideoTracks.push(lowFpsTrack); + +// requestAnimationFrame 循环：将摄像头画面绘制到 Canvas +const pump = () => { + if (!sendCanvasCtx || !sendCanvas) return; + try { sendCanvasCtx.drawImage(localVideo, 0, 0, sendCanvas.width, sendCanvas.height); } catch {} + sendRafId = requestAnimationFrame(pump); +}; +sendRafId = requestAnimationFrame(pump); +``` + +**媒体门控（关键）：** + +添加轨道后立即禁止发送，确保在收到 `session.created` 之前不推送媒体数据： + +``` +// 1. 禁用所有轨道的 enabled +gateMedia(false); // track.enabled = false + +// 2. 将 sender 的 track 替换为 null，彻底阻止发送 +audioSender = pc.getSenders().find(s => s.track?.kind === 'audio'); +videoSender = pc.getSenders().find(s => s.track?.kind === 'video'); +audioTrack = audioSender?.track; +videoTrack = videoSender?.track; +await audioSender?.replaceTrack(null); +await videoSender?.replaceTrack(videoTrack ? null : undefined); +``` + +**说明** + +等价于其他 SDK 中的 `enableSendMediaStream(false)`，必须在收到 `session.created` 后才恢复发送。 + +### **创建 DataChannel** + +创建名为 `oai-events` 的 DataChannel，用于与 AI 服务端交换会话控制事件。 + +``` +const dc = pc.createDataChannel('oai-events'); + +dc.onopen = () => console.log("DC open"); +dc.onmessage = (e) => { + handleDcMessage(e.data, dc); +}; + +// 同时监听服务端主动创建的 DataChannel +pc.ondatachannel = (event) => { + const ch = event.channel; + ch.onmessage = (e) => { + handleDcMessage(e.data, ch); + }; +}; +``` + +### **生成 Offer SDP** + +调用 `createOffer()` 并设置本地描述，等待 ICE 候选收集完成后获取完整的 Offer SDP。 + +``` +pc.onicegatheringstatechange = () => { + if (!pc) return; + if (pc.iceGatheringState === "complete" && pc.localDescription?.sdp) { + const sdp = pc.localDescription.sdp; + // ICE 收集完成，Offer SDP 可用 + // 自动生成 curl 命令供用户使用 + } +}; + +const offer = await pc.createOffer(); +await pc.setLocalDescription(offer); +``` + +**说明** + +必须等待 `iceGatheringState === "complete"` 后再使用 SDP，此时 SDP 中包含所有 ICE 候选信息。 + +### **交换 SDP（通过 curl 命令或业务 AppServer）** + +将 Offer SDP 发送到百炼服务端，获取 Answer SDP。Demo 中通过 curl 命令完成： + +``` +curl -X POST 'https://{endpoint}/api/v1/webrtc/realtime?model=qwen3.5-omni-plus-realtime' \ + -H 'Content-Type: application/sdp' \ + -H 'Authorization: Bearer $DASHSCOPE_API_KEY' \ + --data-binary '' +``` + +**说明** + +生产环境中，此步骤应由业务 AppServer 代理完成，避免前端暴露 API Key。`{endpoint}` 为 Realtime API 接入地址。 + +### **设置 Answer SDP 建立连接** + +将服务端返回的 Answer SDP 设置为远端描述，WebRTC 连接即开始建立。注意 SDP 格式需要规范化处理： + +``` +function normalizeSdpForSetRemote(sdp) { + sdp = String(sdp).trim().replace(/\r?\n/g, "\r\n"); + if (!sdp.endsWith("\r\n")) sdp += "\r\n"; + return sdp; +} + +const answerSdp = normalizeSdpForSetRemote(txt); +await pc.setRemoteDescription({ type: 'answer', sdp: answerSdp }); +``` + +**说明** + +SDP 规范要求行尾为 `\r\n`，`normalizeSdpForSetRemote` 负责处理不同来源的换行符兼容问题。 + +### **配置 AI 会话（session.update）** + +连接建立后，服务端通过 DataChannel 发送 `session.created` 事件。收到后需： + +1. 解除媒体门控，恢复音视频发送 + +2. 发送 `session.update` 配置会话参数 + + +**解除门控并恢复媒体：** + +``` +function handleDcMessage(data, channel) { + let obj; + try { obj = JSON.parse(data); } catch (err) { return; } + + if (obj?.type === "session.created") { + // 解除门控：恢复 track.enabled + gateMedia(true); + // 恢复 sender 的实际 track + if (audioSender) audioSender.replaceTrack(audioTrack); + if (videoSender && videoTrack) videoSender.replaceTrack(videoTrack); + // 发送会话配置 + sendUpdate(channel); + } +} +``` + +**session.update 消息体：** + +``` +const update = { + event_id: `event_${Date.now()}`, + type: "session.update", + session: { + input_audio_format: "pcm", + input_audio_transcription: { model: "qwen3-asr-flash-realtime" }, + instructions: "You are a helpful assistant.", + modalities: ["text", "audio"], + output_audio_format: "pcm", + smooth_output: false, + turn_detection: { + prefix_padding_ms: 500, + silence_duration_ms: 800, + threshold: 0.5, + type: "server_vad", + }, + }, +}; +if (channel && channel.readyState === "open") channel.send(JSON.stringify(update)); +``` + +**说明** + +`turn_detection.type` 可设为 `server_vad`（基于音量检测）或 `semantic_vad`（基于语义检测）。WebRTC 模式不支持手动 VAD。 + +### **实时对话** + +连接建立后，音视频通过 RTP 实时传输。远端 AI 语音通过 `ontrack` 回调接收并播放，同时使用 MediaRecorder 录制以便下载。 + +**接收远端音频并录制：** + +``` +pc.ontrack = async (e) => { + const stream = e.streams[0]; + ensureHiddenAudioEl(); + hiddenRemoteAudioEl.srcObject = stream; + try { await hiddenRemoteAudioEl.play(); } catch {} + startRecordingRemoteStream(stream); // 启动录制 +}; + +function startRecordingRemoteStream(remoteStream) { + const audioTracks = remoteStream.getAudioTracks(); + if (!audioTracks.length) return; + const audioStream = new MediaStream(audioTracks); + + recordedChunks = [ ]; + + mediaRecorder = new MediaRecorder(audioStream, { mimeType: 'audio/webm' }); + mediaRecorder.ondataavailable = (e) => { + if (e.data && e.data.size > 0) recordedChunks.push(e.data); + }; + mediaRecorder.onstop = () => { + audioBlob = new Blob(recordedChunks, { type: 'audio/webm' }); + // 录制结束后可下载 + }; + mediaRecorder.start(); +} +``` + +**DataChannel 事件统一展示：** + +所有通过 DataChannel 收发的事件（包括 `session.created`、`response.audio_transcript.done` 等）统一通过事件面板展示，支持展开查看完整 JSON： + +``` +function pushEventFromDataChannel(eventObj) { + const ts = eventObj.timestamp || nowTs(); + events.unshift({ event: eventObj, timestamp: ts }); + renderEvents(); +} +``` + +### **结束会话与资源清理** + +结束通话时需依次清理所有资源，顺序很重要： + +``` +function endSession(silent = false) { + // 1. 停止 Canvas 降帧循环 + if (sendRafId) cancelAnimationFrame(sendRafId); + sendRafId = 0; + if (sendCanvasStream) sendCanvasStream.getTracks().forEach(t => t.stop()); + sendCanvasStream = null; sendCanvasCtx = null; sendCanvas = null; + + // 2. 停止录制 + try { if (mediaRecorder && mediaRecorder.state !== "inactive") mediaRecorder.stop(); } catch {} + mediaRecorder = null; + + // 3. 停止本地媒体流 + if (localStream) { + localStream.getTracks().forEach(t => t.stop()); + localStream = null; + } + + // 4. 关闭 PeerConnection + if (pc) { try { pc.close(); } catch {} pc = null; } + + // 5. 清理远端音频元素 + if (hiddenRemoteAudioEl) { + try { hiddenRemoteAudioEl.pause(); } catch {} + hiddenRemoteAudioEl.srcObject = null; + hiddenRemoteAudioEl.remove(); + hiddenRemoteAudioEl = null; + } +} +``` + +**说明** + +结束后可通过"下载远端音频"按钮下载 AI 回复的录音（WebM 格式）。 + +## **注意事项** + +1. **媒体门控必须在 session.created 后解除**：在服务端发送 `session.created` 之前推送媒体数据会被丢弃，必须通过 `replaceTrack(null)` 彻底阻断发送。 + +2. **视频降帧通过 Canvas 实现**：本地预览 30fps，发送至服务端仅 2fps，通过 `captureStream(2)` 控制，节省带宽。 + +3. **SDP 格式规范化**：设置 Answer SDP 前必须确保行尾为 `\r\n`，否则 `setRemoteDescription` 可能失败。 + +4. **视频为可选功能**：用户未勾选视频时，仅请求音频权限，不会触发摄像头授权弹窗。 + +5. **远端音频自动录制**：通过 MediaRecorder 录制 AI 回复的音频流，会话结束后可下载 WebM 格式文件。 + +6. **WebRTC 仅支持服务端 VAD**：不支持 `manual` 模式，可选 `server_vad`（音量检测）或 `semantic_vad`（语义检测）。 + + +## **完整 demo 下载** + +完整示例代码请下载：[webrtc\_demo.html](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/ychtmj/webrtc_demo.html)。 + +## **相关文档** + +- [WebRTC API (MDN)](https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API) + +- [RTCPeerConnection (MDN)](https://developer.mozilla.org/zh-CN/docs/Web/API/RTCPeerConnection) + +- qwen3.5-omni-plus-realtime 模型客户端事件：[客户端事件](https://help.aliyun.com/zh/model-studio/client-events) + +- qwen3.5-omni-plus-realtime 模型服务端事件：[服务端事件](https://help.aliyun.com/zh/model-studio/server-events) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md new file mode 100644 index 00000000..217e42ed --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md @@ -0,0 +1,180 @@ +# Realtime API简介 + +Realtime API 是一系列针对性能、延迟、抗弱网、对接成本、适配性提供多种对接方式的方法，供客户灵活选择。 + +## **概述** + +Realtime API 支持 **WebSocket**、**WebRTC** 和 **AOQ（AI over QUIC）**三种传输协议，开发者可以根据业务场景灵活选择。 + +**维度** + +**WebSocket** + +**WebRTC** + +**AOQ** + +适用场景 + +服务端集成、快速原型验证 + +浏览器端互动、传统音视频通话 + +AI 多模态实时交互、弱网场景、混合数据传输 + +浏览器兼容性 + +原生支持 + +原生支持 + +不支持 + +接入难度 + +极低 + +中等 + +低 + +弱网对抗 + +差 + +良好 + +极致 + +数据类型 + +文本/音频/图像 + +音视频 + 文本 + +音视频 + 文本 + +建连速度 + +慢 + +慢 + +快 + +回声消除/降噪 + +无，需客户端自行处理 + +内置 + +内置 + +AI 场景适配 + +基础，适合纯文本或低实时性场景 + +传统设计，AI 场景需额外适配 + +原生为 AI 多模态数据特征深度定制 + +端侧平台支持 + +全平台（任何支持 WebSocket 的环境） + +浏览器、移动端 + +Android / iOS / HarmonyOS + +开发者可根据实际需求选择协议方案： + +- **WebSocket 方案**：适合服务端集成、快速原型验证、对接入门槛要求极低的场景。通过 DashScope SDK 可快速实现实时语音对话。 + +- **WebRTC 方案**：适合需要浏览器原生支持、已有 WebRTC 基础设施的传统音视频通话场景，内置回声消除和降噪能力。 + +- **AOQ 方案**：适合对延迟、弱网对抗、多模态数据传输有极致要求的 AI 实时交互场景，同时内置回声消除和降噪能力，尤其是移动端原生应用。 + + +## **模型/应用支持力度** + +不同协议对模型和应用的支持情况如下： + +**模型/应用类型** + +**模型** + +**AOQ** + +**WebRTC** + +**WebSocket** + +实时全模态 + +qwen3.5-omni-plus-realtime + +支持 + +支持 + +支持 + +qwen3.5-omni-flash-realtime + +支持 + +支持 + +支持 + +qwen3.5-livetranslate-flash-realtime + +支持 + +支持 + +支持 + +多模态开发套件 + +multimodal-dialog + +不支持 + +支持 + +支持 + +实时语音识别 + +Fun-ASR系列模型 + +不支持 + +不支持 + +支持 + +实时语音合成 + +CosyVoice系列模型 + +不支持 + +不支持 + +支持 + +实时语音对话 + +qwen-audio-3.0-realtime-plus、qwen-audio-3.0-realtime-flash + +不支持 + +不支持 + +支持 + +**说明** + +模型的名称、上下文、价格、快照版本等信息请参见[阿里云百炼控制台](https://bailian.console.aliyun.com/cn-beijing#/home)；并发限流条件请参考[限流](https://help.aliyun.com/zh/model-studio/rate-limit)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md new file mode 100644 index 00000000..147179b9 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md @@ -0,0 +1,291 @@ +# 实现接通模型/应用 + +介绍如何通过 AOQ、WebRTC、WebSocket 三种协议接入 Realtime API 模型或应用，包含各协议的连接流程、时序图和代码示例。 + +## **AOQ 接入** + +AOQ 基于 QUIC 协议深度定制，适合移动端原生应用，支持音频/视频/数据混合传输，内置极致抗弱网能力。以下以 iOS Demo 为例。 + +### **整体流程时序图** + +![AOQ中文1](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5755914871/p1088073.jpg) + +### **创建引擎并设置回调** + +``` +let config = AoqCreateConfig() +config.workDir = workDir +config.enableDumpAudio = false +engine = AoqClientEngine.createEngine(config, delegate: self) +``` + +实现 `AoqEngineDelegate` 协议监听 `onConnectionStatusChange`、`onDataMsg`、`onError` 等回调。 + +### **启动音频采集与播放** + +``` +// 音频采集 +let capCfg = AoqAudioCaptureConfig() +capCfg.channel = 1; capCfg.isExternal = false +engine.startAudioCapture(capCfg) + +// 音频播放 +let playCfg = AoqAudioPlaybackConfig() +playCfg.channel = 1; playCfg.isExternal = false +engine.startAudioPlayer(playCfg) + +// 视频采集（可选） +let vidCfg = AoqVideoCaptureConfig() +vidCfg.width = 720; vidCfg.height = 1280; vidCfg.fps = 15 +engine.startVideoCapture(vidCfg) +``` + +### **获取连接凭证** + +由业务 AppServer 代理百炼请求，参考 [Token 鉴权](https://help.aliyun.com/zh/model-studio/realtime-token-authentication) 章节。 + +### **设置编解码及建立连接** + +设置编解码参数后调用 `connect`： + +``` +// 音频编解码配置 +let encCfg = AoqAudioCodecConfig() +encCfg.codecType = .audioPCM; encCfg.sampleRate = 16000; encCfg.channel = 1 +engine.setAudioEncoderConfig(encCfg) +engine.setAudioDecoderConfig(encCfg) + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(.audio, enable: false) + +let config = AoqConnectConfig() +config.token = token +config.sid = sid +config.certFingerprint = certificate +config.relayEndpoints = relayEndpoints +config.workspaceIdHash = workspaceIdHash +config.publishTracks = [audioTrack, dataTrack] +config.subscribeTracks = [audioTrack, dataTrack] +engine.connect(config) +``` + +**重要** + +**重要**：AOQ SDK 在建联后会默认发送媒体数据，此示例演示了连接模型时关闭媒体发送的能力。 + +### **配置 AI 会话** + +连接成功后发送 `session.update` 的示例，详见[模型客户端事件参考](https://help.aliyun.com/zh/model-studio/client-events)： + +``` +func onConnectionStatusChange(_ status: AoqConnectionStatus) { + if status == .connected { sendSessionUpdate() } +} + +private func sendSessionUpdate() { + let json = """ + { + // 该事件的id，由客户端生成 + "event_id": "event_ToPZqeobitzUJnt3QqtWg", + // 事件类型，固定为session.update + "type": "session.update", + // 会话配置 + "session": { + // 输出模态，支持设置为["text"]（仅输出文本）或["text","audio"]（输出文本与音频）。 + "modalities": [ + "text", + "audio" + ], + // 输出音频的音色 + "voice": "Ethan", + // 输入音频格式，当前仅支持设置为pcm。输入音频为16 kHz采样率的PCM音频流。 + "input_audio_format": "pcm", + // 输出音频格式，当前仅支持设置为pcm。输出音频为24 kHz采样率的PCM音频流。 + "output_audio_format": "pcm", + // 系统消息，用于设定模型的目标或角色。 + "instructions": "你是某五星级酒店的AI客服专员，请准确且友好地解答客户关于房型、设施、价格、预订政策的咨询。请始终以专业和乐于助人的态度回应，杜绝提供未经证实或超出酒店服务范围的信息。", + // 是否开启语音活动检测。若需启用，需传入一个配置对象，服务端将据此自动检测语音起止。 + // 设置为null表示由客户端决定何时发起模型响应。 + "turn_detection": { + // VAD类型，取值为server_vad或semantic_vad。使用qwen3.5-omni-realtime模型时推荐设为semantic_vad。 + "type": "semantic_vad", + // VAD检测阈值。建议在嘈杂的环境中增加，在安静的环境中降低。 + "threshold": 0.5, + // 检测语音停止的静音持续时间，超过此值后会触发模型响应 + "silence_duration_ms": 800 + } + } + } + """ + let msg = AoqDataMsg() + msg.data = json.data(using: .utf8)! + engine.send(msg) +} +``` + +### **收到 session.updated 后开启媒体发送** + +收到模型回复 `session.updated` 的示例，详见[模型服务器事件参考](https://help.aliyun.com/zh/model-studio/server-events)： + +``` +func onDataMsg(_ msg: AoqDataMsg) { + guard let obj = try? JSONSerialization.jsonObject(with: msg.data) as? [String: Any], + let type = obj["type"] as? String else { return } + if type == "session.updated" { + engine.enableSendMediaStream(.audio, enable: true) + engine.enableSendMediaStream(.video, enable: true) + } +} +``` + +**重要** + +**重要**： + +1. 模型必须在收到 `session.updated` 后才开启媒体流发送，否则 AI 侧可能还未准备好接收数据。 + +2. 建连时添加的音频轨道和视频轨道（即 AOQ 媒体通道）会自动将数据传输到服务端。 + + 1. 音频：通过音频轨道直接传输，无需发送 `input_audio_buffer.append` 事件。 + + 2. 视频：通过视频轨道发送画面帧，无需发送 `input_image_buffer.append` 事件。 + + +### **断开连接与销毁引擎** + +``` +engine.disconnect() +AoqClientEngine.destroy() +``` + +## **WebRTC 接入** + +WebRTC 协议不提供 SDK，Web 端可以通过 JavaScript，其他端可以通过开源项目或者第三方支持标准 WebRTC 协议的 RTC 服务商进行接入。以下文档以 Web 端 JavaScript 为例进行介绍。 + +### **整体流程图** + +![AOQ中文2](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5755914871/p1088074.jpg) + +### **建立连接** + +``` +# pip install aiortc aiohttp certifi +import asyncio, aiohttp, ssl, certifi +from aiortc import RTCPeerConnection, RTCConfiguration, RTCSessionDescription +from aiortc.mediastreams import AudioStreamTrack + +API_KEY = "your-api-key" +MODEL = "目标模型" +SIGNALING_URL = f"https://{{endpoint}}/api/v1/webrtc/realtime?model={MODEL}" + +async def connect(): + pc = RTCPeerConnection(RTCConfiguration(iceServers=[])) + + # 添加音频轨道，确保 Offer SDP 包含 m=audio（服务端必需） + pc.addTrack(AudioStreamTrack()) + + # 创建 DataChannel 以触发 SDP 协商（名称可自定义，服务端会通过名为 "txt" 的通道推送事件） + pc.createDataChannel("oai-events") + + # SDP 交换：创建 Offer 并发送到服务端 + offer = await pc.createOffer() + await pc.setLocalDescription(offer) + + async with aiohttp.ClientSession() as session: + async with session.post( + SIGNALING_URL, + ssl=ssl.create_default_context(cafile=certifi.where()), + data=offer.sdp.encode("utf-8"), + headers={ + "Content-Type": "application/sdp", + "Authorization": f"Bearer {API_KEY}", + }, + ) as resp: + if not resp.ok: + raise Exception(f"SDP 交换失败: {resp.status} {await resp.text()}") + answer_sdp = await resp.text() + + print("=== Offer SDP ===") + print(offer.sdp) + print("=== Answer SDP ===") + print(answer_sdp) + + # ICE 建连自动完成 + await pc.setRemoteDescription(RTCSessionDescription(sdp=answer_sdp, type="answer")) + print("WebRTC 连接已建立") + return pc +``` + +### **配置目标模型参数** + +监听模型返回的 DataChannel 消息保证交互时序： + +``` +pc.ondatachannel = (event) => { + const ch = event.channel; + ch.onmessage = (e) => { + let obj; + try { obj = JSON.parse(e.data); } + catch (err) { + return; + } + if (obj?.type === "session.created") { + sendUpdate(event.channel); + //开始推送音视频 + audioSender?.replaceTrack(audioTrack); + videoSender?.replaceTrack(videoTrack); + } + }; +}; +``` + +### **收发媒体数据** + +建连时添加的音频轨道和视频轨道（即 RTP 媒体通道）会自动将数据传输到服务端。 + +- 音频：通过音频轨道（RTP）直接传输，无需发送 `input_audio_buffer.append` 事件。 + +- 图片：通过视频轨道（RTP）发送画面帧，不支持 `input_image_buffer.append` 事件。 + + +**说明** + +WebRTC 仅支持服务端 VAD 模式（`server_vad` 或 `semantic_vad`），不支持手动模式。 + +### **Demo 源码** + +#### **前提条件** + +- 使用支持 WebRTC 的现代浏览器（Chrome、Edge、Firefox、Safari 等）。 + +- 浏览器需要麦克风权限。 + +- 浏览器无法直接向服务端发起建立连接的请求（受浏览器跨域安全策略限制），因此需要通过终端执行 curl 命令来完成连接建立。 + + +#### **运行示例** + +新建一个 HTML 文件，命名为 `webrtc_demo.html`，并将以下代码复制到文件中： + +[webrtc\_demo.html](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/crtwmi/webrtc_demo.html)。 + +在浏览器中打开此文件，按以下步骤操作： + +1. 点击开始会话，页面会自动生成 Offer SDP 和对应的 curl 命令。 + +2. 点击复制 curl 命令，在终端中执行。命令返回的内容即为 Answer SDP。 + +3. 将 Answer SDP 粘贴到页面的 Answer SDP 文本框中，点击设置 Answer 即可建立连接并开始语音对话。 + + +## **WebSocket 接入** + +可以通过 DashScope SDK 或者模型的 API 进行接入，详见： + +- [实时全模态](https://help.aliyun.com/zh/model-studio/realtime#bdaa43cdd7hsd) + +- [多模态开发套件](https://help.aliyun.com/zh/model-studio/multimodal-interaction-protocol/) + +- [实时语音识别](https://help.aliyun.com/zh/model-studio/fun-asr-realtime-websocket-api) + +- [实时语音合成](https://help.aliyun.com/zh/model-studio/cosyvoice-websocket-api) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md new file mode 100644 index 00000000..69982edf --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md @@ -0,0 +1,60 @@ +# SDK下载 + +本文提供AOQ SDK下载链接，介绍如何集成SDK，以及SDK相关信息。 + +## **AOQ SDK下载** + +**版本** + +**平台** + +**下载** + +**更新日期** + +**更新说明** + +v1.0.1 + +Android + +[AoqClientSdk-v1.0.1.aar](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/sqsjum/AoqClientSdk-v1.0.1.aar) + +[libPluginOpus.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/oxzenn/libPluginOpus.zip) + +2026-07-09 + +1. 支持AOQ协议接入模型/应用 + +2. 支持音视频编解码参数 + +3. 支持音视频设备采集及播放 + +4. 支持自定义外部输入音频采集 + +5. 支持自定义外部输入视频采集 + +6. 支持自定义外部输入视频编码 + +7. 支持控制媒体流的发送 + + +iOS + +[AoqClientSdk-v1.0.1.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/vlyumo/AoqClientSdk-v1.0.1.zip) + +[PluginOpus.framework.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/rbvmfq/PluginOpus.framework.zip) + +Harmony + +[AoqClientSdk-v1.0.1.har](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/zwlikp/AoqClientSdk-v1.0.1.har) + +[libPluginOpus.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/wvtyrh/libPluginOpus.zip) + +**重要** + +AOQ使用音频插件的方式加载Opus编解码器，如果需要Opus编解码时需要下载opus插件并加载到工程内。 + +## **WebSocket SDK下载** + +参见[安装SDK](https://help.aliyun.com/zh/model-studio/install-sdk)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md new file mode 100644 index 00000000..6830d3a4 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md @@ -0,0 +1,358 @@ +# Token鉴权 + +介绍 Realtime API 的 Token 鉴权机制，包括 API Key 的获取方式以及 WebSocket、WebRTC、AOQ 三种协议的建连鉴权方法。 + +## **概述** + +Realtime API 使用 **API Key** 进行身份认证。无论您选择 WebSocket、WebRTC 还是 AOQ 协议接入，均通过 HTTP 请求头中的 `Authorization` 字段携带 Bearer Token 完成身份验证。 + +鉴权发生在**建连阶段**，连接建立后的音视频/数据传输无需重复鉴权。 + +三种协议的鉴权差异： + +**协议** + +**鉴权时机** + +**鉴权方式** + +**说明** + +WebSocket + +WebSocket 连接握手时 + +HTTP Header `Authorization: Bearer ` + +客户端或服务端直接携带 API Key 建连 + +WebRTC + +SDP 交换 HTTP 请求时 + +HTTP Header `Authorization: Bearer ` + +客户端或服务端携带 API Key 发起 SDP 交换 + +AOQ + +业务 AppServer 请求网关时 + +HTTP Header `Authorization: Bearer ` + +API Key 仅在服务端使用，客户端使用网关返回的 Token + +## **获取 API Key** + +### **步骤 1：开通百炼服务** + +1. 访问[阿里云百炼控制台](https://bailian.console.aliyun.com/cn-beijing#/home)并登录您的阿里云账号。 + +2. 如果是首次使用，按照页面提示完成服务开通。 + + +### **步骤 2：创建 API Key** + +1. 在控制台左侧导航栏中，选择 **API Key 管理**。 + +2. 点击 **创建 API Key**，选择关联的业务空间。 + +3. 创建完成后，请**立即复制并妥善保存** API Key。 + + +**重要** + +**安全提示**：API Key 是您访问服务的唯一凭证，请勿将其硬编码到客户端代码中或提交到代码仓库。建议通过环境变量或后端服务下发的方式管理。 + +## **建连鉴权详解** + +### **AOQ 协议鉴权** + +AOQ 采用**服务端代理鉴权**模式：API Key 仅在业务 AppServer 侧使用，客户端使用网关返回的临时 Token 建连，避免 API Key 暴露在客户端。 + +![Token鉴权](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3935914871/p1088069.jpg) + +#### **百炼网关请求 curl 示例** + +``` +curl -X POST \ + "https://{endpoint}/api/v1/webrtc/realtime?model=qwen3.5-omni-plus-realtime" \ + -H "Content-Type: application/json" \ + -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \ + -H "x-dashscope-rtc-transport: moq" \ + -d '{"clientIp": ${客户端真实IP}}' +``` + +#### **请求字段说明** + +**配置项** + +**值** + +**说明** + +endpoint + +根据业务情况选择接入域名 + +指定对应的接入域名，详情请参见[选择地域、服务部署范围和接入域名](https://help.aliyun.com/zh/model-studio/regions/) + +Content-Type + +`application/json` + +\- + +Authorization + +`Bearer ` + +必填 + +x-dashscope-rtc-transport + +`moq` + +**指定使用 AOQ 协议** + +clientIp + +选填。客户端真实公网 IP + +不填写时，使用请求百炼网关的 IP 作为客户端 IP；若填写，则以 clientIp 作为客户端 IP。Realtime API 会参考客户端 IP 提供最佳的 Relay 接入点信息 + +#### **响应示例** + +``` +{ + "sid": "1d06b55683db49bba67a407902f62d02:1782706970:69aecdc5...", + "aoqTokenForClient": "ecc1a46015d5496ca4ff7a48281eb739", + "clientRelayEndpoints": [{"endpoint": "121.199.XX.XX", "port": 8443}], + "clientRelayCertFingerprint": "sha256/99843495...", + "sidExpiresInSecs": 7200, + "extraInfo": {"workspaceIdHash": "2021b6f98cea4cff"} +} +``` + +#### **响应字段说明** + +**字段** + +**说明** + +sid + +会话唯一标识 + +aoqTokenForClient + +客户端连接令牌，传给 SDK 的 token 字段 + +clientRelayEndpoints + +Relay 接入点数组（endpoint + port） + +clientRelayCertFingerprint + +Relay TLS 证书指纹 + +sidExpiresInSecs + +会话过期时间（秒） + +extraInfo.workspaceIdHash + +工作区 ID 哈希 + +#### **AOQ Client SDK 连接示例** + +## **iOS (Swift)** + +``` +let resp = try JSONDecoder().decode(AllocateResponse.self, from: responseData) + +let config = AoqConnectConfig() +config.token = resp.aoqTokenForClient +config.sid = resp.sid +config.certFingerprint = resp.clientRelayCertFingerprint +config.relayEndpoints = resp.clientRelayEndpoints.map { item in + let ep = AoqRelayEndpoint() + ep.endpoint = item.endpoint + ep.port = item.port + return ep +} +config.workspaceIdHash = resp.extraInfo?.workspaceIdHash ?? "" + +let audioTrack = AoqTrackParam() +audioTrack.trackType = .audio +let dataTrack = AoqTrackParam() +dataTrack.trackType = .data +config.publishTracks = [audioTrack, dataTrack] +config.subscribeTracks = [audioTrack, dataTrack] + +engine.connect(config) +``` + +## **Android (Java)** + +``` +JSONObject obj = new JSONObject(responseText); +AoqClientEngine.AoqConnectConfig cfg = new AoqClientEngine.AoqConnectConfig(); +cfg.token = obj.optString("aoqTokenForClient", ""); +cfg.sid = obj.optString("sid", ""); +cfg.certFingerprint = obj.optString("clientRelayCertFingerprint", ""); + +JSONArray arr = obj.optJSONArray("clientRelayEndpoints"); +if (arr != null) { + for (int i = 0; i < arr.length(); i++) { + JSONObject o = arr.optJSONObject(i); + AoqClientEngine.AoqRelayEndpoint ep = new AoqClientEngine.AoqRelayEndpoint(); + ep.endpoint = o.optString("endpoint", ""); + ep.port = o.optInt("port", 0); + cfg.relayEndpoints.add(ep); + } +} + +JSONObject ext = obj.optJSONObject("extraInfo"); +cfg.workspaceIdHash = ext != null ? ext.optString("workspaceIdHash", "") : ""; + +AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam(); +audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio; +AoqClientEngine.AoqTrackParam data = new AoqClientEngine.AoqTrackParam(); +data.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData; +cfg.publishTracks.add(audio); +cfg.publishTracks.add(data); +cfg.subscribeTracks.add(audio); +cfg.subscribeTracks.add(data); + +engine.connect(cfg); +``` + +## **OHOS (ArkTS)** + +``` +const obj = JSON.parse(responseText) as Record; +const cfg: AoqConnectConfig = { + token: String(obj['aoqTokenForClient'] ?? ''), + sid: String(obj['sid'] ?? ''), + certFingerprint: String(obj['clientRelayCertFingerprint'] ?? ''), + relayEndpoints: (obj['clientRelayEndpoints'] as Array).map(item => ({ + endpoint: String(item['endpoint'] ?? ''), + port: Number(item['port'] ?? 0) + })), + workspaceIdHash: String((obj['extraInfo'] as any)?.['workspaceIdHash'] ?? ''), + publishTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeData } + ], + subscribeTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeData } + ] +}; +engine.connect(cfg); +``` + +**说明** + +`clientIp` 为请求体中的非必填字段。不填写时，使用请求百炼网关的 IP 作为客户端 IP；若填写，则以 clientIp 作为客户端 IP。建议由业务 AppServer 在服务端获取客户端真实 IP 后填入，以获得最佳的 Relay 接入点。 + +## **WebRTC 协议鉴权** + +WebRTC 通过 HTTP POST 请求完成 SDP 交换，鉴权在此阶段完成。客户端将 Offer SDP 发送给服务端，服务端返回 Answer SDP。 + +**配置项** + +**值** + +**说明** + +请求方法 + +POST + +\- + +请求地址 + +`https://{endpoint}/api/v1/webrtc/realtime?model={model_name}` + +替换 endpoint 和 model\_name + +Content-Type + +`application/sdp` + +请求体为 SDP 字符串 + +Authorization + +`Bearer ` + +必填 + +响应 + +HTTP 200，返回 Answer SDP + +失败返回 4xx + +**说明** + +WebRTC 功能目前为白名单开放，请联系商务经理获取 Endpoint。 + +``` +const pc = new RTCPeerConnection(); +const stream = await navigator.mediaDevices.getUserMedia({ audio: true }); +stream.getAudioTracks().forEach(t => pc.addTrack(t, stream)); +pc.createDataChannel('oai-events'); + +const offer = await pc.createOffer(); +await pc.setLocalDescription(offer); + +// 等待 ICE 收集完成后发送 +const resp = await fetch(API_URL, { + method: 'POST', + headers: { + 'Content-Type': 'application/sdp', + 'Authorization': `Bearer ${API_KEY}`, + }, + body: pc.localDescription.sdp, +}); +const answerSdp = await resp.text(); +await pc.setRemoteDescription({ type: 'answer', sdp: answerSdp }); +``` + +## **WebSocket 协议鉴权** + +WebSocket 鉴权最为简单，客户端在建立 WebSocket 连接时直接通过 HTTP Header 携带 API Key。 + +**配置项** + +**值** + +**说明** + +连接地址 + +`wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model={model_name}` + +华北2（北京） + +Authorization + +`Bearer ` + +必填 + +``` +import websocket, os +API_KEY = os.getenv("DASHSCOPE_API_KEY") +URL = "wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=qwen3.5-omni-plus-realtime" +ws = websocket.WebSocketApp(URL, header=["Authorization: Bearer " + API_KEY]) +ws.run_forever() +``` + +**说明** + +您也可以使用 [DashScope SDK](https://help.aliyun.com/zh/model-studio/install-sdk) 方式接入。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md index a108688f..4d575d0d 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md @@ -33,6 +33,22 @@ **功能说明** +7月16日 + +平台功能 + +企业知识库（旧）下线通知 + +企业知识库（旧）下线通知[了解详情](https://www.aliyun.com/notice/118448) + +7月16日 + +平台功能 + +Managed Agent商业化通知 + +Managed Agent商业化通知[了解详情](https://www.aliyun.com/notice/118456) + 7月14日 平台功能 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md index 1fffce5d..46e76a4d 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md @@ -14,6 +14,16 @@ **功能说明** +文生文与视觉理解 + +2026-07-17 + +中国内地 + +kimi/kimi-k3 + +Kimi K3 是 Kimi 迄今能力最强的旗舰模型，拥有 2.8 万亿参数，原生支持视觉理解，并拥有 100 万 token 上下文窗口，面向长程编程、知识工作和推理等前沿智能场景而设计。[Kimi-月之暗面](https://help.aliyun.com/zh/model-studio/kimi-api-by-moonshot-ai) + 视频对口型 2026-07-15 @@ -2956,7 +2966,7 @@ wan2.7-r2v-2026-06-12 kimi-k2.7-code -Kimi K2.7 Code 模型新加坡地域上线。以编码为中心的智能体模型，专为长程软件工程任务优化，仅支持思考模式。[](#) +Kimi K2.7 Code 模型新加坡地域上线。以编码为中心的智能体模型，专为长程软件工程任务优化，仅支持思考模式。[Kimi-阿里云](https://help.aliyun.com/zh/model-studio/kimi-api) 图像生成 @@ -3852,6 +3862,16 @@ qwen3-asr-flash-realtime、qwen3-asr-flash-realtime-2025-10-27 **功能说明** +推理模型 + +2026-07-17 + +美国 + +qwen3.6-flash-us + +Qwen3.6 原生视觉语言 Flash 系列模型，在整体性能上较 Qwen3.5-Flash 显著提升。重点增强了智能体编程能力（在多项代码智能体基准上大幅超越前代）、数学推理和代码推理能力；在视觉能力方面，空间智能显著增强，其中物体定位和目标检测表现尤为突出。 + 文生文 2026-07-14 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md index 7137579d..a966d86e 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md @@ -2706,6 +2706,24 @@ qwen3.6-flash-2026-04-16 28.8元 +qwen3.6-flash-us + +美国 + +非思考和思考模式 + +0 当前能力等同于qwen3.5-flash-2026-02-23 @@ -9246,6 +9264,18 @@ kimi-k2.7-code **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) +kimi/kimi-k3 + +> [上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)享有折扣 + +中国内地 + +20元 + +100元 + +无 + kimi/kimi-k2.7-code-highspeed > [上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)享有折扣 @@ -9256,8 +9286,6 @@ kimi/kimi-k2.7-code-highspeed 54元 -无 - kimi/kimi-k2.7-code > [上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)享有折扣 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md index 8bc376aa..00a801f3 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md @@ -474,9 +474,9 @@ wan2.2-kf2v-flash - 后付费时，如果账户欠费，部署的资源将继续保留并计费 24 小时，在这 24 小时内服务仍可正常使用。超过 24 小时后系统停止计费，模型部署进入欠费状态，底层资源将被删除，但模型部署任务仍会保留。补足欠费后，系统将重新分配资源并恢复使用（恢复后继续产生费用）。如果您不希望继续产生费用，可删除模型部署任务，删除成功后将不再计费。 -当模型输入超过最长输入 Token 或 超出购买的 TPM 量时，相关调用将自动切换为当前模型的按量付费模式。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 +当模型输入超过最长输入 Token 时，相关调用将自动切换为当前模型的按量付费模式；超出购买的 TPM 量时，按创建时选择的溢出策略处理（「自动溢出」切换为按量付费，「仅使用 PTU 容量」返回 429）。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 -- 此时，调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 +- 此时（仅「自动溢出」策略下），调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 - TPM 统计请前往：[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)。 @@ -820,15 +820,33 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-35B-A3B qwen3.6-35b-a3b -MU8 x 1 +MU1 x 8 -¥47 +¥432 -¥22,400 +¥208,944 + +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 MU9 x 1 @@ -846,6 +864,12 @@ MU1 x 2 ¥52,236 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-Plus-2026-04-02 qwen3.6-plus-2026-04-02 @@ -866,12 +890,6 @@ PD分离模式：¥417,888 qwen3.5-397b-a17b -MU2 x 8 - -¥504 - -¥240,288 - MU3 x 8 MU3 x 16（PD分离模式） @@ -884,6 +902,12 @@ PD分离模式：¥2,192 PD分离模式：¥1,055,504 +MU6 x 16 + +¥400 + +¥193,424 + 千问3.5-122B-A10B qwen3.5-122b-a10b @@ -894,11 +918,17 @@ MU1 x 4 ¥104,472 -MU2 x 8 +MU3 x 8 -¥504 +¥1,096 -¥240,288 +¥527,752 + +MU6 x 16 + +¥400 + +¥193,424 千问3.5-35B-A3B @@ -916,10 +946,40 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + +MU9 x 1 + +¥51 + +¥24,600 + 千问3.5-27B qwen3.5-27b +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 + +MU8 x 1 + +¥47 + +¥22,400 + MU9 x 1 ¥51 @@ -936,6 +996,12 @@ MU1 x 2 ¥52,236 +MU2 x 2 + +¥126 + +¥60,072 + MU8 x 1 ¥47 @@ -962,12 +1028,24 @@ MU1 x 2 qwen3.5-plus-2026-02-15 +MU1 x 8 + MU1 x 16（PD分离模式） +¥432 + PD分离模式：¥864 +¥208,944 + PD分离模式：¥417,888 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 8 MU3 x 16（PD分离模式） @@ -996,41 +1074,25 @@ MU2 x 8 ¥240,288 -千问3-Next-80B-A3B-Instruct - -qwen3-next-80b-a3b-instruct - -MU1 x 2 - -¥108 - -¥52,236 - 千问3-32B qwen3-32b -MU1 x 4 - -¥216 - -¥104,472 - -MU6 x 4 +MU6 x 16 -¥100 +¥400 -¥48,356 +¥193,424 -千问3-30B-A3B +千问3-30B-A3B-Thinking-2507 -qwen3-30b-a3b +qwen3-30b-a3b-thinking-2507 -MU9 x 2 +MU1 x 2 -¥102 +¥108 -¥49,200 +¥52,236 千问3-8B @@ -1080,12 +1142,6 @@ MU1 x 2 ¥52,236 -MU5 x 1 - -¥21 - -¥10,139 - 千问3-Embedding-0.6B qwen3-embedding-0.6b @@ -1154,6 +1210,16 @@ MU5 x 1 ¥10,139 +千问2.5-开源版-72B + +qwen2.5-72b-instruct + +MU1 x 8 + +¥432 + +¥208,944 + 千问2.5-开源版-32B qwen2.5-32b-instruct @@ -1190,26 +1256,6 @@ MU5 x 1 ¥10,139 -千问2.5-开源版-3B - -qwen2.5-3b-instruct - -MU5 x 1 - -¥21 - -¥10,139 - -千问-Flash-2025-07-28 - -qwen-flash-2025-07-28 - -MU1 x 4 - -¥216 - -¥104,472 - 千问-Plus-2025-07-28 qwen-plus-2025-07-28 @@ -1266,6 +1312,12 @@ GLM-5.1 glm-5.1 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 16（PD分离模式） PD分离模式：¥2,192 @@ -1298,6 +1350,16 @@ PD分离模式：¥800 PD分离模式：¥386,848 +GLM-4.7-Flash + +glm-4.7-flash + +MU3 x 16（PD分离模式） + +PD分离模式：¥2,192 + +PD分离模式：¥1,055,504 + ###### DeepSeek **模型名称** @@ -1318,11 +1380,11 @@ DeepSeek-v4-Flash deepseek-v4-flash -MU1 x 8 +MU3 x 8 -¥432 +¥1,096 -¥208,944 +¥527,752 DeepSeek-v3.2 @@ -1350,16 +1412,6 @@ PD分离模式：¥480,576 **最小计费：天** -MiniMax-M2.5 - -MiniMax-M2.5 - -MU1 x 16（PD分离模式） - -PD分离模式：¥864 - -PD分离模式：¥417,888 - Kimi-K2.5 kimi-k2.5 @@ -1402,15 +1454,21 @@ MU2 x 8 **最小计费：天** -千问3-VL-235B-A22B-Instruct +千问3-VL-32B-Instruct -qwen3-vl-235b-a22b-instruct +qwen3-vl-32b-instruct -MU1 x 4 +MU2 x 8 -¥216 +¥504 -¥104,472 +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 千问3-VL-8B-Instruct @@ -1422,6 +1480,12 @@ MU1 x 2 ¥52,236 +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-4B-Instruct qwen3-vl-4b-instruct @@ -1442,6 +1506,16 @@ MU5 x 1 ¥10,139 +千问3-VL-Embedding-2B + +qwen3-vl-embedding-2b + +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-Flash-2025-10-15 qwen3-vl-flash-2025-10-15 @@ -1472,16 +1546,6 @@ MU6 x 4 ¥48,356 -千问VL-OCR-2025-11-20 - -qwen-vl-ocr-2025-11-20 - -MU6 x 4 - -¥100 - -¥48,356 - ###### 千问 Omni **模型名称** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md index 23651b2d..f20936f9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md @@ -1,6 +1,6 @@ # 添加视觉理解能力 -百炼 Coding Plan 中的部分模型（qwen3.6-plus、qwen3.5-plus、kimi-k2.5）原生支持视觉理解，可直接处理图片输入。对于 glm-5、MiniMax-M2.5 等纯文本模型，可通过添加本地 Skill 使其获得视觉能力。 +百炼 Coding Plan 中的部分模型（qwen3.7-plus、qwen3.6-plus、qwen3.5-plus、kimi-k2.5）原生支持视觉理解，可直接处理图片输入。对于 glm-5、MiniMax-M2.5 等纯文本模型，可通过添加本地 Skill 使其获得视觉能力。 **说明** @@ -21,6 +21,8 @@ **说明** +- qwen3.7-plus + - qwen3.6-plus - qwen3.5-plus @@ -51,7 +53,7 @@ ## 方法 1：直接使用视觉模型（推荐） -qwen3.6-plus、qwen3.5-plus 和 kimi-k2.5 具备视觉理解能力。如果经常需要处理图片，直接切换到这些模型是最简单、推荐的做法。 +qwen3.7-plus、qwen3.6-plus、qwen3.5-plus 和 kimi-k2.5 具备视觉理解能力。如果经常需要处理图片，直接切换到这些模型是最简单、推荐的做法。 **工具** @@ -59,15 +61,15 @@ qwen3.6-plus、qwen3.5-plus 和 kimi-k2.5 具备视觉理解能力。如果经 Claude Code -`/model qwen3.6-plus`或`/model qwen3.5-plus`或 `/model kimi-k2.5` +`/model qwen3.7-plus`或`/model qwen3.6-plus`或`/model qwen3.5-plus`或 `/model kimi-k2.5` OpenCode -`/models`→ 搜索并选择`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` +`/models`→ 搜索并选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` Qwen Code -`/model`→ 选择`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` +`/model`→ 选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` 更多编程工具中的模型切换方式请参考[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。切换后可直接在对话中引用图片路径，或拖拽/粘贴图片。 @@ -91,9 +93,9 @@ Qwen Code --- name: image-analyzer description: 帮助没有视觉能力的模型进行图像理解。当需要分析图像内容、提取图片中的信息、文字、界面元素，或理解截图、图表、架构图等任何视觉内容时，使用此技能，传入图片路径即可获得描述信息。 - model: qwen3.6-plus + model: qwen3.7-plus --- - qwen3.6-plus具有视觉理解能力，请直接使用qwen3.6-plus模型进行图片理解。 + qwen3.7-plus具有视觉理解能力，请直接使用qwen3.7-plus模型进行图片理解。 ``` 创建完成后的目录结构如下： @@ -111,7 +113,7 @@ Qwen Code 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，并提问：`请加载image-analyzer skill，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： - ![image.png](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5928202771/p1054884.png) + aliyun.png 为阿里云官网首页截图，banner 区域标题为 **Coding Plan 已支持 Qwen3.5**，正文介绍阿里云百炼支持 Qwen3.5、Kimi-k2.5、GLM-4.7 等模型，新客首月仅 7.9 元，页面提供**立即订阅**和**在线咨询**入口。 ### OpenCode @@ -128,13 +130,13 @@ Qwen Code **说明** - model 字段必须使用 OpenCode 配置文件中定义的 provider 和模型名称。参考 [OpenCode](https://help.aliyun.com/zh/model-studio/opencode) 文档的配置示例，应为`bailian-coding-plan/qwen3.6-plus`。 + model 字段必须使用 OpenCode 配置文件中定义的 provider 和模型名称。参考 [OpenCode](https://help.aliyun.com/zh/model-studio/opencode) 文档的配置示例，应为`bailian-coding-plan/qwen3.7-plus`。 ``` --- description: Analyzes images using a vision-capable model. Use this agent when the user needs to understand image content, extract information from screenshots, diagrams, UI mockups, or any visual content. Invoke with @image-analyzer followed by the image path and your question. mode: subagent - model: bailian-coding-plan/qwen3.6-plus + model: bailian-coding-plan/qwen3.7-plus tools: write: false edit: false @@ -156,7 +158,18 @@ Qwen Code 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，通过`@`唤起`image-analyzer`并提问：`@image-analyzer，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6472262771/p1055847.png) + ``` + Banner位置包含： + 左侧： + - 汉堡菜单图标 + - 阿里云橙色logo和"阿里云"文字 + - 导航菜单：大模型、产品、解决方案、权益、定价、云市场、伙伴、服务、了解阿里云 + 右侧： + - 搜索框(显示"大模型") + - 图标：蓝色圆圈、地球、耳机 + - 链接：文档、备案、控制台 + Build · glm-5 · 37.0s + ``` ## **常见问题** @@ -181,6 +194,24 @@ Qwen Code "apiKey": "sk-sp-xxx" }, "models": { + "qwen3.7-plus": { + "name": "Qwen3.7 Plus", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + }, "qwen3.6-plus": { "name": "Qwen3.6 Plus", "modalities": { @@ -259,6 +290,15 @@ Qwen Code "apiKey": "YOUR_API_KEY", "api": "openai-completions", "models": [ + { + "id": "qwen3.7-plus", + "name": "qwen3.7-plus", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 1000000, + "maxTokens": 65536 + }, { "id": "qwen3.6-plus", "name": "qwen3.6-plus", @@ -296,6 +336,7 @@ Qwen Code "primary": "bailian/qwen3.6-plus" }, "models": { + "bailian/qwen3.7-plus": {}, "bailian/qwen3.6-plus": {}, "bailian/qwen3.5-plus": {}, "bailian/kimi-k2.5": {} diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md index 1ab71393..57403f95 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md @@ -50,11 +50,11 @@ Coding Plan 整合了千问、GLM、Kimi 、MiniMax顶级模型，并兼容主 - 每月**90,000** 次请求 -- **限时优惠：**活动已结束，当前价格以下单页为准。 +- **限时优惠**：活动已结束，当前价格以下单页为准。 - **限量抢购**：名额有限、先到先得。每日 09:30:00（UTC+08:00）补充，可前往[Coding Plan 页面](https://www.aliyun.com/benefit/scene/codingplan)抢购。 -- **额度消耗：**单次提问将按实际“模型调用次数”扣除额度。简单任务约消耗 5-10 次，复杂任务约 10-30+ 次，实际消耗受任务难度、上下文及工具使用影响。在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)可以查看用量。 +- **额度消耗：**单次提问将按实际“模型调用次数”扣除额度。简单任务约消耗 5-10 次，复杂任务约 10-30+ 次，实际消耗受任务难度、上下文及工具使用影响。在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=plan#/efm/subscription/coding-plan)可以查看用量。 - **额度恢复**： @@ -84,7 +84,7 @@ Coding Plan 整合了千问、GLM、Kimi 、MiniMax顶级模型，并兼容主 您需要获取并配置套餐专属的 API Key 和 Base URL，才能正确使用并抵扣套餐额度。 -- **API Key**：在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)，获取Coding Plan 专属 API Key（格式为`sk-sp-xxxxx`）。 +- **API Key**：在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=plan#/efm/subscription/coding-plan)，获取Coding Plan 专属 API Key（格式为`sk-sp-xxxxx`）。 - **Base URL**：后续需在 AI 工具中配置以下其中一个Base URL（因工具而异），具体操作请参见对应的AI工具文档。 @@ -99,33 +99,33 @@ Coding Plan 专属的 API Key 和 Base URL 与百炼按量计费的 API Key（`s ### **步骤三：接入AI工具** - [**OpenClaw**开源、自托管个人 AI 助手](https://help.aliyun.com/zh/model-studio/openclaw) +[**OpenClaw**开源、自托管个人 AI 助手](https://help.aliyun.com/zh/model-studio/openclaw) - [**Hermes Agent**开源 AI 代理框架，内置自学习循环](https://help.aliyun.com/zh/model-studio/hermes-agent) +[**Hermes Agent**开源 AI 代理框架，内置自学习循环](https://help.aliyun.com/zh/model-studio/hermes-agent) - [**Claude Code**AI 终端编码助手，支持自然语言编程](https://help.aliyun.com/zh/model-studio/claude-code) +[**Claude Code**AI 终端编码助手，支持自然语言编程](https://help.aliyun.com/zh/model-studio/claude-code) - [**OpenCode**开源 AI 编程代理工具](https://help.aliyun.com/zh/model-studio/opencode) +[**OpenCode**开源 AI 编程代理工具](https://help.aliyun.com/zh/model-studio/opencode) - [**Cursor**AI 原生代码编辑器](https://help.aliyun.com/zh/model-studio/cursor) +[**Cursor**AI 原生代码编辑器](https://help.aliyun.com/zh/model-studio/cursor) - [**Codex**OpenAI 推出的命令行编程工具](https://help.aliyun.com/zh/model-studio/codex) +[**Codex**OpenAI 推出的命令行编程工具](https://help.aliyun.com/zh/model-studio/codex) - [**Qwen Code**开源命令行 AI 编码工具](https://help.aliyun.com/zh/model-studio/qwen-code) +[**Qwen Code**开源命令行 AI 编码工具](https://help.aliyun.com/zh/model-studio/qwen-code) - [**QwenPaw**开源个人 AI 助手，支持本地与云端部署](https://help.aliyun.com/zh/model-studio/qwenpaw) +[**QwenPaw**开源个人 AI 助手，支持本地与云端部署](https://help.aliyun.com/zh/model-studio/qwenpaw) - [**Cherry Studio**多模型桌面客户端](https://help.aliyun.com/zh/model-studio/cherry-studio) +[**Cherry Studio**多模型桌面客户端](https://help.aliyun.com/zh/model-studio/cherry-studio) - [**Chatbox**跨平台 AI 桌面客户端](https://help.aliyun.com/zh/model-studio/chatbox) +[**Chatbox**跨平台 AI 桌面客户端](https://help.aliyun.com/zh/model-studio/chatbox) - [**Cline**VS Code 扩展，智能代码补全和调试](https://help.aliyun.com/zh/model-studio/cline) +[**Cline**VS Code 扩展，智能代码补全和调试](https://help.aliyun.com/zh/model-studio/cline) - [**Qoder**面向真实软件开发的 Agentic 编码平台](https://help.aliyun.com/zh/model-studio/qoder-agent) +[**Qoder**面向真实软件开发的 Agentic 编码平台](https://help.aliyun.com/zh/model-studio/qoder-agent) - [**Lingma**阿里云推出的智能编码辅助工具](https://help.aliyun.com/zh/model-studio/lingma-agent) +[**Lingma**阿里云智能编码助手，提供独立 IDE](https://help.aliyun.com/zh/model-studio/lingma-agent) - [**Kilo CLI**轻量高性能命令行编程工具](https://help.aliyun.com/zh/model-studio/kilo-cli) +[**Kilo CLI**轻量高性能命令行编程工具](https://help.aliyun.com/zh/model-studio/kilo-cli) [··· **更多工具**其他编程工具](https://help.aliyun.com/zh/model-studio/more-tools) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md new file mode 100644 index 00000000..dad44bd5 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md @@ -0,0 +1,329 @@ +# 添加视觉理解能力 + +Token Plan 支持的部分模型（qwen3.7-plus 等）原生支持视觉理解，可直接处理图片输入。对于 glm-5、MiniMax-M2.5 等纯文本模型，可通过添加本地 Skill 使其获得视觉能力。 + +**说明** + +运行图片理解 Skill 会消耗 Token Plan Credits，无其他收费项。 + +## 前提条件 + +1. 已订阅 [Token Plan](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription)。 + +2. 已在 AI 工具中完成接入配置，且能正常对话，详情请参见[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。 + + +## 视觉支持情况 + +**模型** + +**是否支持视觉** + +**说明** + +- qwen3.8-max-preview + +- qwen3.7-plus + +- qwen3.6-plus + +- kimi-k2.5 等 + + +是 + +无需额外配置，可直接传入图片 + +- qwen3-max-2026-01-23 + +- qwen3-coder-next + +- qwen3-coder-plus + +- glm-5 + +- glm-4.7 + +- MiniMax-M2.5 + + +否 + +需通过 Skill 或 Agent 辅助模型获得视觉能力 + +## 方法 1：直接使用视觉模型（推荐） + +qwen3.7-plus 等模型具备视觉理解能力。如果经常需要处理图片，直接切换到这些模型是最简单、推荐的做法。 + +**工具** + +**模型切换方式** + +Claude Code + +`/model qwen3.7-plus`或`/model qwen3.6-plus`或`/model qwen3.5-plus`或 `/model kimi-k2.5` + +OpenCode + +`/models`→ 搜索并选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` + +Qwen Code + +`/model`→ 选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` + +更多编程工具中的模型切换方式请参考[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。切换后可直接在对话中引用图片路径，或拖拽/粘贴图片。 + +## 方法 2：通过 Skill 或 Agent 添加视觉能力 + +如需使用 glm-5、MiniMax-M2.5 等不支持视觉的模型处理图片，可通过配置 Skill 或 Agent 实现。 + +## Claude Code + +1. **添加 Skill** + + 在项目目录下的 `.claude` 文件夹中新建 `skills/image-analyzer` 目录： + + ``` + mkdir -p .claude/skills/image-analyzer + ``` + + 在该目录下创建 `SKILL.md` 文件，并写入以下内容： + + ``` + --- + name: image-analyzer + description: 帮助没有视觉能力的模型进行图像理解。当需要分析图像内容、提取图片中的信息、文字、界面元素，或理解截图、图表、架构图等任何视觉内容时，使用此技能，传入图片路径即可获得描述信息。 + model: qwen3.7-plus + --- + qwen3.7-plus具有视觉理解能力，请直接使用qwen3.7-plus模型进行图片理解。 + ``` + + 创建完成后的目录结构如下： + + ``` + .claude/ + └── skills/ + └── image-analyzer/ + └── SKILL.md + ``` + +2. **开始使用** + + 1. 在项目目录下运行`claude`启动 Claude Code，并运行`/model glm-5`切换到`glm-5`模型。 + + 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，并提问：`请加载image-analyzer skill，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： + + aliyun.png 为阿里云官网首页截图，banner 区域标题为 **Coding Plan 已支持 Qwen3.5**，正文介绍阿里云百炼支持 Qwen3.5、Kimi-k2.5、GLM-4.7 等模型，新客首月仅 7.9 元，页面提供**立即订阅**和**在线咨询**入口。 + + +### OpenCode + +1. **添加 Agent** + + 在项目目录下的 `.opencode` 文件夹中新建 `agents` 目录： + + ``` + mkdir -p .opencode/agents + ``` + + 在该目录下创建`image-analyzer.md`文件，并写入以下内容： + + **说明** + + model 字段必须使用 OpenCode 配置文件中定义的 provider 和模型名称。参考 [OpenCode](https://help.aliyun.com/zh/model-studio/opencode) 文档的配置示例，应为`bailian-token-plan/qwen3.7-plus`。 + + ``` + --- + description: Analyzes images using a vision-capable model. Use this agent when the user needs to understand image content, extract information from screenshots, diagrams, UI mockups, or any visual content. Invoke with @image-analyzer followed by the image path and your question. + mode: subagent + model: bailian-token-plan/qwen3.7-plus + tools: + write: false + edit: false + --- + You have vision capabilities. Analyze the provided image and return a clear, structured description focused on what the user is asking about. + ``` + + 创建完成后的目录结构如下： + + ``` + .opencode/ + └── agents/ + └── image-analyzer.md + ``` + +2. **开始使用** + + 1. 在项目目录下运行`opencode`启动 OpenCode，并切换到`glm-5`模型。 + + 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，通过`@`唤起`image-analyzer`并提问：`@image-analyzer，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： + + ``` + Banner位置包含： + 左侧： + - 汉堡菜单图标 + - 阿里云橙色logo和"阿里云"文字 + - 导航菜单：大模型、产品、解决方案、权益、定价、云市场、伙伴、服务、了解阿里云 + 右侧： + - 搜索框(显示"大模型") + - 图标：蓝色圆圈、地球、耳机 + - 链接：文档、备案、控制台 + Build · glm-5 · 37.0s + ``` + + +## **常见问题** + +### **OpenCode + 视觉理解模型为什么无法理解图片？** + +**原因**：OpenCode 默认不启用模型的视觉能力，需要在配置文件中显式声明 `modalities` 参数。 + +**解决方案**：在 OpenCode 配置文件的模型定义中添加 `modalities` 字段，将 `input` 设为 `["text", "image"]`，如下所示： + +> 将sk-sp-xxx替换为Token Plan API Key。 + +``` +{ + "$schema": "https://opencode.ai/config.json", + "provider": { + "bailian-token-plan": { + "npm": "@ai-sdk/anthropic", + "name": "Model Studio Token Plan", + "options": { + "baseURL": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "apiKey": "sk-sp-xxx" + }, + "models": { + "qwen3.6-plus": { + "name": "Qwen3.6 Plus", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + }, + "qwen3.5-plus": { + "name": "Qwen3.5 Plus", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + }, + "kimi-k2.5": { + "name": "Kimi K2.5", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + } + } + } + } +} +``` + +### **OpenClaw + 视觉理解模型为什么无法理解图片？** + +**原因**：OpenClaw 需要通过配置文件中的 input 字段来判断模型是否支持视觉能力。 + +**解决方案**： + +1. 在`~/.openclaw/openclaw.json`配置文件中，确保模型定义包含`"input": ["text", "image"]`字段。 + + ``` + { + "models": { + "mode": "merge", + "providers": { + "bailian": { + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "apiKey": "YOUR_API_KEY", + "api": "openai-completions", + "models": [ + { + "id": "qwen3.6-plus", + "name": "qwen3.6-plus", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 1000000, + "maxTokens": 65536 + }, + { + "id": "qwen3.5-plus", + "name": "qwen3.5-plus", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 1000000, + "maxTokens": 65536 + }, + { + "id": "kimi-k2.5", + "name": "kimi-k2.5", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 262144, + "maxTokens": 32768 + } + ] + } + } + }, + "agents": { + "defaults": { + "model": { + "primary": "bailian/qwen3.6-plus" + }, + "models": { + "bailian/qwen3.6-plus": {}, + "bailian/qwen3.5-plus": {}, + "bailian/kimi-k2.5": {} + } + } + }, + "gateway": { + "mode": "local" + } + } + ``` + +2. 修改配置后，需要清除 OpenClaw 的模型缓存并重启，否则旧的配置仍会生效。 + + ``` + rm ~/.openclaw/agents/main/agent/models.json + openclaw gateway restart + ``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md new file mode 100644 index 00000000..cd5814a7 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md @@ -0,0 +1,79 @@ +# 接入 Harness 工具 + +Token Plan 支持的部分 Qwen 模型内置 Harness 工具，可为 AI 编程工具扩展联网搜索、代码解释器、网页抓取等能力。 + +**说明** + +适用于 Token Plan，不适用于 Coding Plan。 + +## **工具概览** + +**工具** + +**说明** + +联网搜索 + +检索互联网信息，结合搜索结果生成回答 + +代码解释器 + +在沙箱环境中编写与运行 Python 代码，用于数学计算、数据分析等场景 + +网页抓取 + +访问指定 URL 并提取内容，为大模型提供所需信息 + +以图搜图 + +根据输入图片从互联网搜索视觉相似的图片，适用于以图找同款、视觉内容溯源等场景 + +文搜图 + +根据文本描述从互联网搜索相关图片，适用于可视化问答、配图推荐等场景 + +## **支持的模型和工具** + +### **个人版** + +**模型** + +**支持的工具** + +qwen3.8-max-preview + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +qwen3.7-max + +联网搜索、代码解释器、网页抓取 + +qwen3.7-plus + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +### **团队版** + +**模型** + +**支持的工具** + +qwen3.8-max-preview + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +qwen3.7-max + +联网搜索、代码解释器、网页抓取 + +qwen3.7-plus + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +## **费用说明** + +Harness 工具按成功调用次数计费，费用从套餐 Credits 中抵扣（100 Credits = 1 元）。各工具的单次调用价格以[控制台模型详情页](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3.6-plus)为准。 + +## **使用方式** + +将 AI 编程工具的模型切换为上述支持 Harness 的 Qwen 模型，在对话中直接提问即可。模型会根据问题自动调用相应的内置工具，无需额外配置。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md index 4daf85ea..cf8ad307 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md @@ -1,14 +1,6 @@ # 接入多模态生成模型 -图像生成模型需通过工具的扩展机制（Skill、Slash Command 或 Agent）接入。 - -## **前提：获取套餐专属凭证** - -在控制台「我的订阅」打开 Token Plan 套餐详情页，接入信息卡片展示套餐专属 API Key（以 `sk-sp-` 为前缀，掩码显示），支持生成、重置与复制 API Key。 - -**说明** - -套餐详情页「可使用模型」以文本、编程模型为主；图像生成模型不在该列表展示，需通过 `multimodal-generation` API 调用。 +Token Plan 中的图像生成、视频生成模型需通过工具的扩展机制（Skill、Slash Command 或 Agent）接入。 ## **示例：在 Claude Code 中接入图像生成模型** @@ -55,9 +47,73 @@ curl -s -X POST "https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/services 在 Claude Code 中输入 `/text-to-image 画一只猫`。如需使用默认模型以外的图像生成模型，在指令中写明模型名即可，例如 `/text-to-image 用 wan2.7-image 画一只猫`。 +## **示例：在 Claude Code 中接入视频生成模型** + +以 Claude Code 为例，通过 Slash Command 接入视频生成模型。视频生成为异步接口，流程为"提交任务 → 轮询状态 → 下载视频"。 + +### **步骤一：创建 Slash Command** + +将套餐专属 API Key（以 `sk-sp-` 为前缀）配置为环境变量 `$ANTHROPIC_AUTH_TOKEN`，供后续 curl 鉴权使用。 + +在项目根目录创建 `.claude/commands/text-to-video.md`，写入以下内容： + +``` +调用 Token Plan 文生视频 API，根据描述生成视频并自动下载到本地。 + +用户需求：$ARGUMENTS + +## 步骤 + +1. 从用户需求中提取 prompt（视频描述）、model（默认 happyhorse-1.1-t2v）、resolution（默认 720P）、ratio（默认 16:9）、duration（默认 5 秒）。若用户明确指定了模型（如"模型=happyhorse-1.0-t2v"），必须严格使用用户指定的模型名。 + +2. 使用 Bash 工具执行以下脚本，一次性完成提交任务、等待完成、下载视频： + +```bash +#!/bin/bash +set -e + +TASK_RESPONSE=$(curl -s -X POST "https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis" \ + -H "X-DashScope-Async: enable" \ + -H "Authorization: Bearer $ANTHROPIC_AUTH_TOKEN" \ + -H "Content-Type: application/json" \ + -d '{ + "model": "", + "input": {"prompt": ""}, + "parameters": {"resolution": "", "ratio": "", "duration": } + }') + +TASK_ID=$(echo "$TASK_RESPONSE" | grep -o '"task_id":"[^"]*"' | head -1 | cut -d'"' -f4) +if [ -z "$TASK_ID" ]; then echo "提交失败: $TASK_RESPONSE"; exit 1; fi +echo "任务已提交，ID: $TASK_ID，等待生成..." + +while true; do + sleep 15 + STATUS_RESPONSE=$(curl -s "https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/tasks/$TASK_ID" \ + -H "Authorization: Bearer $ANTHROPIC_AUTH_TOKEN") + STATUS=$(echo "$STATUS_RESPONSE" | grep -o '"task_status":"[^"]*"' | cut -d'"' -f4) + if [ "$STATUS" = "SUCCEEDED" ]; then + VIDEO_URL=$(echo "$STATUS_RESPONSE" | grep -o '"video_url":"[^"]*"' | cut -d'"' -f4) + OUTPUT="generated_$(date +%Y%m%d_%H%M%S).mp4" + curl -s -o "$OUTPUT" "$VIDEO_URL" + echo "视频已下载: $(pwd)/$OUTPUT" + exit 0 + elif [ "$STATUS" = "FAILED" ]; then + echo "生成失败: $STATUS_RESPONSE"; exit 1 + fi + echo "生成中..." +done +``` + +3. 向用户展示生成的视频文件路径。 +``` + +### **步骤二：生成视频** + +在 Claude Code 中输入 `/text-to-video 一只白色的猫在阳台上晒太阳`。如需使用其他视频生成模型，在指令中写明模型名即可，例如 `/text-to-video 用 happyhorse-1.0-t2v 生成一只猫跳跃的视频`。 + ## **其他工具** -控制台套餐详情页「快速接入 AI 编程工具」入口提供 Qwen Code、Qoder、OpenClaw、Claude Code、OpenCode 等工具的接入文档。不同工具的扩展机制和配置文件路径如下表所示，该表为支持扩展机制的主流 AI 编程工具示例。将上述 Claude Code 示例中的配置内容保存到对应路径即可。 +不同工具的扩展机制和配置文件路径如下表所示，该表为支持扩展机制的主流 AI 编程工具示例。将上述 Claude Code 示例中的配置内容保存到对应路径即可。 工具 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md deleted file mode 100644 index aaf9db77..00000000 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md +++ /dev/null @@ -1,253 +0,0 @@ -# 工具调用 - -Token Plan 团队版支持通过模型内置工具和 MCP 服务两种方式为 AI 编程工具扩展能力，如联网搜索、代码解释器、网页抓取等。 - -## **工具概览** - -Token Plan 团队版提供两种方式接入工具： - -- **模型内置工具**：qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash 模型的 Responses API 内置了联网搜索、代码解释器、网页抓取、以图搜图、文搜图五种工具。启用后，模型会在需要时自动调用相应工具。 - -- **MCP 服务**：其他模型（如 deepseek-v3.2、glm-5 等）可通过百炼 MCP 广场的 MCP 服务获取工具能力。本文以联网搜索 MCP 为例说明接入方式，其他 MCP 服务的接入方式类似。 - - -## **费用说明** - -### **模型内置工具** - -qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash 模型内置工具的费用可通过 Token Plan 团队版抵扣，内置工具不额外收费，产生的 token 消耗统一从套餐 Credits 中抵扣。具体价格以[控制台模型详情页](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3.6-plus)为准。 - -### **MCP 服务** - -百炼 MCP 广场提供联网搜索、代码解释器、网页抓取等 MCP 服务。联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费；其他 MCP 服务部分**限时免费**，每月提供一定免费额度。具体价格以[MCP 广场](https://bailian.console.aliyun.com/cn-beijing/?tab=app#/mcp-market)各服务详情页为准。 - -## **使用方式** - -### **使用 qwen3.7-max / qwen3.7-plus / qwen3.6-plus / qwen3.6-flash 模型内置工具** - -将 AI 工具的模型设置为 `qwen3.7-max`、`qwen3.7-plus`、`qwen3.6-plus` 或 `qwen3.6-flash`，在对话中直接提问即可。模型会根据问题自动调用相应的内置工具： - -**工具** - -**说明** - -联网搜索 - -检索互联网信息，结合搜索结果生成回答 - -代码解释器 - -调用模型时启用内置的 Python 代码解释器，可使模型在沙箱环境里编写与运行 Python 代码，以解决数学计算、数据分析等复杂问题。 - -网页抓取 - -网页抓取工具可以访问指定 URL 并提取内容，为大模型提供所需信息。 - -以图搜图 - -图搜图工具使模型能够根据输入图片从互联网搜索视觉相似的图片，并基于搜索结果进行分析和推理，适用于以图找同款、视觉内容溯源等场景。 - -文搜图 - -文搜图工具使模型能够根据文本描述从互联网搜索相关图片，并基于图片内容进行描述和推理，适用于可视化问答、配图推荐等场景。 - -### **通过 MCP 服务接入工具** - -其他模型可通过百炼 MCP 广场的 MCP 服务获取工具能力。以下以联网搜索 MCP 为例说明接入方式。 - -#### **前提条件** - -已获取[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。此处的 API Key 为百炼通用 API Key（格式为 sk-xxx），用于调用 MCP 服务，与 Token Plan 团队版专属 API Key（格式为 sk-sp-xxx）不同。 - -#### **开通 MCP 服务** - -1. 进入百炼的[MCP 广场](https://bailian.console.aliyun.com/cn-beijing/?tab=app#/mcp-market)，找到需要的 MCP 服务（如联网搜索）。 - -2. 点击**立即开通**，确认开通。 - -3. 开通成功后，获取以下配置信息： - - - **Streamable HTTP Endpoint**：MCP 服务的连接地址。 - - - **API Key**：即百炼 API Key，是 MCP 服务的鉴权密钥。 - - -#### **接入工具** - -将 MCP 服务添加到 AI 编程工具中。以下以联网搜索 MCP 为例，示例中的 `YOUR_API_KEY` 需替换为百炼 API Key。接入其他 MCP 服务时，将 Endpoint 地址替换为对应服务的地址即可。 - -## OpenClaw - -1. 在终端执行如下命令安装 MCPorter。 - - ``` - npm install -g mcporter - ``` - -2. 在终端执行如下命令启用 MCPorter。 - - ``` - openclaw config set skills.entries.mcporter.enabled true - ``` - -3. 在 `~/.openclaw/workspace` 目录下，执行如下命令添加联网搜索 MCP。 - - ``` - mcporter config add WebSearch https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp --transport http --header "Authorization=Bearer YOUR_API_KEY" - ``` - -4. 执行如下命令确认 MCP 已安装。 - - ``` - mcporter list - ``` - -5. 执行如下命令使配置生效。 - - ``` - openclaw gateway restart - ``` - -6. 发送提问 `用 mcporter 搜索阿里云的新闻` 即可看到搜索结果。 - - -## OpenCode - -1. 在配置文件 `~/.config/opencode/opencode.json` 中写入 MCP 配置信息。 - - ``` - { - "mcp": { - "WebSearch": { - "type": "remote", - "httpUrl": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", - "headers": { - "Authorization": "Bearer YOUR_API_KEY" - } - } - } - } - ``` - - 若 `opencode.json` 中已有其他配置（如 provider），将 mcp 字段合并到现有配置中即可。 - -2. 在终端执行以下命令进入 OpenCode。 - - ``` - opencode - ``` - -3. 在对话框执行 `/mcps` 确认 `websearch` 状态为 Enabled。确认后按 Esc 退出。 - -4. 发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Claude Code - -1. 在终端执行以下命令添加联网搜索 MCP 服务。 - - ``` - claude mcp add WebSearch https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp -t http -H "Authorization: Bearer YOUR_API_KEY" - ``` - - 终端返回 `Added SSE MCP server xx` 即表示添加成功。 - -2. 执行以下命令进入 Claude Code。 - - ``` - claude - ``` - -3. 在对话框执行 `/mcp` 命令，确认 `websearch` 的状态为 connected。 - -4. 按 Esc 退出 MCP 列表后，发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Qwen Code - -1. 在终端执行以下命令添加联网搜索 MCP。 - - ``` - qwen mcp add WebSearch \ - -t http \ - "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp" \ - -H "Authorization: Bearer YOUR_API_KEY" - ``` - -2. 在终端执行以下命令进入 Qwen Code。 - - ``` - qwen - ``` - -3. 在对话框执行 `/mcp` 命令确认 MCP 连接状态。 - -4. 发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Kilo CLI - -1. 在配置文件 `~/.config/kilo/opencode.json` 中写入 MCP 配置信息。 - - ``` - { - "mcp": { - "websearch": { - "type": "remote", - "url": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", - "headers": { - "Authorization": "Bearer YOUR_API_KEY" - } - } - } - } - ``` - - 若 `opencode.json` 中已有其他配置（如 provider），将 mcp 字段合并到现有配置中即可。 - -2. 在终端执行以下命令查看 MCP 状态。Connected 即表示连接成功。 - - ``` - kilocode mcp list - ``` - -3. 在终端执行以下命令进入 Kilo CLI。 - - ``` - kilo - ``` - -4. 发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Kilo Code IDE 插件 - -1. 打开 Kilo Code IDE 插件，配置联网搜索 MCP 信息。 - - ``` - { - "mcpServers": { - "websearch": { - "type": "streamable-http", - "url": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", - "headers": { - "Authorization": "Bearer YOUR_API_KEY" - } - } - } - } - ``` - - 当联网搜索的 MCP 状态显示为绿色时，表示添加成功。 - -2. 返回对话界面，发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md similarity index 51% rename from skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md rename to skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md index 3208f230..5fd78221 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md @@ -1,6 +1,6 @@ # 联网搜索 -在 Coding Plan 支持的编程工具中添加联网搜索工具，使模型能够检索实时信息。 +在 Token Plan 支持的编程工具中添加联网搜索工具，使模型能够检索实时信息。 ## 适用范围 @@ -8,11 +8,11 @@ ## 前提条件 -1. 已订阅 [Coding Plan](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)，详情请参见[快速开始](https://help.aliyun.com/zh/model-studio/coding-plan-quickstart)。 +1. 已订阅 [Token Plan](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription)，详情请参见[快速开始](https://help.aliyun.com/zh/model-studio/coding-plan-quickstart)。 -2. 已在 Coding Plan 工具（如 Claude Code、Qwen Code）中完成接入配置，且能正常对话，详情请参见[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。 +2. 已在 Token Plan 支持的工具（如 Claude Code、Qwen Code）中完成接入配置，且能正常对话，详情请参见[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。 -3. 已获取[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。此处的 API Key 为百炼通用 API Key（格式为 sk-xxx），用于调用 MCP 服务，与 Coding Plan 专属 API Key（格式为 sk-sp-xxx）不同。 +3. 已获取[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。此处的 API Key 为百炼通用 API Key（格式为 sk-xxx），用于调用 MCP 服务，与 Token Plan 专属 API Key（格式为 sk-sp-xxx）不同。 ## 开通或升级联网搜索 MCP @@ -27,6 +27,8 @@ - 联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费。如果使用第三方 MCP 服务，该 MCP 服务可能收费，以 MCP 服务的介绍信息为准。 + - 部分MCP服务支持**个人FC资源部署**，按实际调用时长和次数计费，适用于需要专属资源、指定资源地域等场景。 + 3. 开通成功后，可以获取以下配置信息： 1. **Streamable HTTP Endpoint**：MCP 服务的连接地址。联网搜索 MCP 的连接地址为`https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp`。 @@ -38,10 +40,12 @@ 1. 进入百炼的[MCP广场](https://bailian.console.aliyun.com/cn-beijing/?tab=app#/mcp-market)，找到**联网搜索** MCP 服务。 -2. 单击右侧**取消开通**，再单击**立即开通**。 +2. 单击右侧**取消开通**，再单击**立即开通** > **确认开通**。 - 联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费。如果使用第三方 MCP 服务，该 MCP 服务可能收费，以 MCP 服务的介绍信息为准。 + - 部分MCP服务支持**个人FC资源部署**，按实际调用时长和次数计费，适用于需要专属资源、指定资源地域等场景。 + 3. 重新开通成功后，即完成协议升级，可以获取以下配置信息： 1. **Streamable HTTP Endpoint**：MCP 服务的连接地址。联网搜索 MCP 的连接地址为`https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp`。 @@ -78,8 +82,11 @@ ``` mcporter list ``` - - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9753812771/p1055340.png) + ``` + mcporter 0.7.3 — Listing 1 server(s) (per-server timeout: 30s) + - websearch (1 tool, 2.4s) + [ok] Listed 1 server (1 healthy). + ``` 5. 在终端执行如下命令使配置生效。 @@ -89,7 +96,7 @@ 6. 发送提问`用 mcporter 搜索阿里云的新闻`即可看到搜索结果。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9753812771/p1055129.png) + 系统返回包含 4 条阿里云相关新闻的卡片，每条新闻显示标题、来源及发布时间，底部提示是否需要抓取某篇新闻的详细内容。 ## OpenCode @@ -120,13 +127,27 @@ 3. 在对话框执行`/mcps`确认`websearch`状态是否为 Enabled。确认后按 Esc 退出。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4753812771/p1054875.png) - 4. 发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9228202771/p1054876.png) + ``` + 已为您搜索到最新的阿里云相关新闻： + 主要新闻摘要 + 1. 阿里云2026年战略目标 + 阿里云目标在2026年拿下中国AI云市场增量的80%，重点发力MaaS（模型即服务）和GPU算力服务。 + 目前阿里云上调用大模型API的客户中，有七成同时使用其GPU算力服务。 + 2. 阿里云服务器2026年优惠活动 + - 最便宜服务器：38元/年（2核2G、200M峰值带宽） + - 99元/年 ECS服务器（新老用户同享，续费同价） + - 199元/年企业专享服务器（2核4G、5M带宽） + 3. AI自动化工具生态 + 阿里云推出OpenClaw（原Clawdbot）AI + 自动化代理工具部署方案，支持一键部署到轻量应用服务器，可与阿里云百炼大模型无缝联动。 + 4. 企业智能客服 + 瓴羊Quick Service智能客服平台基于通义千问大模型，提供大模型驱动的语义理解、多轮对话、 + 知识库智能生成等功能。 + ``` ## Claude Code @@ -155,17 +176,54 @@ 3. 在对话框执行`/mcp`命令，确认`websearch`的状态为 connected。首次添加可能需要等待状态从 connecting 变成 connected。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054987.png) - 若连接状态显示 failed，请选中该 MCP 并选择 Reconnect 重连。若重试 1-2 次仍失败，请核实配置。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0613342771/p1055684.png) + ``` + /mcp + WebSearch MCP Server + Status: [ok] connected + Auth: [ok] authenticated + URL: https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp + xxx + Capabilities: tools + Tools: 1 tools + 1. View tools + 2. Re-authenticate + 3. Clear authentication + > 4. Reconnect + 5. Disable + ``` 4. 按 Esc 退出 MCP 列表后，发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054990.png) + ``` + > 用websearch MCP搜索阿里云的新闻 + * websearch – bailian_web_search (MCP)(query: "阿里云 新闻", count: 10) + └ { + "status": 0, + "pages": [ + … +51 lines (ctrl+o to expand) + ] + } + * 搜索结果已返回，以下是阿里云的最新新闻摘要： + 阿里云近期新闻 + 1. 编程模型订阅服务推出（2026 年 2 月 25 日） + 阿里云百炼推出 Coding Plan 编程模型订阅服务，包含四款开源模型 API： + - Qwen3.5、GLM-5、MiniMax M2.5、Kimi K2.5 + - 用户可在 Qwen Code、Claude Code、Cline 等 AI 工具上无缝切换使用 + - 降低开发者模型选型与接入成本 + 2. 千问 3.5 新模型开源（2026 年 2 月 25 日） + 阿里发布三款中型千问 3.5 新模型： + - Qwen3.5-35B-A3B、Qwen3.5-122B-A10B、Qwen3.5-27B + - 基于 Qwen3.5-35B-A3B 的托管模型 Qwen3.5-Flash 已上线阿里云百炼 + - 每百万 Token 输入低至 0.2 元 + 3. 市场表现亮眼 + - 千问（Qwen）大模型调用量占比跃升至 32.1%，排名中国企业级大模型第一 + - 2026 财年第二季度收入 398.24 亿元，同比增长 34% + - AI 相关产品收入连续第九个季度实现三位数增长 + ``` ## Qwen Code @@ -197,13 +255,80 @@ 3. 在`Qwen Code`对话框执行`/mcp`命令以确认 MCP 连接状态。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4753812771/p1054878.png) + ``` + > /mcp + Configured MCP servers: + * WebSearch – Ready (1 tool) + Tools: + – mcp__WebSearch__bailian_web_search + [tip] Tips: + – Use /mcp desc to show server and tool descriptions + – Use /mcp schema to show tool parameter schemas + – Use /mcp nodesc to hide descriptions + – Use /mcp auth to authenticate with OAuth-enabled servers + – Press Ctrl+T to toggle tool descriptions on/off + ``` 4. 发送提问`用 websearch MCP 搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及`websearch MCP`。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9228202771/p1054879.png) + ``` + * 搜索结果已返回，我需要整理并总结其中与阿里云相关的主要新闻信息，以清晰的方式呈现给用户。 + * 已为您搜索到阿里云相关新闻，以下是主要内容： + 阿里云最新动态 + 1. 阿里云千问大模型表现亮眼 + - 2025 年下半年，阿里云千问（Qwen）在中国企业级大模型市场占比跃升至32.1%，几乎翻倍（上半年为 + 17.7%），位居第一 + - 字节豆包占比 21.3% 排名第二，DeepSeek 占比 18.4% 排名第三 + 2. AI 战略投入 + - 阿里豪掷3800 亿元押注 AI 基础设施 + - 2026 年，阿里云将 AI 相关收入目标增速上调至200% + - 2026 年 2 月推出30 亿元"春节请客计划"，联合淘宝、飞猪、盒马等以免单形式发放福利 + 3. Coding Plan 服务更新 + - 阿里云 Coding Plan 订阅服务新增支持 Qwen 3.5-Plus、GLM-4.7、Kimi-K2.5 等编程模型 + - 新用户首月首购享两折优惠 + 4. 技术进展 + - 除夕夜开源的千问 Qwen3.5-Plus 采用混合注意力机制和稀疏 MoE 架构 + - 总参数 3970 亿，激活 170 亿，推理速度达主流模型的 2 倍 + 需要我为您搜索更具体的阿里云新闻主题吗？ + > 输入您的消息或 @ 文件路径 + 按 ? 查看快捷键 1.8% context used + ``` + + +## Cline + +1. 点击MCP Servers，进入Configure页面，点击Configure MCP Servers。 + + ![2026-02-26\_13-58-09](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054977.jpg) + +2. 在配置文件`cline_mcp_settings.json`中写入 MCP 配置信息，并将`YOUR_API_KEY`替换为上一步骤获取的 API Key。配置完成后，保存文件。 + + ``` + { + "mcpServers": { + "websearch": { + "type": "http", + "url": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", + "headers": { + "Authorization": "Bearer YOUR_API_KEY" + }, + "disabled": false + } + } + } + ``` + +3. 配置完成后，在Configure页面下可以查看MCP的相关信息。 + + ![2026-02-26\_14-05-44](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054984.jpg) + +4. 新开对话，发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 + + > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 + + ![2026-02-26\_14-10-05](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054989.jpg) ## Kilo CLI @@ -231,8 +356,14 @@ ``` kilocode mcp list ``` - - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0248612771/p1055115.png) + ``` + MCP Servers + │ + * [ok] websearch connected + │ https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp + │ + └ 1 server(s) + ``` 3. 在终端中执行以下命令进入 Kilo CLI。 @@ -244,14 +375,31 @@ > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9228202771/p1054891.png) + ``` + 以下是阿里云的最新新闻要点： + 阿里云千问大模型市场份额跃升第一 + - 市场份额翻倍：根据沙利文2026年2月报告，阿里云千问（Qwen）占比跃升至*32.1%*，相较2025年上半年的17.7%几乎翻倍，超越字节豆包（21.3%）和DeepSeek(18.4%)，成为企业级大模型市场第一 + - 日均调用量激增：2025年下半年中国企业级大模型日均调用量达37.0万亿tokens，较上半年增长263% + AI基础设施投资战略 + - 3800亿元投资：阿里宣布豪掷3800亿元押注AI基础设施 + - 收入目标：2026年将AI相关收入目标增速上调至200% + - 市场目标：阿里云目标拿下中国AI云市场增量的80% + 千问模型技术进展 + - 开源Qwen3.5-Plus：除夕夜开源，采用混合注意力机制和稀疏MoE架构 + - 高效能设计：总参数3970亿，仅激活170亿，推理速度达到主流模型的2倍 + - 春节免单计划：千问启动30亿元"春节请客计划"，联合淘宝、飞猪、盒马等生态业务发放福利 + 其他动态 + - Coding Plan上新：支持千问3.5、GLM-4.7、Kimi-K2.5等编程模型，新用户首月两折优惠 + - 云服务器优惠：轻量应用服务器38元/年起，200M带宽不限流量 + Code · kimi-k2.5 · 49.8s + ``` ## Kilo Code IDE 插件 1. 打开Kilo Code IDE插件配置联网搜索 MCP 信息，并将`YOUR_API_KEY`替换为上一步骤获取的 API Key。配置完成后，保存文件。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3100902771/p1055026.png) + 依次单击左上角齿轮图标，在侧边栏选择 **Agent Behaviour**，单击 **MCP Servers** 页签，然后单击底部 **Edit Global MCP** 按钮，打开 `mcp_settings.json` 配置文件，将以下 JSON 内容粘贴并保存。 ``` { @@ -269,14 +417,10 @@ 当联网搜索的MCP状态显示为绿色时，表示添加成功。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3100902771/p1055021.png) - 2. 返回对话界面，发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3100902771/p1055023.png) - ## 常见问题 @@ -292,7 +436,7 @@ - 如果使用的 URL 为 `https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/sse`，说明开通的是旧版 SSE 协议，请将协议[升级至Streamable HTTP](#da7cd47fa8pcd)。 -3. **API Key 错误**：请确认使用了有效的百炼通用 API Key（格式为 sk-xxx，非 Coding Plan 专属 API Key），并已在命令中正确替换 YOUR\_API\_KEY。 +3. **API Key 错误**：请确认使用了有效的百炼通用 API Key（格式为 sk-xxx，非 Token Plan 专属 API Key），并已在命令中正确替换 YOUR\_API\_KEY。 4. **免费额度用尽**：联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费，请确认账户余额充足。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md index 8abf5759..df3b8572 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md @@ -1,299 +1,170 @@ -# Token Plan（团队版）概述 +# Token Plan 概述 -Token Plan 团队版是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持文本生成与图像生成模型，兼容主流 AI 编程与智能体工具，提供团队管理后台、数据安全保障，调用平稳运行。 +Token Plan 是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持多种 AI 编程和智能体工具。Token Plan 提供个人版和团队版两个版本，满足从个人开发者到企业团队的不同需求。 **说明** -Token Plan 团队版目前仅支持**华北2（北京）**地域。 +Token Plan 目前仅支持**华北2（北京）**地域。 ## **产品简介** -Token Plan 团队版整合千问和三方模型，支持文本生成与图像生成。通过 Credits 统一计量，同一订阅可在多种 AI 工具中使用。 +Token Plan 采用 Credits 统一抵扣机制，一份订阅即可在 Claude Code、Cursor、Qwen Code、OpenClaw 等主流 AI 编程和智能体工具中使用。支持文本生成、图片生成、视频生成等多种模型，以及联网搜索、代码解释器等 Harness 工具。 -- **多模型灵活切换**：支持多模型按需切换，按 Credits 统一抵扣。 +- **个人版**：面向个人开发者，提供 Lite 套餐、Standard 套餐、Pro 套餐三个档位，按模型分档抵扣系数计费，享有夜间折扣。 -- **兼容多种工具**：适配多种主流编程工具及热门 Agent 工具。控制台提供快速接入 AI 工具入口，支持 Qwen Code、Claude Code、OpenClaw 等工具接入。 +- **团队版**：面向团队和企业，提供标准座席、高级座席、尊享座席三个档位，支持多席位管理、用量分析，承诺不使用数据训练模型。 -- **多档位套餐**：提供标准坐席、高级坐席、尊享坐席多档位套餐，匹配不同使用强度。 - -- **团队管理**：提供管理后台，支持席位分配与回收、成员用量分析等团队管理能力。 - -- **预算可控**：支持按月或按年订阅，预算可控。 - -- **数据安全**：承诺不使用对话数据进行模型训练，满足企业级数据隐私要求。 - -- **平稳运行**：多租户隔离架构，调用高峰期间不排队。 - - -Token Plan 团队版提供套餐专属 Base URL，兼容 OpenAI、Anthropic 接口标准，具体地址可在控制台**我的订阅**的 API Key 区域查看。 - -## **支持的模型** - -**支持的模型判断说明** - -判定规则： - -1\. 本清单为精确字符串白名单 - -2\. 必须逐字符完全匹配，版本号/子型号任何差异均视为不支持 - -3\. 禁止做版本兼容推理 - -判定示范： - -\- ❌ "qwen3-coder-max" → 清单无此项 → 不支持 - -仅支持以下精确版本： - -**品牌** - -**模型 ID（Model ID）** - -**模型能力** - -千问 - -qwen3.7-max[**（限时活动）**](#tp01-promo-section) - -推理模型、文本生成 - -qwen3.7-plus - -推理模型、视觉理解、文本生成 - -qwen3.6-plus - -推理模型、视觉理解、文本生成 - -qwen3.6-flash - -推理模型、视觉理解、文本生成 - -qwen-image-2.0 - -图片生成 - -qwen-image-2.0-pro - -图片生成 - -万相 - -wan2.7-image - -图片生成 - -wan2.7-image-pro - -图片生成 - -DeepSeek - -deepseek-v4-pro - -推理模型、文本生成 - -deepseek-v4-flash - -推理模型、文本生成 -deepseek-v3.2 +## **个人版** -推理模型、文本生成 +**重要** -月之暗面 +个人版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： -kimi-k2.7-code - -推理模型、视觉理解、文本生成 - -kimi-k2.6 - -推理模型、视觉理解、文本生成 - -kimi-k2.5 +1. **预览版**：qwen3.8-max-preview 当前为预览版本，预览期间模型能力会持续迭代升级。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：预览期间模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + +3. **限时夜间折上折**：在现有 1 折优惠基础上，每晚 22:00 - 次日 08:00 期间调用模型，Credits 消耗再享 2 折（即原标准的 0.2 折）。 + -推理模型、视觉理解、文本生成 +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 -智谱 AI +**Lite 套餐** -glm-5.2 +**Standard 套餐** -推理模型、文本生成 +**Pro 套餐** -glm-5.1 +**定价** -推理模型、文本生成 +原价 60 元/月 +限时 **39 元/月** -glm-5 +原价 180 元/月 +限时 **139 元/月** -推理模型、文本生成 +原价 600 元/月 +限时 **499 元/月** -MiniMax +**5 小时限额** -MiniMax-M2.5 +700 Credits -推理模型、文本生成 +3,000 Credits -## **套餐与定价** +12,000 Credits -前往 [Token Plan 团队版购买页面](https://common-buy.aliyun.com/token-plan/)选择坐席类型、数量和订阅周期，完成订阅。主账号和 RAM 账号均可订阅。 +**每 7 天限额** -订阅周期支持按月购买、按年购买、连续包月包年。 +2,500 Credits -### **限时活动** +10,000 Credits -即日起至 2026 年 7 月 22 日 23:59（UTC+8），qwen3.7-max 模型 Credits 消耗减半，同时支持隐式缓存。 +40,000 Credits -### **Token Plan 团队版** +**并发 Agent** -提供标准坐席、高级坐席、尊享坐席三个档位，匹配不同使用强度。 +1-2 个 -席位（坐席）是 Token Plan 团队版的最小订阅单位，代表一个团队成员的使用名额。管理员在[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)中将席位分配给成员后，系统自动为该成员生成专属的 API Key。每个席位绑定一个成员、对应一个 API Key，不可共享。 +3-4 个 -**坐席类型** +6-8 个 -**价格** +**模型** -**额度** +qwen3.8-max-preview、qwen3.7-max、deepseek-v4-pro、wan2.7-image、happyhorse-1.1 等（[查看完整列表](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview#tpp01-models)） -**适用场景** +**Harness 工具** -标准坐席 +支持联网搜索、文搜图、图搜图、网页抓取、代码解释器（[查看详情](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview#tpp01-harness)） -¥198/坐席/月 +## **团队版** -25,000 Credits/坐席/月 +**重要** -轻度使用 AI 辅助的团队成员 +团队版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： -高级坐席 +1. **预览版**：qwen3.8-max-preview 当前为预览版本，预览期间模型能力会持续迭代升级。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：预览期间模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + -¥698/坐席/月 +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 -100,000 Credits/坐席/月 +**标准座席 Standard** -日常高频使用 AI 编程或办公的团队成员 +**高级座席 Pro** -尊享坐席 +**尊享座席 Max** -¥1,398/坐席/月 +**共享用量包 Extra Bundle** -250,000 Credits/坐席/月 +**定价** -重度依赖 AI 的核心开发者或高强度使用者 +原价 198 元/座席/月 +限时 **150 元/座席/月** -### Token Plan 团队版 - 共享用量包 +原价 698 元/座席/月 +限时 **550 元/座席/月** -跨坐席共享的弹性用量包，当个别坐席用量超出套餐额度时，可从共享用量包中抵扣。每个共享用量包有效期为 1 个月，到期未使用的额度自动清零。持有多个共享用量包时，优先抵扣最近到期的用量包。 +**1,398 元/座席/月** -**档位** +5,000 元/个/月 -**价格** +**每月总额度** -**额度** +25,000 Credits/座席/月 -Token Plan 团队版 - 共享用量包 +100,000 Credits/座席/月 -¥5,000/个 +250,000 Credits/座席/月 625,000 Credits/个 -## **订阅管理** - -在[Token Plan 控制台](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan)的**我的订阅**页面管理订阅： - -- **加购席位**：点击**加购座席**，新加席位与现有订阅统一到期，费用和 Credits 额度均按剩余时长折算。 - -- **升级席位**：在**订阅明细**中点击席位的**升级**，将低档位席位升级为高档位，按差价补缴费用。升级当月的 Credits 额度按**高低档位差值**、依本计费周期的剩余时长折算后补充到当月可用额度；自下一计费周期起按新档位的完整额度发放。实际到账额度以控制台**我的订阅**页面为准。 - -- **退订席位**：在**订阅明细**中点击席位的**退订**，按席位维度退订；已有用量消耗的席位不可退订。退款原路退回支付账户，预计 1-3 个工作日到账。 - -- **批量操作**：勾选多个席位后点击**批量升级**或**批量退订**。 - -- **续费**：点击**续费**按钮，续费周期与订阅时一致（按月订阅则按月续费，按年订阅则按年续费），到期前完成可避免服务中断。 - -- **自动续费**：点击**开启自动续费**，确认后次日生效，到期前 9 天系统按订阅周期自动扣款续费。如需关闭，点击**关闭自动续费**并确认，关闭后停止到期前自动扣款续费，订阅到期后自动停订。 - -- **加购共享用量包**：在**共享用量包**区域点击**前往购买**。 - - -## **Credits 计费机制** - -### **计费说明** +**5 小时限额** -单次请求消耗的 Credits **并非固定值**，由模型类型、Token 用量、思考模式及工具调用等动态决定。其中 Token 用量会随多轮对话累积的上下文（历史消息、代码、工具返回、检索内容等）持续增长，且部分模型按**上下文长度阶梯计费**（上下文越长，单价档位可能越高），因此同一模型在不同请求下的消耗可能相差较大。实际消耗以[控制台订阅页用量明细](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan)为准。 +无每 5 小时限额 -### **计算示例** +**7 天限额** -以 qwen3.6-plus 为例，预估单次请求消耗明细如下（不同模型的单价不同，实际以账单为准）： +无每 7 天限额 -**Token 类型** +**模型** -**数量** +qwen3.8-max-preview、qwen3.7-max、deepseek-v4-pro、wan2.7-image等（[查看完整列表](https://help.aliyun.com/zh/model-studio/token-plan-team-overview#tpt01-models)） -**消耗 Credits** +**团队管理** -输入 tokens +支持多席位管理和用量分析（[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)） -8,349 +**Harness 工具** -1.67 +支持联网搜索、文搜图、图搜图、网页抓取、代码解释器（[查看详情](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview#tpp01-harness)） -缓存 tokens +## **套餐限额** -40,794 +### **个人版** -0.82 +个人版采用 5 小时和 7 天两层滑动窗口限额，限额单位为 Credits： -输出 tokens - -573 - -0.69 - -**合计** - -**约 3.18 Credits** - -**说明** - -上表**仅为单次请求的示例**，并不代表每次请求都固定消耗约 3 Credits。在 AI 编程、智能体等**多轮对话**场景中，每次请求都会携带累积的上下文（历史对话、代码、工具返回等），随着对话进行输入 Token 持续增多，单次消耗的 Credits 也会**相应上升**；若模型按上下文长度阶梯计费，长上下文可能进入更高价位档，消耗速度进一步加快。 - -如需控制消耗，建议：任务切换或话题变更时**及时开启新会话**、清理无关历史，以缩短上下文；对长文档、大代码库按需拆分输入；并在上述控制台订阅页用量明细中关注各模型的实时消耗趋势。 - -**说明** - -上表以 qwen3.6-plus 展示 Token 类型分布，其中**“缓存 tokens”一行为通用 Token 分类示意**。**Token Plan 团队版中，隐式缓存的命中取决于所选模型是否支持**——目前仅 qwen3.7-max 在限时活动期间支持隐式缓存（详见上文[限时活动](#tp01-promo-section)章节）；使用其他模型时，输入 Token 不会进入隐式缓存抵扣，此时“缓存 tokens”一行不适用。 - -### **抵扣顺序** - -1. 优先从坐席套餐的月度额度中抵扣。 +- **5 小时限额**：以活跃调用时间点 T 为起点，T + 5 小时内消耗的 Credits 计入窗口，超过 5 小时的消耗自动释放。 -2. 坐席额度用尽后，从共享用量包中抵扣。持有多个共享用量包时，优先抵扣最近到期的用量包。 - -3. 全部额度用尽后，服务将暂停至下一计费周期或购买共享用量包补充额度。 +- **7 天限额**：以活跃调用时间点 T 为起点，T + 7 天内消耗的 Credits 计入窗口，超过 7 天的消耗自动释放。 -## **查看额度消耗情况** +任一层限额触顶即暂停服务，需等待释放额度。 -**通过控制台**：登录[Token Plan 控制台](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan)，在**我的订阅**页面查看总额度使用百分比、重置时间、团队席位分配情况，以及各席位与共享用量包的状态和到期时间。 +### **团队版** -**通过团队管理平台**：在**用量分析**页面，可查看近 1、7、30 天的 Credits 消耗趋势、各模型用量，以及每个成员的消耗明细。详见[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)。 +团队版采用月度总额度制，无 5 小时和 7 天滑动窗口限额。每个座席的月度额度在计费周期内可用，到期未使用的额度不结转。超出月度总额度后调用将被阻断，可购买共享用量包补充额度。 -## **使用细则** +## **常见问题** -1. **使用范围**：仅限在兼容的 AI 编程和智能体工具中交互式使用，不可用于自动化脚本或应用后端。违规使用可能导致订阅暂停或 API Key 封禁。 - -2. **数据安全**：Token Plan 团队版不会使用对话数据训练模型。 - -3. **账号规范**：API Key 仅限已分配席位的成员本人使用，不可共享或公开泄露。 - -4. **退订与退款**：在控制台**我的订阅**页面按席位退订，已有用量消耗的席位不可退订。退款原路退回支付账户，预计 1-3 个工作日到账。 - -5. **服务地域**：Token Plan 团队版目前仅在特定地域提供服务，如需从海外调用，请确认符合当地法律法规要求。关于百炼支持的地域和服务部署范围，请参见[选择地域和服务部署范围](https://help.aliyun.com/zh/model-studio/regions/)。 - +### **个人版和团队版可以同时购买吗？** + +可以。同一阿里云账号可以同时持有个人版和团队版，各自独立计费。 -## 错误码 +### **关于 Coding Plan** -如果模型调用失败并返回报错信息，请参见[错误码](https://help.aliyun.com/zh/model-studio/error-code)进行解决。 +Coding Plan 和 Token Plan 是两个独立的订阅产品，两者之间无法迁移或升级。Coding Plan Lite 已于 2026 年 3 月 20 日停止新购，2026 年 4 月 13 日停止续费和升级；Coding Plan Pro 为限量抢购，库存售罄后不再补充。推荐使用 **Token Plan**，支持更多模型和 Harness 工具。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md new file mode 100644 index 00000000..1c7aa753 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md @@ -0,0 +1,168 @@ +# 常见问题 + +Token Plan 个人版的额度、购买、订阅和接入常见问题。 + +## **额度与限额** + +### 5 小时限额和 7 天限额是什么意思？ + +Token Plan 个人版采用 5 小时和每 7 天两层滑动窗口限额，限额单位为 Credits。 + +- **5 小时滑动窗口**：以活跃调用时间点 T 为起点，T + 5 小时内消耗的 Credits 计入窗口。 + +- **7 天滑动窗口**：以活跃调用时间点 T 为起点，T + 7 天内消耗的 Credits 计入窗口。 + + +各档位限额如下： + +**档位** + +**5 小时限额** + +**7 天限额** + +Lite 套餐 + +700 Credits + +2,500 Credits + +Standard 套餐 + +3,000 Credits + +10,000 Credits + +Pro 套餐 + +12,000 Credits + +40,000 Credits + +### 5 小时限额到了但7 天限额还有余量，还能继续使用吗？ + +不能。任一层限额触顶即暂停服务，需等待窗口滑动释放额度。 + +### 7 天限额是固定日期重置吗？ + +不是。7 天限额采用滑动窗口机制，不按固定日期重置。以活跃调用时间点 T 为起点，T + 7 天内消耗的 Credits 计入窗口，超过 7 天的消耗会自动释放。 + +### 额度用完了怎么办？ + +限额用完后调用会被阻断，不会按量计费。恢复方式： + +- 等待额度释放。 + +- 升级套餐。 + + +## **接入报错** + +### 常见报错及解决方案 + +**报错信息** + +**可能原因** + +**解决方案** + +401 InvalidApiKey: No API-key provided. + +请求头中未携带 API Key + +生成 API Key 并在工具中完成配置 + +401 InvalidApiKey: Invalid API-key provided. + +误用了按量计费的 API Key 或 Coding Plan 的 Key；订阅过期；Key 复制不完整 + +确认使用 Token Plan 个人版专属 API Key，确保完整且无空格 + +404 model 'xxx' not found or not supported + +模型名称拼写错误或不在支持列表 + +确认模型名称区分大小写，与套餐支持的模型 ID 一致。 + +401 invalid access token or token expired + +误用了 Coding Plan 或其他计费模式的 Base URL + +使用 Token Plan 个人版专属 Base URL + +401 Incorrect API key provided + +误用了百炼通用 Base URL（dashscope.aliyuncs.com） + +使用 Token Plan 个人版专属 Base URL + +429 Requests rate limit exceeded + +短时间内请求过于密集 + +等待一分钟后重试，降低请求频率 + +429 Allocated quota exceeded + +5 小时或7 天限额用尽 + +等待窗口释放额度 + +## **并发与性能** + +### 最多支持多少个 Agent 并发？ + +并发能力与套餐档位相关： + +**档位** + +**建议并发** + +Lite 套餐 + +可同时支持 1-2 个 Agent 并发运行 + +Standard 套餐 + +可同时支持 3-4 个 Agent 并发运行 + +Pro 套餐 + +可同时支持 6-8 个 Agent 并发运行 + +### 高峰期响应会变慢吗？ + +高峰期可能出现排队等待。如需更稳定的吞吐，可升级到更高档位或使用团队版。 + +## **使用规则** + +### "禁止 API 生产自动化调用"具体是什么意思？ + +Token Plan 个人版仅供个人通过官方指定工具（如 Cursor、Claude Code、Windsurf 等）进行交互式开发。不允许将 API Key 用于生产环境的自动化服务、批量脚本或后台定时任务等非交互场景。 + +### 多人共用一个账号可以吗？ + +不可以。Token Plan 个人版限单人使用，不允许多人共用同一账号或 API Key。如需多人协作，请使用 Token Plan 团队版。 + +## **购买与订阅** + +### RAM 用户可以使用 Token Plan 吗？ + +可以，需由主账号完成以下授权： + +1. 在 [RAM 控制台](https://ram.console.aliyun.com/)为该 RAM 用户授予 `AliyunTokenPlanReadOnlyAccess`（只读）或 `AliyunTokenPlanFullAccess`（管理）系统策略。 + +2. 在百炼控制台[账号管理](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)页面，为该 RAM 用户分配管理员或订阅套餐权限。 + + +### 可以升配吗？升配后额度怎么算？ + +支持从低档位升级到更高档位。升级按剩余时长补缴差价，升级后每 5 小时限额和每 7 天限额立即提升至新档位对应额度。 + +### 可以降配吗？ + +不支持降配。如需更换为更低档位，可在订阅到期后重新购买。 + +### 自动续费怎么取消？ + +登录[百炼控制台 Token Plan](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan) 页面，在订阅管理中关闭自动续费。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md new file mode 100644 index 00000000..ef6f482e --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md @@ -0,0 +1,234 @@ +# 概述 + +[Token Plan 个人版](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)是面向个人开发者的 AI 大模型订阅服务，以 Credits 统一计量，支持文本、多模态模型及 Harness 工具，适配主流 AI 编程和智能体工具。 + +**说明** + +Token Plan 个人版目前仅支持**华北2（北京）**地域。 + +## **核心特性** + +- **Credits 统一计量**：通过 Credits 统一抵扣不同模型和 Harness 工具的费用。 + +- **多模态模型支持**：覆盖文本生成、推理、视觉理解、图片生成、语音合成、语音识别、视频生成等能力。 + +- **Harness 工具集成**：支持联网搜索、文搜图、图搜图、网页抓取、代码解释器。 + +- **用量包**：超出限额后可购买用量包，不受限制继续使用。 + +- **兼容多种工具**：适配 Claude Code、Cursor、Qwen Code、OpenClaw 等主流 AI 编程和智能体工具。 + + +## **套餐档位与定价** + +**Lite 套餐** + +**Standard 套餐** + +**Pro 套餐** + +**价格** + +限时优惠 39 元/月 + +限时优惠 139 元/月 + +限时优惠 499 元/月 + +**每 7 天限额** + +2,500 Credits + +10,000 Credits + +40,000 Credits + +**每 5 小时限额** + +700 Credits + +3,000 Credits + +12,000 Credits + +**权益** + +文本、视觉等多模态模型 + +联网搜索等 Harness 工具 + +适配主流工具并持续扩展 + +享受 Lite 套餐所有权益 + +4x Lite 套餐用量 + +享受 Standard 套餐所有权益 + +16x Lite 套餐用量 + +更高的并发上限 + +- **每 5 小时限额**：以活跃调用时间点 T 为起点，T + 5 小时内消耗的 Credits 计入窗口，超过 5 小时的消耗自动释放。 + +- **每 7 天限额**：以活跃调用时间点 T 为起点，T + 7 天内消耗的 Credits 计入窗口，超过 7 天的消耗自动释放。 + + +任一层限额触顶即暂停服务，需等待窗口滑动释放额度。 + +## **支持的模型** + +**重要** + +个人版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： + +1. **预览版**：qwen3.8-max-preview 当前为预览版本，**预览期间模型能力会持续迭代升级**。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：限时活动期间，模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + +3. **限时夜间折上折**：在现有 1 折优惠基础上，每晚 22:00 - 次日 08:00 期间调用模型，Credits 消耗再享 2 折（即原标准的 0.2 折）。 + + +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 + +**品牌** + +**模型 ID（Model ID）** + +**模型能力** + +千问 + +qwen3.8-max-preview + +推理模型、视觉理解、文本生成 + +qwen3.7-max + +推理模型、文本生成 + +qwen3.7-plus + +推理模型、视觉理解、文本生成 + +qwen3.6-flash + +推理模型、视觉理解、文本生成 + +智谱 AI + +glm-5.2 + +推理模型、文本生成 + +DeepSeek + +deepseek-v4-pro + +推理模型、文本生成 + +通义 + +text-embedding-v4 + +向量化 + +千问 + +qwen-audio-3.0-tts-plus + +语音合成 + +FunASR + +fun-asr + +语音识别 + +万相 + +wan2.7-image + +图片生成 + +wan2.7-image-pro + +图片生成 + +HappyHorse + +happyhorse-1.1-i2v + +视频生成 + +happyhorse-1.1-t2v + +视频生成 + +happyhorse-1.1-r2v + +视频生成 + +## **支持的 Harness 工具** + +**工具能力** + +**工具名称** + +联网搜索 + +web\_search + +文搜图 + +t2i\_search + +图搜图 + +i2i\_search + +网页抓取 + +web\_extractor + +代码解释器 + +code\_interpreter + +## **额度重置** + +可自主使用额度重置功能，将 5 小时/7 天限额归零重新计算。额度重置后，当前窗口内已消耗的 Credits 清零，限额从零开始重新累计。 + +## **订阅管理** + +### **升级** + +支持从低档位升级到更高档位。升级按剩余时长补缴差价，升级后每 5 小时限额和每 7 天限额立即提升至新档位对应额度。 + +### **续费** + +续费支持切换续费周期，也可一次续费多个周期。 + +- **手动续费**：支持选择不同续费时长，可续费多个周期。 + +- **自动续费**：开启后到期前系统自动扣款续费。 + + +续费仅延长订阅有效期，不会叠加补充至当前计费周期的额度。 + +### **其他** + +- 个人版暂不支持退订。 + +- 订阅到期后重新购买，API Key 会发生变更，需在工具中重新配置。 + + +## **订阅前须知** + +1. **严禁 API 调用**：仅限在编程工具和智能体工具（如 Claude Code、Cursor、Qwen Code、OpenClaw 等）中使用，禁止以 API 调用的形式用于自动化脚本、自定义应用程序后端或任何非交互式批量调用场景。将套餐 API Key 用于允许范围之外的调用将被视为违规或滥用，可能会导致订阅被暂停或 API Key 被封禁。 + +2. **数据使用授权**：使用 Token Plan 个人版期间，模型输入以及模型生成的内容将用于服务改进与模型优化。停止使用 Token Plan 个人版服务可终止后续数据授权，但终止授权的范围不涵盖已授权使用的数据。详细条款请参见[阿里云百炼服务协议](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20230728213935489/20230728213935489.html)第 5.2 条。 + +3. **账号使用规范**：套餐为订阅人专享使用，禁止共享。账号共享可能导致订阅权益受限。 + +4. **购买限制**：同一实名认证主体限购一份，可同时购买个人版和团队版。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md new file mode 100644 index 00000000..c9cd1474 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md @@ -0,0 +1,81 @@ +# 快速开始 + +三步完成 Token Plan 个人版订阅和接入：选择套餐、获取 API Key、配置 AI 工具。 + +## **步骤一：订阅 Token Plan 个人版** + +访问 [Token Plan 个人版购买页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)，选择套餐档位和订阅周期，完成订阅。 + +购买须知： + +- **RAM 用户授权**：RAM 用户使用 Token Plan 前，需由主账号完成以下授权： + + 1. 在 [RAM 控制台](https://ram.console.aliyun.com/)为该 RAM 用户授予 `AliyunTokenPlanReadOnlyAccess`（只读）或 `AliyunTokenPlanFullAccess`（管理）系统策略。 + + 2. 在百炼控制台[账号管理](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)页面，为该 RAM 用户分配管理员或订阅套餐权限。 + + +## **步骤二：获取 API Key 和 Base URL** + +- **API Key**：订阅完成后，在 Token Plan 控制台的**我的订阅**页面生成 API Key。API Key 仅在生成时完整显示一次，请立即复制并妥善保存。 + +- **Base URL**：根据 AI 工具支持的协议，选择对应的 Base URL。 + + +**协议** + +**Base URL** + +OpenAI 兼容 + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +Anthropic 兼容 + +`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` + +**重要** + +Token Plan 的 API Key 以 `sk-sp-` 开头，与百炼通用 API Key（`sk-` 开头）格式不同，两者不可混用。Token Plan、Coding Plan 和按量付费的 API Key 与 Base URL 完全隔离，必须配套使用。 + +## **步骤三：接入 AI 工具** + +将 API Key 和 Base URL 配置到 AI 工具中，即可开始使用。 + +[**OpenClaw**开源、自托管个人 AI 助手](https://help.aliyun.com/zh/model-studio/openclaw) + +[**Hermes Agent**开源 AI 代理框架，内置自学习循环](https://help.aliyun.com/zh/model-studio/hermes-agent) + +[**Claude Code**AI 终端编码助手，支持自然语言编程](https://help.aliyun.com/zh/model-studio/claude-code) + +[**OpenCode**开源 AI 编程代理工具](https://help.aliyun.com/zh/model-studio/opencode) + +[**Cursor**AI 原生代码编辑器](https://help.aliyun.com/zh/model-studio/cursor) + +[**Codex**OpenAI 推出的命令行编程工具](https://help.aliyun.com/zh/model-studio/codex) + +[**Qwen Code**开源命令行 AI 编码工具](https://help.aliyun.com/zh/model-studio/qwen-code) + +[**QwenPaw**开源个人 AI 助手，支持本地与云端部署](https://help.aliyun.com/zh/model-studio/qwenpaw) + +[**Cherry Studio**多模型桌面客户端](https://help.aliyun.com/zh/model-studio/cherry-studio) + +[**Chatbox**跨平台 AI 桌面客户端](https://help.aliyun.com/zh/model-studio/chatbox) + +[**Cline**VS Code 扩展，智能代码补全和调试](https://help.aliyun.com/zh/model-studio/cline) + +[**Qoder**面向真实软件开发的 Agentic 编码平台](https://help.aliyun.com/zh/model-studio/qoder-agent) + +[**Lingma**阿里云智能编码助手，提供独立 IDE](https://help.aliyun.com/zh/model-studio/lingma-agent) + +[**Kilo CLI**轻量高性能命令行编程工具](https://help.aliyun.com/zh/model-studio/kilo-cli) + +[··· **更多工具**其他编程工具](https://help.aliyun.com/zh/model-studio/more-tools) + +## **可选：接入图像生成模型** + +Token Plan 个人版支持图像生成模型（wan2.7-image 等）。图像生成模型使用独立的接口，需要通过 AI 工具的 Skill 或扩展机制接入。 + +## **可选：工具调用** + +通过 Harness 工具调用，模型可以在对话中调用联网搜索、文搜图、图搜图、网页抓取、代码解释器等扩展能力。当前仅 qwen3.7、qwen3.8 支持原生工具调用，通过 Responses API 直接调用，Harness 工具按抵扣系数消耗 Credits。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md new file mode 100644 index 00000000..59c6d00c --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md @@ -0,0 +1,310 @@ +# 概述 + +Token Plan 团队版是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持文本生成、图像生成与视频生成模型，兼容主流 AI 编程与智能体工具，提供团队管理后台、数据安全保障，调用平稳运行。 + +**说明** + +Token Plan 团队版目前仅支持**华北2（北京）**地域。 + +## **产品简介** + +Token Plan 团队版整合千问和三方模型，支持文本生成、图像生成与视频生成。通过 Credits 统一计量，同一订阅可在多种 AI 工具中使用。 + +- **多模型灵活切换**：支持多模型按需切换，按 Credits 统一抵扣。 + +- **兼容多种工具**：适配多种主流编程工具及热门 Agent 工具。控制台提供快速接入 AI 工具入口，支持 Qwen Code、Claude Code、OpenClaw 等工具接入。 + +- **多档位套餐**：提供标准坐席、高级坐席、尊享坐席多档位套餐，匹配不同使用强度。 + +- **团队管理**：提供管理后台，支持席位分配与回收、成员用量分析等团队管理能力。 + +- **预算可控**：支持按月或按年订阅，预算可控。 + +- **数据安全**：承诺不使用对话数据进行模型训练，满足企业级数据隐私要求。 + +- **平稳运行**：多租户隔离架构，调用高峰期间不排队。 + + +Token Plan 团队版提供套餐专属 Base URL，兼容 OpenAI、Anthropic 接口标准，具体地址可在控制台**我的订阅**的 API Key 区域查看。 + +## **支持的模型** + +**重要** + +团队版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： + +1. **预览版**：qwen3.8-max-preview 当前为预览版本，**预览期间模型能力会持续迭代升级**。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：限时活动期间，模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + + +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 + +**品牌** + +**模型 ID（Model ID）** + +**模型能力** + +千问 + +qwen3.8-max-preview + +推理模型、视觉理解、文本生成 + +qwen3.7-max + +推理模型、文本生成 + +qwen3.7-plus + +推理模型、视觉理解、文本生成 + +qwen3.6-plus + +推理模型、视觉理解、文本生成 + +qwen3.6-flash + +推理模型、视觉理解、文本生成 + +qwen-image-2.0 + +图片生成 + +qwen-image-2.0-pro + +图片生成 + +万相 + +wan2.7-image + +图片生成 + +wan2.7-image-pro + +图片生成 + +DeepSeek + +deepseek-v4-pro + +推理模型、文本生成 + +deepseek-v4-flash + +推理模型、文本生成 + +deepseek-v3.2 + +推理模型、文本生成 + +月之暗面 + +kimi-k2.7-code + +推理模型、视觉理解、文本生成 + +kimi-k2.6 + +推理模型、视觉理解、文本生成 + +kimi-k2.5 + +推理模型、视觉理解、文本生成 + +智谱 AI + +glm-5.2 + +推理模型、文本生成 + +glm-5.1 + +推理模型、文本生成 + +glm-5 + +推理模型、文本生成 + +MiniMax + +MiniMax-M2.5 + +推理模型、文本生成 + +HappyHorse + +happyhorse-1.1-i2v + +视频生成 + +happyhorse-1.1-t2v + +视频生成 + +happyhorse-1.1-r2v + +视频生成 + +## **套餐与定价** + +前往 Token Plan 团队版购买页面选择坐席类型、数量和订阅周期，完成订阅。主账号和 RAM 账号均可订阅。订阅周期支持按月购买、按年购买、连续包月包年。 + +### **限时活动** + +即日起至 2026 年 7 月 22 日 23:59（UTC+8），qwen3.7-max 模型 Credits 消耗减半，同时支持隐式缓存。 + +### **Token Plan 团队版** + +提供标准坐席、高级坐席、尊享坐席三个档位，匹配不同使用强度。 + +席位（坐席）是 Token Plan 团队版的最小订阅单位，代表一个团队成员的使用名额。管理员在团队管理中将席位分配给成员后，系统自动为该成员生成专属的 API Key。每个席位绑定一个成员、对应一个 API Key，不可共享。 + +**坐席类型** + +**价格** + +**额度** + +**适用场景** + +标准坐席 + +原价 ¥198/坐席/月 +限时 **¥150/坐席/月** + +25,000 Credits/坐席/月 + +轻度使用 AI 辅助的团队成员 + +高级坐席 + +原价 ¥698/坐席/月 +限时 **¥550/坐席/月** + +100,000 Credits/坐席/月 + +日常高频使用 AI 编程或办公的团队成员 + +尊享坐席 + +¥1,398/坐席/月 + +250,000 Credits/坐席/月 + +重度依赖 AI 的核心开发者或高强度使用者 + +### **Token Plan 团队版 - 共享用量包** + +跨坐席共享的弹性用量包，当个别坐席用量超出套餐额度时，可从共享用量包中抵扣。每个共享用量包有效期为 1 个月，到期未使用的额度自动清零。持有多个共享用量包时，优先抵扣最近到期的用量包。 + +**档位** + +**价格** + +**额度** + +Token Plan 团队版 - 共享用量包 + +¥5,000/个 + +625,000 Credits/个 + +## **Credits 计费机制** + +### **计费说明** + +单次消耗的 Credits 由模型类型、Token 用量、思考模式及工具调用等动态决定，实际消耗以控制台订阅页用量明细为准。 + +### **计算示例** + +以 qwen3.6-plus 为例，预估单次请求消耗明细如下（不同模型的单价不同，实际以账单为准）： + +**Token 类型** + +**数量** + +**消耗 Credits** + +输入 tokens + +8,349 + +1.67 + +缓存 tokens + +40,794 + +0.82 + +输出 tokens + +573 + +0.69 + +**合计** + +**约 3.18 Credits** + +### **抵扣顺序** + +1. 优先从坐席套餐的月度额度中抵扣。 + +2. 坐席额度用尽后，从共享用量包中抵扣。持有多个共享用量包时，优先抵扣最近到期的用量包。 + +3. 全部额度用尽后，服务将暂停至下一计费周期或购买共享用量包补充额度。 + + +## **查看额度消耗情况** + +**通过控制台**：登录 Token Plan 控制台，在**我的订阅**页面查看总额度使用百分比、重置时间、团队席位分配情况，以及各席位与共享用量包的状态和到期时间。 + +**通过团队管理平台**：在**用量分析**页面，可查看近 1、7、30 天的 Credits 消耗趋势、各模型用量，以及每个成员的消耗明细。详见团队管理。 + +## **订阅管理** + +### **加购席位** + +在 Token Plan 控制台的**我的订阅**页面，点击**加购座席**，选择席位档位和数量后提交订单。新加席位与现有订阅统一到期，费用和 Credits 额度均按剩余时长折算。 + +### **升级席位** + +在**订阅明细**中找到目标席位，点击**升级**，选择更高档位后提交订单。需要批量操作时，勾选多个席位后点击**批量升级**。升级按剩余时长补缴差价。 + +### **续费** + +- 点击**续费**按钮，续费周期与订阅时一致（按月订阅则按月续费，按年订阅则按年续费），到期前完成可避免服务中断。 + +- **自动续费**：点击**开启自动续费**，确认后次日生效，到期前 9 天系统按订阅周期自动扣款续费。如需关闭，点击**关闭自动续费**并确认。 + + +### **退订席位** + +在**订阅明细**中点击席位的**退订**，按席位维度退订；已有用量消耗的席位不可退订。也可勾选多个席位后点击**批量退订**。退款原路退回支付账户，预计 1-3 个工作日到账。 + +### **加购共享用量包** + +在**共享用量包**区域点击**前往购买**。 + +### **注意事项** + +- 退订重购后，API Key 和 Base URL 会发生变更，需在工具中重新配置。 + +- 续费仅延长订阅有效期，不会叠加补充至当前计费周期的额度。 + +- 团队版与个人版可同时持有，各自独立计费。 + + +## **使用细则** + +1. **使用范围**：仅限在兼容的 AI 编程和智能体工具中交互式使用，不可用于自动化脚本或应用后端。违规使用可能导致订阅暂停或 API Key 封禁。 + +2. **数据安全**：Token Plan 团队版不会使用对话数据训练模型。 + +3. **账号规范**：API Key 仅限已分配席位的成员本人使用，不可共享或公开泄露。 + +4. **服务地域**：Token Plan 团队版目前仅在特定地域提供服务，如需从海外调用，请确认符合当地法律法规要求。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md index fe1e76b9..f56aec75 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md @@ -4,7 +4,7 @@ **重要** -deepseek-v3、deepseek-v3.1、deepseek-v3.2、deepseek-v3.2-exp、deepseek-r1、deepseek-r1-0528、deepseek-r1-distill-qwen-7b/14b/32b 将于**2026年7月9日**下架。推荐转用：[qwen3.7-plus](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-plus)、[qwen3.7-max](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-max)、[qwen3.6-flash](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.6-flash)。 +deepseek-v3、deepseek-v3.1、deepseek-v3.2、deepseek-v3.2-exp、deepseek-r1、deepseek-r1-0528、deepseek-r1-distill-qwen-7b/14b/32b 将于**2026年10月10日**下架。推荐转用：[qwen3.7-plus](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-plus)、[qwen3.7-max](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-max)、[qwen3.6-flash](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.6-flash)。 ## **服务接入地址** @@ -514,11 +514,9 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/apps/anthropic/v ## **推理强度（reasoning\_effort）** -deepseek-v4-pro 和 deepseek-v4-flash 默认开启思考模式。通过`reasoning_effort`参数可以调整推理强度，可选值为`high`和`max`，默认为`high`。 +deepseek-v4-pro 和 deepseek-v4-flash 默认开启思考模式。通过`reasoning_effort`参数可以调整推理强度，可选值为`low`、`medium`、`high`、`xhigh`和`max`，默认为`high`。 -**说明** - -设为`low`或`medium`时会映射为`high`，设为`xhigh`时会映射为`max`。 +其中，`low`和`medium`的效果等同于`high`；`xhigh`的效果等同于`max`。 ## **OpenAI兼容** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md index 23cc13c0..f58696f1 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md @@ -24,22 +24,28 @@ - 如果通过SDK调用，需要[安装SDK](https://help.aliyun.com/zh/model-studio/install-sdk#8833b9274f4v8) -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5 均支持输入文本、图像或视频。kimi/kimi-k2.7-code-highspeed 与 kimi/kimi-k2.7-code 功能完全一致，速度提升5~6倍。kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 为仅思考模型（`enable_thinking` 始终为 true，无法设置为 false）。kimi/kimi-k2.6、kimi/kimi-k2.5 可通过 `enable_thinking` 参数控制思考模式，默认开启思考模式： +kimi 系列模型均支持输入文本、图像或视频： -- **思考模式**（`enable_thinking: true`）：模型会输出详细的推理过程（`reasoning_content`） +1. kimi/kimi-k2.7-code-highspeed 与 kimi/kimi-k2.7-code 功能完全一致，速度提升5~6倍。 -- **非思考模式**（`enable_thinking: false` 或不设置）：直接输出结果，不包含推理过程 +2. kimi/kimi-k3、kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 为仅思考模型。 +3. kimi/kimi-k2.6、kimi/kimi-k2.5 可通过 `enable_thinking` 参数控制思考模式，默认开启思考模式： + + - **思考模式**（`reasoning_effort: "max"`）：模型会输出详细的推理过程（`reasoning_content`） + + - **非思考模式**（`enable_thinking: false` 或不设置）：直接输出结果，不包含推理过程 + -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6 支持通过 `preserve_thinking` 参数在多轮对话中传递思考过程，详情请参见[传递思考过程](https://help.aliyun.com/zh/model-studio/deep-thinking#jln7docdq5et5)。 +除 kimi/kimi-k2.5外，其他模型均支持通过 `preserve_thinking` 参数在多轮对话中传递思考过程，详情请参见[传递思考过程](https://help.aliyun.com/zh/model-studio/deep-thinking#jln7docdq5et5)。 -以下示例演示如何调用思考模式的 kimi-k2.6 模型进行文本生成。 +以下示例演示如何调用思考模式的 kimi/kimi-k3 模型进行文本生成。 ## OpenAI兼容 **说明** -`enable_thinking`非 OpenAI 标准参数，OpenAI Python SDK 通过 `extra_body`传入，Node.js SDK 作为顶层参数传入。 +`reasoning_effort`非 OpenAI 标准参数，OpenAI Python SDK 通过 `extra_body`传入，Node.js SDK 作为顶层参数传入。 ## Python @@ -53,10 +59,10 @@ client = OpenAI( ) completion = client.chat.completions.create( - model="kimi/kimi-k2.6", + model="kimi/kimi-k3", messages=[{"role": "user", "content": "1+1等于多少？"}], - # 通过 extra_body 设置 enable_thinking 开启思考模式 - extra_body={"enable_thinking": True} + # 通过 extra_body 设置 reasoning_effort 开启思考模式 + extra_body={"reasoning_effort": "max"} ) msg = completion.choices[0].message @@ -109,9 +115,9 @@ const messages = [ ]; const response = await client.chat.completions.create({ - model: "kimi/kimi-k2.6", + model: "kimi/kimi-k3", messages, - extra_body: { enable_thinking: true }, + extra_body: { reasoning_effort: "max" }, }); const msg = response.choices[0].message; @@ -156,7 +162,7 @@ curl --location 'https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completi --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ --data '{ - "model": "kimi/kimi-k2.6", + "model": "kimi/kimi-k3", "messages":[ { "role": "system", @@ -167,13 +173,13 @@ curl --location 'https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completi "content": "1+1等于多少？" } ], - "enable_thinking": true + "reasoning_effort": "max" }' ``` ## **多模态调用示例** -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5不仅支持纯文本对话，还具备强大的多模态理解能力。本章节将介绍如何让模型理解图像和视频内容。 +Kimi 系列模型不仅支持纯文本对话，还具备强大的多模态理解能力。本章节将介绍如何让模型理解图像和视频内容。 **重要** @@ -198,7 +204,7 @@ client = OpenAI( # 单图传入示例（开启思考模式） completion = client.chat.completions.create( - model="kimi/kimi-k2.6", + model="kimi/kimi-k3", messages=[ { "role": "user", @@ -213,7 +219,7 @@ completion = client.chat.completions.create( ] } ], - extra_body={"enable_thinking":True} # 开启思考模式 + extra_body={"reasoning_effort":"max"} # 开启思考模式 ) # 输出思考过程 @@ -227,7 +233,7 @@ print(completion.choices[0].message.content) # 多图传入示例（开启思考模式，取消注释使用） # completion = client.chat.completions.create( -# model="kimi/kimi-k2.6", +# model="kimi/kimi-k3", # messages=[ # { # "role": "user", @@ -244,7 +250,7 @@ print(completion.choices[0].message.content) # ] # } # ], -# extra_body={"enable_thinking":True} +# extra_body={"reasoning_effort":"max"} # ) # # # 输出思考过程和回复 @@ -266,7 +272,7 @@ const openai = new OpenAI({ // 单图传入示例（开启思考模式） const completion = await openai.chat.completions.create({ - model: 'kimi/kimi-k2.6', + model: 'kimi/kimi-k3', messages: [ { role: 'user', @@ -281,7 +287,7 @@ const completion = await openai.chat.completions.create({ ] } ], - enable_thinking: true // 开启思考模式 + reasoning_effort: "max" // 开启思考模式 }); // 输出思考过程 @@ -313,7 +319,7 @@ console.log(completion.choices[0].message.content); // ] // } // ], -// enable_thinking: true +// reasoning_effort: "max" // }); // // // 输出思考过程和回复 @@ -332,7 +338,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H "Content-Type: application/json" \ -d '{ - "model": "kimi/kimi-k2.6", + "model": "kimi/kimi-k3", "messages": [ { "role": "user", @@ -350,7 +356,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions ] } ], - "enable_thinking": true + "reasoning_effort": "max" }' # 多图输入示例（取消注释使用） @@ -358,7 +364,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions # -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ # -H "Content-Type: application/json" \ # -d '{ -# "model": "kimi/kimi-k2.6", +# "model": "kimi/kimi-k3", # "messages": [ # { # "role": "user", @@ -382,7 +388,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions # ] # } # ], -# "enable_thinking": true +# "reasoning_effort": "max" # }' ``` @@ -404,7 +410,7 @@ client = OpenAI( ) completion = client.chat.completions.create( - model="kimi/kimi-k2.6", + model="kimi/kimi-k3", messages=[ { "role": "user", @@ -440,7 +446,7 @@ const openai = new OpenAI({ async function main() { const response = await openai.chat.completions.create({ - model: "kimi/kimi-k2.6", + model: "kimi/kimi-k3", messages: [ { role: "user", @@ -500,7 +506,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ -d '{ - "model": "kimi/kimi-k2.6", + "model": "kimi/kimi-k3", "messages": [ { "role": "user", @@ -560,7 +566,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions [结构化输出](https://help.aliyun.com/zh/model-studio/qwen-structured-output) -kimi/kimi-k2.7-code-highspeed +kimi/kimi-k3 支持 @@ -574,22 +580,34 @@ kimi/kimi-k2.7-code-highspeed 支持 +kimi/kimi-k2.7-code-highspeed + kimi/kimi-k2.7-code kimi/kimi-k2.6 kimi/kimi-k2.5 -- kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5支持上下文缓存（隐式缓存，自动开启），kimi/kimi-k2.7-code-highspeed命中缓存的输入Token按输入价格的20.0%计费，kimi/kimi-k2.7-code命中缓存的输入Token按输入价格的20.0%计费，kimi/kimi-k2.6命中缓存的输入Token按输入价格的16.9%计费，kimi/kimi-k2.5命中缓存的输入Token按输入价格的17.5%计费。 +以上模型支持上下文缓存（隐式缓存，自动开启）： + +- kimi/kimi-k3命中缓存的输入Token按输入价格的10%计费 -- 在思考模式下，使用 kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5 进行工具调用时：必须在每轮 assistant 消息中保留 `reasoning_content` 字段，`tool_choice` 也仅支持 `"auto"`（默认）和 `"none"`），否则会报错。 +- kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 命中缓存的输入Token按输入价格的20.0%计费， + +- kimi/kimi-k2.6命中缓存的输入Token按输入价格的16.9%计费 + +- kimi/kimi-k2.5命中缓存的输入Token按输入价格的17.5%计费。 ## **参数默认值** **模型** -**stream\_options** +**tool\_choice** + +**preserve\_thinking** + +**reasoning\_effort** **temperature** @@ -599,33 +617,33 @@ kimi/kimi-k2.5 **presence\_penalty** -**tool\_choice** +**stream\_options** -**top\_k** +kimi/kimi-k3 -**preserve\_thinking** +auto -kimi/kimi-k2.7-code-highspeed +默认关闭 -仅支持设置为`true` +max -1.0 +1 0.95 0.0 -0.0 +\- -auto +仅支持设置为`true` -\- +kimi/kimi-k2.7-code-highspeed -默认开启 +auto -kimi/kimi-k2.7-code +默认开启 -仅支持设置为`true` +\- 1.0 @@ -635,33 +653,37 @@ kimi/kimi-k2.7-code 0.0 +仅支持设置为`true` + +kimi/kimi-k2.7-code + auto +默认开启 + \- -默认开启 +1.0 -kimi/kimi-k2.6 +0.95 + +0.0 + +0.0 仅支持设置为`true` +kimi/kimi-k2.6 + +思考模式/非思考模式：auto + +默认关闭 + +\- + 思考模式：1.0 非思考模式：0.6 - - - - - - - - - - - - - - 思考模式/非思考模式：0.95 @@ -669,27 +691,25 @@ kimi/kimi-k2.6 思考模式/非思考模式：0.0 -思考模式/非思考模式：auto - -\- - -默认关闭 +仅支持设置为`true` kimi/kimi-k2.5 \- +\- + - `stream_options`仅支持设置为`true`，`temperature`、`top_p`、`repetition_penalty`、`presence_penalty`不支持设置为其他值； -- 在思考模式下，不支持强制调用某个工具，`tool_choice`仅支持设置为`auto`（默认值）和`none`。 +- kimi/kimi-k3 支持 `reasoning_effort` 参数，唯一支持值为 `max`。 + +- 在思考模式下，使用 Kimi 模型进行工具调用时：必须在每轮 assistant 消息中保留 `reasoning_content` 字段；对于`tool_choice`参数，`kimi-k3` 支持 `auto` / `none` / `required` 三档；其他模型不支持 `required`，传入会报错。`kimi-k3` 支持动态加载工具，详细用法请参见[动态加载工具](https://platform.kimi.com/docs/guide/use-dynamic-tool-loading)。 - ”-”表示没有默认值，也不支持设置。 ## **模型列表与计费** -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 为仅思考模型（`enable_thinking` 始终为 true，无法设置为 false）。kimi/kimi-k2.7-code-highspeed 与 kimi/kimi-k2.7-code 功能完全一致，速度提升5~6倍。kimi/kimi-k2.6、kimi/kimi-k2.5属于混合思考模型，通过`enable_thinking`参数控制是否开启思考模式（注意：均无法通过`thinking_budget`限制思考长度）。 - 模型上下文长度与价格信息请参见[百炼控制台](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all)。 按照模型的输入与输出 Token 计费。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md index 00895664..fac07e19 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md @@ -1,6 +1,6 @@ # Claude Code -Claude Code 是 Anthropic 推出的命令行 AI 编程助手。通过阿里云百炼，可以使用按量计费、Coding Plan 或 Token Plan 团队版接入 Claude Code。 +Claude Code 是 Anthropic 推出的命令行 AI 编程助手。通过阿里云百炼，可以使用按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入 Claude Code。 ## **安装 Claude Code** @@ -47,6 +47,36 @@ npm install -g @anthropic-ai/claude-code 新建 `~/.claude/settings.json`（Windows 路径：`C:\Users\<用户名>\.claude\settings.json`），写入对应套餐的配置。 +### Token Plan 个人版 + +将 YOUR\_API\_KEY 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro。完整说明参见 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +{ + "env": { + "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", + "ANTHROPIC_BASE_URL": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic", + "ANTHROPIC_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen3.6-flash", + "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.8-max-preview", + "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.7-max", + "CLAUDE_CODE_MAX_CONTEXT_TOKENS": "983616" + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- **thinking**：始终开启，不支持关闭。 + +- **temperature**：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- **reasoning\_effort**：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 将 YOUR\_API\_KEY 替换为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。可用模型参见 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -56,15 +86,27 @@ npm install -g @anthropic-ai/claude-code "env": { "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_BASE_URL": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic", - "ANTHROPIC_MODEL": "qwen3.7-max", + "ANTHROPIC_MODEL": "qwen3.8-max-preview", "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen3.6-flash", - "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.7-max", - "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.7-max", - "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.7-max" + "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.8-max-preview", + "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.7-max", + "CLAUDE_CODE_MAX_CONTEXT_TOKENS": "983616" } } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- **thinking**：始终开启，不支持关闭。 + +- **temperature**：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- **reasoning\_effort**：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 YOUR\_API\_KEY 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型参见 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -169,6 +211,14 @@ Claude Code 默认使用 200K 上下文窗口。如果需要处理大型代码 **配置信息** + Token Plan 个人版 + + 供应商名称：百炼-Token Plan 个人版 + + API Key：[控制台获取](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + + 请求地址：`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` + Token Plan 团队版 供应商名称：百炼-Token Plan @@ -208,35 +258,23 @@ Claude Code 默认使用 200K 上下文窗口。如果需要处理大型代码 ### 接入 Claude Code 桌面版 +Claude Code 桌面版（Claude Desktop）与 Claude Code CLI 是两个独立入口，在 CC Switch 中分别对应 **Claude Code** 与 **Claude Desktop** 面板。桌面版通过 CC Switch 本地网关访问百炼：网关地址与鉴权令牌均由 CC Switch 自动写入桌面版配置，**无需在桌面版中手动填写百炼 API Key**——百炼 API Key 只在 CC Switch 供应商配置中填写，由本地路由转发时自动注入。 + +**重要** + +请勿在桌面版的第三方推理配置中手动填写百炼 API Key。桌面版对 CC Switch 本地网关（地址 `http://127.0.0.1:15721/claude-desktop`）的鉴权令牌由 CC Switch 自动生成并写入，手动填入百炼 API Key 会因令牌不匹配导致鉴权失败。桌面版第三方配置写入目前仅支持 macOS、Windows。 + 1. 从 [Claude 下载页](https://claude.ai/download)安装 Claude Code 桌面版。 -2. 顶部菜单 **Help** → **Troubleshooting** → **Enable Developer Mode**，重启后顶部出现 **Developer** 菜单。 - -3. **Developer** → **Configure Third-Party Inference**，**Connection** 选 **Gateway**，按下表填写后点击 **Apply locally**： - - **字段** - - **填写** - - Gateway base URL - - CC Switch 路由监听地址，默认 `http://127.0.0.1:15721`，如已修改则与下一步保持一致。 +2. 在 CC Switch 左侧应用切换器切换到 **Claude Desktop** 面板。若未显示该入口，前往**设置 → 通用 → 应用可见性**确认 Claude Desktop 未被隐藏。 - Gateway API key +3. 添加百炼供应商：若已在 **Claude Code** 面板配置过百炼供应商，可点击**将 Claude Code 中已有的供应商导入**一键复用；也可点击右上角 **+** 新增。由于百炼模型 ID（如 `qwen3.7-max`）不是 Claude Desktop 识别的 `claude-sonnet-* / claude-opus-* / claude-haiku-*` 三档角色 ID，需开启**需要模型映射**，为 Sonnet、Opus、Haiku 三档分别填写实际请求的百炼模型（如 Sonnet → qwen3.7-max）。 - 百炼API Key +4. 开启本地路由：前往**设置 → 路由 → 本地路由**，打开**在主页面显示本地路由开关**；回到 Claude Desktop 面板，打开 **Claude Desktop 本地路由**开关，监听地址默认 `127.0.0.1:15721`。 - Gateway auth scheme +5. 在供应商卡片点击**启用**，CC Switch 会自动将第三方推理配置写入 Claude Code 桌面版。 - bearer - - Model list - - Model ID须为 Anthropic 风格，如 `claude-opus-4.7`。实际调用模型由 CC Switch 路由决定，对应关系即供应商[高级选项中的模型映射](#ccswitch-add-li2)。Display name 仅影响下拉显示。 - -4. CC Switch 左上角设置 → **路由**，开启**路由总开关**，监听地址默认 `127.0.0.1:15721`，如需修改请同步上一步。 - -5. 在桌面版模型下拉中选择已配置的模型ID即可使用。 +6. 保持 CC Switch 运行，**完全退出并重启** Claude Code 桌面版后生效，在模型菜单中选择已配置的模型即可使用。 ## **Claude Code IDE 插件** @@ -295,6 +333,8 @@ Claude Code 默认使用 200K 上下文窗口。如果需要处理大型代码 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md index 76a25932..05e9bfd9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md @@ -1,6 +1,6 @@ # Codex -Codex 是 OpenAI 推出的终端 AI 编程助手。可通过 Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 +Codex 是 OpenAI 推出的终端 AI 编程助手。可通过 Token Plan 个人版、Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 ## **安装 Codex** @@ -21,19 +21,187 @@ Codex 是 OpenAI 推出的终端 AI 编程助手。可通过 Token Plan 团队 ## **配置接入凭证** -接入需要编辑配置文件`~/.codex/config.toml`并配置环境变量`OPENAI_API_KEY`。根据所选计费方案替换对应值，阿里云百炼提供三种计费方案： +接入需要编辑配置文件`~/.codex/config.toml`并配置环境变量`OPENAI_API_KEY`。根据所选计费方案替换对应值，阿里云百炼提供以下计费方案： + +### 配置模型元数据 + +使用自定义模型（如 qwen3.8-max-preview）时，需要配置模型元数据文件，使 Codex 正确识别模型的上下文窗口、推理深度等参数。 + +1. 新建文件 `~/.codex/model-catalog.local.json`，写入以下内容： + + ``` + { + "models": [ + { + "slug": "qwen3.8-max-preview", + "display_name": "qwen3.8-max-preview", + "description": "DashScope model: qwen3.8-max-preview", + "default_reasoning_level": "xhigh", + "supported_reasoning_levels": [ + { + "effort": "low", + "description": "Fast responses with lighter reasoning" + }, + { + "effort": "high", + "description": "Greater reasoning depth for complex problems" + }, + { + "effort": "xhigh", + "description": "Extra high reasoning depth for complex problems" + } + ], + "context_window": 983616, + "effective_context_window_percent": 95, + "supports_parallel_tool_calls": false, + "supports_image_detail_original": true, + "input_modalities": ["text", "image"] + } + ] + } + ``` + +2. 在 `~/.codex/config.toml` 中添加以下配置，指向元数据文件： + + ``` + model_catalog_json = "~/.codex/model-catalog.local.json" + ``` + + +### Token Plan 个人版 + +`model`请选择[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)，可用模型包括 qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro。将`OPENAI_API_KEY`环境变量设置为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。 + +#### Responses API（qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash） + +qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus 和 qwen3.6-flash 支持 Responses API，可使用最新版 Codex。 + +``` +model_provider = "Model_Studio_Token_Plan_Personal" +model = "qwen3.8-max-preview" +[model_providers.Model_Studio_Token_Plan_Personal] +name = "Model_Studio_Token_Plan_Personal" +base_url = "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" +env_key = "OPENAI_API_KEY" +wire_api = "responses" +``` + +#### Chat/Completions API（其他模型） + +其他模型需通过 Chat/Completions API 接入，需安装旧版本 Codex，如 0.80.0： + +``` +npm install -g @openai/codex@0.80.0 +``` +``` +model_provider = "Model_Studio_Token_Plan_Personal" +model = "glm-5" +[model_providers.Model_Studio_Token_Plan_Personal] +name = "Model_Studio_Token_Plan_Personal" +base_url = "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" +env_key = "OPENAI_API_KEY" +wire_api = "chat" +``` + +#### 配置环境变量 + +将`OPENAI_API_KEY`环境变量设置为 Token Plan 个人版专属 API Key。 + +## macOS + +1. 在终端中执行以下命令，查看默认 Shell 类型。 + + ``` + echo $SHELL + ``` + +2. 根据 Shell 类型设置环境变量： + + ## Zsh + + ``` + # 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + echo 'export OPENAI_API_KEY="YOUR_API_KEY"' >> ~/.zshrc + ``` + + ## Bash + + ``` + # 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + echo 'export OPENAI_API_KEY="YOUR_API_KEY"' >> ~/.bash_profile + ``` + +3. 执行以下命令使环境变量生效。 + + ## Zsh + + ``` + source ~/.zshrc + ``` + + ## Bash + + ``` + source ~/.bash_profile + ``` + + +## Windows + +## CMD + +1. 在 CMD 中运行以下命令，设置环境变量。 + + ``` + REM 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + setx OPENAI_API_KEY "YOUR_API_KEY" + ``` + +2. 打开一个新的 CMD 窗口，运行以下命令检查环境变量是否生效。 + + ``` + echo %OPENAI_API_KEY% + ``` + + +## PowerShell + +1. 在 PowerShell 中运行以下命令，设置环境变量。 + + ``` + # 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + [Environment]::SetEnvironmentVariable("OPENAI_API_KEY", "YOUR_API_KEY", [EnvironmentVariableTarget]::User) + ``` + +2. 打开一个新的 PowerShell 窗口，运行以下命令检查环境变量是否生效。 + + ``` + echo $env:OPENAI_API_KEY + ``` + + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + ### Token Plan 团队版 `model`请选择[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。将`OPENAI_API_KEY`环境变量设置为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。 -#### Responses API（qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash） +#### Responses API（qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash） -qwen3.7-max、qwen3.7-plus、qwen3.6-plus 和 qwen3.6-flash 支持 Responses API，可使用最新版 Codex。 +qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus 和 qwen3.6-flash 支持 Responses API，可使用最新版 Codex。 ``` model_provider = "Model_Studio_Token_Plan" -model = "qwen3.7-max" +model = "qwen3.8-max-preview" [model_providers.Model_Studio_Token_Plan] name = "Model_Studio_Token_Plan" base_url = "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" @@ -135,6 +303,17 @@ wire_api = "chat" ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan `model`请选择[支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan-overview)。将`OPENAI_API_KEY`环境变量设置为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。 @@ -368,11 +547,11 @@ codex ### **第三方工具提示“不支持国内模型”或“检查被拒 / Bad request (400)”怎么办？** -**原因**：部分第三方管理工具（如 CC-Switch）在切换供应商时会发起“健康检查/连接测试”探测请求，该探测请求的格式与 Codex 实际调用的请求格式不同，百炼网关可能因此返回 400 Bad request 并提示“检查被拒”，工具据此显示“不支持国内模型”。此提示仅代表健康检查探测未通过，**并不代表百炼不支持国内模型，也不影响 Codex 的实际使用。** +**原因**：部分第三方管理工具（如 CC-Switch）在切换供应商时会发起“健康检查/连接测试”探测请求，该探测请求的格式与 Codex 实际调用的请求格式不同，百炼网关可能因此返回 400 Bad request 并提示“检查被拒”，工具据此显示“不支持国内模型”。此提示仅代表健康检查探测未通过，**并不代表百炼不支持中国内地模型，也不影响 Codex 的实际使用。** -**说明**：百炼支持通过 Codex 使用 qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash、glm-5 等国内模型，配置方式详见上文[配置接入凭证](#cdx-config)。 +**说明**：百炼支持通过 Codex 使用 qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash、glm-5 等中国内地模型，配置方式详见上文[配置接入凭证](#cdx-config)。 -**解决方案**：建议参照上文配置接入凭证，直接在`~/.codex/config.toml`中完成配置，无需依赖第三方工具的健康检查结果；配置完成后参照[验证配置](#cdx-verify)启动 Codex，若能正常进入对话界面即表示可正常使用国内模型。 +**解决方案**：建议参照上文配置接入凭证，直接在`~/.codex/config.toml`中完成配置，无需依赖第三方工具的健康检查结果；配置完成后参照[验证配置](#cdx-verify)启动 Codex，若能正常进入对话界面即表示可正常使用中国内地模型。 ### **报错 wire\_api 配置问题怎么办？** @@ -394,7 +573,7 @@ codex **原因**： -- 误用了其他方案的 API Key（Token Plan 团队版、Coding Plan 和按量计费的 API Key 互不相通） +- 误用了其他方案的 API Key（Token Plan 个人版、Token Plan 团队版、Coding Plan 和按量计费的 API Key 互不相通） - 订阅过期 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md index f903bf87..ab200d1f 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md @@ -1,6 +1,6 @@ # Cursor -Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Cursor** @@ -12,6 +12,8 @@ Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan 或 Toke 阿里云百炼提供三种计费方案，根据需要选择： +- **Token Plan 个人版**：按 token 消耗抵扣个人 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -19,6 +21,20 @@ Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan 或 Toke - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +**API Key** + +Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +**Base URL** + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +**可用模型** + +Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview) + ### Token Plan 团队版 **API Key** @@ -110,6 +126,8 @@ Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-pla - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md index 247ca4b6..d02f35ba 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md @@ -1,6 +1,6 @@ # Hermes Agent -Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Hermes Agent** @@ -31,6 +31,8 @@ Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding 通过 `hermes config set` 命令配置接入参数，根据所选方案填入对应的 Base URL 和 API Key： +- **Token Plan 个人版**：个人订阅，按 token 消耗抵扣 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -44,6 +46,42 @@ Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding 除命令行版外，Hermes Agent 还提供桌面版（Hermes Desktop）。可从 [Hermes 官网](https://hermes-agent.nousresearch.com/) 下载安装包，或在命令行版安装完成后运行 `hermes desktop` 启动。桌面版与命令行版共用同一份 `~/.hermes/config.yaml` 配置文件，接入参数与本文一致；在桌面版中以自定义端点（Custom Endpoint）方式接入时，请使用上述 OpenAI 兼容 Base URL。 +### Token Plan 个人版 + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，完整列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +hermes config set model.provider custom +hermes config set model.base_url https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic +hermes config set model.api_mode anthropic_messages +hermes config set model.api_key YOUR_API_KEY +hermes config set model.default qwen3.8-max-preview +``` + +以上命令将配置写入 `~/.hermes/config.yaml`。也可以直接编辑该文件，写入以下内容： + +config.yaml 配置示例 + +``` +model: + default: qwen3.8-max-preview + provider: custom + base_url: https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic + api_mode: anthropic_messages + api_key: YOUR_API_KEY +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 将 `YOUR_API_KEY` 替换为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。可用模型请参考 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -53,7 +91,7 @@ hermes config set model.provider custom hermes config set model.base_url https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic hermes config set model.api_mode anthropic_messages hermes config set model.api_key YOUR_API_KEY -hermes config set model.default qwen3.7-max +hermes config set model.default qwen3.8-max-preview ``` 以上命令将配置写入 `~/.hermes/config.yaml`。也可以直接编辑该文件，写入以下内容： @@ -62,13 +100,24 @@ config.yaml 配置示例 ``` model: - default: qwen3.7-max + default: qwen3.8-max-preview provider: custom base_url: https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic api_mode: anthropic_messages api_key: YOUR_API_KEY ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -150,4 +199,6 @@ hermes chat -m qwen3.7-max - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md index aec56898..6cd4fc09 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md @@ -1,6 +1,6 @@ # Kilo CLI -Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Kilo CLI** @@ -23,6 +23,8 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding 使用文本编辑器打开配置文件 `~/.config/kilo/config.json`，根据所选方案写入对应配置： +- **Token Plan 个人版**：个人订阅，按 token 消耗抵扣 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -30,6 +32,89 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +需先购买 Token Plan 个人版套餐且套餐处于有效期内。可在[Token Plan 个人版页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)购买套餐。 + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，完整列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +{ + "$schema": "https://kilo.ai/config.json", + "provider": { + "bailian-token-plan-personal": { + "npm": "@ai-sdk/openai-compatible", + "name": "Alibaba Cloud Model Studio", + "options": { + "baseURL": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "apiKey": "YOUR_API_KEY" + }, + "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "reasoning": true, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 262144 + } + } + }, + "qwen3.7-max": { + "name": "Qwen3.7 Max", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.7-plus": { + "name": "Qwen3.7 Plus", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-plus": { + "name": "Qwen3.6 Plus", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-flash": { + "name": "Qwen3.6 Flash", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + } + } + } + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 需先购买 Token Plan 团队版套餐且套餐处于有效期内。可在[Token Plan 团队版页面](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/overview)购买套餐。 @@ -48,6 +133,18 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding "apiKey": "YOUR_API_KEY" }, "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "reasoning": true, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 262144 + } + } + }, "qwen3.7-max": { "name": "Qwen3.7 Max", "options": { @@ -156,6 +253,17 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan-overview#b01f82a4218kx)。 @@ -305,4 +413,6 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md index d3f45eae..1a607972 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md @@ -1,9 +1,31 @@ # 更多工具 -除已列出的工具外，阿里云百炼还支持接入兼容 OpenAI / Anthropic API 协议且支持自定义服务端点的第三方编程工具。可通过按量计费、Coding Plan 或 Token Plan 团队版接入。 +除已列出的工具外，阿里云百炼还支持接入兼容 OpenAI / Anthropic API 协议且支持自定义服务端点的第三方编程工具。可通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入。 ## **配置接入凭证** +### Token Plan 个人版 + +**API 协议** + +**Base URL** + +**API Key** + +**支持模型** + +OpenAI + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)（仅文本生成类） + +Anthropic + +`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` + ### Token Plan 团队版 **API 协议** @@ -97,7 +119,7 @@ Trae 支持接入自定义模型，无需安装插件即可直接配置上述任 ## **不支持的工具类型** -Token Plan 团队版和 Coding Plan 仅限在 AI 编程工具和 OpenClaw 类型 Agent 中使用，以下类型的工具**不支持**接入： +Token Plan 个人版、Token Plan 团队版和 Coding Plan 仅限在 AI 编程工具和 OpenClaw 类型 Agent 中使用，以下类型的工具**不支持**接入： - **工作流/自动化平台**：如 Dify、n8n、Coze 等。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md index 6f73f11e..1af2fb34 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md @@ -1,6 +1,6 @@ # OpenClaw -OpenClaw 是一个开源的个人 AI 助手平台，支持通过多种消息渠道与 AI 交互。通过配置可接入阿里云百炼平台上的 AI 模型，支持按量付费、Coding Plan、Token Plan 团队版三种接入方式。 +OpenClaw 是一个开源的个人 AI 助手平台，支持通过多种消息渠道与 AI 交互。通过配置可接入阿里云百炼平台上的 AI 模型，支持按量付费、Coding Plan、Token Plan 个人版、Token Plan 团队版四种接入方式。 ## **安装 OpenClaw** @@ -84,6 +84,142 @@ How do you want to hatch your bot? ## **配置接入凭证** +### **Token Plan 个人版** + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型包括 qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，完整列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +**API Key** + +Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +**Base URL** + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +**可用模型** + +Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview) + +配置文件位于 `~/.openclaw/openclaw.json`，OpenClaw 启动时会自动读取。 + +**说明** + +示例禁用了网关鉴权（`auth.mode: none`），仅适合单机本地使用。如需共享或远程访问，请运行 `openclaw doctor --fix` 启用 token 鉴权。 + +**首次配置**：复制以下内容到配置文件，将 `YOUR_API_KEY` 替换为 Token Plan 个人版 API Key。 + +**已有配置**：若需保留已有配置，请勿直接全量替换，详见[已有配置如何安全修改](#cp-openclaw-faq-safe-modify)。 + +``` +{ + "meta": { + "lastTouchedVersion": "2026.2.1", + "lastTouchedAt": "2026-02-03T08:20:00.000Z" + }, + "models": { + "mode": "merge", + "providers": { + "bailian-token-plan": { + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "apiKey": "YOUR_API_KEY", + "api": "anthropic-messages", + "models": [ + { + "id": "qwen3.8-max-preview", + "name": "qwen3.8-max-preview", + "reasoning": true, + "input": ["text", "image"], + "contextWindow": 983616, + "maxTokens": 131072, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "qwen3.7-max", + "name": "qwen3.7-max", + "reasoning": false, + "input": ["text"], + "contextWindow": 1000000, + "maxTokens": 65536, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "qwen3.7-plus", + "name": "qwen3.7-plus", + "reasoning": false, + "input": ["text", "image"], + "contextWindow": 1000000, + "maxTokens": 65536, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "qwen3.6-flash", + "name": "qwen3.6-flash", + "reasoning": false, + "input": ["text", "image"], + "contextWindow": 1000000, + "maxTokens": 32768, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "glm-5.2", + "name": "glm-5.2", + "reasoning": false, + "input": ["text"], + "contextWindow": 1000000, + "maxTokens": 16384, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "deepseek-v4-pro", + "name": "deepseek-v4-pro", + "reasoning": false, + "input": ["text"], + "contextWindow": 163840, + "maxTokens": 32768, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } + } + ] + } + } + }, + "agents": { + "defaults": { + "model": { + "primary": "bailian-token-plan/qwen3.8-max-preview" + }, + "models": { + "bailian-token-plan/qwen3.8-max-preview": {}, + "bailian-token-plan/qwen3.7-max": {}, + "bailian-token-plan/qwen3.7-plus": {}, + "bailian-token-plan/qwen3.6-flash": {}, + "bailian-token-plan/glm-5.2": {}, + "bailian-token-plan/deepseek-v4-pro": {} + } + } + }, + "gateway": { + "mode": "local", + "auth": { "mode": "none" } + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### **Token Plan 团队版** 将 `YOUR_API_KEY` 替换为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。可用模型请参考 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -134,6 +270,16 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "apiKey": "YOUR_API_KEY", "api": "anthropic-messages", "models": [ + { + "id": "qwen3.8-max-preview", + "name": "qwen3.8-max-preview", + "reasoning": true, + "input": ["text", "image"], + "contextWindow": 983616, + "maxTokens": 131072, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, { "id": "qwen3.7-max", "name": "qwen3.7-max", @@ -278,9 +424,10 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "agents": { "defaults": { "model": { - "primary": "bailian-token-plan/qwen3.7-plus" + "primary": "bailian-token-plan/qwen3.8-max-preview" }, "models": { + "bailian-token-plan/qwen3.8-max-preview": {}, "bailian-token-plan/qwen3.7-max": {}, "bailian-token-plan/qwen3.7-plus": {}, "bailian-token-plan/qwen3.6-plus": {}, @@ -350,6 +497,16 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "apiKey": "YOUR_API_KEY", "api": "anthropic-messages", "models": [ + { + "id": "qwen3.8-max-preview", + "name": "qwen3.8-max-preview", + "reasoning": true, + "input": ["text", "image"], + "contextWindow": 983616, + "maxTokens": 131072, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, { "id": "qwen3.7-max", "name": "qwen3.7-max", @@ -494,9 +651,10 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "agents": { "defaults": { "model": { - "primary": "bailian-token-plan/qwen3.7-plus" + "primary": "bailian-token-plan/qwen3.8-max-preview" }, "models": { + "bailian-token-plan/qwen3.8-max-preview": {}, "bailian-token-plan/qwen3.7-max": {}, "bailian-token-plan/qwen3.7-plus": {}, "bailian-token-plan/qwen3.6-plus": {}, @@ -526,6 +684,17 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to 先单击 **Save** 按钮将配置写入磁盘，再单击 **Apply** 按钮重启网关使配置生效。 +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### **Coding Plan** 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)（格式为 `sk-sp-xxxxx`）。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -1790,7 +1959,7 @@ Skill 是可扩展的能力模块，Agent 会根据请求自动匹配并加载 ### 接入 MCP 服务 -OpenClaw 支持通过 MCP（Model Context Protocol）插件扩展 Agent 的工具调用能力，例如联网搜索、网页抓取等。具体案例可以参考[添加联网搜索MCP](https://help.aliyun.com/zh/model-studio/web-search-for-coding-plan)。 +OpenClaw 支持通过 MCP（Model Context Protocol）插件扩展 Agent 的工具调用能力，例如联网搜索、网页抓取等。具体案例可以参考[添加联网搜索MCP](https://help.aliyun.com/zh/model-studio/web-search-mcp)。 ## 常见问题 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md index 2f2b6d2a..1aeaab2f 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md @@ -1,6 +1,6 @@ # OpenCode -OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 OpenCode** @@ -30,6 +30,8 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla 根据所选方案写入对应配置： +- **Token Plan 个人版**：个人订阅，按 token 消耗抵扣 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -37,6 +39,102 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +需先购买 Token Plan 个人版套餐且套餐处于有效期内。可在[Token Plan 个人版页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)购买套餐。 + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型包括 qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，详细列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +{ + "$schema": "https://opencode.ai/config.json", + "provider": { + "bailian-token-plan-personal": { + "npm": "@ai-sdk/anthropic", + "name": "Alibaba Cloud Model Studio", + "options": { + "baseURL": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic/v1", + "apiKey": "YOUR_API_KEY" + }, + "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 262144 + }, + "temperature": 0.6, + "reasoning": true + } + }, + "qwen3.7-max": { + "name": "Qwen3.7 Max", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.7-plus": { + "name": "Qwen3.7 Plus", + "modalities": { + "input": ["text", "image"], + "output": ["text"] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-plus": { + "name": "Qwen3.6 Plus", + "modalities": { + "input": ["text", "image"], + "output": ["text"] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-flash": { + "name": "Qwen3.6 Flash", + "modalities": { + "input": ["text", "image"], + "output": ["text"] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + } + } + } + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 需先购买 Token Plan 团队版套餐且套餐处于有效期内。可在[Token Plan 团队版页面](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/overview)购买套餐。 @@ -55,6 +153,19 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla "apiKey": "YOUR_API_KEY" }, "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 262144 + }, + "temperature": 0.6, + "reasoning": true + } + }, "qwen3.7-max": { "name": "Qwen3.7 Max", "options": { @@ -187,6 +298,17 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -291,9 +413,9 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla `baseURL` 按地域设置，API Key 需与所选地域对应： -- 华北2（北京）：`https://dashscope.aliyuncs.com/apps/anthropic/v1` +- 华北2（北京）：`https://dashscope.aliyuncs.com/compatible-mode/v1` -- 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/apps/anthropic/v1`，请将`WorkspaceId`替换为真实的[获取Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu) +- 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1`，请将`WorkspaceId`替换为真实的[获取Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu) ``` @@ -304,7 +426,7 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla "npm": "@ai-sdk/anthropic", "name": "Alibaba Cloud Model Studio", "options": { - "baseURL": "https://dashscope.aliyuncs.com/apps/anthropic/v1", + "baseURL": "https://dashscope.aliyuncs.com/compatible-mode/v1", "apiKey": "YOUR_API_KEY" }, "models": { @@ -368,4 +490,6 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md index 7ca6ebb6..8fdf0861 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md @@ -1,6 +1,6 @@ # Qwen Code -Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Qwen Code** @@ -35,6 +35,8 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl 启动 Qwen Code 后输入 `/auth` 命令进行可视化配置。阿里云百炼提供三种计费方案，根据需要选择： +- **Token Plan 个人版**：按 token 消耗抵扣个人 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -42,6 +44,94 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +编辑或新建 `settings.json` 文件，将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型包括 qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，完整列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。文件路径如下： + +- macOS/Linux：`~/.qwen/settings.json` + +- Windows：`C:\Users\\.qwen\settings.json` + + +``` +{ + "env": { + "BAILIAN_TOKEN_PLAN_API_KEY": "YOUR_API_KEY" + }, + "modelProviders": { + "openai": [ + { + "id": "qwen3.8-max-preview", + "name": "[Token Plan 个人版] qwen3.8-max-preview", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "qwen3.7-max", + "name": "[Token Plan 个人版] qwen3.7-max", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "qwen3.7-plus", + "name": "[Token Plan 个人版] qwen3.7-plus", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "qwen3.6-flash", + "name": "[Token Plan 个人版] qwen3.6-flash", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "glm-5.2", + "name": "[Token Plan 个人版] glm-5.2", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY" + }, + { + "id": "deepseek-v4-pro", + "name": "[Token Plan 个人版] deepseek-v4-pro", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY" + } + ] + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 启动 Qwen Code 后输入 `/auth`，依次选择 **订阅计划** > **阿里云百炼 Token Plan**，输入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list) 即可完成配置。可用模型请参考 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -62,6 +152,17 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl }, "modelProviders": { "openai": [ + { + "id": "qwen3.8-max-preview", + "name": "[Token Plan 团队版] qwen3.8-max-preview", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, { "id": "qwen3.7-max", "name": "[Token Plan 团队版] qwen3.7-max", @@ -207,12 +308,23 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl "region": "china" }, "model": { - "name": "qwen3.7-plus" + "name": "qwen3.8-max-preview" }, "$version": 3 } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 启动 Qwen Code 后输入 `/auth`，依次选择 **订阅计划** > **阿里云百炼 Coding Plan**，选择 Coding Plan 区域（china），输入 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan) 即可完成配置。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -547,7 +659,7 @@ Qwen Code 支持在 VS Code 中以插件方式使用，在 IDE 中提供 AI 编 4. 输入以下内容安装 skill。 ``` - 查看我是否有find skills，没有就直接帮我安装：npx skills add https://github.com/vercel-labs/skills --skill find-skills -y -a qwen-code，然后帮我安装 web-component-design 到当前目录qwen code skills中。 + 查看我是否有find skills，没有就直接帮我安装：npx skills add https://github.com/vercel-labs/skills --skill find-skills -y -a qwen-code，然后从 wshobson/agents 帮我安装 web-component-design 到当前目录：npx skills add https://github.com/wshobson/agents --skill web-component-design -y ``` 5. 下载[website.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260318/ymehla/website.png)到项目目录，输入以下内容，将自动识别截图的布局、样式，生成网页代码。 @@ -593,6 +705,8 @@ Qwen Code 支持在 VS Code 中以插件方式使用，在 IDE 中提供 AI 编 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md b/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md index 74caf7e8..c0c80bcf 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md @@ -79,6 +79,12 @@ API 仅支持[异步调用](../concepts/async-invocation.md)，包含两个步 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/application-call.md b/skills/bailian-docs-llm-wiki/wiki/api/application-call.md index eb343a80..c6ae4dc0 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/application-call.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/application-call.md @@ -1,6 +1,6 @@ # application call -阿里云百炼平台提供两套 API 来调用智能体和工作流应用：**OpenAI 兼容的 Responses API** 和 **DashScope API**。两者均支持同步/[异步调用](../concepts/async-invocation.md)、多轮对话、[流式输出](../concepts/streaming.md)等核心能力，开发者可根据生态兼容性和功能需求选择合适的接入方式。调用前需先获取 APP ID（以及子[业务空间](../concepts/workspace.md)场景下的 Workspace ID）和 [API Key](../concepts/api-key.md)。 +阿里云百炼平台提供两套 API 来调用智能体和[工作流](../concepts/workflow.md)应用：**OpenAI 兼容的 Responses API** 和 **DashScope API**。两者均支持同步/[异步调用](../concepts/async-invocation.md)、多轮对话、[流式输出](../concepts/streaming.md)等核心能力，开发者可根据生态兼容性和功能需求选择合适的接入方式。调用前需先获取 APP ID（以及子[业务空间](../concepts/workspace.md)场景下的 Workspace ID）和 [API Key](../concepts/api-key.md)。 ## 前置准备 @@ -16,7 +16,7 @@ ### 其他前提 - 已获取 [API Key](../concepts/api-key.md) 并配置到环境变量 `DASHSCOPE_API_KEY`。 -- 已创建并发布百炼应用（智能体或工作流）。 +- 已创建并发布百炼应用（智能体或[工作流](../concepts/workflow.md)）。 - 如使用 SDK 调用，需安装对应的 SDK（OpenAI SDK 或 [DashScope SDK](../concepts/dashscope-sdk.md)）。 ## 两套 API 对比 @@ -81,7 +81,7 @@ Responses API 支持在 `content` 数组中混合多种输入类型： ### [流式输出](../concepts/streaming.md) -设置 `stream=true` 可边生成边输出，适用于需要实时展示生成内容的场景。若应用类型为工作流，需在结束节点或流程输出节点中启用「[流式输出](../concepts/streaming.md)」开关并重新发布。 +设置 `stream=true` 可边生成边输出，适用于需要实时展示生成内容的场景。若应用类型为[工作流](../concepts/workflow.md)，需在结束节点或流程输出节点中启用「[流式输出](../concepts/streaming.md)」开关并重新发布。 ## DashScope API @@ -149,3 +149,9 @@ response = await client.responses.create( + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md b/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md index 65de9baf..d155a742 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md @@ -1,165 +1,104 @@ # application component api reference -百炼平台应用组件 API（`bailian/2023-12-29`）提供了数据连接、知识库、Prompt 模板、长期记忆等核心能力的 OpenAPI 接口，采用 ROA 签名风格。开发者可通过阿里云百炼 SDK 直接调用，也可使用自签名方式对接。所有接口均需传入 `WorkspaceId`（[业务空间](../concepts/workspace.md) ID），RAM 子账号需要先获取对应权限策略并加入[业务空间](../concepts/workspace.md)后才能调用。 +阿里云百炼应用组件（`bailian/2023-12-29`）OpenAPI 提供了应用侧的完整能力：**数据连接（原应用数据）、Prompt 模板、知识库（RAG）、记忆（Memory）、临时存储与支付流转**。本页汇总各组件的使用要点、调用顺序、权限与限流规则，帮助开发者快速接入。 -## 服务接入点与鉴权 +## 版本、接入点与 SDK -当前支持两个地域的接入点： +- 本产品采用 [ROA](https://help.aliyun.com/zh/sdk/product-overview/roa-mechanism) 签名风格，官方已封装多语言 SDK，建议直接下载调用而非自签名。详见[API概览](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md)。 +- 支持的地域与公网/VPC 接入地址（华北2·北京 `bailian.cn-beijing.aliyuncs.com`、新加坡 `bailian.ap-southeast-1.aliyuncs.com`）列表见[服务接入点](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-endpoint.md)。 +- 变更内容按时间倒序发布，接入前建议先查阅[版本说明](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-changeset.md)确认最近的入参/结构变动（例如 `CreateIndex`、`UpdateIndex`、`GetIndexMonitor` 等新增或字段调整）。 -| 地域 | 地域 ID | 公网接入地址 | VPC 接入地址 | -|------|---------|-------------|-------------| -| 华北2（北京） | cn-beijing | bailian.cn-beijing.aliyuncs.com | bailian-vpc.cn-beijing.aliyuncs.com | -| 新加坡 | ap-southeast-1 | bailian.ap-southeast-1.aliyuncs.com | bailian-vpc.ap-southeast-1.aliyuncs.com | +## 鉴权与 RAM 权限 -调用前需准备 AccessKey，建议使用 RAM 用户而非主账号以降低安全风险。RAM 权限策略的 RamCode 为 `sfm`，授权粒度为操作级。大多数写操作需要 `AliyunBailianDataFullAccess` 策略，部分只读接口（如 DescribeFile、GetIndexJobStatus）也支持 `AliyunBailianDataReadOnlyAccess`。详见[授权信息](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md)。 +- 阿里云主账号可直接调用全部 API；RAM 子账号必须同时满足：授予百炼 API 权限（推荐挂载 `AliyunBailianDataFullAccess`；只读场景可用 `AliyunBailianDataReadOnlyAccess`）、加入对应[业务空间](../concepts/workspace.md)。 +- RAM 代码为 `sfm`，授权粒度为**操作级**，暂不支持资源级授权，`Resource` 只能写 `*`。完整的 `sfm:*` Action 列表、访问级别和条件关键字见[授权信息](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md)。 + +> **注意**：绝大部分应用组件 API 的授权都是"操作级 + 全部资源"，如果业务需要细粒度隔离，需要通过**[业务空间](../concepts/workspace.md)**而非 RAM Resource 来做，控制台侧完成子账号加入[业务空间](../concepts/workspace.md)的授权。 ## 数据连接（原应用数据） -数据连接相关 API 用于管理类目、文件、解析设置、表格和连接器，是构建知识库的数据基础。 +数据连接是知识库和会话文件的存储底座，围绕**类目 / 文件 / 表格 / 解析器 / 连接器**五类资源。 ### 类目管理 +- `AddCategory`（每[业务空间](../concepts/workspace.md)最多 500 个类目，仅支持非结构化 `UNSTRUCTURED`）、`ListCategory`、`DeleteCategory`。数据表暂不支持通过 API 管理，需去[应用数据](https://bailian.console.aliyun.com/?tab=app#/data-center)控制台操作。 -| API | 说明 | 限流 | 幂等性 | -|-----|------|------|--------| -| AddCategory | 在[业务空间](../concepts/workspace.md)中新建类目，每空间最多 500 个 | 5 次/秒 | 否 | -| ListCategory | 查询类目列表，支持分页 | 5 次/秒 | 是 | -| DeleteCategory | 永久删除指定类目 | 5 次/秒 | 是 | - -> **注意**：当前不支持通过 API 查询或新增数据表，数据表操作请通过控制台完成。 - -### 文件管理 - -文件上传采用两步流程：先调用 ApplyFileUploadLease 获取上传租约，使用返回的 URL 上传文件后，再调用 AddFile 将文件导入百炼。也可通过 AddFilesFromAuthorizedOss 直接从已授权的 OSS Bucket 导入。详见[ApplyFileUploadLease - 申请文件上传租约](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-applyfileuploadlease.md)。 - -| API | 说明 | 限流 | -|-----|------|------| -| ApplyFileUploadLease | 申请上传租约（知识库文件或会话交互文件） | 10 次/秒 | -| AddFile | 将临时存储文件导入数据连接 | 10 次/秒 | -| AddFilesFromAuthorizedOss | 从已授权 OSS Bucket 批量导入文件 | 5 次/秒 | -| DescribeFile | 查询文件基本信息（名称、类型、状态等） | 10 次/秒 | -| ListFile | 分页查询指定类目下的文件列表 | 5 次/秒 | -| UpdateFileTag | 更新单个文件的标签 | 5 次/秒 | -| BatchUpdateFileTag | 批量更新文件标签 | 5 次/秒 | -| DeleteFile | 删除单个文件 | 5 次/秒 | -| DeleteFiles | 批量删除文件 | 5 次/秒 | - -AddFile 接口的 `Parser` 参数支持以下解析器类型： -- `DOCMIND`（智能文档解析） -- `DOCMIND_DIGITAL`（电子文档解析） -- `DOCMIND_LLM_VERSION`（大模型文档解析） -- `DASH_QWEN_VL_PARSER`（Qwen VL 解析） -- `DOCMIND_LLM_VERSION_MEDIA`（音视频解析） -- `AUTO_SELECT`（自动选择解析器） - -### 解析设置 - -| API | 说明 | -|-----|------| -| GetParseSettings | 获取类目的解析设置 | -| GetAvailableParserTypes | 获取指定文件支持的解析器类型列表 | -| ChangeParseSetting | 修改类目的解析设置 | - -### 表格与连接器 - -| API | 说明 | -|-----|------| -| AddTable | 添加表格 | -| UpdateTableFromAuthorizedOss | 从已授权 OSS Bucket 更新表格 | -| AddConnector | 新增连接器 | -| GetConnector | 获取连接器信息（当前仅支持文件连接器） | -| UpdateConnector | 编辑连接器名称和描述 | - -连接器的 `StorageType` 支持 `OSS_CUSTOM`（自有 OSS 存储）和 `OSS_PLATFORM`（平台 OSS 存储）。 +### 文件上传与管理 +标准三段式：先 `ApplyFileUploadLease` 拿租约 → 用租约把二进制上传到临时存储 → 调 `AddFile` 落到指定类目（必须指定 `Parser`，可选 `DOCMIND`、`DOCMIND_DIGITAL`、`DOCMIND_LLM_VERSION`、`DASH_QWEN_VL_PARSER`、`DOCMIND_LLM_VERSION_MEDIA`、`AUTO_SELECT` 等）。也可用 `AddFilesFromAuthorizedOss` 从已授权 OSS Bucket 批量导入（Bucket 不能是归档/冷归档，开启 Referer 防盗链时要放行 `*.console.aliyun.com`）。 +- 查询：`DescribeFile`、`ListFile`。 +- 标签：`UpdateFileTag`、`BatchUpdateFileTag`（每文件最多 100 个标签、总长 ≤ 700，`UpdateMode` 支持 `APPEND` / `OVERWRITE`）。 +- 删除：`DeleteFile`、`DeleteFiles`（单次批量最多 20 个），**仅能删除 `PARSE_SUCCESS` 或 `PARSE_FAILED` 状态**，且不会删除已构建到知识库中的副本（需要用 `DeleteIndexDocument`）。 -## Prompt 工程 +### 解析器 +- `GetAvailableParserTypes` 按文件扩展名（doc/docx/ppt/pptx/xls/xlsx/md/txt/pdf/png/jpg/jpeg/bmp/gif/html）列出可用解析器。 +- `GetParseSettings` / `ChangeParseSetting` 用于按类目为不同文件类型指定默认解析器（例如为 `.pdf` 指定大模型文档解析、为 `.jpg` 指定 Qwen VL 解析）。 -Prompt 模板 API 支持对 Prompt 模板的完整 CRUD 操作。模板内容支持变量占位符（如 `${theme}`），系统会自动提取变量列表。详见[CreatePromptTemplate - 创建Prompt模板](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-createprompttemplate.md)。 +### 表格与连接器 +- `AddTable`、`UpdateTableFromAuthorizedOss` 用于结构化表格数据；表格必须依附于表格连接器。 +- 文件连接器：`AddConnector`（当前仅支持 `ConnectorType=FILE`，可选自有 OSS `OSS_CUSTOM` 或平台 OSS `OSS_PLATFORM`）、`GetConnector`、`UpdateConnector`。 -| API | 方法 | 说明 | -|-----|------|------| -| CreatePromptTemplate | POST | 创建模板（暂不支持文生图模板） | -| GetPromptTemplate | GET | 按模板 ID 获取详情 | -| UpdatePromptTemplate | PATCH | 增量更新模板名称或内容 | -| DeletePromptTemplate | DELETE | 按模板 ID 删除 | -| ListPromptTemplates | GET | 分页查询模板列表，支持按名称和类型（System/Custom）过滤 | +> **注意**：文件类 API 的限流普遍是 5–10 次/秒（如 `ApplyFileUploadLease`、`AddFile`、`DescribeFile`、`DeleteFile` 为 10 次/秒；`ListCategory`、`AddCategory`、`ListFile`、`AddFilesFromAuthorizedOss` 为 5 次/秒），触发限流后需退避重试。 -## 知识库 +## Prompt 模板 -知识库 API 是百炼 RAG 能力的核心，覆盖知识库的创建、数据导入、检索、文件与切片管理全流程。 +- 生命周期接口：`CreatePromptTemplate`、`GetPromptTemplate`、`UpdatePromptTemplate`（PATCH 增量更新）、`DeletePromptTemplate`、`ListPromptTemplates`。 +- 模板内容使用 `${变量}` 占位符，返回结果会解析出 `variables` 列表。 +- `ListPromptTemplates` 支持 `type=System`（系统预置）或 `type=Custom`（用户自定义）过滤，`nextToken` 分页。 +- **`CreatePromptTemplate` 暂不支持文生图 Prompt 模板**，需要在控制台创建。详见[CreatePromptTemplate - 创建Prompt模板](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-createprompttemplate.md)。 -### 知识库生命周期 +## 知识库（RAG） -创建知识库的典型流程为：CreateIndex -> SubmitIndexJob -> 轮询 GetIndexJobStatus 直到完成。详见[CreateIndex - 创建知识库](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md)。 +知识库支持两大形态：**非结构化知识库**（文档/音视频检索）与**结构化知识库**（数据查询 / 图片问答）。 -| API | 说明 | 限流 | -|-----|------|------| -| CreateIndex | 创建知识库（非结构化或结构化），不具幂等性 | 10 次/秒 | -| SubmitIndexJob | 提交知识库创建任务，必须在 CreateIndex 后调用 | 10 次/秒 | -| SubmitIndexAddDocumentsJob | 向已有知识库追加文件（不支持数据查询/图片问答类） | 10 次/秒 | -| GetIndexJobStatus | 查询任务状态，调用间隔建议 5 秒以上 | - | -| UpdateIndex | 更新知识库配置（名称、描述、检索参数等） | - | -| ListIndices | 分页查询[业务空间](../concepts/workspace.md)下的知识库列表 | 10 次/秒 | -| DeleteIndex | 永久删除知识库（不可逆，不删除源文件） | 10 次/秒 | -| GetIndexMonitor | 获取知识库监控数据 | - | +### 创建与提交 +1. `CreateIndex` — 初始化知识库（不具备幂等性，建议先 `ListIndices` 查重再创建）。详见[CreateIndex - 创建知识库](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md)。 +2. `SubmitIndexJob` — 必须紧接 `CreateIndex` 调用，否则得到的是空知识库。任务耗时可达数小时，请勿重复提交。 +3. `SubmitIndexAddDocumentsJob` — 向已有知识库追加文件（**不支持数据查询/图片问答类**）。追加前需要先用 `AddFile` 将文件导入到应用数据。 +4. `GetIndexJobStatus` — 轮询任务状态，建议**间隔 ≥ 5 秒**，且频率不超过 20 次/分钟。 -> **注意**：CreateIndex 仅初始化知识库，必须后续调用 SubmitIndexJob 才能完成创建，否则将得到空知识库。CreateIndex 不具幂等性，重复调用会创建多个同名知识库。 +### 更新与查询 +- `UpdateIndex`：可修改名称、描述、`RerankMinScore`（0–1）、`DenseSimilarityTopK`、`SparseSimilarityTopK`（两者之和 ≤ 200，各自 0–100）、`PipelineCommercialType`（`standard` / `enterprise`）等。 +- `ListIndices`、`ListIndexDocuments`、`ListIndexFileDetails`（更详细的文件级信息）。 +- `Retrieve` — 用自然语言 `Query` 检索知识库，可与百炼[智能体应用](../concepts/agent-application.md)绑定，也可直接调用返回 chunk。建议合理设置超时和重试。 +- `GetIndexMonitor` — 知识库监控指标（属于 2026-01-14 的新增 API，见版本说明）。 -UpdateIndex 支持调整检索参数： -- `DenseSimilarityTopK`：向量检索 Top K，范围 [0-100]，默认 100 -- `SparseSimilarityTopK`：关键词检索 Top K，范围 [0-100]，默认 100 -- 两者之和不超过 200 -- `RerankMinScore`：排序最低分数，范围 [0-1] -- `PipelineCommercialType`：知识库规格（standard / enterprise） +### 分片与删除 +- `ListChunks`、`UpdateChunk`（仅支持文档搜索类知识库；可修改切片 `content`、`title` 以及是否参与检索）、`DeleteChunk`、`AddChunk`。 +- `DeleteIndexDocument` — 从知识库中删除文件（仅 `INSERT_ERROR` / `FINISH` 状态可删；**不会删除应用数据中的原文件**）。 +- `DeleteIndex` — 永久删除整个知识库，删除前需要在控制台解除应用绑定。 -### 知识库检索 +> **注意**：`RetrievalMode`、`ChunkStrategy` 等复杂检索参数会随 `CreateIndex` / `UpdateIndex` 变更（最近一次入参调整发生于 2026-03-30 和 2026-03-27），生产接入前请务必核对最新版本说明。 -Retrieve 接口用于在指定知识库中检索信息，支持通过百炼 SDK（AccessKey 鉴权）或 Spring AI Alibaba（API-Key 鉴权）调用。接口具有幂等性，但因包含复杂检索逻辑，响应时间可能较长，建议合理设置超时和重试策略。详见[Retrieve - 检索知识库](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-retrieve.md)。 +## 记忆（Memory） -### 文件与切片管理 +记忆用于沉淀长期上下文，包含两层资源： -| API | 说明 | -|-----|------| -| ListIndexFileDetails | 查询知识库中文件的详细信息，支持按状态和名称过滤 | -| ListIndexDocuments | 查询知识库中文件的概要信息 | -| DeleteIndexDocument | 从知识库中删除指定文件 | -| ListChunks | 查询文件的切片列表（文档搜索类查指定文件，数据查询类查全部） | -| UpdateChunk | 修改切片内容和标题（仅支持文档搜索类知识库） | -| DeleteChunk | 删除指定切片 | +- **Memory（记忆库）**：`CreateMemory`、`GetMemory`、`UpdateMemory`、`DeleteMemory`、`ListMemories`。 +- **MemoryNode（记忆节点）**：`CreateMemoryNode`、`GetMemoryNode`、`UpdateMemoryNode`、`DeleteMemoryNode`、`ListMemoryNodes`。 -文件导入状态包括：`RUNNING`（构建中）、`FINISH`（成功）、`INSERT_ERROR`（导入失败）、`PARSE_FAILED`（解析失败）、`DOC_PARSING`（解析中）、`DELETED`（已删除）。 +节点必须挂在具体的记忆库下，[业务空间](../concepts/workspace.md)隔离与鉴权规则与其它组件一致。 -## 长期记忆 +## 临时存储与支付流转 -长期记忆 API 用于管理智能体的记忆能力，包括记忆体（Memory）和记忆片段（MemoryNode）两个层级。 +- `ApplyTempStorageLease` — 申请临时存储租约，主要用于会话交互中的短生命周期文件。 +- `GetAlipayUrl` / `GetAlipayTransferStatus` — 用于百炼平台的支付跳转链接生成与状态回查（例如企业开通/续费场景）。 -| API | 说明 | -|-----|------| -| CreateMemory | 创建长期记忆体 | -| GetMemory | 获取记忆体详情 | -| UpdateMemory | 更新记忆体 | -| DeleteMemory | 删除记忆体 | -| ListMemories | 查询记忆体列表 | -| CreateMemoryNode | 创建记忆片段 | -| GetMemoryNode | 获取记忆片段详情 | -| UpdateMemoryNode | 更新记忆片段 | -| DeleteMemoryNode | 删除记忆片段 | -| ListMemoryNodes | 查询记忆片段列表 | +## 通用调用约束 -## 其他 +- **接入方式**：优先使用最新版[阿里云百炼 SDK](https://api.aliyun.com/api-tools/sdk/bailian?version=2023-12-29)，SDK 已封装签名。使用 API-Key 的场景可选用 [Spring AI Alibaba](https://help.aliyun.com/zh/model-studio/spring-ai-alibaba-integrate-knowledge-base) 集成 `Retrieve`。 +- **[业务空间](../concepts/workspace.md) ID**：几乎所有接口都以 `WorkspaceId` 作为路径参数，需要在控制台或[如何使用业务空间](https://help.aliyun.com/zh/model-studio/use-workspace)获取。 +- **幂等性**：`ListCategory`、`DeleteCategory`、`DescribeFile`、`ListFile`、`DeleteFile`、`DeleteFiles`、`GetIndexJobStatus`、`Retrieve`、`ListIndices`、`ListIndexDocuments`、`ListIndexFileDetails`、`DeleteIndex`、`DeleteIndexDocument`、`ListChunks`、`UpdateChunk` 等**多为幂等**；`AddCategory`、`AddFile`、`AddConnector`、`AddTable`、`CreateIndex`、`SubmitIndexJob`、`SubmitIndexAddDocumentsJob`、`ChangeParseSetting`、`ApplyFileUploadLease`、`AddFilesFromAuthorizedOss`、`UpdateTableFromAuthorizedOss` 等**不具备幂等性**，需业务侧做去重。 +- **限流**：单接口普遍在 5–15 次/秒；`ListIndexDocuments` 上限 15 次/秒，`ApplyFileUploadLease` / `AddFile` 等 10 次/秒，类目与批量操作 5 次/秒。触发限流后建议按指数退避重试。 +- **常见错误码**：文件类多为 `DataCenter.*`（如 `DataCenter.FileTooLarge`）；Prompt 模板为 `PromptTemplate.*`（`ContentInvalid`、`NameInvalid`、`TemplateNotFound`、`InternalError`）；知识库为 `Index.*`（`Index.InvalidParameter`、`Index.Forbidden` 等）。完整错误码到[错误中心](https://api.aliyun.com/document/bailian/2023-12-29/errorCode)查询。 -| API | 说明 | -|-----|------| -| ApplyTempStorageLease | 申请临时文件上传许可 | -| GetAlipayTransferStatus | 查询支付宝打赏状态 | -| GetAlipayUrl | 获取支付宝打赏 URL | +## 典型接入流程 -## 通用注意事项 +以"构建一个企业知识问答机器人"为例的最小闭环： -- 所有接口均需 `WorkspaceId` 路径参数，获取方式参见[业务空间](../concepts/workspace.md)文档 -- 建议使用官方 SDK 调用而非自签名，自签名对接复杂度高（约需 5 个工作日） -- 分页查询使用 `NextToken` / `MaxResults` 模式（部分接口使用 `PageNumber` / `PageSize`） -- 各接口限流频率为 5-15 次/秒不等，触发限流后需等待后重试 -- 版本变更历史可查看[版本说明](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-changeset.md)，近期变更包括 CreateIndex 入参调整、UpdateIndex 新增、GetIndexMonitor 新增等 +1. 用 `AddCategory` 创建业务类目 → `ApplyFileUploadLease` + `AddFile`（或 `AddFilesFromAuthorizedOss`）导入文档；用 `DescribeFile` 轮询解析状态。 +2. `CreateIndex` 创建非结构化知识库 → `SubmitIndexJob` 提交构建 → `GetIndexJobStatus` 轮询直到 `FINISH`。 +3. 后续追加文档时：`AddFile` → `SubmitIndexAddDocumentsJob` → `GetIndexJobStatus`。 +4. 应用层：把知识库通过控制台绑定到[智能体应用](../concepts/agent-application.md)，或在应用调用里传 `rag_options.IndexId`；也可直接调用 [Retrieve - 检索知识库](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-retrieve.md) 获取切片。 +5. 运营态：`ListChunks` / `UpdateChunk` 精修召回内容，`DeleteIndexDocument` 下线过期文档，`UpdateIndex` 调整 Top-K 和重排阈值。 ## 来源文档 @@ -220,9 +159,7 @@ Retrieve 接口用于在指定知识库中检索信息，支持通过百炼 SDK - [UpdateMemoryNode - 更新记忆片段](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-updatememorynode.md) - [DeleteMemoryNode - 删除记忆片段](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-deletememorynode.md) - [ListMemoryNodes - 获取记忆片段列表](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-listmemorynodes.md) - - - +- [AddChunk - 新增切片](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md b/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md index 912b6483..a67d356f 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md @@ -1,6 +1,6 @@ # file management api -文件管理 API 用于管理上传至百炼平台的文件，覆盖上传、查询、列举和删除等基础操作。它是使用需要文件输入的模型能力（如文档解析、多模态理解、批量任务等）的前置步骤，开发者需先将文件上传到平台并获取文件标识，再在后续调用中引用。详见 [文件管理](../../raw/model-api-reference/file-management-api.md)。 +文件管理 API 用于管理上传至百炼平台的文件，覆盖上传、查询、列举和删除等基础操作。它是使用需要文件输入的模型能力（如文档解析、[多模态](../concepts/multimodal.md)理解、批量任务等）的前置步骤，开发者需先将文件上传到平台并获取文件标识，再在后续调用中引用。详见 [文件管理](../../raw/model-api-reference/file-management-api.md)。 ## 核心功能 @@ -36,3 +36,9 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md b/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md index c4de7ce6..7980397c 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md @@ -121,7 +121,7 @@ this.chatClient = builder ## 限制与注意事项 - LlamaIndex 云端方案不支持自定义文档切分与嵌入模型；本地需可访问公网，文件上传与生成回答均需等待。 -- Spring AI Alibaba 应用集成仅支持[智能体应用](../concepts/agent-application.md)与工作流应用，其他应用类型不在支持范围。 +- Spring AI Alibaba 应用集成仅支持[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用，其他应用类型不在支持范围。 - 知识库检索需提前创建好知识库并获取其名称；检索默认[业务空间](../concepts/workspace.md)知识库无需配置 `workspace-id`。 - 子[业务空间](../concepts/workspace.md)场景必须配置对应的[业务空间](../concepts/workspace.md) ID 环境变量，否则会鉴权或定位失败。 - [API Key](../concepts/api-key.md) 一律通过环境变量注入，切勿硬编码到源码或配置文件中。 @@ -145,6 +145,12 @@ this.chatClient = builder + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md b/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md index 18e498c4..2d0b6f07 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md @@ -1,55 +1,106 @@ # image generation -阿里云百炼平台提供了一整套图像生成与编辑 API，覆盖文生图、图像编辑、图像翻译以及大量垂直创意工具（虚拟模特、鞋靴模特、扩图、擦除补全、海报生成等）。这些接口以 DashScope 网关为基础，模型来自千问（Qwen-Image）、通义万相（Wan/WanX）、Z-Image、可灵（Kling）、Vidu 等多个系列。本文面向开发者，梳理各类模型能力、调用方式、关键参数及常见限制。 - -## 支持的模型与功能 - -按能力可将图像模型大致分为四类： - -- **通用文生图**：千问文生图（qwen-image 系列，擅长复杂文本渲染）、万相文生图 V2（wan2.6-t2i / wan2.5-t2i-preview / wan2.2-t2i-* / wanx2.1-t2i-*）、万相文生图 V1（wanx-v1，仅存量）、轻量快速的 z-image-turbo，以及可灵、Vidu 系列。详见 [千问-文生图API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md) 与 [万相-文生图V2版API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-v2-api-reference.md)。 -- **图像编辑 / 多图融合**：千问图像编辑（qwen-image-edit 系列，支持多图输入输出、改文字/增删物体/风格迁移）、万相通用图像编辑 2.5/2.6/2.7、万相通用图像编辑（wanx2.1-imageedit，支持风格化、指令编辑、局部重绘、去水印、扩图、超分、上色、线稿生图）、图像局部重绘（wanx-x-painting）。参见 [千问-图像编辑API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-edit-api.md) 与 [万相-通用图像编辑API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/wanx-image-edit-api-reference.md)。 -- **图像翻译**：千问图像翻译（qwen-mt-image），精准翻译图中文字并保留排版。见 [千问-图像翻译API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-mt-image-api.md)。 -- **垂直创意工具**：人像风格重绘（wanx-style-repaint-v1）、虚拟模特（wanx-virtualmodel / virtualmodel-v2）、鞋靴模特（shoemodel-v1）、图像画面扩展（image-out-painting）、创意海报生成（wanx-poster-generation-v1）、人物实例分割（image-instance-segmentation）、AI 试衣 OutfitAnyone（aitryon 系列）、图像背景生成（wanx-background-generation-v2）、图像擦除补全（image-erase-completion）、人物写真 FaceChain、创意文字 WordArt 锦书。 - -## 调用方式 - -图像 API 主要有两种调用协议，选择取决于模型版本： - -- **异步调用（传统主流）**：由于生成耗时较长（通常 1-2 分钟），多数模型仅支持异步。流程为「创建任务 → 轮询获取结果」两步：先 POST 创建任务拿到 `task_id`，再用 `task_id` 查询状态直至 `SUCCEEDED` 并取回图像 URL。任务创建请求必须携带请求头 `X-DashScope-Async: enable`，否则会报错 `current user api does not support synchronous calls`。返回的图像 URL 有效期为 24 小时，`task_id` 有效期也为 24 小时，请勿重复创建任务。 -- **HTTP 同步调用（新版协议）**：仅新版模型支持，一次请求即可拿到结果，流程更简单，推荐大多数场景使用。目前支持同步的有 **wan2.6 / wan2.7 图像模型**、**z-image-turbo** 等，走 `multimodal-generation/generation` 端点。 - -> **注意**：同步调用仅限新版模型。以万相文生图为例，wan2.6 支持 HTTP 同步/异步与 SDK 调用，而 **wan2.5 及以下版本不支持 HTTP 同步调用**，只能异步 + SDK。请勿把同步协议用在旧模型上。 - -任务状态取值：`PENDING`（排队）、`RUNNING`（处理中）、`SUSPENDED`（挂起）、`SUCCEEDED`（成功）、`FAILED`（失败）。 - -不同模型使用的服务端点也不同，常见的有： - -- `.../aigc/text2image/image-synthesis`（万相 V1、创意海报等文生图） -- `.../aigc/image2image/image-synthesis`（图像编辑、涂鸦、局部重绘、图像翻译、擦除补全等） -- `.../aigc/multimodal-generation/generation`（wan2.6/2.7、z-image 等新版） -- `.../aigc/image-generation/generation`（可灵、Vidu、人像风格重绘） -- `.../aigc/virtualmodel/generation`（虚拟模特、鞋靴模特） -- `.../aigc/image2image/out-painting`（图像画面扩展） -- `.../aigc/background-generation/generation`（图像背景生成） - -## 关键参数 - -- **鉴权与请求头**：`Authorization: Bearer $DASHSCOPE_API_KEY`（必选）、`Content-Type: application/json`（必选）、异步接口需 `X-DashScope-Async: enable`。子账号调用可通过 `X-DashScope-WorkSpace` 指定业务空间 ID。 -- **input**：文生图通常传 `prompt`（可选 `negative_prompt` 反向提示词）；图像编辑/参考图任务传 `image_url` / `images` / `base_image_url` / `mask_image_url` 等；新版多模态模型使用 `messages`（含 `text` 与 `image` 的 content 数组）结构。 -- **parameters**：`size`（分辨率，格式 `宽*高` 或档位如 `1K`/`2K`/`4K`）、`n`（生成张数）、`style`、`watermark`、`prompt_extend`（智能改写/思考，如 z-image、wan2.6）、`thinking_mode`、`aspect_ratio`/`resolution`（可灵）等，随模型而异。 - -输出图像规格差异较大：例如千问 Pro/Plus 系列总像素需在 512\*512 至 2048\*2048 之间、可 1-6 张；万相 2.6 总像素在 [1280\*1280, 1440\*1440]、宽高比 [1:4, 4:1]；可灵支持 1k/2k/4k 及组图；z-image 固定 1 张。具体以各模型文档为准。 +阿里云百炼平台提供覆盖文生图、图像编辑、图像翻译、创意工具、AI 试衣等场景的图像生成模型矩阵，包含 Qwen-Image、通义万相（Wan/WanX）、Z-Image、可灵 Kling、Vidu 等多家系列。所有模型都通过 DashScope 网关以 REST / SDK 方式调用，大多数长耗时任务采用 `X-DashScope-Async: enable` 的异步"创建任务 → 轮询 task_id"两步流程，只有较新的 wan2.6 / wan2.7 / z-image / qwen-image 系列支持 HTTP 同步调用。 + +## 支持的模型与能力 + +按定位划分，可以将图像生成模型分为几类： + +- **通用文生图 / 图像编辑（旗舰）**： + - Qwen-Image 系列（qwen-image-2.0-pro / qwen-image-2.0 / qwen-image-max / qwen-image-plus / qwen-image）擅长复杂**文本渲染**与多行段落级排版，输出总像素 512×512 ~ 2048×2048，可自由设置宽高，图像张数 1~6，详见 [千问-文生图API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md)。 + - Qwen-Image-Edit 系列（qwen-image-2.0-pro / qwen-image-edit-max / qwen-image-edit-plus / qwen-image-edit）支持多图输入、多图输出、改字、增删物体、动作与风格迁移，见 [千问-图像编辑API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-edit-api.md)。 + - 万相 wan2.7-image / wan2.7-image-pro 支持文生图、文生组图、图生组图、图像编辑与多图参考，`pro` 版文生图支持 4K 输出（图像编辑和组图最高 2K），参考 [万相-图像生成与编辑2.7 API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/wan-image-generation-and-editing-api-reference.md)。 + - 万相 wan2.6-image、wan2.6-t2i、wan2.5-t2i-preview、wan2.5-i2i-preview、wan2.2/wan2.1/wan2.0 全系列覆盖文生图与图像编辑，见 [万相-文生图V2版API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-v2-api-reference.md)、[万相-图像生成与编辑2.6 API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/wan-image-generation-api-reference.md) 与 [万相-通用图像编辑2.5](../../raw/model-api-reference/image-generation/wan-image-api-reference/wan2-5-image-edit-api-reference.md)。 + +- **轻量 / 高性价比文生图**： + - `z-image-turbo` 轻量模型，总像素 512×512 ~ 2048×2048，固定 1 张，支持中英文渲染，见 [Z-Image API参考](../../raw/model-api-reference/image-generation/z-image-generation-api-reference/z-image-api-reference.md)。 + - `wanx-v1` 为文生图 V1 版，仅北京地域，0.16 元/张（[万相-文生图V1版API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-api-reference.md)），官方推荐迁移至 V2。 + +- **第三方模型**： + - Kling：`kling/kling-v3-image-generation`（文生图 / 单图参考）与 `kling/kling-v3-omni-image-generation`（多图参考 + 分镜组图），支持 1K/2K/4K、16:9/9:16/1:1，见 [可灵-图像生成API参考](../../raw/model-api-reference/image-generation/kling-image-api-reference/kling-image-generation-api-reference.md)。 + - Vidu：`vidu/vidu-image_reference2image`、`viduq3-fast_reference2image`、`viduq2-pro/fast_reference2image` 支持文生图、图片编辑、参考图生图（最多 14 张参考图），见 [Vidu-图像生成API参考](../../raw/model-api-reference/image-generation/vidu-image-models/vidu-image-generation-api-reference.md)。 + +- **专项创意工具**（多为北京地域独占，且部分仅提供**免费体验**）： + - 图像翻译 `qwen-mt-image`（保留排版翻译图内文字，支持中/英与其他语种互译）：[千问-图像翻译API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-mt-image-api.md)。 + - 通用图像编辑 `wanx2.1-imageedit`（风格化、指令编辑、局部重绘、去水印、扩图、超分、上色、线稿生图）：[万相-通用图像编辑API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/wanx-image-edit-api-reference.md)。 + - 涂鸦作画 `wanx-sketch-to-image-lite`：[万相-涂鸦作画API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/wanx-sketch-to-image-api-reference.md)。 + - 图像局部重绘 `wanx-x-painting`：[万相-图像局部重绘API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/vary-region-api-reference.md)。 + - 人像风格重绘 `wanx-style-repaint-v1`：[人像风格重绘API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/portrait-style-redraw-api-reference.md)。 + - 虚拟模特 `wanx-virtualmodel` / `virtualmodel-v2`：[虚拟模特API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/virtual-model-api-details.md)。 + - 鞋靴模特 `shoemodel-v1`：[鞋靴模特API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/shoe-model-api.md)。 + - 图像画面扩展 `image-out-painting`：[图像画面扩展API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-scaling-api.md)。 + - 创意海报 `wanx-poster-generation-v1`：[创意海报生成API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md)。 + - 人物实例分割 `image-instance-segmentation`：[人物实例分割API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-instance-segmentation-api-reference.md)。 + - AI 试衣（`aitryon` / `aitryon-plus` / `aitryon-refiner` / `aitryon-parsing-v1`）：[AI试衣OutfitAnyone](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/outfitanyone.md)。 + - 背景生成 `wanx-background-generation-v2`：[图像背景生成API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md)。 + - 擦除补全 `image-erase-completion`：[图像擦除补全API参考](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-erase-completion-api-reference.md)。 + - 人物写真 FaceChain：[人物写真生成FaceChain](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/facechain-portrait-generation.md)。 + - WordArt 锦书：[创意文字WordArt锦书](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/wordart-quick-start.md)。 + +## 调用方式与端点 + +- **协议**：所有模型都提供 HTTP，多数还提供 DashScope Python / Java SDK。 +- **同步调用**（一次请求即返回图）：仅 wan2.5+/wan2.6/wan2.7 系列、Z-Image、qwen-image 系列同步接口支持。同步接口路径通常为 `/api/v1/services/aigc/multimodal-generation/generation`。 +- **[异步调用](../concepts/async-invocation.md)**（两步：创建任务 → 轮询 task_id）：适用于所有 v2.1 及以下的万相模型、图像编辑、涂鸦、扩图、海报、虚拟模特、可灵、Vidu 等，路径按业务分为 `text2image/image-synthesis`、`image2image/image-synthesis`、`image-generation/generation`、`virtualmodel/generation`、`background-generation/generation`、`out-painting` 等。异步创建请求必须携带 `X-DashScope-Async: enable`，`task_id` 有效期为 24 小时，切勿重复创建。生成图 URL 有效期同样 **24 小时**。 +- **地域与域名**：华北2（北京）、新加坡、美国（弗吉尼亚）地域拥有**独立的 [API Key](../concepts/api-key.md) 与请求地址，跨地域调用会鉴权失败**。推荐使用[业务空间](../concepts/workspace.md)专属域名： + - 北京：`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + - 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + - 弗吉尼亚：`https://dashscope-us.aliyuncs.com` + - 原有 `https://dashscope.aliyuncs.com` / `https://dashscope-intl.aliyuncs.com` 仍可用。 +- **鉴权**：`Authorization: Bearer $DASHSCOPE_API_KEY`；RAM 子账号需要以 `X-DashScope-WorkSpace` 指定[业务空间](../concepts/workspace.md) ID。 + +## 关键参数速览 + +不同模型的字段差异较大，但存在若干共性字段： + +- `model`（必填）：模型名，如 `wanx2.1-t2i-turbo`、`qwen-image-2.0-pro`、`wan2.6-image`。 +- `input.prompt` / `input.messages[].content[].text`：正向提示词；`input.negative_prompt` 为反向提示词（wanx 系列）。 +- `input.messages[].content[].image` / `input.images` / `input.image_url` / `input.base_image_url`：单图或多图参考输入。多图编辑（qwen-image-edit、wan2.5-i2i、wan2.6-image、wan2.7、kling-omni、vidu）通过 messages 中的 image 数组或 images 列表传入。 +- `parameters.size`： + - qwen-image：总像素 512×512 ~ 2048×2048，自由宽高（qwen-image-max 只能从预设集合选）。 + - wan2.6-image、wan2.7-image：使用 `1K` / `2K` / `4K` 关键字。 + - z-image-turbo：总像素 512×512 ~ 2048×2048。 + - wanx v1/v2.1：形如 `1024*1024`。 +- `parameters.n`：生成张数。qwen-image 1~6、wan2.6/2.7 通常 1~4、Kling 1~9、vidu 固定 1、多数 wanx v1/专项工具固定 1。 +- `parameters.watermark`：是否叠加水印（默认 true，可关）。 +- `parameters.prompt_extend` / `parameters.thinking_mode`：智能扩写/思考模式，wan2.6+、qwen-image、z-image 均支持，开启后系统会先润色提示词再生成，响应时间增加。 +- `parameters.enable_interleave` + `parameters.stream`（wan2.6/2.7）：开启图文混排输出时**必须走流式**，同时设置 `X-DashScope-Sse: enable`。 +- `parameters.seed`、`parameters.style`、`parameters.sketch_weight`、`parameters.short_side_size` 等专用字段随模型不同而异。 + +## 使用流程模板 + +以[异步调用](../concepts/async-invocation.md)文生图为例： + +```bash +curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/text2image/image-synthesis \ + -H 'X-DashScope-Async: enable' \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ + -H 'Content-Type: application/json' \ + -d '{ + "model": "wanx2.1-t2i-turbo", + "input": { "prompt": "一间有着精致窗户的花店" }, + "parameters": { "size": "1024*1024", "n": 1 } + }' +``` + +返回 `task_id` 后，使用 `GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` 轮询直至 `task_status=SUCCEEDED`，从 `output.results[].url` 取图。 + +对于 wan2.6+/wan2.7/qwen-image/z-image 的同步调用，把 URL 换成 `/multimodal-generation/generation`，去掉 `X-DashScope-Async` 请求头，即可一次拿到 base64 或 URL 结果。 ## 限制与注意事项 -- **地域隔离**：华北2（北京）、新加坡、美国（弗吉尼亚）等地域拥有**独立的 API Key 与请求地址，不可混用**，跨地域调用会导致鉴权失败或报错。相当一部分创意工具（如虚拟模特、鞋靴模特、人像风格重绘、图像翻译、可灵、Vidu 等）**仅在华北2（北京）地域可用**。 -- **专属域名迁移**：百炼为北京/新加坡地域推出业务空间专属域名（`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` / `...ap-southeast-1.maas.aliyuncs.com`），性能与稳定性更佳，建议从 `https://dashscope.aliyuncs.com` 迁移。旧域名仍可用。 -- **图片 URL 必须公网可访问**：使用自有图片时若报 `BadRequest.InputDownloadFailed`（下载图片失败），需确认 URL 完整、支持公网访问，可上传至 OSS 等云存储；URL 中不能包含中文字符。相关排查见 [常见问题](../../raw/model-api-reference/image-generation/image-faq.md)。 -- **计费与限流**：只对成功生成的输出图片计费，输入图片和失败任务不计费；免费额度（通常 500 张）有效期 90 天，主账号与 RAM 子账号共享额度与限流。部分模型标注「限时免费」（公测阶段，额度用尽即不可用）。 +- **图像 URL 必须公网可访问**：常见报错 `BadRequest.InputDownloadFailed / Reference image download failed`，多数是链接不通、权限受限或含中文字符。建议托管到 OSS 等云存储，见 [常见问题](../../raw/model-api-reference/image-generation/image-faq.md)。 +- **异步请求头缺失**：缺少 `X-DashScope-Async: enable` 会报 `current user api does not support synchronous calls`。 +- **地域隔离**：跨地域用错 [API Key](../concepts/api-key.md) 会鉴权失败。qwen-mt-image、wanx v1、wanx-imageedit、wanx-x-painting、wanx-sketch-to-image、wanx-style-repaint、virtualmodel、shoemodel、image-out-painting、poster、instance-segmentation、outfitanyone、background-generation、erase-completion、wordart 等**仅在华北2（北京）**可用。 +- **[计费](../concepts/billing.md)**：只对**成功生成**的输出图收费，失败与输入图不[计费](../concepts/billing.md)；免费额度 500 张，有效期 90 天，主账号与 RAM 子账号共享。 +- **限流**：任务下发 QPS 一般为 2，同时处理中任务数量视模型而定（1~5），主子账号共享。 +- **图像 URL 有效期**：生成的图片 URL 有效期 **24 小时**，请及时下载或转储。 -> **注意**：多个模型（如 wanx-x-painting 局部重绘、wanx-virtualmodel/virtualmodel-v2 虚拟模特、wanx-poster-generation-v1 海报生成、image-erase-completion 擦除补全等）当前**仅供免费体验，额度用完后不可调用且不支持付费**，官方推荐迁移到千问图像编辑或万相 2.1 等替代方案。新项目集成前请确认目标模型的商业化状态。 +> **注意**：部分模型仅提供**免费体验**、免费额度用完后不可付费调用，包括 `wanx-x-painting`（局部重绘）、`wanx-virtualmodel` / `virtualmodel-v2`（虚拟模特）、`shoemodel-v1`（鞋靴模特）、`wanx-poster-generation-v1`（创意海报）、`image-instance-segmentation`（人物实例分割）、`image-erase-completion`（图像擦除补全）。官方推荐的替代方案是 [千问-图像编辑](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-edit-api.md) 或 [万相-通用图像编辑](../../raw/model-api-reference/image-generation/wan-image-api-reference/wanx-image-edit-api-reference.md)。 -> **注意**：万相文生图 V1（wanx-v1）已被 V2 版全面替代，官方推荐使用 V2；旧版仅适用于北京地域。选择模型时优先考虑最新版本。 +> **注意**：文档中不同模型的 QPS 单位存在差异（多数为 QPS，`wanx2.1-imageedit` 与 `image-out-painting` 描述为 RPS/QPS 混用），实际以百炼控制台的模型详情页为准。 + +> **注意**：`wanx-v1`（文生图 V1）与 `wanx-x-painting`、`wanx-virtualmodel` 等旧模型已被标记建议迁移，新项目请优先使用 wan2.5+/wan2.6/wan2.7/qwen-image 系列，以获得更好的分辨率、稳定性和跨地域可用性。 ## 来源文档 @@ -81,3 +132,8 @@ - [Vidu-图像生成API参考](../../raw/model-api-reference/image-generation/vidu-image-models/vidu-image-generation-api-reference.md) + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md b/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md index 6af4d028..5d35fc91 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md @@ -35,7 +35,7 @@ https://{workspaceId}.cn-beijing.maas.aliyuncs.com - 知识检索接口适合需要自定义生成流程的场景：拿到排序后的切片后，自行拼接 [prompt](../guides/prompt.md) 调用大模型。 - 知识问答接口适合开箱即用的问答场景：服务端自动完成规划、检索、生成，通过 SSE 流式返回三个阶段的结果。 -- 调用前确认 API Key 与[业务空间](../concepts/workspace.md) ID 已正确配置，详见 [知识检索与问答](../../raw/application-api-reference/knowledge.md)。 +- 调用前确认 [API Key](../concepts/api-key.md) 与[业务空间](../concepts/workspace.md) ID 已正确配置，详见 [知识检索与问答](../../raw/application-api-reference/knowledge.md)。 ## 来源文档 @@ -54,5 +54,11 @@ https://{workspaceId}.cn-beijing.maas.aliyuncs.com + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md b/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md index 75c168a8..1f7edab0 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md @@ -1,6 +1,6 @@ # long term memory new -百炼平台的「长期记忆（新）」提供一组 RESTful API，用于存储、检索、更新和删除用户记忆片段，并支持通过画像模板（profile schema）维护用户画像。记忆片段会从对话中自动提取关键信息，可在后续对话中通过语义检索召回，从而实现跨会话的个性化上下文。完整接口参考见 [长期记忆（新）API 参考](../../raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md)。 +百炼平台的「[长期记忆](../concepts/long-term-memory.md)（新）」提供一组 RESTful API，用于存储、检索、更新和删除用户记忆片段，并支持通过画像模板（profile schema）维护用户画像。记忆片段会从对话中自动提取关键信息，可在后续对话中通过语义检索召回，从而实现跨会话的个性化上下文。完整接口参考见 [长期记忆（新）API 参考](../../raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md)。 ## 公共请求信息 @@ -12,7 +12,7 @@ ## 接口概览 -长期记忆（新）提供以下 API 接口： +[长期记忆](../concepts/long-term-memory.md)（新）提供以下 API 接口： | 接口名称 | HTTP 方法 | 路径 | 说明 | | --- | --- | --- | --- | @@ -223,6 +223,12 @@ asyncio.run(add_memory_example()) + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md b/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md index 021b21a6..dac0855b 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md @@ -1,6 +1,6 @@ # [managed agents](../guides/managed-agents.md) api -Managed Agents API 是百炼平台提供的智能体托管运行时，由平台负责会话管理、沙箱执行、工具调用与事件流推送。开发者通过 REST API 或 SDK 完成 Agent 定义、Environment 配置、Session 创建与事件交互，五分钟即可跑通端到端流程。详细的认证方式与 SDK 版本要求见 [API 总览与认证](../../raw/application-api-reference/managed-agents-api/managed-agents-api-overview.md)。 +Managed Agents API 是百炼平台提供的智能体托管运行时，由平台负责会话管理、沙箱执行、工具调用与[事件流](../concepts/event-stream.md)推送。开发者通过 REST API 或 SDK 完成 Agent 定义、Environment 配置、Session 创建与事件交互，五分钟即可跑通端到端流程。详细的认证方式与 SDK 版本要求见 [API 总览与认证](../../raw/application-api-reference/managed-agents-api/managed-agents-api-overview.md)。 ## 核心概念与资源模型 @@ -142,3 +142,9 @@ Managed Agents 模块通过 [DashScope SDK](../concepts/dashscope-sdk.md) 接入 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/model-production.md b/skills/bailian-docs-llm-wiki/wiki/api/model-production.md index f2c1d6e0..5791c7f4 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/model-production.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/model-production.md @@ -22,7 +22,7 @@ 详细的接口定义和参数说明请参考[模型部署](../../raw/model-api-reference/model-production/deployments-api.md)文档。 -## 典型工作流 +## 典型[工作流](../concepts/workflow.md) 1. 准备训练数据集 2. 通过调优 API 提交微调训务，等待训练完成 @@ -44,3 +44,9 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md b/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md index b2130305..ceae7e0c 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md @@ -14,9 +14,9 @@ POST https://dashscope.aliyuncs.com/api/v1/tokens?expire_in_seconds= - `expire_in_seconds`：有效期，范围 [1, 1800] 秒，默认 60 秒。 - 返回的 `token` 字段即为临时 [API Key](../concepts/api-key.md)，`expires_at` 为 UNIX 过期时间戳。 -- 临时 API Key 继承生成它的永久 API Key 的全部权限，到期后自动失效，无法手动删除。 +- 临时 [API Key](../concepts/api-key.md) 继承生成它的永久 [API Key](../concepts/api-key.md) 的全部权限，到期后自动失效，无法手动删除。 -> **注意**：各地域的 API Key 不同，新加坡地域需将 Endpoint 中的 WorkspaceId 替换为实际值。 +> **注意**：各地域的 [API Key](../concepts/api-key.md) 不同，新加坡地域需将 Endpoint 中的 WorkspaceId 替换为实际值。 ## 异步任务管理 @@ -63,13 +63,13 @@ POST https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}/cancel ## 子[业务空间](../concepts/workspace.md)的模型调用 -默认[业务空间](../concepts/workspace.md)的 API Key 拥有所有模型的调用权限。如需按业务线隔离权限或分账，可使用[子业务空间的模型调用](../../raw/model-api-reference/more-about-models/model-calling-in-sub-workspace.md)。 +默认[业务空间](../concepts/workspace.md)的 [API Key](../concepts/api-key.md) 拥有所有模型的调用权限。如需按业务线隔离权限或分账，可使用[子业务空间的模型调用](../../raw/model-api-reference/more-about-models/model-calling-in-sub-workspace.md)。 **使用要点**： -- 必须使用子[业务空间](../concepts/workspace.md)自身的 API Key 进行调用。 +- 必须使用子[业务空间](../concepts/workspace.md)自身的 [API Key](../concepts/api-key.md) 进行调用。 - 调用标准模型（如 `qwen-plus`）前，需为该空间设置模型调用权限。 -- 调用在百炼上调优并部署的模型无需额外授权，但仅能由其所在空间的 API Key 调用。 +- 调用在百炼上调优并部署的模型无需额外授权，但仅能由其所在空间的 [API Key](../concepts/api-key.md) 调用。 - 支持 OpenAI 兼容方式和 DashScope 方式调用，但调优后模型仅支持 DashScope 方式。 ## 上传本地文件获取临时 URL @@ -80,7 +80,7 @@ POST https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}/cancel - 文件有效期 48 小时，过期自动清理。 - 上传时必须指定模型名称，且与后续调用的模型一致，不同模型无法共享文件。 -- 上传与调用的 API Key 必须属于同一阿里云主账号。 +- 上传与调用的 [API Key](../concepts/api-key.md) 必须属于同一阿里云主账号。 - 单文件不超过 1GB，上传凭证接口限流 100 QPS。 - 使用 `oss://` 形式的 URL 调用模型时，HTTP 请求头中必须添加 `X-DashScope-OssResourceResolve: enable`。 @@ -126,3 +126,9 @@ POST https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}/cancel + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/more-models.md b/skills/bailian-docs-llm-wiki/wiki/api/more-models.md index 65fa010b..66e11387 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/more-models.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/more-models.md @@ -134,6 +134,12 @@ completion = client.chat.completions.create( + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/more.md b/skills/bailian-docs-llm-wiki/wiki/api/more.md index 43d4533d..636594e7 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/more.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/more.md @@ -127,6 +127,12 @@ resp = client.retrieve('请传入实际的业务空间ID', retrieve_request) + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md b/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md index 9a40d452..6bd25df2 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md @@ -177,3 +177,9 @@ conversation.updateSession(OmniRealtimeConfig.builder() + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/preparations.md b/skills/bailian-docs-llm-wiki/wiki/api/preparations.md index b4840377..afbfdac6 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/preparations.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/preparations.md @@ -1,25 +1,25 @@ # preparations -本页汇总在阿里云百炼平台调用模型 API 前的准备工作，涵盖获取鉴权凭证（API Key）、安装官方或兼容 SDK、使用百炼 CLI 快速集成，以及常见错误码的排查思路。面向开发者，帮助你从零完成环境搭建并稳定发起第一次调用。 +本页汇总在阿里云百炼平台调用模型 API 前的准备工作，涵盖获取鉴权凭证（[API Key](../concepts/api-key.md)）、安装官方或兼容 SDK、使用百炼 CLI 快速集成，以及常见错误码的排查思路。面向开发者，帮助你从零完成环境搭建并稳定发起第一次调用。 -## 获取并配置 API Key +## 获取并配置 [API Key](../concepts/api-key.md) -调用模型或应用前，需先获取 API Key 作为鉴权凭证。需使用主账号，或具备 `管理员` / `API-Key` 页面权限的子账号，在[阿里云百炼控制台](https://bailian.console.aliyun.com/)对应地域的 **API Key** 页面创建。详见 [获取API Key](../../raw/model-api-reference/preparations/get-api-key.md)。 +调用模型或应用前，需先获取 [API Key](../concepts/api-key.md) 作为鉴权凭证。需使用主账号，或具备 `管理员` / `API-Key` 页面权限的子账号，在[阿里云百炼控制台](https://bailian.console.aliyun.com/)对应地域的 **[API Key](../concepts/api-key.md)** 页面创建。详见 [获取API Key](../../raw/model-api-reference/preparations/get-api-key.md)。 创建时的关键选项： -- **归属业务空间**：决定该 Key 的调用权限。同一空间内的 Key 权限相同，无需为不同模态（文生文、文生图、语音等）分别创建。默认业务空间的 Key 可调用所有标准模型及默认空间内的应用；子业务空间的 Key 只能调用已授权的模型及本空间应用。 +- **归属[业务空间](../concepts/workspace.md)**：决定该 Key 的调用权限。同一空间内的 Key 权限相同，无需为不同模态（文生文、文生图、语音等）分别创建。默认[业务空间](../concepts/workspace.md)的 Key 可调用所有标准模型及默认空间内的应用；子[业务空间](../concepts/workspace.md)的 Key 只能调用已授权的模型及本空间应用。 - **权限**：可选 **全部**（调用所有模型与应用），或 **自定义**（配置 IP 白名单最多 20 个 IPv4/IPv6 地址或网段，以及可访问的模型/应用范围）。 -> **注意**：百炼已对按量付费 API Key 做安全升级（美国（弗吉尼亚）地域除外）。升级后新建的 Key 以 `sk-ws` 开头，且**仅在创建时展示一次明文**，关闭弹窗后无法再次查看，务必立即复制保存；升级前 `sk-` 开头的旧 Key 仍可正常使用。此外，Token Plan / Coding Plan 使用以 `sk-sp-` 开头的专属 Key，不同于本文的按量付费 Key。 +> **注意**：百炼已对按量付费 [API Key](../concepts/api-key.md) 做安全升级（美国（弗吉尼亚）地域除外）。升级后新建的 Key 以 `sk-ws` 开头，且**仅在创建时展示一次明文**，关闭弹窗后无法再次查看，务必立即复制保存；升级前 `sk-` 开头的旧 Key 仍可正常使用。此外，[Token](../concepts/token.md) Plan / Coding Plan 使用以 `sk-sp-` 开头的专属 Key，不同于本文的按量付费 Key。 -推荐将 API Key 配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄漏。各系统配置方式（`~/.bashrc`、`~/.zshrc`、`~/.bash_profile`、Windows 系统属性 / `setx` / PowerShell）参见原文。调用时除 API Key 外，还需指定**服务端点** `base_url`（即创建弹窗中的 API Host），且 OpenAI 兼容协议与 Anthropic 兼容协议的 `base_url` 不同、随地域变化，请以对应接口文档为准。 +推荐将 [API Key](../concepts/api-key.md) 配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄漏。各系统配置方式（`~/.bashrc`、`~/.zshrc`、`~/.bash_profile`、Windows 系统属性 / `setx` / PowerShell）参见原文。调用时除 [API Key](../concepts/api-key.md) 外，还需指定**服务端点** `base_url`（即创建弹窗中的 API Host），且 OpenAI 兼容协议与 Anthropic 兼容协议的 `base_url` 不同、随地域变化，请以对应接口文档为准。 除控制台外，百炼还提供 OpenAPI（`CreateApiKey` / `GetApiKey` / `ListApiKeys` / `UpdateApiKey` / `DeleteApiKey` / `EnableApiKey` / `DisableApiKey` / `ResetApiKey`）以编程方式管理 Key，调用需使用阿里云账号 AccessKey 签名认证并具备相应 RAM 权限。 ## 安装 SDK -百炼同时支持官方 **DashScope SDK**（Python、Java）与通过 **[OpenAI 兼容接口](../concepts/openai-compatible-interface.md)**调用的多语言 SDK。详见 [安装SDK](../../raw/model-api-reference/preparations/install-sdk.md)。 +百炼同时支持官方 **[DashScope SDK](../concepts/dashscope-sdk.md)**（Python、Java）与通过 **[OpenAI 兼容接口](../concepts/openai-compatible-interface.md)**调用的多语言 SDK。详见 [安装SDK](../../raw/model-api-reference/preparations/install-sdk.md)。 - **Python**（需 `python >= 3.8`）：`pip install -U openai` 或 `pip install -U dashscope` - **Java**：DashScope 用 `com.alibaba:dashscope-sdk-java`；OpenAI 用 `com.openai:openai-java`（需 Java 8+，推荐 `3.5.0`），均通过 Maven / Gradle 引入。 @@ -46,8 +46,8 @@ bl --version | 方式 | 命令 | 适用场景 | | --- | --- | --- | | 控制台登录（推荐） | `bl auth login --console` | 模型调用 + 应用管理（浏览器 OAuth） | -| API Key | `bl auth login --api-key sk-xxx` | 模型调用；会先校验 Key 有效性 | -| 环境变量 | 配置 API Key 环境变量 | CI/CD、无界面环境 | +| [API Key](../concepts/api-key.md) | `bl auth login --api-key sk-xxx` | 模型调用；会先校验 Key 有效性 | +| 环境变量 | 配置 [API Key](../concepts/api-key.md) 环境变量 | CI/CD、无界面环境 | | 配置文件 | `bl config set --key api_key --value sk-xxx` | 持久化，**不校验** Key 有效性 | | 临时传入 | `bl text chat --api-key sk-xxx ...` | 单次调用，不落盘 | @@ -62,7 +62,7 @@ bl --version - **思考模式相关**：思考模式模型需 `enable_thinking=true` 时配合[流式输出](../concepts/streaming.md)，并设 `incremental_output=true`、`result_format="message"`；部分模型（如 `qwen3-235b-a22b-thinking-2507`）不允许将 `enable_thinking` 设为 `false`。 - **参数取值范围**：`temperature` ∈ [0.0, 2.0)、`top_p` ∈ (0.0, 1.0]、`top_k` ≥ 0、`presence_penalty` ∈ [-2.0, 2.0]、`n` ∈ [1, 4]；`max_tokens` 与输入长度上限以模型列表为准。 - **模型不存在（Model not exist）**：核对 `model` 名称大小写与空格，勿混用开源社区名与百炼模型 ID（用 `qwen3-235b-a22b-instruct-2507` 而非 `Qwen/Qwen3-235B-A22B-Instruct-2507`）。 -- **content 类型错误**：纯文本模型的 `content` 必须为字符串，不能传数组或图片等多模态元素；需要图片输入请改用 Qwen-VL / Qwen3-VL 等多模态模型。 +- **content 类型错误**：纯文本模型的 `content` 必须为字符串，不能传数组或图片等[多模态](../concepts/multimodal.md)元素；需要图片输入请改用 Qwen-VL / Qwen3-VL 等[多模态](../concepts/multimodal.md)模型。 - **结构化输出**：使用 `response_format` 的 `json_object` 时，提示词须包含 `json` 关键词，且不能同时开启思考模式。 - **文件类（Qwen-Long）**：仅支持纯文本格式（TXT/DOCX/PDF/EPUB/MOBI/MD），单文件 < 150 MB、< 15000 页，file-id 数量 < 100。 - **账号状态（Arrearage）**：账号欠费会导致访问被拒绝，需在费用与成本页面充值后等待系统更新。 @@ -78,3 +78,9 @@ bl --version + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md b/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md index f4dc1072..2aad48cb 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md @@ -22,7 +22,7 @@ ## 使用方式与注意事项 -- [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)可直接复用官方 OpenAI 客户端库，仅需替换 base URL 和 API Key，改动量小。 +- [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)可直接复用官方 OpenAI 客户端库，仅需替换 base URL 和 [API Key](../concepts/api-key.md)，改动量小。 - 若依赖联网搜索、代码解释器等内置工具，需使用 Responses 接口，而非普通的 Chat Completions。 - 不同接口在参数集合和功能覆盖上存在差异：DashScope 参数最全，OpenAI/Anthropic 兼容接口以对应生态的字段约定为准，跨接口迁移时需核对参数映射。 @@ -35,3 +35,9 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md b/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md index fad0f724..cd34d499 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md @@ -6,7 +6,7 @@ 将 OpenAI 应用迁移到百炼的核心是配置以下三项（详见 [OpenAI Chat接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md)）： -- **`api_key`**：替换为[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。**各地域的 API Key 不同**，切换地域时需同步更换。建议配置到环境变量 `DASHSCOPE_API_KEY` 以降低泄露风险。 +- **`api_key`**：替换为[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。**各地域的 [API Key](../concepts/api-key.md) 不同**，切换地域时需同步更换。建议配置到环境变量 `DASHSCOPE_API_KEY` 以降低泄露风险。 - **`base_url`**：OpenAI SDK 调用统一使用 `/compatible-mode/v1` 路径；HTTP 调用在其后追加具体资源路径（如 `/chat/completions`、`/responses`、`/embeddings`、`/files`）。 - **`model`**：替换为百炼支持的模型名称。 @@ -20,9 +20,9 @@ | 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` | | 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | -其中 `{WorkspaceId}` 为业务空间 ID，可在百炼控制台**业务空间详情**页面查看。 +其中 `{WorkspaceId}` 为[业务空间](../concepts/workspace.md) ID，可在百炼控制台**[业务空间](../concepts/workspace.md)详情**页面查看。 -> **注意**：百炼为北京、新加坡地域推出了业务空间专属域名，性能与稳定性更佳，建议从旧域名迁移：北京 `https://dashscope.aliyuncs.com` → `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com`；新加坡 `https://dashscope-intl.aliyuncs.com` → `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`。现有域名仍可正常使用。 +> **注意**：百炼为北京、新加坡地域推出了[业务空间](../concepts/workspace.md)专属域名，性能与稳定性更佳，建议从旧域名迁移：北京 `https://dashscope.aliyuncs.com` → `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com`；新加坡 `https://dashscope-intl.aliyuncs.com` → `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`。现有域名仍可正常使用。 > **注意**：Responses 与 Conversations 接口的旧版路径 `/api/v2/apps/protocols/compatible-mode/v1/...` 即将停止维护，请尽快迁移至新版 `/compatible-mode/v1/...` 路径。 @@ -30,7 +30,7 @@ ### Chat Completions（对话补全） -最常用的兼容接口，支持非流式、流式（`stream=True`，配合 `stream_options={"include_usage": True}` 返回 Token 统计）与 function call（工具调用）。支持模型广泛：Qwen 大语言模型（商业版/开源版）、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math，以及 DeepSeek、Kimi、GLM、MiniMax 等三方模型。 +最常用的兼容接口，支持非流式、流式（`stream=True`，配合 `stream_options={"include_usage": True}` 返回 [Token](../concepts/token.md) 统计）与 function call（工具调用）。支持模型广泛：Qwen 大语言模型（商业版/开源版）、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math，以及 DeepSeek、Kimi、GLM、MiniMax 等三方模型。 > **注意**：三方直供模型仅在中国站的中国内地地域可用，调用前需先在百炼控制台开通对应服务。Qwen-Audio 不支持 OpenAI 兼容协议，仅支持 DashScope 协议。 @@ -53,7 +53,7 @@ 兼容 OpenAI Embedding 规范，支持 `text-embedding-v1/v2/v3/v4`。其中 v3、v4 支持通过 `dimensions` 参数指定向量维度（v4 可选 64~2048 多档，默认 1024）。 -> **注意**：多模态 Embedding 模型（如 qwen3-vl-embedding、tongyi-embedding-vision 系列）不支持 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)，需改用[多模态向量接口](https://help.aliyun.com/zh/model-studio/multimodal-embedding-api-reference)。 +> **注意**：[多模态](../concepts/multimodal.md) Embedding 模型（如 qwen3-vl-embedding、tongyi-embedding-vision 系列）不支持 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)，需改用[多模态向量接口](https://help.aliyun.com/zh/model-studio/multimodal-embedding-api-reference)。 ### Vision（视觉理解） @@ -76,7 +76,7 @@ Qwen-VL、QVQ、Qwen-OCR 兼容 OpenAI Chat 接口，通过 `content` 数组中 - **Batch（文件输入）**：上传 jsonl 文件异步批处理，适合大批量、时效性要求不高的场景（数据分析、模型评测）。可先用测试模型 `batch-test-model` 做全链路验证（文件 ≤ 1 MB、≤ 100 行、最大并行 2 个任务，不产生推理费用）。 - **Batch Chat**：保持与实时 API 一致的同步调用方式，仅需将 `base_url` 改为 `https://batch.dashscope.aliyuncs.com/compatible-mode/v1`，单次仅支持一个请求；默认等待超时 3600 秒（可设 60~3600 秒）。 -> **注意**：Batch 场景下 `enable_thinking` 须作为请求 body 的顶层参数（与 `model` 同级）传入，不能放在 `extra_body` 中；`qwen3.7`/`qwen3.6`/`qwen3.5` 系列默认开启思考模式，会产生额外思考 Token 成本，建议显式设置。 +> **注意**：Batch 场景下 `enable_thinking` 须作为请求 body 的顶层参数（与 `model` 同级）传入，不能放在 `extra_body` 中；`qwen3.7`/`qwen3.6`/`qwen3.5` 系列默认开启思考模式，会产生额外思考 [Token](../concepts/token.md) 成本，建议显式设置。 ## 框架集成（LangChain） @@ -89,8 +89,8 @@ Qwen-VL、QVQ、Qwen-OCR 兼容 OpenAI Chat 接口，通过 `content` 数组中 ## 限制与注意事项 -- **地域隔离**：API Key 与 `base_url` 均按地域区分，跨地域调用必须成对更换；不同接口/模型在各地域的可用性存在差异，以[百炼控制台](https://bailian.console.aliyun.com/)为准。 -- **协议差异**：并非所有模型都支持 OpenAI 兼容协议（如 Qwen-Audio、多模态 Embedding），此类模型需使用 DashScope 原生协议。 +- **地域隔离**：[API Key](../concepts/api-key.md) 与 `base_url` 均按地域区分，跨地域调用必须成对更换；不同接口/模型在各地域的可用性存在差异，以[百炼控制台](https://bailian.console.aliyun.com/)为准。 +- **协议差异**：并非所有模型都支持 OpenAI 兼容协议（如 Qwen-Audio、[多模态](../concepts/multimodal.md) Embedding），此类模型需使用 DashScope 原生协议。 - **端点区别**：普通请求走各地域 `compatible-mode/v1`，而 Batch Chat 使用独立的 `batch.dashscope.aliyuncs.com` 域名。 - 调用失败时请参考[错误码](https://help.aliyun.com/zh/model-studio/error-code)排查。 @@ -109,3 +109,9 @@ Qwen-VL、QVQ、Qwen-OCR 兼容 OpenAI Chat 接口，通过 `content` 数组中 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md b/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md index 2a8da565..139d5868 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md @@ -1,15 +1,15 @@ # vector and sort -百炼平台围绕"向量化"与"排序"提供了一整套模型 API，覆盖通用文本向量、多模态向量与文本/多模态重排序三大能力。它们共同服务于语义搜索、推荐、聚类、分类与 RAG 检索：向量模型负责把文本、图片、视频编码为同一语义空间中的数值向量，排序（rerank）模型则在召回阶段之后对候选结果做二次精排，提升最终相关性。 +百炼平台围绕"[向量化](../concepts/embedding.md)"与"排序"提供了一整套模型 API，覆盖通用文本向量、[多模态](../concepts/multimodal.md)向量与文本/[多模态](../concepts/multimodal.md)重排序三大能力。它们共同服务于语义搜索、推荐、聚类、分类与 RAG 检索：向量模型负责把文本、图片、视频编码为同一语义空间中的数值向量，排序（rerank）模型则在召回阶段之后对候选结果做二次精排，提升最终相关性。 ## 能力与模型总览 按用途可分为三类接口，分别对应不同的 endpoint 与调用方式： - **通用文本向量（同步）**：将字符串 / 字符串列表 / 文件转为向量，实时返回。支持 `qwen3.7-text-embedding`、`text-embedding-v4/v3/v2/v1`。详见 [同步接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-synchronous-api.md)。 -- **通用文本向量（批处理）**：面向大规模离线向量化，仅支持异步模式，通过文件 URL 输入。支持 `text-embedding-async-v2/v1`。详见 [批处理接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md)。 -- **多模态向量**：将文本、图片、视频编码到同一语义空间，支持跨模态检索与融合表征。支持 `qwen3-vl-embedding`、`qwen2.5-vl-embedding`、`tongyi-embedding-vision-plus/flash`（含 `2026-03-06` 快照版）、`multimodal-embedding-v1`。详见 [Multimodal-Embedding API详情](../../raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md)。 -- **文本 / 多模态排序**：对召回文档做精排，支持 `qwen3-rerank`、`qwen3-vl-rerank`（多模态）、`gte-rerank-v2`。详见 [文本排序](../../raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md)。 +- **通用文本向量（批处理）**：面向大规模离线[向量化](../concepts/embedding.md)，仅支持异步模式，通过文件 URL 输入。支持 `text-embedding-async-v2/v1`。详见 [批处理接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md)。 +- **[多模态](../concepts/multimodal.md)向量**：将文本、图片、视频编码到同一语义空间，支持跨模态检索与融合表征。支持 `qwen3-vl-embedding`、`qwen2.5-vl-embedding`、`tongyi-embedding-vision-plus/flash`（含 `2026-03-06` 快照版）、`multimodal-embedding-v1`。详见 [Multimodal-Embedding API详情](../../raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md)。 +- **文本 / [多模态](../concepts/multimodal.md)排序**：对召回文档做精排，支持 `qwen3-rerank`、`qwen3-vl-rerank`（[多模态](../concepts/multimodal.md)）、`gte-rerank-v2`。详见 [文本排序](../../raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md)。 > **注意**：`gte-rerank` 模型将于 2026-05-30 下线，官方推荐迁移到 `qwen3-rerank`。新项目请直接选用 `qwen3-rerank` / `qwen3-vl-rerank`。 @@ -20,16 +20,16 @@ - **兼容方式**：提供 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)，可用 OpenAI SDK 直连。 - base_url：`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` - endpoint：`POST .../compatible-mode/v1/embeddings` - - 调用前需将 `{WorkspaceId}` 替换为真实业务空间 ID。 + - 调用前需将 `{WorkspaceId}` 替换为真实[业务空间](../concepts/workspace.md) ID。 - **关键参数**： - `model`（必选）：模型名称。 - `input`（必选）：`string` / `array` / `file` 三种形态。 - `dimensions`（可选）：仅 `text-embedding-v3/v4`（及 `qwen3.7-text-embedding` 的 2560 维）支持自定义维度，取值 2560/2048/1536/1024/768/512/256/128/64，默认 1024。 - `encoding_format`（可选）：当前仅支持 `float`。 - **输入上限（按模型区分）**： - - `qwen3.7-text-embedding`：单条字符串最长 128,000 Token；列表/文件最多 20 条。 - - `text-embedding-v3/v4`：单条 8,192 Token；列表/文件最多 10 条。 - - `text-embedding-v1/v2`：单条 2,048 Token；列表/文件最多 25 条。 + - `qwen3.7-text-embedding`：单条字符串最长 128,000 [Token](../concepts/token.md)；列表/文件最多 20 条。 + - `text-embedding-v3/v4`：单条 8,192 [Token](../concepts/token.md)；列表/文件最多 10 条。 + - `text-embedding-v1/v2`：单条 2,048 [Token](../concepts/token.md)；列表/文件最多 25 条。 > **注意**：`dimensions` 只对部分模型生效——`text-embedding-v1/v2` 为固定维度（分别 1536 / 1536），传入该参数无意义；`v4` 才支持 2048/1536 等高维度。选维度前请对照模型概览表。 @@ -39,15 +39,15 @@ - endpoint：`POST https://dashscope.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding`。 - HTTP 请求**必须**带请求头 `X-DashScope-Async: enable`，否则报错 `current user api does not support synchronous calls`。 -- 输入通过 `input.url` 传入文件 HTTP URL（一行一条），单行最长 2,048 Token、最多 100,000 行、文件不超过 200MB。 +- 输入通过 `input.url` 传入文件 HTTP URL（一行一条），单行最长 2,048 [Token](../concepts/token.md)、最多 100,000 行、文件不超过 200MB。 - `parameters.text_type` 可选 `document`（默认）或 `query`；检索类非对称任务建议区分 query / document。 - 调用两步走：创建任务拿到 `task_id` → `GET .../api/v1/tasks/{task_id}` 轮询结果。任务状态含 PENDING / RUNNING / SUCCEEDED / FAILED / CANCELED / UNKNOWN。 - **数据时效**：任务结果 URL 仅保留 24 小时，务必及时下载，详见 [批处理接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md)。 - **限流**：`text-embedding-async-v2` 任务下发 RPS 为 1，排队+运行作业不超过 50 个，同时并发运行不超过 3 个。 -## 多模态向量 +## [多模态](../concepts/multimodal.md)向量 -多模态向量把 text / image / video 编码进**同一语义空间**，可直接用余弦相似度做跨模态匹配（以文搜图、以图搜视频等）。 +[多模态](../concepts/multimodal.md)向量把 text / image / video 编码进**同一语义空间**，可直接用余弦相似度做跨模态匹配（以文搜图、以图搜视频等）。 - endpoint：`POST https://dashscope.aliyuncs.com/api/v1/services/embeddings/multimodal-embedding/multimodal-embedding`。 - 输入通过 `input.contents` 数组传入，每个元素为 `{"模态类型": "值"}`，支持 `text` / `image` / `video` / `multi_images` 四种类型。图片可用 URL 或 Base64 Data URI，视频仅支持公开 URL。 @@ -59,16 +59,16 @@ > **注意**：各模型的向量类型能力差异明显——`qwen2.5-vl-embedding` **仅**支持融合向量、不支持独立向量与多图；`tongyi-embedding-vision-plus/flash`（非快照版）**仅**支持独立向量；`multimodal-embedding-v1` 与 `tongyi-embedding-vision-plus/flash` 不支持 `dimension` 参数（维度固定）。选型前务必核对 [Multimodal-Embedding API详情](../../raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md) 中的"模型能力对照"表。 -## 文本 / 多模态排序（Rerank） +## 文本 / [多模态](../concepts/multimodal.md)排序（Rerank） 排序模型对召回文档二次精排，返回相关性分数。不同模型使用不同接口： - `qwen3-rerank`：`POST .../compatible-api/v1/reranks`，且 `query` / `documents` / `top_n` / `instruct` 与 `model` **同层级**（不使用 `input` / `parameters` 包装）。 -- `qwen3-vl-rerank`（多模态）/ `gte-rerank-v2`：`POST .../api/v1/services/rerank/text-rerank/text-rerank`，参数需包装进 `input` 与 `parameters` 对象。 +- `qwen3-vl-rerank`（[多模态](../concepts/multimodal.md)）/ `gte-rerank-v2`：`POST .../api/v1/services/rerank/text-rerank/text-rerank`，参数需包装进 `input` 与 `parameters` 对象。 关键参数与返回： -- `query`（必选）：最大 4,000 Token；`qwen3-vl-rerank` 支持 `{"text": ...}` 或 `{"image": ...}` 对象形式。 +- `query`（必选）：最大 4,000 [Token](../concepts/token.md)；`qwen3-vl-rerank` 支持 `{"text": ...}` 或 `{"image": ...}` 对象形式。 - `documents`（必选）：候选文档数组；`qwen3-vl-rerank` 每项可为 `text` / `image` / `video`。 - `top_n`（可选）：返回前 N 条，默认全部。 - `return_documents`（可选，默认 `false`）：是否回带原文，仅 `gte-rerank-v2` / `qwen3-vl-rerank` 支持。 @@ -80,10 +80,10 @@ ## 通用限制与注意事项 -- **前提条件**：所有接口都需先[获取 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)并配置到环境变量 `DASHSCOPE_API_KEY`；SDK 调用还需安装 DashScope SDK。 -- **地域**：同步向量与 rerank 走 `maas.aliyuncs.com`（需替换 `{WorkspaceId}`），多模态与批处理走 `dashscope.aliyuncs.com`；新加坡地域需将 base_url 换为 `dashscope-intl.aliyuncs.com`。 -- **SDK 与 HTTP 差异**：HTTP 使用嵌套的 `input` / `parameters` 结构，DashScope SDK 多为扁平参数，开发时注意区分。 -- **超长截断**：rerank 中单条超过"单条最大输入 Token"会被截断，API 仅基于截断后内容计算，可能影响排序准确性。 +- **前提条件**：所有接口都需先[获取 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)并配置到环境变量 `DASHSCOPE_API_KEY`；SDK 调用还需安装 [DashScope SDK](../concepts/dashscope-sdk.md)。 +- **地域**：同步向量与 rerank 走 `maas.aliyuncs.com`（需替换 `{WorkspaceId}`），[多模态](../concepts/multimodal.md)与批处理走 `dashscope.aliyuncs.com`；新加坡地域需将 base_url 换为 `dashscope-intl.aliyuncs.com`。 +- **SDK 与 HTTP 差异**：HTTP 使用嵌套的 `input` / `parameters` 结构，[DashScope SDK](../concepts/dashscope-sdk.md) 多为扁平参数，开发时注意区分。 +- **超长截断**：rerank 中单条超过"单条最大输入 [Token](../concepts/token.md)"会被截断，API 仅基于截断后内容计算，可能影响排序准确性。 - **限流与错误码**：触发条件参见平台[限流](https://help.aliyun.com/zh/model-studio/rate-limit)文档，失败响应通过 `code` / `message` 指明原因，对照[错误码](https://help.aliyun.com/zh/model-studio/error-code)排查。 ## 来源文档 @@ -94,3 +94,9 @@ - [批处理接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md) + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md b/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md index f4a55920..678bc756 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md @@ -1,66 +1,121 @@ # video generation api -阿里云百炼平台提供覆盖多家厂商（万相 Wan、爱诗 PixVerse、Vidu、可灵 Kling、HappyHorse 等）的视频生成 API，支持文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑、数字人、人像驱动、视频超清与对口型等能力。所有视频生成任务均通过统一的异步调用模式完成，开发者先提交任务拿到 `task_id`，再轮询查询结果。 +百炼平台提供多系列视频生成模型，覆盖文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑、视频超分、对口型、动作模仿、数字人等场景。所有视频生成 API 均采用[异步调用](../concepts/async-invocation.md)模式（创建任务 → 轮询获取结果），统一通过 `video-synthesis` 接口提交。 -## 统一调用模式：异步「创建任务 → 轮询获取」 +## 模型家族与功能总览 -由于视频生成耗时较长（通常 1-5 分钟，个别统一编辑模型约 5-10 分钟），API 全部采用异步方式，流程分两步： +| 家族 | 代表模型 | 主要能力 | +| --- | --- | --- | +| 万相 wan2.7（新版协议，推荐） | `wan2.7-i2v-*`、`wan2.7-t2v-*`、`wan2.7-r2v-*`、`wan2.7-videoedit` | 图生视频（首帧/首尾帧/续写）、文生视频、参考生视频（多主体+音色）、视频编辑（指令/迁移） | +| 万相 wan2.6 及早期（旧版协议） | `wan2.6-*`、`wan2.2-*`、`wanx2.1-vace-plus` | 图生视频、文生视频、参考生视频、首尾帧、视频编辑 | +| HappyHorse | `happyhorse-1.1-i2v`、`happyhorse-1.1-t2v`、`happyhorse-1.1-r2v`、`happyhorse-1.0-video-edit` | 图生视频、文生视频、参考生视频、视频编辑 | +| 爱诗 PixVerse | `pixverse/pixverse-c1-*`、`pixverse/pixverse-v6-*`、`pixverse/pixverse-upscale`、`pixverse/pixverse-lipsync`、`pixverse/pixverse-motioncontrol` | 文生视频、图生视频、参考生视频、首尾帧、视频超清（4K）、对口型、动作模仿 | +| Vidu | `vidu/viduq3-*` | 文生视频、图生视频（首帧）、首尾帧、参考生视频（广告） | +| 可灵 Kling | `kling/kling-v3-video-generation`、`kling/kling-v3-omni-video-generation` | 文生视频（含智能分镜）、图生视频、首尾帧、参考生视频、视频编辑 | +| 人像动画 | `animate-anyone-*`、`emo-*`、`liveportrait-*`、`videoretalk`、`video-style-transform` | 舞蹈/唱演/播报/口型替换/表情包/风格重绘 | +| 万相动作/换人/数字人 | `wan2.2-animate-move`、`wan2.2-animate-mix`、`wan2.2-s2v` | 图生动作、视频换人、数字人（单图+音频生成说话/唱歌视频） | -1. **创建任务**：向 `video-synthesis` 端点发起 `POST` 请求，请求头必须带 `X-DashScope-Async: enable`（缺少会报错 `current user api does not support synchronous calls`），返回一个 `task_id`。 -2. **轮询获取**：用 `task_id` 发起 `GET https:///api/v1/tasks/{task_id}` 查询任务状态，直到完成并拿到视频 URL。 +> **注意**：万相2.7 图生视频为新版协议，仅支持 wan2.7 模型；旧版协议（wan2.6 及早期）的图生视频仅支持首帧生视频，官方推荐优先使用新版。详见 [万相2.7-图生视频API参考](../../raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md) 和 [万相-图生视频-基于首帧API参考（2.1-2.6）](../../raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-api-reference.md)。 -其余通用约定： +## 统一调用流程 -- `task_id` 有效期为 **24 小时**，过期无法查询（返回状态 `UNKNOWN`）；请勿重复创建任务，轮询即可。 -- 请求头 `Content-Type: application/json`、`Authorization: Bearer $DASHSCOPE_API_KEY` 为必填。 -- 新手可参考 [Postman 首次调用指引](../../raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md)。 +所有视频生成 API 均为异步，流程分两步： -> **注意**：绝大多数视频生成模型使用端点路径 `/api/v1/services/aigc/video-generation/video-synthesis`，但部分数字人/换人/图生动作类模型（[万相-数字人](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-s2v-overview.md)、[万相-图生动作](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md)、[万相-视频换人](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-mix-api.md)、[万相2.2-首尾帧](../../raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md)）使用的是 `/api/v1/services/aigc/image2video/video-synthesis`。接入时请以对应文档端点为准。 +**步骤1：创建任务获取 task_id** -## 支持的模型与功能 +``` +POST https://{domain}/api/v1/services/aigc/video-generation/video-synthesis +``` -按厂商与任务类型划分，主要能力如下： +请求头： +- `X-DashScope-Async: enable`（**必选**，缺失会报错 "current user api does not [support](../guides/support.md) synchronous calls"） +- `Authorization: Bearer $DASHSCOPE_API_KEY` +- `Content-Type: application/json` -- **万相 Wan（2.7 新版协议）**： - - 文生视频（`wan2.7-t2v-*`），支持通过 `prompt` 自然语言控制单/多镜头。 - - 图生视频（`wan2.7-i2v-*`），支持多模态输入（文本/图像/音频/视频），可完成首帧生视频、首尾帧生视频、视频续写三大任务。 - - 参考生视频（`wan2.7-r2v-*`），多主体参考（图像+视频+音色）。 - - 视频编辑（`wan2.7-videoedit`），指令编辑与视频迁移。 -- **万相 Wan（旧版协议，2.1-2.6）**：文生视频、图生视频-基于首帧、参考生视频（`wan2.6-r2v-flash`）、首尾帧生视频（`wan2.2-kf2v-flash`）、视频编辑统一模型（`wanx2.1-vace-plus`，支持多图参考、视频重绘等 `function`）。 -- **万相人物/数字人系列**：数字人 `wan2.2-s2v`（图片+音频，需先用 `wan2.2-s2v-detect` 检测图片）、图生动作 `wan2.2-animate-move`、视频换人 `wan2.2-animate-mix`（均含 `wan-std`/`wan-pro` 两种模式）。 -- **爱诗 PixVerse**：文生视频、图生视频、首尾帧生视频（`pixverse/pixverse-c1-*`、`-v6-*`、`-v5.6-*`）、参考生视频（`-r2v`）、视频超清（`pixverse/pixverse-upscale`，固定输出 4K）、视频对口型（`pixverse/pixverse-lipsync`，支持音频驱动或 TTS 文本）、视频动作模仿（`pixverse/pixverse-motioncontrol`）。 -- **Vidu**：文生视频、图生视频、首尾帧生视频、参考生视频（`vidu/viduq3-*`、`viduq2_*`）。 -- **可灵 Kling**：一个模型（`kling/kling-v3-video-generation`、`kling/kling-v3-omni-video-generation`）统一支持文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑，并支持智能分镜/多镜头（`multi_shot`、`shot_type`、`multi_prompt`）。 -- **HappyHorse**：文生视频、图生视频-基于首帧、参考生视频（多图像）、视频编辑。 -- **人像驱动系列（两步调用：先检测后生成）**：舞动人像 AnimateAnyone（图生舞蹈）、悦动人像 EMO（图生唱演，`style_level` 控制风格强度）、灵动人像 LivePortrait（图生播报）、表情包 Emoji（预设模板 `driven_id`）、声动人像 VideoRetalk（口型替换）、视频风格重绘 `video-style-transform`（8 种预设风格）。 +请求体核心字段： +- `model`：模型名称（必选） +- `input`：输入内容，含 `prompt`（文本提示词）、`media`（图像/视频/音频数组）或直接 URL 字段 +- `parameters`：分辨率、时长、水印、种子等参数 -## 关键参数 +**步骤2：根据 task_id 轮询查询结果** + +``` +GET https://{domain}/api/v1/tasks/{task_id} +``` -请求体主要由 `model`、`input`、`parameters` 三部分构成： +- `task_id` 有效期 24 小时，过期返回 `UNKNOWN` 状态。 +- **请勿重复创建任务**，轮询获取即可。 -- `model`：模型名称，决定能力与协议版本。 -- `input`：任务输入。文生类用 `prompt`；图生/参考/编辑类多用 `media` 数组（`type` 可为 `image_url`/`first_frame`/`last_frame`/`video_url`/`audio_url`/`reference_image` 等），部分旧版模型用 `image_url`/`video_url`/`audio_url`/`first_frame_url`/`last_frame_url`/`ref_images_url` 等独立字段。 -- `parameters`：常见有 `resolution`（如 `480P`/`540P`/`720P`/`1080P`）、`size`（如 `1280*720`）、`duration`（秒）、`watermark`、`prompt_extend`（智能改写）、`audio`、`shot_type`/`multi_shot`（分镜）、`seed`、`style`/`style_level` 等，具体取值随模型不同。 +> **注意**：万相图生动作（`wan2.2-animate-move`）、视频换人（`wan2.2-animate-mix`）、数字人（`wan2.2-s2v`）及万相2.2首尾帧等模型使用的是 `image2video/video-synthesis` 路径，而非 `video-generation/video-synthesis`，调用时需注意区分。参见 [万相-图生动作API参考](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md)。 -> **注意**：多镜头控制方式在不同模型间不一致。万相 2.7 与 PixVerse-c1 通过 `prompt` 自然语言描述控制，设置 `shot_type` 不生效；而旧版万相 2.6（见 [万相-文生视频（2.1-2.6）](../../raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-text-to-video-api-reference.md)）需显式设置 `shot_type: "multi"` 且 `prompt_extend: true` 才能启用多镜头。接入前务必确认所用模型的具体协议。 +## 关键参数 + +### 输入参数（input） + +| 字段 | 说明 | 适用范围 | +| --- | --- | --- | +| `prompt` | 文本提示词，描述期望生成的视频内容，支持中英文 | 所有模型 | +| `media` | [多模态](../concepts/multimodal.md)输入数组，元素含 `type`（`first_frame`/`last_frame`/`image_url`/`video`/`audio_url`/`reference_image` 等）和 `url` | wan2.7、PixVerse、Vidu、Kling、HappyHorse | +| `image_url` / `video_url` / `audio_url` | 直接 URL 字段（旧版协议风格） | wan2.2 系列、数字人、人像动画系列 | +| `first_frame_url` / `last_frame_url` | 首帧/尾帧图像 URL | wan2.2 首尾帧 | + +### 生成参数（parameters） + +| 参数 | 说明 | +| --- | --- | +| `resolution` / `size` | 视频分辨率，常用 `480P`/`540P`/`720P`/`1080P`/`4K`；部分模型用 `size`（如 `1280*720`） | +| `duration` | 视频时长（秒），常见 5/8 等 | +| `watermark` | 是否添加水印，`true`/`false` | +| `seed` | 随机种子，用于结果复现 | +| `prompt_extend` | 是否开启智能提示词改写 | +| `shot_type` | 镜头模式，`multi` 为多镜头（仅部分模型支持） | +| `audio` | 是否生成音频（部分模型支持） | +| `style` | 风格参数（如视频风格重绘的预设风格编号、数字人的 `speech` 等） | +| `mode` | 服务模式，如 Kling 的 `std`（标准）/`pro`（专业）、万相动作/换人的 `wan-std`/`wan-pro` | ## 地域与域名 -- **必须保证模型、Endpoint URL 与 API Key 属于同一地域**，跨地域调用会失败（鉴权失败或服务报错）。 -- 多数第三方模型（PixVerse、Vidu、Kling、数字人等）**仅支持华北2（北京）地域**；万相与 HappyHorse 部分能力还支持新加坡、美国（弗吉尼亚）、德国（法兰克福）等地域。 -- 百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，提供更高性能与稳定性，建议迁移： - - 华北2（北京）：`https://dashscope.aliyuncs.com` → `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - - 新加坡：`https://dashscope-intl.aliyuncs.com` → `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` - - `{WorkspaceId}` 为业务空间 ID，可在控制台「业务空间详情」查看；现有域名仍可正常使用。 +调用必须保证模型、Endpoint URL、[API Key](../concepts/api-key.md) 属于**同一地域**，跨地域会失败。 + +| 地域 | 域名 | +| --- | --- | +| 华北2（北京） | `https://dashscope.aliyuncs.com` 或专属域名 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` | +| 新加坡 | `https://dashscope-intl.aliyuncs.com` 或专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` | +| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com` | +| 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com` | + +官方建议北京和新加坡地域迁移至[业务空间](../concepts/workspace.md)专属域名以获得更好性能和稳定性。`{WorkspaceId}` 为[业务空间](../concepts/workspace.md) ID，可在百炼控制台[业务空间](../concepts/workspace.md)详情页查看。 + +> **注意**：PixVerse、Vidu、Kling、HappyHorse 及人像动画系列模型**仅适用于华北2（北京）地域**，必须使用该地域的 [API Key](../concepts/api-key.md)。万相2.7 文生视频等部分模型在北京地域也推荐使用 `cn-beijing` 专属域名。参见 [万相2.7-文生视频API参考](../../raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md)。 + +## 人像动画系列调用流程 + +人像动画模型（AnimateAnyone、EMO、LivePortrait、Emoji、VideoRetalk、数字人 wan2.2-s2v）通常涉及**图像检测 → 视频生成**两步： + +1. 先调用 detect 模型（如 `emo-detect-v1`、`liveportrait-detect`、`animate-anyone-detect-gen2`、`wan2.2-s2v-detect`）检测输入图片是否合规，获取人脸区域坐标。 +2. 检测通过后，调用生成模型传入图片（及检测坐标）、音频/动作模板，提交异步任务生成视频。 + +这些模型大多支持后付费和模型独立部署两种模式。VideoRetalk 仅支持 API 调用，不支持控制台在线体验。 ## 限制与注意事项 -- **版本选型**：万相已推出 2.7 新版协议，[万相2.7-图生视频](../../raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md) 支持首帧/首尾帧/续写三大任务，官方推荐优先选用；旧版 wan2.6 及更早模型仅支持首帧生视频。新旧协议接口不通用，`wan2.7-*` 只走新版协议。 -- **服务开通**：PixVerse、Vidu、Kling 等第三方模型需先在百炼控制台模型广场搜索并「立即开通」授权后方可调用。 -- **两步式模型**：数字人、AnimateAnyone、EMO、LivePortrait、Emoji 等需先调用对应的 `-detect` 检测模型确认图片合规（如清晰度、单人、正面），再调用生成模型。检测模型多为同步调用（如 `wan2.2-s2v-detect` 0.004 元/张）。 -- **限流**：视频生成模型通常「同时处理中任务数量」限制较低（多为 1，即同一时刻仅 1 个作业运行，其余排队），任务下发接口 RPS/QPS 约为 5，接入时需做好排队与重试。 -- **计费**：多按生成视频时长计费（如 LivePortrait 0.02 元/秒、EMO/VideoRetalk/AnimateAnyone 0.08 元/秒、数字人 720P 0.9 元/秒），`wan-pro` 等专业模式价格高于标准模式。 -- VideoRetalk 目前仅支持 API 调用，不支持控制台在线体验。 +- **task_id 有效期 24 小时**，过期后无法查询，接口返回 `UNKNOWN`。 +- 视频生成耗时通常 1-5 分钟（万相2.1 VACE 约 5-10 分钟），需合理设置轮询间隔。 +- 部分模型有**同时处理中任务数量限制**（如 EMO、LivePortrait、VideoRetalk 限制为 1，排队等待）。 +- PixVerse、Vidu、Kling 系列需在百炼控制台模型广场搜索对应模型卡片并**单击"立即开通"**后才能调用。 +- 人像动画类模型[计费](../concepts/billing.md)多按生成视频时长（元/秒），detect 模型按张[计费](../concepts/billing.md)。 +- 万相2.7 多镜头叙事通过 `prompt` 自然语言控制（如"第1个镜头[0-3秒] 全景：..."），无需配置 `shot_type`；旧版 wan2.6 多镜头需设置 `shot_type: multi` + `prompt_extend: true`。 +- 视频风格重绘支持 8 种预设风格（日式漫画、美式漫画、3D卡通、国风卡通等），通过 `style` 编号指定。 + +## 模型选型建议 + +- **通用视频生成（推荐首选）**：万相2.7 系列（支持[多模态](../concepts/multimodal.md)输入、功能最全） +- **多主体角色一致性**：万相2.7 参考生视频（支持图像+视频+音色组合） +- **高性价比文生/图生视频**：PixVerse C1、Vidu Turbo 系列 +- **智能分镜**：Kling V3（支持 `multi_shot` + `customize`）、万相2.7 +- **数字人/口播**：wan2.2-s2v（单图+音频）、LivePortrait（轻量快速）、EMO（高质量唱演） +- **动作迁移/换人**：wan2.2-animate-move（动作复刻）、wan2.2-animate-mix（视频换人） +- **视频后期**：PixVerse upscale（4K超分）、PixVerse lipsync（对口型）、PixVerse motioncontrol（动作模仿）、video-style-transform（风格重绘） ## 来源文档 @@ -100,3 +155,7 @@ - [爱诗-视频动作模仿API参考](../../raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-motioncontrol-api-reference.md) + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/agent-extensibility.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/agent-extensibility.md new file mode 100644 index 00000000..6c011a5c --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/agent-extensibility.md @@ -0,0 +1,70 @@ +# 插件、MCP 与工具框架对比 + +阿里云百炼为大模型应用提供了三条主流"扩能"路径：**插件（Plug-in）**、**模型上下文协议（MCP）** 与 **工具框架（Toolkits & Frameworks，[OpenAI 兼容接口](../concepts/openai-compatible-interface.md)体系）**。三者定位不同——插件偏向平台预置能力的即插即用，MCP 面向跨系统标准化工具接入，工具框架则聚焦于让既有 OpenAI/LangChain 生态无缝迁移到百炼。本页从形态、集成方式、模型支持、调用协议、计费与典型场景等维度做一次横向对比，帮助开发者在技术选型阶段快速定位合适方案。 + +## 对比背景 + +- **插件**：百炼原生的工具集合概念，一个插件下挂多个工具（API），可通过智能体应用、工作流应用或 Assistant API 触发。分为官方插件、三方插件、自定义插件三类。 +- **MCP**：Anthropic 主导的开源协议，百炼提供官方托管与自定义部署两种服务形态，重点解决"一次接入、多处复用"的工具标准化问题。 +- **工具框架 / [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)**：百炼针对通义千问等模型提供的一整套与 OpenAI 高度兼容的接口（Chat Completions、Responses、Completions、Embedding、Files、Batch、Conversations 等），并可直接对接 LangChain / LangChain4j 等社区框架。 + +## 关键维度对比 + +| 维度 | 插件（Plug-in） | 模型上下文协议（MCP） | 工具框架（Toolkits & Frameworks） | +| --- | --- | --- | --- | +| 本质 | 平台内工具集合，扩展模型能力边界 | 大模型与外部工具间的开源标准协议 | OpenAI 兼容 API 与主流框架适配层 | +| 提供形态 | 官方插件 / 三方插件 / 自定义插件 | 官方 MCP 服务 / 自定义 MCP 服务（脚本部署 / AI 网关 / 阿里云 OpenAPI） | Chat Completions、Responses、Completions、Embedding、Files、Batch、Conversations 等接口 | +| 集成入口 | 智能体应用、工作流应用、Assistant API | 智能体应用、工作流应用；也支持外部第三方客户端（Cherry Studio、Cursor 等）与个人项目 SDK | OpenAI SDK / HTTP，直接调用模型；也可被 LangChain 等框架封装 | +| 与模型的交互协议 | 平台内部触发，由模型基于名称与描述判断是否调用工具 | 遵循 MCP 协议（Streamable HTTP，旧版 SSE 已升级） | OpenAI 兼容协议（REST / SSE 流式） | +| 支持模型 | qwen-turbo / qwen-plus / qwen-max / qwen-vl-max / qwen-vl-plus（以控制台实测为准） | 智能体或工作流中使用的模型（推荐千问 3 系列以获得更稳定的工具调用） | Qwen 商业版与开源版、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math，以及 DeepSeek、Kimi、GLM、MiniMax 等三方模型 | +| 每个应用可挂载数量 | 智能体应用最多 **10 个工具** | 单个智能体最多 **5 个 MCP 服务**；工作流单节点仅支持 1 个工具 | 无平台侧数量限制（受模型上下文与开发者代码控制） | +| 典型 API 端点 | 通过 Assistant API 传 `tool_id`（如 `calculator`） | 云端：`https://dashscope.aliyuncs.com/api/v1/mcps//mcp`；`type` 必须与端点匹配（`sse` → GET `/sse`，`streamableHttp` → POST `/mcp`） | 各地域 `/compatible-mode/v1` 前缀 + 资源路径（`/chat/completions`、`/responses`、`/embeddings`、`/files` 等） | +| 鉴权方式 | 平台内部授权 + 服务关联角色（`AliyunServiceRoleForSFMAccessCloudAPI`）；自定义插件支持 `basic` / `bearer` / `appcode` | `Authorization: Bearer `；敏感信息可用 KMS 凭据加密 | `api_key` 使用[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)（`DASHSCOPE_API_KEY`），各地域独立 | +| 是否可直连千问 API | 通过 Assistant API 可直接调用 | **不支持**直连千问 API，必须挂在智能体或工作流内 | 直接调用模型，无需应用层封装 | +| 本地资源访问 | 由自定义插件的后端实现决定 | 托管在函数计算 FC，**不能访问用户本地资源**；如需访问建议在本地部署 MCP Server | 由开发者的应用代码自行处理 | +| 上下文与多轮管理 | 由智能体/工作流内部拼接 | 工具返回内容作为上下文注入模型，会增加 Token 消耗 | Responses + Conversations 可通过 `previous_response_id`（有效期 7 天）自动管理多轮 | +| 计费方式 | 官方插件：多数免费，部分限时免费需申请；三方/自定义按第三方或业务实际计费 | 云部署：限时免部署费，联网搜索超 2000 次后 29 元/千次；自定义部署：基础模式 0.000156 元/秒；极速模式 0.000036 元/秒（部署）+ 0.000156 元/秒（调用） | 按所调用模型的推理 Token 计费；Batch、文件、Embedding 各接口按对应资源计费 | +| 生态兼容性 | 百炼平台专有 | 遵循 MCP 开源标准，可跨支持 MCP 的客户端/项目复用 | 与 OpenAI SDK、LangChain 等生态高度兼容，迁移成本低（改 `api_key`/`base_url`/`model` 三项） | +| 常见错误码 | RAM 授权 140052 等 | `11200044`~`11200060` 系列（连接、超时、鉴权、协议错配 405/404） | 参考 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)的错误规范 | + +## 适用场景建议 + +- **优先选择"插件"的场景** + - 需要"开箱即用"的通用能力：Python 代码解释器、计算器、图片生成、夸克搜索、二维码、GitHub 搜索等。 + - 希望在百炼智能体或工作流中以最低成本让模型具备工具调用能力，且工具形态是较为传统的 REST API。 + - 团队的能力扩展只服务于百炼平台，不需要跨系统标准化。 + +- **优先选择"MCP"的场景** + - 已有多个 Agent 客户端（Cursor、Cherry Studio、自研项目）需要**复用同一套工具**，希望走标准协议避免重复接入。 + - 存在需要通过阿里云 OpenAPI 操作 OSS/ECS 等云资源、或将存量 RESTful API 通过 AI 网关升级为标准工具的诉求。 + - 需要在同一个智能体中组合多个高质量官方服务（如 Amap Maps + QuickChart + WebSearch）完成路径规划、数据可视化、联网检索等复合任务。 + - 对调用频次与冷启动敏感时，选择极速模式；对偶发调用敏感时，选择基础模式。 + +- **优先选择"工具框架 / OpenAI 兼容接口"的场景** + - 已有基于 OpenAI SDK 或 LangChain / LangChain4j 的成熟应用，希望以最小代价迁移到百炼。 + - 需要直接对模型进行编排、控制多轮上下文、批量推理、文档抽取、代码补全（如 `qwen-coder-turbo`）、文本或多模态 Embedding 等能力。 + - 需要在 Chat Completions 之上使用 **Responses API** 的内置工具（联网搜索、网页抓取、代码解释器、文搜图/图搜图）与 `previous_response_id` 免拼接多轮机制。 + - 关注多地域部署（北京、新加坡、东京、法兰克福、弗吉尼亚），需要业务空间专属域名（`{WorkspaceId}..maas.aliyuncs.com`）。 + +## 组合使用建议 + +三者并非互斥关系，实际落地时经常组合出现： + +1. **对话入口 = 智能体应用（挂载插件 + MCP）**：让模型可以按对话上下文自动路由至代码解释、地图、联网搜索等能力。 +2. **业务后端 = OpenAI 兼容接口**：由业务侧直接调用 `chat/completions`、`responses` 或 `embeddings` 完成结构化生成、向量检索、代码补全等确定性任务。 +3. **跨平台复用 = MCP**：将高价值内部工具沉淀为 MCP 服务，同时被百炼智能体、Cursor 等第三方客户端与自研 Agent 共享。 + +## 技术选型速查 + +- 只想"给通义千问加几个能力"、又不想写后端 → **插件**（尤其是官方插件）。 +- 已经/即将在多个 Agent 客户端之间复用工具，或需要操作阿里云资源 → **MCP**。 +- 已有 OpenAI/LangChain 代码或需要 Batch、Embedding、Responses 等原生接口 → **工具框架 / OpenAI 兼容接口**。 +- 复杂业务：三者组合，用工具框架承担确定性接口调用，用 MCP 承担跨端标准工具，用插件补齐平台内即用能力。 + +## 被对比主题页 + +- [plug in](../guides/plug-in.md) +- [model context protocol](../guides/model-context-protocol.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-approaches.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-approaches.md new file mode 100644 index 00000000..8369ebd6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-approaches.md @@ -0,0 +1,91 @@ +# 应用调用方式对比 + +百炼平台围绕"应用"提供了多套 API 与接入路径，开发者在技术选型时常面临选择困难：是用 OpenAI 兼容的 Responses API，还是用 DashScope API？是走 SDK 还是裸 HTTP？管理类操作（知识库、数据连接、Prompt 模板）又该用哪套接口？本页从定位、端点、认证、功能覆盖、SDK 支持等维度对三种方式做横向对比，帮助开发者快速决策。 + +## 对比对象概览 + +| 对比项 | Responses API（OpenAI 兼容） | DashScope API（应用调用） | 应用组件 OpenAPI（bailian/2023-12-29） | +|--------|------------------------------|--------------------------|---------------------------------------| +| 定位 | 运行时调用智能体/工作流应用 | 运行时调用智能体/工作流应用 | 应用资源管理（数据、知识库、Prompt 模板、记忆等） | +| 协议风格 | OpenAI Responses 兼容 | 百炼自有 REST | 阿里云 ROA 签名风格 | +| 典型用途 | 对话交互、[多模态](../concepts/multimodal.md)输入、异步任务 | 对话交互、多轮会话、自定义参数透传 | 文件上传、知识库构建、Prompt 模板 CRUD、数据连接管理 | +| 是否触发模型推理 | 是 | 是 | 否（管理类操作） | + +## 关键维度对比 + +| 维度 | Responses API | DashScope API | 应用组件 OpenAPI | +|------|--------------|--------------|-----------------| +| Endpoint | `POST /api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | `POST /api/v1/apps/{APP_ID}/completion` | `https://bailian..aliyuncs.com` 下多路径 | +| 认证方式 | [API Key](../concepts/api-key.md)（`Authorization: Bearer`） | [API Key](../concepts/api-key.md)（SDK 自动读取 `DASHSCOPE_API_KEY`） | RAM 主账号 / RAM 子账号（需百炼权限 + [业务空间](../concepts/workspace.md)） | +| SDK | OpenAI Python/Java SDK | DashScope Python/Java SDK；同时支持 HTTP（Node.js/PHP/C#/Go/curl） | 阿里云 SDK（多语言 ROA 风格） | +| 多轮对话 | 通过 `input` 数组传完整历史 | `session_id`（云端托管，1 小时有效）或自行管理 `messages` | 不涉及 | +| [流式输出](../concepts/streaming.md) | `stream=true`（工作流需启用开关并重新发布） | 支持 | 不涉及 | +| [异步调用](../concepts/async-invocation.md) | `background=true`（创建→轮询→取结果） | 暂不支持 | 部分 Job 类接口异步执行（如 `SubmitIndexJob`） | +| [多模态](../concepts/multimodal.md)输入 | 支持 `input_image` / `input_file` | 支持（取决于应用配置） | 文件上传走 `ApplyFileUploadLease` → `AddFile` | +| 自定义参数透传 | 不直接支持 | `biz_params.user_defined_params` | 不涉及 | +| 适用地域 | 华北2（北京） | 华北2（北京） | 华北2（北京）、新加坡等 | +| 限流策略 | 按应用/模型维度 | 按应用/模型维度 | 文件类 5–10 次/秒，需退避重试 | + +## 各方案适用场景 + +### Responses API（OpenAI 兼容模式） + +**推荐场景：** +- 团队已有 OpenAI SDK 技术栈，希望最低成本迁移到百炼。 +- 需要异步执行长耗时任务（生成报告、多步骤工具调用），利用 `background` 模式避免请求超时。 +- 需要[多模态](../concepts/multimodal.md)输入（图像、文件），且使用 OpenAI SDK 的 `input_image` / `input_file` 类型。 + +**局限：** +- 暂不支持 `biz_params` 自定义参数透传。 +- 异步任务不支持[流式输出](../concepts/streaming.md)。 +- 地域仅华北2（北京）。 + +### DashScope API（应用调用） + +**推荐场景：** +- 需要多语言 SDK 支持（Python/Java 之外还有 Node.js/PHP/C#/Go 的 HTTP 调用）。 +- 需要通过 `session_id` 让百炼云端托管多轮对话上下文，简化客户端逻辑。 +- 智能体应用使用了自定义插件，需要通过 `biz_params.user_defined_params` 透传业务参数。 +- 工作流应用需通过 `messages` 自行管理对话历史，获得更灵活的上下文控制。 + +**局限：** +- 不支持[异步调用](../concepts/async-invocation.md)模式。 +- 多轮对话 `session_id` 有效期 1 小时，最多 50 轮。 + +### 应用组件 OpenAPI（bailian/2023-12-29） + +**推荐场景：** +- 需要通过 API 管理数据连接（文件上传、类目、解析器、连接器）。 +- 需要编程式创建和管理知识库（`CreateIndex` → `SubmitIndexJob` → `SubmitIndexAddDocumentsJob`）。 +- 需要通过 API 维护 Prompt 模板（`CreatePromptTemplate` / `ListPromptTemplates` 等）。 +- 需要管理记忆（Memory）、临时存储与支付流转等应用侧资源。 +- RAM 子账号需要操作级权限控制（`AliyunBailianDataFullAccess` / `AliyunBailianDataReadOnlyAccess`）。 + +**局限：** +- 这是管理类 API，不触发模型推理；运行时调用仍需走 Responses API 或 DashScope API。 +- 授权粒度为操作级，不支持资源级授权；细粒度隔离需通过[业务空间](../concepts/workspace.md)实现。 +- 文件类接口限流较严（5–10 次/秒），批量操作需注意退避重试。 + +## 选型决策流程 + +1. **需要管理应用资源（数据/知识库/Prompt 模板）吗？** → 是 → 使用应用组件 OpenAPI；运行时调用再从下面两选一。 +2. **已有 OpenAI SDK 技术栈或需要[异步调用](../concepts/async-invocation.md)吗？** → 是 → 使用 Responses API。 +3. **需要 `session_id` 托管多轮对话、多语言 HTTP 调用或自定义参数透传吗？** → 是 → 使用 DashScope API。 +4. **两者均可用时** → 优先选择与现有技术栈兼容性更好的一方；若需要异步能力则必须选 Responses API。 + +## 小结 + +三种方式并非互斥，而是面向不同层面的互补关系： + +- **Responses API 和 DashScope API** 都属于运行时调用层，负责触发应用执行并返回推理结果，开发者按生态兼容性和功能需求二选一即可。 +- **应用组件 OpenAPI** 属于管理层，负责应用所依赖的数据、知识库和模板的创建与维护，与运行时调用层配合使用才能完成端到端的应用集成。 + +实际项目中，典型组合是：先用应用组件 OpenAPI 完成知识库构建和文件上传，再通过 Responses API 或 DashScope API 调用已发布的应用进行对话交互。 + +## 被对比主题页 + +- [application call](../api/application-call.md) +- [bailian application calling](../guides/bailian-application-calling.md) +- [application component api reference](../api/application-component-api-reference.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md index c3c897e5..d7b2b62a 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md @@ -1,51 +1,64 @@ -# 应用调用方式对比：API 直调与百炼应用调用 +# 应用调用方式对比 -阿里云百炼平台为已编排好的应用（智能体、工作流、新版智能体 Agent 2.0）提供两套对外调用路径：一是面向 OpenAI 生态的 **Responses API（OpenAI 兼容模式）**，二是面向百炼原生的 **DashScope `Application.call` / `/completion` API**。两者底层均指向同一个 `APP_ID`，但在端点形态、SDK 选型、输入结构、多轮与多模态能力、扩展参数等方面存在差异。本文从技术选型视角对比两种方式，帮助开发者根据现有技术栈与功能需求做出取舍。 +本页对比阿里云百炼平台调用智能体应用和工作流应用的两种 API 方式——**OpenAI 兼容的 Responses API** 与 **DashScope API**，帮助开发者根据生态兼容性、异步能力、多模态支持等需求做出技术选型。两种方式均可调用智能体应用和工作流应用，核心凭证一致（APP ID + API Key），但在端点、SDK、多轮对话机制、异步调用等维度存在差异。 + +## 前提条件 + +无论选择哪种方式，均需完成以下准备： + +- 获取 **API Key**，配置到环境变量 `DASHSCOPE_API_KEY`。 +- 获取 **APP ID**（从控制台「应用管理」页面复制）。若应用位于子业务空间，还需提供 **Workspace ID**。 +- 已创建并发布百炼应用（智能体或工作流应用）。 +- 安装对应 SDK：Responses API 用 OpenAI SDK，DashScope API 用 DashScope SDK（或直接 HTTP 调用）。 + +> 目前 APP ID 和 Workspace ID 只能通过控制台手动获取，不支持 API 或 CLI 查询。 ## 关键维度对比 -| 维度 | OpenAI 兼容 Responses API（API 直调） | DashScope 原生 API（百炼应用调用） | -| --- | --- | --- | -| 调用端点 | `POST https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | `POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion` | -| SDK 选型 | OpenAI SDK（多语言） | DashScope SDK（Python / Java），或直接 HTTP | -| base_url 配置 | `https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1` | 无需 base_url，SDK 内置或直接 POST | -| 输入格式 | `input` 为字符串或消息数组，`role` 取 `system`/`user`/`assistant`，多模态 `content` 为数组（`input_text`/`input_image`/`input_file`） | `input.prompt` 字符串，或 `messages` 数组（自行管理多轮历史） | -| 输出格式 | OpenAI Responses 结构，`response.output` 等 | `{"output": {"finish_reason","session_id","text"}, "usage":{...}, "request_id":"..."}`，业务侧消费 `output.text` | -| 支持模型 | 智能体、工作流、新版智能体 Agent 2.0 | 智能体应用、工作流应用（[智能体编排](../concepts/agent-orchestration.md)应用已被工作流应用替代） | -| 同步/异步 | 支持 `background` 异步执行，同步默认；流式 `stream=true` | 主要为同步调用，`session_id` 由云端管理历史 | -| [流式输出](../concepts/streaming-output.md) | 支持（`stream=true`），异步暂不支持流式 | 通过 SDK / HTTP 支持（详见调用文档） | -| 多轮对话 | 传递完整 `input` 消息数组；基于 `pre_response_id`/`conversation_id` 的上下文能力后续支持 | 两种方式：`session_id`（云端托管，1 小时有效、最多 50 轮）或自行维护 `messages`（推荐，更灵活） | -| 多模态 | 原生支持文本、图像、文件（`input_file` 仅智能体应用支持） | 通过 `messages` 与应用内编排支持 | -| 自定义参数透传 | 通过 `input`/应用编排间接实现 | `biz_params.user_defined_params` 透传至自定义插件与工作流插件节点 | -| 业务空间 | 默认空间仅需 APP ID；子空间或海外地域需在请求中包含 Workspace ID | 同样需要 APP_ID；子空间按地域 Base URL 处理 | -| 典型场景 | 复用现有 OpenAI 代码库与工具链、多模态交互、统一 OpenAI 协议接入 | 全面功能与更高性能、自定义插件参数透传、Java/Node.js 直接 HTTP 集成 | - -## 适用场景建议 - -**OpenAI 兼容 Responses API 适合：** - -- 已有 OpenAI SDK 代码资产、希望以最小改动接入百炼应用的团队。 -- 需要多模态输入（文本 + 图像 + 文件）的智能体交互场景。 -- 希望统一在 OpenAI 协议生态下做模型/应用切换、保持代码中立。 -- 需要异步执行（`background`）与[流式输出](../concepts/streaming-output.md)能力的实时或长任务交互。 - -**DashScope 原生 `/completion` API 适合：** - -- 追求更全面功能与更高性能，使用百炼原生能力（如自定义插件参数透传 `biz_params`）。 -- Java/Node.js 项目希望直接以 HTTP 方式集成，不引入 OpenAI SDK 依赖。 -- 工作流应用需要通过 `session_id` 让云端托管对话历史，简化多轮实现。 -- 需要在工作流大模型节点中配合 `historyList` 变量精细控制提示词与上下文。 - -## 技术选型建议 - -1. **优先看协议生态**：若团队代码栈已围绕 OpenAI SDK 构建（含观测、重试、流式解析），选 Responses API 可降低迁移与维护成本；若以阿里云/DashScope 体系为主，选原生 API 更顺。 -2. **看扩展能力**：自定义插件参数透传（`biz_params.user_defined_params`）目前是原生 API 的明确能力，需要此能力的场景应选原生 API。 -3. **看多轮管理偏好**：希望云端托管历史、降低客户端状态复杂度，用原生 API 的 `session_id`；希望完全自控历史与上下文，两套 API 都支持 `messages` 数组方式。 -4. **看多模态需求**：图像、文件等多模态输入在 Responses API 中有标准化的 `content` 数组结构，接入更直接；原生 API 需结合应用编排实现。 -5. **看地域与业务空间**：两套 API 均支持默认空间仅凭 APP ID 调用；子业务空间或海外地域需携带 Workspace ID，选型不影响该约束，但需在请求中正确拼装。 -6. **凭证一致**：两套方式都使用同一份 `DASHSCOPE_API_KEY`，无需为不同调用方式分别管理密钥，切换成本主要在 SDK 与请求结构层面。 - -综上，两种方式并非互斥：同一 `APP_ID` 可同时被两套 API 调用，团队可按业务模块分别选型——面向外部生态集成用 Responses API，面向内部能力扩展用原生 API。 +| 维度 | Responses API（OpenAI 兼容） | DashScope API | +|------|------------------------------|---------------| +| API 端点 | `POST .../api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | `POST .../api/v1/apps/{APP_ID}/completion` | +| SDK | OpenAI Python / Java SDK | DashScope Python / Java SDK | +| HTTP 调用语言 | 任意支持 HTTP 的语言 | Python、Java、PHP、Node.js、C#、Go 等 | +| 多轮对话 | 通过 `input` 数组传递完整消息历史（role + content） | `session_id`（系统托管，有效期 1 小时，最多 50 轮）或自行维护 `messages` 数组 | +| 异步调用 | 支持，设置 `background=true`，返回任务 ID 后轮询 | 暂不支持 | +| 流式输出 | 支持，设置 `stream=true` | 支持（工作流应用需在结束节点启用流式开关并重新发布） | +| 多模态输入 | 支持图像（`input_image`）和文件（`input_file`） | 通过应用编排配置 | +| 自定义参数透传 | 未提供 | 支持，通过 `biz_params.user_defined_params` 传递业务参数 | +| 可用地域 | 仅华北2（北京） | 仅华北2（北京） | +| 响应结构 | OpenAI 标准响应格式 | `{"output": {"text", "session_id", "finish_reason"}, "usage": {...}, "request_id": "..."}` | +| 典型场景 | OpenAI 生态兼容、异步长任务、多模态交互 | 深度集成百炼能力、多语言调用、自定义参数透传 | + +## Responses API 适用场景 + +Responses API 提供 OpenAI 兼容接口，适合以下场景： + +- **OpenAI 生态复用**：已有基于 OpenAI SDK 的代码或服务，可平滑迁移到百炼，仅需替换 `base_url` 和 `api_key`。 +- **异步长任务**：如生成报告、多步骤工具调用等耗时任务，通过 `background=true` 异步执行，避免请求超时。流程为创建任务 → 轮询状态 → 获取结果。 +- **多模态输入**：需同时传入图像或文件的场景，通过 `input_image` / `input_file` 类型在 `content` 数组中混合多种输入。 + +> 异步任务暂不支持流式输出（`stream=true`）。 + +## DashScope API 适用场景 + +DashScope API 提供更全面的功能支持，适合以下场景： + +- **多语言集成**：除 Python/Java SDK 外，还支持 PHP、Node.js、C#、Go 等语言的 HTTP 直接调用，适合异构技术栈。 +- **自定义参数透传**：通过 `biz_params.user_defined_params` 向自定义插件或自定义节点传递业务参数，实现动态配置。 +- **Session 托管**：通过 `session_id` 让系统自动加载历史对话，减少客户端维护成本（有效期 1 小时，最多 50 轮）。如需更灵活的控制，也可自行管理 `messages` 数组。 +- **工作流应用深度集成**：工作流应用支持在调用时传递自定义参数、配置提示词变量 `historyList` 等能力。 + +## 选型建议 + +| 需求 | 推荐方案 | +|------|----------| +| 已有 OpenAI SDK 代码，希望快速接入 | Responses API | +| 需要异步执行长耗时任务 | Responses API（`background=true`） | +| 需要多模态（图像/文件）输入 | Responses API | +| 需要多语言 HTTP 调用（非 Python/Java） | DashScope API | +| 需要向自定义插件/节点透传业务参数 | DashScope API | +| 希望由系统托管对话上下文 | DashScope API（`session_id`） | +| 需要完全控制对话历史 | 两者皆可（Responses 用 `input` 数组，DashScope 用 `messages` 数组） | ## 被对比主题页 @@ -53,5 +66,3 @@ - [bailian application calling](../guides/bailian-application-calling.md) - - diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-lifecycle-management.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-lifecycle-management.md new file mode 100644 index 00000000..4ef8a0c2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-lifecycle-management.md @@ -0,0 +1,74 @@ +# 应用评估、监控与权限管理对比 + +在阿里云百炼平台上，应用从开发到上线运营涉及三个互补的能力：**应用评估**（Application Evaluation）用于回答质量的系统化打分与调优，**应用观测**（Application Monitoring）用于运行期链路追踪与指标监控，**权限管理**（Application Permission Management）用于组织内资源与功能的访问控制。三者共同构成应用生命周期管理的闭环，但在使用主体、数据形态、开通方式和计费模式上差异显著。本文横向对比三项能力，为开发者做技术选型和落地路径决策提供参考。 + +## 定位速览 + +- **应用评估**：面向应用回答质量，"生成 → 评分 → 归因 → 迭代"的离线质量闭环。 +- **应用监控**：面向应用运行时行为，端到端追踪调用链路、延时和 Token 消耗，指标分钟级更新。 +- **权限管理**：面向组织与资源，围绕业务空间与角色划分模型、页面、API-Key 的访问范围。 + +## 关键维度对比 + +| 维度 | 应用评估 | 应用监控 | 权限管理 | +| --- | --- | --- | --- | +| 目的 | 评估回答质量、辅助调优 | 追踪运行链路、观测指标 | 控制资源与功能的访问 | +| 生效阶段 | 离线 / 版本迭代期 | 应用发布后运行时 | 全生命周期，先决条件 | +| 使用主体 | 应用开发者、算法工程师 | 应用运营者、SRE | 主账号 / 业务空间管理员 | +| 主要对象 | 智能体应用、工作流应用 | 智能体、工作流、高代码应用 | 业务空间、模型、页面、API-Key | +| 输入形态 | 评测集（JSONL / XLSX / 自定义） | 应用运行期 Prompt 与调用日志 | RAM 用户、角色策略、模型清单 | +| 输出形态 | 评测报告（正确率、BadCase、归因、调优建议） | Trace 列表、监控图表、导出 JSONL / EXCEL | 权限矩阵、限流规则、API-Key | +| 关键组件 | 评测集、评估器（LLM / Code）、标签、评测任务 | CHAIN / AGENT / LLM / TOOL / RETRIEVER 等节点 | 超级管理员、业务空间管理员、普通用户 | +| 触发方式 | 手动创建评测任务（自动 / 人工） | 添加"被观测应用"后自动追踪 | 全局管理 / 业务空间「权限管理」页面 | +| API / OpenAPI | 无独立 OpenAPI，走控制台 | 无 API，仅控制台操作 | OpenAPI 权限须主账号在 RAM 单独授予 | +| 数据时效 | 任务级（分钟到小时） | 分钟级同步，保留最长 30 天 | 授权分钟级生效，高峰期略有延迟 | +| 前置条件 | 已发布应用；须开通应用观测并加入观测列表；子账号需评测操作权限 | 首次需授权 OpenTelemetry 服务角色、开通服务并初始化 LogStore | 授予对应 RAM 策略（如 AliyunBailianFullAccess） | +| 支持模型 / 范围 | 评测集生成与评估仅支持 `qwen-max`、`qwen-plus` | 智能体 / 工作流 / 高代码（高代码不追踪内部链路） | 覆盖所有可管控模型与页面 | +| 计费方式 | 评测任务调用大模型按 Token 计费 | 功能免费；观测数据存储由 OpenTelemetry 服务收取 | 无计费 | +| 与其他能力的关系 | 依赖应用观测的观测列表；共享标签体系 | 数据可导入评测集；标签体系与评估共享 | 是评估、观测能力的准入门槛 | +| 典型场景 | 版本迭代对比、Prompt / 检索调优、RAG BadCase 归因 | 上线后性能监控、线上问题排查、成本分析 | 多地域组织授权、模型调用限流、API-Key 治理 | + +## 数据流示意 + +- **权限管理** → 授予业务空间与页面访问权 → 用户才能创建、发布应用并开通后续能力。 +- **应用监控** → 追踪线上 Trace / Span → 导出或"加入评测集" → 为**应用评估**提供真实样本。 +- **应用评估** → 生成评测报告与调优建议 → 迭代应用 → 新版本再次进入监控与评测循环。 + +## 适用场景建议 + +### 应用评估 + +- 应用完成一轮开发或调整（Prompt / 知识库 / 检索 / 重排 / 模型）后需要客观验证效果。 +- 需要横向对比多个候选应用或同一应用不同版本，用于选型或灰度决策。 +- 需要将人工标注经验固化为可复用的自动评估器，构建长期质量基线。 +- 需要针对 RAG BadCase 做归因（模型理解 / 检索 / 重排 / 切片 / 未获取知识）。 + +### 应用监控 + +- 生产环境的应用需要感知延时、Token 消耗与失败率等运营指标。 +- 排查线上问题：某次调用为什么慢、卡在哪个节点、Guardrail 是否被触发。 +- 希望把真实线上样本沉淀到评测集，用于持续回归。 +- 需要为应用做成本核算（输入 / 输出 Token、按分钟 / 小时 / 天粒度聚合）。 + +### 权限管理 + +- 组织内存在多个 RAM 用户、多个业务空间、多个地域，需要精细化拆分授权。 +- 需要限制特定模型的调用范围、请求数与 Token 限流，或控制模型调优 / 部署权限。 +- 需要为不同团队分配独立的 API-Key，并保证归属业务空间的策略生效。 +- 需要通过 OpenAPI 调用百炼数据 / 知识库 / Prompt 工程 / 长期记忆等能力（须单独授予 `AliyunBailianDataFullAccess` / `AliyunBailianDataReadOnlyAccess`）。 + +## 技术选型参考 + +- **上线前 → 上线后 → 治理**：先用权限管理搭好组织与资源边界，再用应用监控保障运行时可见性，最后用应用评估驱动质量迭代。三者顺序不可颠倒——没有权限即无法访问功能；没有观测，自动评测的前置条件（观测列表、真实样本）就无从谈起。 +- **构建质量闭环**：把应用监控里的高价值 Span 通过"加入评测集"沉淀为回归样本，配合 3-5 个评估器（相关性 LLM + 格式 Code + 幻觉检测等）形成"线上采样 → 离线评测 → 迭代发布"的持续闭环。 +- **控制成本**：应用监控功能本身不收费，但 OpenTelemetry 存储与评测调用 Token 均产生费用；对大规模应用建议在权限管理中先做模型限流与业务空间隔离，避免评测任务或线上流量突增引发失控成本。 +- **子账号协作**：三项能力都对子账号有额外授权要求（评测的"应用评测-操作"、观测的 `ram:CreateServiceLinkedRole`、OpenAPI 的独立系统策略），落地时建议先梳理 RAM 策略清单再逐项开通。 +- **新旧版本兼容**：应用评估存在新旧两套系统，新版围绕"评测集 + 评估器 + 标签 + 评测任务"更灵活；如无历史包袱建议直接采用新版体系，并复用其与应用监控共享的标签管理。 + +## 被对比主题页 + +- [application evaluation](../guides/application-evaluation.md) +- [application monitoring](../guides/application-monitoring.md) +- [application permission management](../guides/application-permission-management.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md index deadf313..eb9924e2 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md @@ -1,67 +1,45 @@ # 应用评测与模型评测对比 -百炼平台提供两套独立的评测体系：**应用评测**面向已构建的智能体应用和工作流应用，评估端到端的输出质量与 RAG 链路效果；**模型评测**面向底层大模型本身，评估模型的推理能力和指令遵循表现。两者的评测对象、数据流、评分机制和适用场景均有显著差异，开发者需要根据当前所处的开发阶段选择合适的评测方式。 +百炼平台同时提供"应用评测"和"模型评测"两套独立的评测能力。两者评测对象、评测粒度和评测手段均不同：应用评测针对已发布的智能体/工作流应用，关注端到端的 RAG 质量与业务效果；模型评测针对底层文本生成类模型，关注模型基础能力与推理输出质量。本页帮助开发者在技术选型时快速厘清两者差异，选择正确的评测路径。 ## 关键维度对比 | 维度 | 应用评测 | 模型评测 | |------|----------|----------| -| **评测对象** | 智能体应用、工作流应用（已发布的完整应用） | 文本生成类大模型（基础模型或调优后模型） | -| **核心目标** | 验证应用端到端输出质量，定位 RAG 链路问题 | 评估模型推理能力，辅助模型选型或调优验证 | -| **评测方式** | 自动评测（单应用 / 多应用横向）、手动评测 | 自定义评测（AI / 规则 / 人工）、基线评测（公开数据集） | -| **评测集来源** | 基于应用关联知识库自动生成，或手动上传 | 手动上传评测数据集，或使用公开标准数据集（C-Eval、MMLU 等） | -| **评估器 / 评分机制** | 新版评估器（LLM 评估器 + Code 评估器 + 预置模板）；旧版由平台内置评分 | 评测维度模板（大模型评估数值型/分类型、规则评估相似度/匹配、人工评估） | -| **归因分析** | 支持 RAG 链路归因（模型理解有误、重排不佳、检索无效、切片不完整、未获取知识） | 不提供链路归因，仅输出维度得分和通过率 | -| **横向对比能力** | 最多 8 个应用同基准横向对比 | 支持多模型评测结果排行榜对比 | -| **人工标注** | 新版通过标签体系支持四种类型标注（分类 / 布尔值 / 数字 / 文本） | 人工评估维度（Pass/Fail 标注） | -| **前提条件** | 应用已发布、已配置知识库、已开通应用观测 | 无特殊前提，上传数据集即可评测 | -| **地域限制** | 无特殊地域限制 | 基线评测仅北京地域可用 | -| **API 支持** | 通过控制台操作 | 仅控制台操作，不提供公开 API/SDK（可参考 PAI Judge Model API） | -| **计费构成** | 评测集生成 + 应用调用 + 评估器模型的 Token 费用 | 被评测模型推理费用 + 裁判模型评分费用 | - -## 评分体系差异 - -| 对比项 | 应用评测 | 模型评测 | -|--------|----------|----------| -| **评分范围** | 1-5 分（正确率 = 得分 >= 4 的占比） | 可自定义整数区间（默认 0-5，建议不超过 10） | -| **自动评分方式** | LLM 评估器（语义）+ Code 评估器（规则） | 大模型评估（裁判模型）+ 规则评估（ROUGE/BLEU/Cosine/字符串匹配） | -| **评估器数量** | 每任务最多 10 个，建议组合 3-5 个 | 按评测维度配置，无上限说明 | -| **评分模型** | 评测集生成和评估仅支持 qwen-max 和 qwen-plus | 裁判模型推荐千问-Max，被评测模型不限 | +| 评测对象 | 已发布的智能体应用、工作流应用 | 文本生成类模型（基础模型或调优模型） | +| 评测粒度 | 端到端应用输出（含 RAG 检索、重排、模型推理全链路） | 模型推理输出（不含应用层编排） | +| 评测模式 | 自动评测（LLM 评分）、手动评测（人工标注）、多应用横向评测 | 自定义评测（大模型/规则/人工三种评分）、基线评测（公开数据集） | +| 评测集格式 | 旧版：对话分析 `.xls/.xlsx`、知识问答 `.jsonl`；新版：智能体/工作流/自定义三类结构 | 评测数据集（含 Prompt + Completion 列）或推理结果集（已含 Output） | +| 评估器/评分器 | 评估器（LLM 评估器、Code 评估器、预置模板、基于历史任务创建） | 评测维度（大模型评估-数值型/分类型、规则评估-文本相似度/字符串匹配、人工评估-分类型） | +| 人工标注 | 通过标签管理（分类/布尔值/数字/文本）+ 评测任务标注完成 | 通过"人工评估-分类型"维度逐条标注 Pass/Fail | +| 参考答案要求 | 自动评测可由知识库生成，不强制参考答案 | 规则评估类需参考答案，大模型评估和人工评估不强制 | +| 多版本对比 | 支持多应用横向评测（最多 8 个应用或同应用不同版本） | 通过排行榜对比多模型/多版本，支持排行参与 | +| 归因分析 | 支持（模型理解有误、重排不佳、检索无效、切片不完整、未获取知识等 RAG 环节定位） | 不支持 RAG 环节归因，聚焦模型推理本身 | +| 计费构成 | LLM 评估器产生 Token 费用；Code 评估器无额外费用 | 被评测模型推理费用 + 裁判模型评分费用；用推理结果集可免推理费 | +| 操作入口 | 控制台 + 应用观测；新版支持标签、评估器、版本管理 | 仅控制台操作，不提供公开 API/SDK | +| 地域限制 | 无特殊地域限制 | 基线评测仅北京地域可用 | ## 适用场景建议 -### 优先选择应用评测的场景 - -- 智能体应用已发布上线，需要持续监控输出质量 -- 需要定位 RAG 链路中的具体瓶颈（检索、重排、切片、模型理解） -- 知识库更新或 Prompt 调整后需要回归验证 -- 多个应用版本之间需要横向对比，选出最优配置 -- 需要将人工标注经验固化为自动评估规则（通过评估器模板化） - -### 优先选择模型评测的场景 +### 选择应用评测 -- 项目初期的模型选型，需要在多个候选模型间对比基础能力 -- 模型微调（SFT）后需要验证调优效果是否达标 -- 使用公开基准（C-Eval、MMLU、GSM8K、BBH）快速了解模型通用能力 -- 需要用规则评估（ROUGE/BLEU）做确定性指标验证（如翻译、摘要场景） -- 关注模型推理能力本身，而非上层应用的端到端效果 +- 需要评估**智能体应用**或**工作流应用**的端到端效果，包括知识库检索、重排、提示词和模型推理的协同表现。 +- 需要对多个应用或同一应用的多个版本做**横向对比选型**。 +- 需要通过 **RAG 归因分析**定位 BadCase 出在检索、重排还是模型推理环节。 +- 需要结合**人工标注**（标签）和**自动评分**（评估器）构建持续评测闭环。 +- 知识库更新后、应用发布前需要做质量回归。 -### 组合使用建议 +### 选择模型评测 -典型的开发流程中，两种评测可以分阶段配合使用：先通过**模型评测**完成基础模型选型和调优验证，确定最优模型后构建应用，再通过**应用评测**验证端到端效果并持续迭代优化。 - -## 成本优化对比 - -| 策略 | 应用评测 | 模型评测 | -|------|----------|----------| -| **减少推理费用** | 缩小评测集规模 | 使用推理结果集（复用已有推理输出） | -| **减少评分费用** | 使用 Code 评估器替代 LLM 评估器 | 使用规则评估或人工评估替代大模型评估 | -| **渐进式评测** | 先小规模自动评测，再针对 BadCase 人工复核 | 先 50-100 条验证，再扩大到 200-500 条正式评测 | +- 需要评估**底层模型**的基础能力（如 C-Eval、MMLU、GSM8K 等公开基准）。 +- 需要在多个候选模型之间做**选型对比**，或验证调优模型的调优效果。 +- 评测数据有标准答案且格式固定，适合用**规则评估**（字符串匹配、文本相似度）做确定性判断。 +- 需要用**裁判模型**对无标准答案的开放性问答做语义打分。 +- 需要控制评测成本，先小规模验证再保存推理结果集复用。 -## 来源文档 +### 两者结合 -- [application evaluation](../guides/application-evaluation.md) (guides/application-evaluation.md) -- [model evaluation introduction](../guides/model-evaluation-introduction.md) (guides/model-evaluation-introduction.md) +若应用质量问题主要出在模型推理环节，可先用应用评测定位归因，再用模型评测针对候选模型做基线对比，两套评测配合使用可覆盖从模型选型到应用调优的全链路质量保障。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-vs.md new file mode 100644 index 00000000..0d3cedc6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-vs.md @@ -0,0 +1,67 @@ +# 应用评测与模型评测对比 + +百炼平台提供两套独立的评测体系：**应用评测**针对智能体应用和工作流应用的端到端输出质量进行评估，**模型评测**针对底层大模型本身的推理能力进行评估。两者在评测对象、数据组织、评分机制和典型场景上有显著差异。本页帮助开发者根据实际需求选择合适的评测路径。 + +## 关键维度对比 + +| 维度 | 应用评测 | 模型评测 | +|------|----------|----------| +| 评测对象 | 已发布的智能体应用、工作流应用 | 文本生成类大模型（含已部署的调优模型） | +| 评测目标 | 应用端到端输出质量（含 RAG 检索、Prompt、知识库等环节） | 模型推理能力本身（问答质量、翻译、摘要等） | +| 评测模式 | 自动评测（LLM 生成评测集并打分）、手动评测（人工标注） | 自定义评测（自有数据集）、基线评测（公开标准数据集） | +| 评测集类型 | 旧版：对话分析(.xls/.xlsx)、知识问答(.jsonl)；新版：智能体、工作流、自定义 | 评测数据集（含 Prompt + Completion）或推理结果集（已含 Output） | +| 评测集来源 | 基于知识库自动生成、手动上传、从应用观测导入 | 数据管理模块上传、公开标准数据集（C-Eval、MMLU、GSM8K、BBH 等） | +| 评分方式 | LLM 评估器、Code 评估器、人工标注 | 大模型评估（数值型/分类型）、规则评估（文本相似度/字符串匹配）、人工评估 | +| 评分器配置 | 评估器（预置模板 / 自定义 LLM/Code / 基于历史任务创建），单任务最多 10 个 | 评测维度（五种类型，创建为模板可复用），维度类型创建后不可修改 | +| 参考答案要求 | 视评估器类型而定，LLM 评估器可不需参考答案 | 规则评估需参考答案，大模型评估和人工评估不需要 | +| 裁判模型 | 评测集生成和评估仅支持 qwen-max、qwen-plus | 推荐千问-Max，可配置评分器 Prompt | +| 标签体系 | 支持分类、布尔值、数字、文本四种标签类型，用于人工标注和数据筛选 | 支持 Pass/Fail 标签（分类型/人工评估） | +| 报告与归因 | 总正确率、BadCase 分析、RAG 归因分析、调优建议 | 综合得分、通过率、逐条评分明细、可选排行榜 | +| 基线评测 | 不适用 | 支持（C-Eval、MMLU、GSM8K、BBH 等，仅北京地域） | +| 多应用对比 | 支持最多 8 个应用横向评测 | 支持排行榜参与，多模型排名对比 | +| 计费方式 | LLM 评估器产生 [Token](../concepts/token.md) 费用，Code 评估器无额外费用 | 被评测模型推理费用 + 裁判模型评分费用；推理结果集可免推理费 | +| API/SDK | 控制台操作 | 控制台操作，无公开 API/SDK（可参考 PAI Judge Model API） | +| 地域限制 | 无特殊限制 | 基线评测仅北京地域可用 | + +## 评测流程对比 + +**应用评测**流程：创建评测任务 → 设置评测集 → 配置评测规则（评估器 + 标签）→ 执行评测 → 查看报告与归因分析。自动评测模式下，平台基于应用关联的知识库自动生成评测集，并由 LLM 完成打分；手动评测模式下，需人工下载模板填充数据并逐条标注。 + +**模型评测**流程：准备数据集 → 创建评测维度 → 创建评测任务（选模型 + 关联数据集和维度）→ 查看结果。自定义评测需开发者自行上传数据并配置评分规则；基线评测使用公开标准数据集，无需准备数据或配置维度，适合快速验证模型基础能力。 + +## 评分机制对比 + +应用评测的评估器体系更侧重于**应用层面的质量维度**，如回答相关性、格式规范性、幻觉检测等，并支持将人工标注经验固化为自动化 LLM 评估器。评估器分 LLM 和 Code 两类，建议组合 3-5 个从不同维度评估。 + +模型评测的评测维度体系更侧重于**模型推理能力的标准化评测**，提供五种明确的维度类型，且有清晰的选型决策路径：有标准答案且格式固定用字符串匹配；有标准答案但表述多样用文本相似度；无标准答案需语义理解用大模型评估；需主观判断用人工评估。 + +## 适用场景建议 + +| 场景 | 推荐评测方式 | 原因 | +|------|-------------|------| +| 验证智能体应用回答质量 | 应用评测（自动评测） | 可基于知识库自动生成评测集，含 RAG 归因分析定位检索/Prompt 问题 | +| 多版本智能体应用对比选型 | 应用评测（多应用横向评测） | 同一基准下对比最多 8 个应用，支持版本迭代验证 | +| 需要人工主观判断的评测 | 应用评测（手动评测 / 新版标签标注） | 支持自定义评测维度和标签体系，灵活适配领域专家判断 | +| 评估模型基础能力（MMLU/GSM8K 等） | 模型评测（基线评测） | 使用公开标准数据集，无需准备数据，快速获得模型能力基线 | +| 对比不同模型的问答/翻译/摘要能力 | 模型评测（自定义评测） | 支持规则评估和大模型评估，可绑定排行榜做多模型排名 | +| 有标准答案的确定性任务评测 | 模型评测（规则评估） | ROUGE/BLEU/Cosine 等算法直接计算，无裁判模型费用 | +| 无标准答案的语义质量评测 | 两者均可 | 应用评测用 LLM 评估器，模型评测用大模型评估维度 | +| 验证已部署调优模型效果 | 模型评测（自定义评测） | 已部署调优模型不额外计费，推理费用含在部署算力费用中 | + +## 成本优化建议 + +- **应用评测**：优先组合 Code 评估器（无额外费用）与少量 LLM 评估器，减少 [Token](../concepts/token.md) 消耗；利用应用观测数据导入评测集，避免重复生成。 +- **模型评测**：先用 50-100 条小规模验证，保存推理结果集复用以免去推理费用；有确定性标准的场景优先用规则评估（无裁判模型费用）；已部署调优模型评测不额外计费。 + +## 注意事项 + +- 应用评测存在新旧两套系统，新版在评测任务管理、评估器和标签体系上做了较大升级，手动评测属于旧版功能。 +- 模型评测当前仅支持文本生成类模型，基线评测仅北京地域可用，任务提交后不可更换目标模型。 +- 模型评测的 LLM 评分器存在位置偏差和自我偏好偏差，建议定期人工抽查校准；1-3% 的分数差异通常为评测噪声。 + +## 被对比主题页 + +- [application evaluation](../guides/application-evaluation.md) +- [model evaluation introduction](../guides/model-evaluation-introduction.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-comparison.md new file mode 100644 index 00000000..6fbbc367 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-comparison.md @@ -0,0 +1,47 @@ +# 框架与工具包对比 + +百炼平台为开发者提供了两条主要的框架集成路径：一是通过官方适配的开源框架（LlamaIndex、Spring AI Alibaba）直接调用百炼云端能力，二是通过 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)将已有应用迁移至百炼并接入 LangChain 等主流框架。两者在定位、语言生态、功能范围和迁移成本上存在显著差异。本页面帮助开发者根据技术栈和业务需求选择合适的集成方案。 + +## 关键维度对比 + +| 维度 | LlamaIndex + Spring AI Alibaba（官方框架适配） | [OpenAI 兼容接口](../concepts/openai-compatible-interface.md) + LangChain（兼容迁移路线） | +| --- | --- | --- | +| 定位 | 深度集成百炼云端知识库、智能体与工作流 | 以 OpenAI 兼容协议接入百炼模型推理能力 | +| 支持语言 | Python（LlamaIndex）、Java（Spring AI Alibaba） | 多语言（Python/Node.js/Go 等任意支持 OpenAI SDK 的语言） | +| 核心能力 | 云端知识库构建、RAG 应用、智能体/工作流调用、知识库检索 | Chat Completions、Responses、Completions、Embedding、Vision、文件、Batch、Conversations | +| 知识库支持 | 原生支持云端知识库（智能切分 + 官方向量模型） | 通过 Embedding 接口 + 文件接口可自建知识库管线 | +| 自定义切分/嵌入 | LlamaIndex 云端方案不支持；需改用本地知识库方案 | 完全可控，可自定义切分策略与嵌入模型 | +| 模型范围 | LlamaIndex：qwen-max 等对话模型；Spring AI Alibaba：智能体/工作流应用 | Qwen 全系列（含 VL/Coder/Omni/Math）、DeepSeek、Kimi、GLM、MiniMax 等三方模型 | +| [流式输出](../concepts/streaming.md) | Spring AI Alibaba 支持流式（`Flux`，`text/event-stream`） | Chat Completions 支持 `stream=True`；Responses 支持流式 | +| 迁移成本 | 需学习百炼专用 SDK 与配置方式 | 已有 OpenAI 应用仅需替换 `api_key`、`base_url`、`model` 三项 | +| 鉴权方式 | [API Key](../concepts/api-key.md)（环境变量 `DASHSCOPE_API_KEY` 等） | [API Key](../concepts/api-key.md)（环境变量 `DASHSCOPE_API_KEY`） | +| 地域支持 | LlamaIndex 按百炼通用约定；Spring AI Alibaba 需配置[业务空间](../concepts/workspace.md) ID | 北京、新加坡、东京、法兰克福、弗吉尼亚等多地域，各地域 [API Key](../concepts/api-key.md) 不同 | +| 典型场景 | 企业级 RAG 应用、Java/Spring 生态集成百炼智能体 | OpenAI 应用迁移、多模型统一调用、代码补全、批量推理、视觉理解 | + +## 各方案适用场景建议 + +### LlamaIndex（Python） + +适合使用 Python 技术栈、希望快速搭建 RAG 应用的开发者。核心优势是将本地文件上传至百炼云端自动构建知识库，无需自行管理切分与向量模型。但云端方案不支持自定义切分和嵌入模型，对切分粒度有精细控制需求时应改用本地知识库方案。 + +### Spring AI Alibaba（Java） + +适合 Java/Spring Boot 生态的企业应用，需要直接调用百炼控制台中已创建的智能体应用或工作流应用。支持流式与非流式调用，可获取文档引用与思考过程元数据。也支持检索百炼知识库。前提是 JDK 17+ 与 Spring Boot 3.x，并需提前在控制台创建应用获取 App ID。 + +### [OpenAI 兼容接口](../concepts/openai-compatible-interface.md) + LangChain + +适合已有 OpenAI 应用希望低成本迁移到百炼的场景，或需要使用多语言 SDK 的项目。通过替换三项配置即可完成迁移，同时支持 LangChain/LangChain4j 等主流框架。该路线覆盖能力最广（对话、补全、嵌入、视觉、文件、批量），但不提供百炼云端知识库的托管能力，知识库需自行构建。 + +## 选型建议 + +- **已有 OpenAI 应用或使用 LangChain 生态**：优先选择 OpenAI 兼容接口路线，迁移成本最低，模型覆盖最广。 +- **Python 新项目、需要云端托管知识库**：选择 LlamaIndex，快速构建 RAG 应用，无需运维基础设施。 +- **Java/Spring 企业应用、需要调用百炼智能体或工作流**：选择 Spring AI Alibaba，与 Spring 生态无缝集成。 +- **需要自定义文档切分或嵌入模型**：OpenAI 兼容接口 + 自建知识库管线，或 LlamaIndex 本地知识库方案。 + +## 被对比主题页 + +- [frameworks](../api/frameworks.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-vs.md new file mode 100644 index 00000000..c8fa9876 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-vs.md @@ -0,0 +1,46 @@ +# 框架与工具包对比 + +阿里云百炼提供两条不同的框架与工具包集成路径：一条是通过 **LlamaIndex / Spring AI Alibaba** 等原生框架深度集成百炼的云端知识库与智能体应用能力；另一条是通过 **OpenAI 兼容接口**体系，以最小改动迁移已有 OpenAI 应用或接入 LangChain 等主流框架。本文从集成方式、语言生态、核心能力、适用场景等维度对两条路径进行对比，帮助开发者根据自身技术栈和业务需求做出选型。 + +## 关键维度对比 + +| 维度 | [frameworks](../api/frameworks.md)（原生框架集成） | toolkits-and-[frameworks](../api/frameworks.md)（OpenAI 兼容接口） | +| --- | --- | --- | +| **集成方式** | 使用框架原生 SDK 深度对接百炼云端知识库、智能体应用、工作流 | 替换 `api_key`、`base_url`、`model` 三项即可迁移已有 OpenAI 应用 | +| **语言/生态** | Python（LlamaIndex）、Java（Spring AI Alibaba，JDK 17+） | 任意支持 OpenAI SDK 的语言；可直接接入 LangChain / LangChain4j | +| **核心能力** | 云端知识库构建、RAG 检索引擎、智能体应用调用（流式/非流式）、工作流应用调用 | Chat Completions、Responses、Completions、Embedding、文件上传、Batch 批量推理、Conversations 会话管理、Vision 视觉理解 | +| **知识库** | 支持将本地文件上传到百炼构建云端知识库，使用默认智能切分与官方向量模型；Spring AI Alibaba 可检索百炼知识库 | 不直接提供知识库构建能力，但可通过 Embedding 接口自行实现向量检索 | +| **文档切分/嵌入模型** | 云端方案不支持自定义切分与嵌入模型；需本地知识库方案方可灵活控制 | 可自由选择嵌入模型（text-embedding-v1~v4），v3/v4 支持自定义向量维度 | +| **智能体/工作流** | Spring AI Alibaba 直接调用百炼智能体应用与工作流应用，获取思考过程、文档引用等元数据 | Responses API 提供内置联网搜索、网页抓取、代码解释器等工具，通过 `previous_response_id` 自动管理多轮上下文 | +| **API 端点** | 通过框架 SDK 封装调用百炼原生接口 | 统一使用 `/compatible-mode/v1` 路径，HTTP 调用追加具体资源路径 | +| **鉴权** | API Key 配置到环境变量（`DASHSCOPE_API_KEY` 等） | API Key 配置到环境变量 `DASHSCOPE_API_KEY`；各地域 API Key 不同，切换地域需同步更换 | +| **多地域支持** | 主要面向百炼主站 | 支持华北2（北京）、新加坡、日本（东京）、德国（法兰克福）、美国（弗吉尼亚）等多地域，含[业务空间](../concepts/workspace.md)专属域名 | +| **迁移成本** | 需按框架文档搭建工程、配置依赖、编写集成代码 | 已有 OpenAI 应用通常零代码改动，仅改配置即可完成迁移 | +| **典型场景** | 从零构建 RAG 应用、集成百炼智能体/工作流到 Java/Python 工程 | 迁移已有 OpenAI 应用、多语言接入、使用 LangChain 生态、批量推理、代码补全 | + +## 适用场景建议 + +### 选择 [frameworks](../api/frameworks.md)（原生框架集成）的情况 + +- **需要使用百炼云端知识库**：希望将本地文档上传到百炼、由平台托管知识库并完成智能切分与向量索引，无需自建向量数据库。 +- **需要调用百炼智能体应用或工作流应用**：已在百炼控制台创建了智能体或工作流，希望在 Java 后端通过 Spring AI Alibaba 集成，获取[流式输出](../concepts/streaming.md)、思考过程等结构化结果。 +- **使用 Python 构建 RAG**：技术栈为 Python，希望用 LlamaIndex 快速搭建[检索增强生成](../concepts/rag.md)应用，复用百炼的向量模型与重排能力。 + +### 选择 toolkits-and-frameworks（OpenAI 兼容接口）的情况 + +- **已有 OpenAI 应用需要迁移**：应用已使用 OpenAI SDK，希望以最低成本切换到百炼通义千问等模型，不改动业务逻辑。 +- **多语言或 LangChain 生态**：使用的语言或框架不在原生框架覆盖范围内（如 Go、Node.js、LangChain/LangChain4j），通过 OpenAI 兼容接口可无缝接入。 +- **需要多地域部署**：业务需要在中国内地、新加坡、日本、德国、美国等多地域调用模型，通过切换 `base_url` 即可实现。 +- **需要批量推理或代码补全**：有大规模批量推理需求（Batch 接口）或代码补全场景（Completions 接口，支持 `qwen-coder-turbo`）。 +- **需要 Responses API 的高级能力**：希望使用内置联网搜索、网页抓取、代码解释器等工具，以及通过 `previous_response_id` 自动管理多轮上下文。 + +### 两者结合使用 + +在实际项目中，两条路径并非互斥。常见的组合方式是：使用 **toolkits-and-frameworks** 的 OpenAI 兼容接口完成模型调用（Chat Completions、Embedding 等），同时使用 **frameworks** 的 LlamaIndex 或 Spring AI Alibaba 对接百炼云端知识库与智能体应用，兼顾迁移便利性与平台原生能力。 + +## 被对比主题页 + +- [frameworks](../api/frameworks.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-comparison.md new file mode 100644 index 00000000..2c1106b3 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-comparison.md @@ -0,0 +1,73 @@ +# 生成类 API 对比 + +百炼平台提供了三大类生成式 AI API——图像生成、3D 资产生成和视频生成。它们在输入方式、输出产物、调用模式、支持模型和适用场景上各有差异。本页对三类 API 做横向对比，帮助开发者根据业务需求快速选型。 + +## 关键维度对比 + +| 维度 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词（[prompt](../guides/prompt.md)）；参考图 URL（图生图/编辑）；多图参考 | 文本 [prompt](../guides/prompt.md)（≤1024 字符）；单张图像 URL；多图（固定 4 张：前/左/后/右视角） | 文本 [prompt](../guides/prompt.md)；media 多模态数组（首帧/尾帧/参考图/视频/音频）；直接 URL 字段（旧版协议） | +| **输出格式** | 图像文件（PNG/JPG），像素范围 512×512 ~ 2048×2048，1~6 张 | GLB 格式 3D 模型（PBR 材质或无贴图基础模型）+ 预览渲染图 | 视频文件，分辨率 480P~4K，时长 5~8 秒（视模型而定） | +| **调用模式** | 混合：wan2.6/2.7、z-image、qwen-image 支持同步调用；长耗时任务走异步 | 仅异步（必须 `X-DashScope-Async: enable`） | 仅异步（必须 `X-DashScope-Async: enable`） | +| **API 端点** | 多个端点（按模型系列不同）；同步与异步并存 | `POST .../aigc/video-generation/3d-generation` + `GET .../tasks/{task_id}` | `POST .../aigc/video-generation/video-synthesis` + `GET .../tasks/{task_id}` | +| **支持模型数** | 最多（Qwen-Image、万相全系列、z-image、Kling、Vidu、创意工具等 20+ 模型） | 最少（Tripo-H3.1、Tripo-P1.0 两个模型） | 较多（万相 wan2.7/2.6/2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画系列等） | +| **地域限制** | 部分北京独占（创意工具、wanx-v1）；其余支持多地域 | 仅华北2（北京） | 北京、新加坡、美国（弗吉尼亚）、德国（法兰克福） | +| **task_id 有效期** | 视模型而定（异步任务一般为 24 小时） | 24 小时 | 24 小时 | +| **产物下载有效期** | 视模型而定 | 2 小时 | 视模型而定 | +| **轮询建议间隔** | 视模型而定 | 约 15 秒 | 视模型而定（查询 RPS 限制 20） | +| **计费方式** | 按张计费（如 wanx-v1 0.16 元/张）或按调用次数 | 按任务类型（text-to-3d / image-to-3d / multi-image-to-3d）计费 | 按任务类型与分辨率/时长计费 | +| **同步调用支持** | 是（wan2.6/2.7、z-image、qwen-image 系列新模型） | 否 | 否 | +| **任务状态枚举** | — | PENDING → RUNNING → SUCCEEDED / FAILED / CANCELED / UNKNOWN | PENDING → RUNNING → SUCCEEDED / FAILED / CANCELED / UNKNOWN | + +## 各方案适用场景建议 + +### 图像生成 + +- **适用场景**：营销素材批量生成、商品图编辑、内容配图、创意海报、虚拟试衣、图像翻译等。 +- **选型建议**： + - 需要复杂文本渲染与段落排版 → Qwen-Image 系列。 + - 追求高性价比、轻量快速 → z-image-turbo。 + - 需要多图参考、4K 高清输出 → 万相 wan2.7-image-pro。 + - 需要风格化、去水印、超分等专项编辑 → 万相通用图像编辑 `wanx2.1-imageedit`。 + - 第三方风格偏好 → Kling 或 Vidu 系列。 + +### 3D 生成 + +- **适用场景**：游戏资产生成、电商 3D 展示、建筑可视化、教育/文物数字化的快速 3D 建模。 +- **选型建议**： + - 需要高精度、高面数模型 → Tripo-H3.1（最高 200 万面，支持 `ultra` 几何精度）。 + - 追求生成速度、对面数要求不高 → Tripo-P1.0（最高 2 万面，速度更快）。 + - 需要带贴图的 PBR 材质模型 → `pbr` 设为 `true`（默认）。 + - 只需基础白模 → `texture` 和 `pbr` 同时设为 `false`。 + - 注意：仅限北京地域 API Key 调用，需提前在控制台开通 Tripo 服务。 + +### 视频生成 + +- **适用场景**：短视频内容创作、广告生成、视频编辑、数字人/口型替换、视频超清、动作模仿等。 +- **选型建议**： + - 需要最新协议、多能力集成 → 万相 wan2.7（文生/图生/参考/编辑，推荐）。 + - 需要首尾帧、多镜头分镜 → Kling kling-v3 系列。 + - 需要 4K 超清、对口型、动作模仿 → PixVerse 系列。 + - 数字人/人像动画 → animate-anyone、emo、liveportrait 等人像动画系列。 + - 注意：所有视频 API 均为异步调用，跨地域调用会失败，务必保证模型、域名、API Key 同地域。 + +## 技术选型参考 + +| 需求特征 | 推荐方案 | 理由 | +| --- | --- | --- | +| 低延迟、即时返回 | 图像生成（同步模型） | wan2.6/2.7、z-image 等支持 HTTP 同步调用，无需轮询 | +| 批量处理、可容忍异步 | 任意（图像异步 / 3D / 视频） | 异步模式支持任务队列，适合批量场景 | +| 多模态输入（图+文+音） | 视频生成 | media 数组支持首帧/尾帧/参考图/视频/音频等多模态组合 | +| 多视角输入 | 3D 生成 | 支持前/左/后/右四视角多图生 3D | +| 需要文本渲染能力 | 图像生成（Qwen-Image） | 擅长复杂文本渲染与多行段落排版 | +| 需要多地域部署 | 视频生成 | 支持北京/新加坡/美国/德国四地域 | +| 成本敏感 | 图像生成（z-image-turbo / wanx-v1） | 轻量模型或 V1 版价格更低 | +| 高保真输出 | 3D 生成（Tripo-H3.1 ultra）或图像生成（wan2.7-image-pro 4K） | 高精度模型支持超高分辨率/面数输出 | + +## 被对比主题页 + +- [image generation](../api/image-generation.md) +- [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-vs.md new file mode 100644 index 00000000..fbd132d2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-vs.md @@ -0,0 +1,78 @@ +# 图像/3D/视频生成 API 对比 + +百炼平台提供三类[多模态](../concepts/multimodal.md)生成 API：图像生成、3D 资产生成和视频生成。它们共享 DashScope 网关和异步任务轮询的基础调用范式，但在输入模态、输出产物、模型矩阵、地域限制和计费粒度上存在显著差异。本页面向需要在这些生成能力之间做技术选型的开发者，从关键维度逐一对比，帮助快速判断哪种 API 最适合你的业务场景。 + +## 关键维度对比 + +| 维度 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词；参考图（图生图/编辑）；多图参考（部分模型） | 文本提示词；单张图像 URL；4 视角多图（前/左/后/右） | 文本提示词；首帧/尾帧图像；参考图；视频/音频输入（视模型而定） | +| **输出格式** | 图像（JPEG/PNG），1~6 张 | GLB 3D 模型（PBR 材质或无贴图基础模型）+ 预览渲染图 | 视频文件 | +| **支持模型** | Qwen-Image、万相 wan2.7/2.6/2.5/2.2/2.1/2.0、Z-Image、Kling、Vidu 等系列，另含图像翻译、涂鸦作画、虚拟模特等专项工具 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业快速） | 万相 wan2.7/2.6/2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画、数字人等 | +| **API 端点** | 各模型独立端点（见对应 API 参考） | `POST /api/v1/services/aigc/video-generation/3d-generation` | `POST /api/v1/services/aigc/video-generation/video-synthesis` | +| **调用模式** | 大多数异步（`X-DashScope-Async: enable`）；wan2.6/2.7、z-image、qwen-image 系列支持 HTTP 同步调用 | 仅异步（必须携带 `X-DashScope-Async: enable`） | 仅异步（必须携带 `X-DashScope-Async: enable`） | +| **结果轮询** | 异步任务通过 `GET /api/v1/tasks/{task_id}` 轮询 | 同左；建议轮询间隔约 15 秒，RPS 默认 20 | 同左；`task_id` 有效期 24 小时 | +| **地域要求** | 多地域可用（北京为主，部分模型仅限北京） | 仅华北2（北京） | 北京、新加坡、弗吉尼亚、法兰克福；PixVerse/Vidu/Kling/HappyHorse/人像动画仅限北京 | +| **计费方式** | 按张计费（如 wanx-v1 为 0.16 元/张）；部分专项工具提供免费体验 | 按任务类型计费（text-to-3d / image-to-3d / multi-image-to-3d） | 按任务计费（分辨率、时长影响费用） | +| **产物下载有效期** | 视模型而定 | 2 小时 | 视模型而定 | +| **典型场景** | 文生图、图像编辑、图像翻译、创意海报、虚拟模特、试衣、涂鸦作画、局部重绘 | 文生 3D、单图生 3D、多视角生 3D、PBR 材质模型生成 | 文生视频、图生视频、首尾帧视频、参考生视频、视频编辑、视频超分、对口型、动作模仿、数字人 | + +## 调用流程差异 + +三类 API 都遵循"创建任务 → 轮询获取结果"的异步范式，但图像生成有同步与异步两种模式可选，而 3D 和视频生成均只支持异步： + +- **图像生成**：较新的 wan2.6/wan2.7、z-image、qwen-image 系列支持 HTTP 同步调用，可直接在单次请求中获取生成结果；其余模型需走异步流程。如果对延迟敏感且使用的是支持同步的模型，优先选同步模式。 +- **3D 生成**：强制异步，创建任务时若不携带 `X-DashScope-Async: enable` 会直接报错。轮询间隔建议 15 秒，任务状态流转为 PENDING → RUNNING → SUCCEEDED/FAILED。 +- **视频生成**：同样强制异步。需注意部分万相模型（图生动作 `wan2.2-animate-move`、视频换人 `wan2.2-animate-mix`、数字人 `wan2.2-s2v`）使用 `image2video/video-synthesis` 路径而非 `video-generation/video-synthesis`，调用时需区分端点。 + +## 输入模态对比 + +| 输入类型 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| 纯文本提示词 | 支持（文生图） | 支持（文生 3D） | 支持（文生视频） | +| 单张参考图 | 支持（图生图/编辑） | 支持（单图生 3D） | 支持（图生视频/首帧） | +| 多张参考图 | 部分支持（Kling 多图、Vidu 最多 14 张） | 支持（固定 4 视角，前/左/后/右） | 支持（参考生视频、首尾帧） | +| 视频输入 | 不支持 | 不支持 | 支持（视频编辑、超分等） | +| 音频输入 | 不支持 | 不支持 | 支持（数字人、对口型等） | + +## 适用场景建议 + +### 图像生成 + +适合需要**静态视觉产物**的场景：营销素材生成、电商商品图编辑、图像翻译保留排版、创意海报、虚拟模特试衣、涂鸦转成品图等。如果你的需求是快速批量出图且对延迟敏感，优先选择支持同步调用的模型（z-image-turbo、qwen-image、wan2.7-image）。如果需要复杂文本渲染和多段排版，Qwen-Image 系列是首选。创意工具类（虚拟模特、鞋靴模特等）适合垂直行业需求，但注意部分仅在北京地域提供。 + +### 3D 生成 + +适合需要**3D 资产**的场景：游戏道具快速建模、电商商品 3D 展示、建筑/工业设计预览等。如果对模型精度要求高，选 Tripo-H3.1（最高 200 万面，可设 `geometry_quality: ultra`）；如果追求速度，选 Tripo-P1.0（最高 2 万面）。输入方式的选择：有精确设计稿选单图生 3D，有多角度照片选多图生 3D（前/左/后/右四视角），只有文字描述则用文生 3D。注意此 API 仅限北京地域。 + +### 视频生成 + +适合需要**动态视频产物**的场景：广告短视频、影视素材生成、数字人播报、视频编辑与风格迁移、视频超分等。模型选择策略： + +- 通用文生/图生视频：万相 wan2.7 新版协议为推荐方案，功能最全（图生视频含首帧/首尾帧/续写、参考生视频含多主体+音色）。 +- 第三方模型：Kling 擅长智能分镜和视频编辑；PixVerse 支持 4K 超分和动作模仿；Vidu 适合广告参考生视频。 +- 人像/数字人场景：人像动画系列（animate-anyone、emo、liveportrait）适合舞蹈/唱演/播报；万相 `wan2.2-s2v` 适合单图+音频生成说话视频。 +- 需要音频同步：选支持 `audio` 参数的模型或使用专门的对口型接口。 + +## 技术选型速查 + +| 你的需求 | 推荐 API | 推荐模型 | +| --- | --- | --- | +| 快速文生图（低延迟） | 图像生成 | z-image-turbo 或 qwen-image（同步调用） | +| 高质量文生图+文本渲染 | 图像生成 | Qwen-Image 系列 | +| 图像编辑/改字/增删物体 | 图像生成 | Qwen-Image-Edit 或 wan2.7-image | +| 电商虚拟模特/试衣 | 图像生成 | wanx-virtualmodel / shoemodel-v1 | +| 3D 模型生成（高精度） | 3D 生成 | Tripo/Tripo-H3.1（ultra 精度） | +| 3D 模型生成（快速） | 3D 生成 | Tripo/Tripo-P1.0 | +| 文生视频/图生视频 | 视频生成 | wan2.7 系列（新版协议） | +| 视频编辑/风格迁移 | 视频生成 | wan2.7-videoedit 或 Kling | +| 数字人/对口型 | 视频生成 | wan2.2-s2v 或 PixVerse lipsync | +| 4K 视频超分 | 视频生成 | pixverse-upscale | + +## 被对比主题页 + +- [image generation](../api/image-generation.md) +- [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md index bfc49c97..0b162061 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md @@ -1,47 +1,67 @@ # 图像、视频与 3D 生成对比 -阿里云百炼平台在 DashScope 网关上提供了图像、视频与 3D 三大类视觉内容生成能力。三者虽同属「生成式媒体」范畴、共用同一套鉴权与任务模型，但在输入输出格式、可用模型、调用协议、地域限制与产物形态上差异明显。本文面向开发者，横向梳理三类方案的关键维度，帮助在技术选型时快速判断该用哪一类 API。 +阿里云百炼平台在 AIGC 领域覆盖了**图像生成**、**视频生成**、**3D 资产生成**三大主流内容形态。三者共享 DashScope 网关的调用范式和 API Key 体系，但在输入输出、模型矩阵、调用模式、耗时、地域限制、计费方式与典型场景上差异显著。本页梳理三者的关键维度，帮助开发者在做技术选型时快速定位到合适的能力。 ## 关键维度对比 | 维度 | 图像生成 | 视频生成 | 3D 生成 | | --- | --- | --- | --- | -| 主要能力 | 文生图、图像编辑、图像翻译、垂直创意工具（虚拟模特、扩图、擦除补全、海报等） | 文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑、数字人、人像驱动、超清、对口型 | 文生 3D、单图生 3D、多图生 3D | -| 典型输入 | `prompt` / `negative_prompt`；编辑类传 `image_url`/`images`/`mask_image_url`；新版用 `messages` 多模态结构 | 文生用 `prompt`；图生/参考/编辑用 `media` 数组或 `image_url`/`video_url`/`audio_url`/`first_frame`/`last_frame` 等 | `prompt`（≤1024 字符）/ `image`（单图）/ `images`（4 元数组：前左后右），三者互斥 | -| 输出格式 | 图像 URL（有效期 24 小时），分辨率随模型而异（如 512×512~2048×2048、1K/2K/4K） | 视频 URL，分辨率 480P/540P/720P/1080P、可设 `duration` | 带贴图 PBR 材质 GLB（`pbr_model_url`）或无贴图基础模型（`base_model_url`）+ 预览渲染图，下载链接**仅 2 小时** | -| 代表模型 | Qwen-Image、万相 Wan/WanX（t2i/imageedit）、Z-Image、可灵、Vidu 等 | 万相 Wan 2.1-2.7、PixVerse、Vidu、可灵 Kling、HappyHorse、EMO/LivePortrait 等 | `Tripo/Tripo-H3.1`（最高 200 万面）、`Tripo/Tripo-P1.0`（最高 2 万面，速度更快） | -| 调用协议 | 异步（主流）+ **HTTP 同步**（仅 wan2.6/2.7、z-image 等新版） | **全部异步**（创建任务 → 轮询），无同步 | **全部异步**（创建任务 → 轮询），无同步 | -| 典型端点 | `text2image/image-synthesis`、`image2image/image-synthesis`、`multimodal-generation/generation`、`virtualmodel/generation` 等多种 | `video-generation/video-synthesis`（主）、部分数字人用 `image2video/video-synthesis` | `video-generation/3d-generation`（单一端点） | -| 生成耗时 | 通常 1-2 分钟 | 通常 1-5 分钟（统一编辑约 5-10 分钟） | 较长，建议轮询间隔约 15 秒 | -| 地域可用性 | 华北2（北京）为主，部分模型也支持新加坡/美国；大量创意工具**仅北京** | 华北2（北京）为主，第三方模型多**仅北京**，万相等部分支持新加坡/美国/德国 | **仅华北2（北京）** | -| 计费方式 | 仅对成功输出图片计费，含免费额度（通常 500 张/90 天），主子账号共享 | 按成功任务计费，随模型与分辨率/时长而异 | 仅对成功结果计数，`usage` 记录任务类型/数量/质量 | -| 关键请求头 | `Authorization`、`Content-Type`；异步需 `X-DashScope-Async: enable` | 同左，异步必带 `X-DashScope-Async: enable` | 同左，异步必带 `X-DashScope-Async: enable` | -| 任务状态 | `PENDING`/`RUNNING`/`SUSPENDED`/`SUCCEEDED`/`FAILED` | 同类异步枚举，过期返回 `UNKNOWN` | `PENDING`/`RUNNING`/`SUCCEEDED`/`FAILED`/`CANCELED`/`UNKNOWN` | - -## 共性与差异要点 - -**共性**：三者都基于 DashScope 网关，共用 `Authorization: Bearer $DASHSCOPE_API_KEY` 鉴权、`model`/`input`/`parameters` 的请求体结构，异步模式均为「创建任务拿 `task_id` → 轮询查询」，且 `task_id` 有效期统一为 24 小时、创建异步任务必须携带 `X-DashScope-Async: enable`。地域隔离规则也一致：模型、Endpoint 与 API Key 必须同地域，跨地域会鉴权失败。 - -**核心差异**： - -- **协议丰富度**：只有图像生成的部分新版模型（wan2.6/2.7、z-image）支持一次请求返回结果的 HTTP 同步调用；视频与 3D **全部只能异步**。 -- **地域自由度**：图像与视频在北京之外还有一定跨地域支持，而 3D 生成**只有华北2（北京）**可用，选型时需特别注意。 -- **产物时效**：图像/视频 URL 有效期 24 小时，而 3D 模型下载链接**仅 2 小时**，需在生成后尽快下载并转存。 -- **输入约束**：3D 的 `prompt`/`image`/`images` 三者互斥，多图必须是固定 4 元数组（前左后右）；图像与视频则允许更灵活的多模态、多图输入组合。 - -## 适用场景建议 - -- **图像生成**：适合海报、电商主图、创意配图、虚拟模特试衣、图像翻译/编辑等静态视觉需求。追求低延迟、希望一次请求出结果时，优先选支持 HTTP 同步的新版模型（wan2.6/2.7、z-image-turbo）；需要精细编辑（改文字、局部重绘、扩图、去水印）则用千问/万相编辑系列。 -- **视频生成**：适合短视频、广告片、数字人播报、口播/对口型、人像驱动等动态内容。需明确任务类型（文生/图生/首尾帧/参考/编辑）选择对应模型，注意多镜头控制方式在不同模型间不一致（万相 2.7、PixVerse-c1 用自然语言 `prompt`，旧版万相 2.6 需显式 `shot_type: "multi"` + `prompt_extend: true`）。 -- **3D 生成**：适合游戏/电商/XR 场景的 3D 资产快速建模。需要高精度、高面数选 `Tripo/Tripo-H3.1`（可用 `geometry_quality: ultra` 达 200 万面）；追求速度、面数需求不高选 `Tripo/Tripo-P1.0`。务必在北京地域开通 Tripo 服务并及时下载 2 小时时效的产物。 - -## 技术选型参考 - -1. **先按产物形态定类别**：要静态图片 → 图像；要动态视频 → 视频；要可交互 3D 模型（GLB） → 3D。 -2. **再评估延迟要求**：对响应速度敏感的图像场景可用同步协议；视频与 3D 必须做好异步轮询与任务状态处理（含 `FAILED`/`UNKNOWN`）。 -3. **确认地域与开通**：3D 与多数第三方视频/图像创意模型只在北京可用，需保证模型、Endpoint、API Key 同地域，并提前在控制台开通授权（如 Tripo）。 -4. **规划产物存储**：所有产出均为限时 URL，建议生成后立即转存至 OSS，其中 3D 仅 2 小时窗口最需注意。 -5. **统一工程实现**：三类 API 共用鉴权、请求头与异步模型，可复用同一套任务提交/轮询/重试封装，仅按 `model` 与端点差异做分支。 +| **产物形态** | 静态图片（PNG/JPEG 等） | 视频文件（MP4，通常 1080P/720P/480P） | GLB 三维模型（含 PBR 材质或无贴图基础模型）+ 预览渲染图 | +| **典型输入** | 文本 [prompt](../guides/prompt.md)、参考图（单/多图）、mask、涂鸦、线稿、模特/服饰图 | 文本 [prompt](../guides/prompt.md)、首帧图、首尾帧图、参考图、参考视频、音频 | 文本 [prompt](../guides/prompt.md)、单张图或 4 视角图（前/左/后/右） | +| **模型矩阵广度** | 最广：Qwen-Image / 通义万相 Wan/WanX / Z-Image / Kling / Vidu / 专项创意工具（虚拟模特、鞋靴模特、涂鸦、局部重绘、图像翻译、创意海报等） | 广：万相 Wan 2.1~2.7、爱诗 PixVerse、Vidu、可灵 Kling、HappyHorse、人像驱动系列（AnimateAnyone/EMO/LivePortrait/Emoji/VideoRetalk） | 单一家族：Tripo（`Tripo/Tripo-H3.1` 高精度 200 万面、`Tripo/Tripo-P1.0` 专业快速 2 万面） | +| **调用模式** | 主流：异步「创建任务 → 轮询 task_id」；较新的 wan2.6/2.7、z-image、qwen-image 支持 HTTP **同步**调用 | 全部**异步**，必须携带 `X-DashScope-Async: enable` | 仅**异步**，必须携带 `X-DashScope-Async: enable` | +| **主要 API 端点** | `/api/v1/services/aigc/text2image/*`、`/multimodal-generation/*`（因模型而异） | `/api/v1/services/aigc/video-generation/video-synthesis`；部分数字人/图生动作走 `/api/v1/services/aigc/image2video/video-synthesis` | `/api/v1/services/aigc/video-generation/3d-generation` | +| **典型耗时** | 数秒~数十秒 | 1~5 分钟，统一编辑类可达 5~10 分钟 | 分钟级（建议 15 秒轮询一次） | +| **task_id 有效期** | 通常 24 小时（异步任务通用约定） | 24 小时，过期返回 `UNKNOWN` | 24 小时，过期返回 `UNKNOWN` | +| **输出下载链接有效期** | 视具体模型（通常 24 小时） | 视具体模型（通常 24 小时） | **仅 2 小时**，需及时下载 | +| **地域支持** | 大部分模型支持华北2（北京）；旗舰 Qwen-Image/Z-Image/wan2.6+ 支持多地域（新加坡/美国/德国）；专项创意工具、`wanx-v1` 多为北京独占 | 万相与 HappyHorse 部分能力支持多地域；PixVerse/Vidu/Kling/数字人系列**仅北京** | **仅华北2（北京）** | +| **分辨率/规格控制** | `size` / `n`（张数 1~6，Z-Image 固定 1）；总像素 512×512 ~ 2048×2048，可到 4K（wan2.7-image-pro） | `resolution`（480P/540P/720P/1080P）、`size`（如 `1280*720`）、`duration`（秒），PixVerse 视频超清固定 4K | `texture_quality`（standard/detailed）、`geometry_quality`（standard/ultra，仅 H3.1）、`pbr`、`texture` | +| **多镜头/连贯性** | 组图（wan2.7-image 文生组图、Kling 分镜组图） | 智能分镜/多镜头：万相 2.7 与 PixVerse-c1 用 `prompt` 自然语言；wan2.6 需 `shot_type: "multi"` + `prompt_extend: true` | 单一 3D 资产，无镜头/时序概念 | +| **前置准备** | 部分模型需要授权开通（如 Kling、Vidu 第三方模型） | 大量第三方模型需要在模型市场开通；数字人需要 `wan2.2-s2v-detect` 检测图片 | 需在**模型市场**搜索「Tripo」开通并完成授权 | +| **计费维度** | 按张数/像素/模型档位（旗舰、Plus、Turbo/Lite 分层，`wanx-v1` 约 0.16 元/张） | 按秒/分辨率/模型档位（`wan-std`/`wan-pro` 等） | 按任务次数计费，`usage` 记录 `text-to-3d`/`image-to-3d`/`multi-image-to-3d` | +| **响应产物字段** | `output.results[].url` / `output.images` | `output.video_url` | `pbr_model_url`（默认）/ `base_model_url`（关闭贴图时）/ `rendered_image_url` | +| **多模态输入丰富度** | 中等（文本 + 参考图 + mask） | **最丰富**（文本 + 图 + 音频 + 视频，wan2.7-i2v 支持全模态输入） | 较低（互斥的 `prompt` / `image` / `images` 三选一） | + +## 各方案适用场景建议 + +### 图像生成：适合"高并发、多样式、快出图"的可视化需求 + +- **通用文生图 / 排版渲染**：Qwen-Image 系列（复杂文本渲染、段落级排版最强），或万相 wan2.7-image-pro（4K 输出、组图）。 +- **轻量高性价比**：`z-image-turbo`（固定 1 张，中英文渲染均衡）。 +- **图像编辑与二次创作**：Qwen-Image-Edit（改字、增删物体、动作/风格迁移），wanx2.1-imageedit（去水印、扩图、超分、上色、线稿生图）。 +- **电商/营销专项工具**：虚拟模特、鞋靴模特、创意海报、人像风格重绘（多为北京地域独占，部分免费体验）。 +- **多图参考构图**：Kling omni（分镜组图）、Vidu 参考图生图（最多 14 张参考）。 + +### 视频生成：适合"故事讲述、动态展示、数字人交互" + +- **文/图/参考生视频**：万相 wan2.7 全系列（协议最新、多模态最全）；PixVerse、Vidu、Kling 提供风格化补充。 +- **首尾帧过渡与短片剪辑**：wan2.7-i2v-*、pixverse-*、viduq3-* 均支持首尾帧生视频。 +- **数字人/口播/直播分身**：`wan2.2-s2v`（图片+音频驱动，需先跑 `wan2.2-s2v-detect`）。 +- **人像驱动（舞蹈/唱演/播报）**：AnimateAnyone、EMO、LivePortrait；预设表情包用 Emoji（`driven_id`）。 +- **后期能力**：pixverse-upscale（视频超清 4K）、pixverse-lipsync（对口型）、video-style-transform（8 种风格重绘）。 +- **视频编辑与多主体保持一致**：wan2.7-videoedit、`wanx2.1-vace-plus`（统一编辑模型，支持多图参考、视频重绘）。 + +### 3D 生成：适合"游戏资产、AR/VR、工业展示、电商 3D 展品" + +- **文生 3D**：品牌形象、概念资产快速原型（1024 字符 prompt 上限）。 +- **单图生 3D**：从设计稿、扫描图直接重建带贴图 GLB（图像 20~6000 像素、≤ 20MB、JPEG/PNG、公网 URL）。 +- **多图生 3D**：4 视角（前/左/后/右）输入，实际有效图 2~4 张；可捕捉更精准的几何。 +- **高精度需求**：`Tripo/Tripo-H3.1` + `geometry_quality: ultra`（最高 200 万面），配合 `texture_quality: detailed`。 +- **速度优先**：`Tripo/Tripo-P1.0`（专业级速度更快，最高 2 万面）。 +- **无贴图/后期自贴图**：`pbr: false` 且 `texture: false`，返回 `base_model_url`。 + +## 面向开发者的技术选型参考 + +1. **先明确产物类型再选子系统**：需要动态时序（视频）或空间几何（3D）优先，静态视觉需求走图像。 +2. **地域与 API Key 一致性最容易踩坑**：3D 生成与大量视频/图像专项工具**仅限北京**；调用前先确认模型、Endpoint、API Key 三者地域一致，否则会鉴权失败。 +3. **调用模式判断**：能同步就同步（延迟低、集成简单），旗舰 Qwen-Image / wan2.6+ 支持同步；视频与 3D **只能异步**，请务必内建轮询与超时（24 小时 task_id 上限）。 +4. **及时下载 3D 产物**：3D 的 `pbr_model_url` / `base_model_url` **仅 2 小时**有效期，务必配合对象存储进行落盘（图像/视频链接过期时间通常宽松许多）。 +5. **多镜头协议不统一**：视频领域万相 2.7 / PixVerse-c1 用自然语言 prompt，旧版万相 2.6 需显式 `shot_type` + `prompt_extend`；接入前务必查阅所选模型的 API 参考。 +6. **并发与限流**：3D 查询接口默认 RPS 20，建议使用异步回调；视频轮询也应搭配指数退避。 +7. **计费分层策略**：图像用 Turbo/Lite/Plus 分层，视频用 `wan-std`/`wan-pro` 或独立档位，3D 按任务类型 + 精度组合；批量生成时优先做小样本 A/B 再放量。 +8. **模型开通前置**：所有第三方模型（Kling、Vidu、PixVerse、HappyHorse、Tripo）都需**先在模型市场开通并授权**，CI 环境的 API Key 也要经过同样的授权。 +9. **多模态复杂输入选视频**：需要"图像 + 音频 + 视频"多模态融合，`wan2.7-i2v-*` 是首选；单纯参考图生图走图像子系统即可。 +10. **端到端流水线组合**：常见组合是"图像生成 → 图生视频 → 3D 重建"，可以复用同一 API Key 与工作流，将 DashScope 网关作为统一入口。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-api-vs-guide.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-api-vs-guide.md new file mode 100644 index 00000000..8f405aee --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-api-vs-guide.md @@ -0,0 +1,40 @@ +# 托管智能体 API 与指南对比 + +百炼平台的 Managed Agents（托管智能体）同时提供了面向开发者的 REST API 文档和面向使用者的操作指南。两者覆盖同一套运行时，但视角与粒度不同：API 文档聚焦资源模型、端点签名与字段级约定，适合集成开发；指南聚焦概念理解、控制台操作与最佳实践，适合上手与配置。本文从多个维度对比两者，帮助开发者根据需要选择参考来源。 + +## 关键维度对比 + +| 维度 | API 文档（managed-agents-api） | 操作指南（managed-agents） | +| --- | --- | --- | +| 目标读者 | 后端开发者、SDK 使用者 | 产品经理、应用配置者、初次使用者 | +| 内容核心 | 资源模型、REST 端点、请求/响应字段、版本管理 | 概念解释、控制台向导、工具能力、上下文挂载 | +| 资源覆盖 | Agent、Environment、Session、Event、Skill、File 六类 | Agent、Environment、Session、Event 四类核心，附带工具与 Skill 说明 | +| 端点列举 | 每类资源均给出完整端点表（含创建/获取/列出/更新/归档/删除等） | 仅在流程中点到关键端点（`POST /agents`、`POST /environments`、`POST /sessions`、事件相关端点） | +| 认证方式 | 明确给出基地址拼接规则、API Key 鉴权头、`x-request-id` 追踪 | 未单独说明，依赖 API 文档 | +| 地域支持 | 标注当前仅 `cn-beijing` | 未提及 | +| 工具说明 | 通过 Skill 资源间接涉及 | 直接列出 7 个内置工具（bash、read、write、edit、glob、grep、download_file）及 MCP 服务接入 | +| 文件处理 | 独立 File 资源，含上传/查询/删除端点与配额（20 MB / 100 GB / 30 天） | 提及文件挂载与 `/mnt/session/uploads` 路径约定，限制标注为 10 MB | +| 版本管理 | 强调 Agent 版本递增、会话锁定版本、Skill 挂载需指定版本号 | 未展开版本机制 | +| 状态机 | 会话状态 `idle → running → idle/terminated` | 提及中断续接与工具审批，指向会话状态机文档 | +| 快速开始 | 五步流程：创建 Agent → Environment → Session → 发送 Event → 接收 SSE | 四步流程：配置智能体 → 配置环境 → 发起会话 → 发送事件并接收响应 | +| 典型场景 | 端到端 API 集成、自动化编排、SDK 封装 | 控制台配置、预览调试、理解概念与能力边界 | +| 模型示例 | 未给具体模型名 | 控制台向导示例 `qwen3.7-plus`，API 示例 `qwen3-max`，提示以控制台下拉为准 | + +## 适用场景建议 + +- **正在做 API 集成或 SDK 开发**：以 API 文档为主。它提供完整的端点列表、字段定义、版本与配额约定，是编码实现的唯一权威来源。 +- **首次接触 Managed Agents 或使用控制台配置**：以指南为主。它用通俗语言解释智能体、运行环境、会话、事件四要素，并给出控制台操作路径与工具能力概览。 +- **需要理解工具能力与沙箱行为**：优先看指南。它明确列出内置工具、MCP 服务接入方式与文件路径约定；API 文档只在 Skill/File 资源层面间接涉及。 +- **需要确认认证、地域、版本管理等运维细节**：优先看 API 文档。鉴权头、基地址、地域限制、版本递增与锁定规则均在此处。 +- **排查字段不一致或端点差异**：API 文档已标注总览页与详情页之间的方法名差异（如 Agent 更新端点 `PATCH` vs `POST`），开发时应以各资源详情页为准；指南中模型名称不一致同样提示以控制台实际可选为准。 + +## 技术选型参考 + +两者并非替代关系，而是互补。推荐的使用方式是：用指南建立整体认知与控制台操作能力，用 API 文典驱动代码实现与字段级约定。在自动化编排、多会话管理、Skill 版本控制等深度场景下，API 文档不可或缺；在团队协作、原型验证、工具选型等场景下，指南更高效。 + +## 被对比主题页 + +- [managed agents api](../api/managed-agents-api.md) +- [managed agents](../guides/managed-agents.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-comparison.md new file mode 100644 index 00000000..a1728b98 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-comparison.md @@ -0,0 +1,59 @@ +# 托管智能体 API 与使用指南对比 + +百炼平台的 Managed Agents（托管智能体）同时提供两份维度的文档：一份是 **API 参考文档**，面向直接调用 REST API 的开发者；另一份是 **使用指南文档**，面向通过控制台或 API 完成端到端配置的使用者。两者描述的是同一个托管运行时，但在资源粒度、操作细节、配额限制和适用场景上存在差异。本页帮助开发者在编码前快速判断该参考哪份文档、以及两份文档之间需要注意的差异点。 + +## 关键维度对比 + +| 维度 | Managed Agents API（API 参考） | Managed Agents（使用指南） | +| --- | --- | --- | +| 文档定位 | REST API 端点参考，覆盖全部资源的 CRUD 与事件流 | 概念讲解与操作流程指南，面向控制台向导与 API 双路径 | +| 核心资源模型 | 六类：Agent、Environment、Session、Event、Skill、File | 四类：Agent、Environment、Session、Event（Skill 与 File 作为工具/挂载展开） | +| 认证方式 | [API Key](../concepts/api-key.md) 鉴权，`Authorization: Bearer ` Header，支持 `x-request-id` 追踪 | 提及 [API Key](../concepts/api-key.md) 鉴权，但侧重控制台操作流程 | +| API Endpoint 覆盖 | 全量端点表格：Agent / Session / Event / Skill / File / Environment，含版本管理与归档 | 仅引用关键端点（创建 Agent / Environment / Session / Events / Stream），不列全量 | +| 地域支持 | 明确标注当前仅 `cn-beijing`，Endpoint 拼装含 `workspace_id` 与 `region` | 未明确地域限制 | +| 工具说明 | 以 Skill（zip 工具包）和 File 资源 API 展开 | 列出 7 个内置工具（bash、read、write、edit、glob、grep、download_file）+ MCP 服务 + Skill | +| 文件配额 | 单文件上限 20 MB，工作空间总容量 100 GB，保留期 30 天 | 单文件上限 10 MB（控制台侧），未提总容量与保留期 | +| 模型示例 | 未给出具体模型 ID 示例 | 控制台向导示例 `qwen3.7-plus`，API 示例 `qwen3-max`，以控制台下拉列表为准 | +| 版本管理 | 详细描述 Agent 版本递增、Skill 版本锁定、`?version=N` 查询历史版本 | 提及创建后通过 ID 引用复用，未展开版本细节 | +| 上下文与挂载 | File 资源 API（上传/查询/删除/挂载），`available` 状态校验 | 上下文管理详解：挂载时机、`/mnt/session/uploads` 路径约定、会话隔离机制 | +| 状态机 | Session 状态机引用详情页（idle → running → idle/terminated） | 事件类型分类（User、Agent、Tool、Tool_output、Error、Model、System）与预览调试 | +| 典型读者 | 直接编写 HTTP 请求或 SDK 代码的后端开发者 | 需要理解概念并完成首次配置的产品经理、全栈开发者 | +| 调用流程 | 五步：创建 Agent → 创建 Environment → 创建 Session → 发送 Event → 订阅 SSE | 四步：配置智能体 → 配置环境 → 发起会话 → 发送事件并接收响应 | + +## 差异点与注意事项 + +- **文件大小限制不一致**：API 参考标注单文件上限 20 MB，使用指南标注 10 MB。实际以控制台当前配额为准，编码时建议保守取 10 MB。 +- **Agent 更新端点差异**：API 总览标注 `PATCH`，Agent 详情页标注 `POST`，Environment 和 Session 也存在类似差异。以各资源详情页为准。 +- **模型名称不一致**：使用指南中控制台示例为 `qwen3.7-plus`，API 示例为 `qwen3-max`，以控制台模型下拉列表实际可选的模型 ID 为准。 +- **资源粒度差异**：API 参考将 Skill 和 File 作为独立资源类管理（含安全扫描状态机），使用指南将它们归入工具与上下文挂载范畴。需要查阅上传/下载/版本接口时应参考 API 参考文档。 + +## 适用场景建议 + +### 优先参考 API 参考文档的场景 + +- 需要编写 SDK 封装或直接构造 HTTP 请求 +- 需要查阅完整的端点列表、请求/响应字段、分页参数 +- 需要 Skill 版本管理与 File 资源的完整生命周期操作 +- 需要排查 `x-request-id` 或对接工单系统 +- 需要确认地域、Endpoint 拼装规则与认证 Header 格式 + +### 优先参考使用指南文档的场景 + +- 首次使用 Managed Agents，需要理解核心概念与整体架构 +- 通过控制台向导完成智能体创建与环境配置 +- 需要了解沙箱工具能力（bash、文件操作、MCP 服务）及勾选策略 +- 需要理解上下文挂载机制（路径约定、会话隔离、实时追加） +- 需要使用预览调试功能按事件类型筛选执行过程 + +### 两份文档配合使用的场景 + +- 端到端开发：先用使用指南理解概念与流程，再用 API 参考确认端点细节 +- 问题排查：对照使用指南的状态机说明与 API 参考的事件历史接口 +- 容量规划：结合使用指南的配额注意事项与 API 参考的文件配额上限做综合评估 + +## 被对比主题页 + +- [managed agents api](../api/managed-agents-api.md) +- [managed agents](../guides/managed-agents.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-vs-custom-agents.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-vs-custom-agents.md new file mode 100644 index 00000000..37e0ced6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-vs-custom-agents.md @@ -0,0 +1,73 @@ +# 托管 Agent 与自建应用调用对比 + +阿里云百炼平台针对不同复杂度的智能体场景提供了两条主要落地路径：一是由平台托管运行时的 **Managed Agents**，二是通过 **DashScope / Responses API 调用**已在控制台配置好的**智能体应用**或**工作流应用**。二者定位不同、编排位置不同、状态管理方式不同，直接决定了适用场景与工程成本。本文横向对比二者的关键维度，帮助开发者在技术选型时做出判断。 + +## 背景与定位 + +- **Managed Agents（托管智能体）**：面向多步工具调用、代码执行、文件处理等长时任务，平台在服务端托管**会话状态**、**独立沙箱**与**工具执行器**。智能体在云端容器中自主运行 shell、读写文件、安装依赖，事件历史持久化，支持中断与续接。 +- **自建应用调用（智能体应用 / 工作流应用）**：开发者在控制台编排应用（模型、提示词、知识库、插件、工作流节点等），再通过 API 从业务系统调用。运行时**无状态**，上下文由调用方或平台的 `session_id` 维护，适合问答、对话及可编排的工作流任务。 +- **调用协议**：自建应用可选 **DashScope API**（`Application.call` / `POST /apps/{APP_ID}/completion`）或 **OpenAI 兼容的 Responses API**（`POST /api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses`）。Managed Agents 走独立的 AgentStudio API（`/api/v1/agentstudio/*`）。 + +## 关键维度对比 + +| 维度 | Managed Agents（托管） | 智能体/工作流应用（DashScope API） | 智能体应用（Responses API，OpenAI 兼容） | +| --- | --- | --- | --- | +| 运行模式 | 服务端托管会话，长时任务，支持中断/续接 | 单次同步或流式调用，无状态 | 单次同步 / 流式 / 异步（`background=true`） | +| 状态管理 | 会话（Session）在服务端持久化，事件历史可回溯 | `session_id` 云端保存 1 小时、最多 50 轮；或客户端自维护 `messages` | 客户端在 `input` 数组中传完整消息历史 | +| 执行环境 | 独立云端沙箱容器，可预装 apt/pip 依赖、可配网络策略 | 平台共享运行时 | 平台共享运行时 | +| 输入格式 | 通过 `POST /sessions/{id}/events` 发送用户消息、工具结果、系统事件 | `{"input":{"prompt":"..."}, "parameters":{}, "biz_params":{...}}` | `input`：字符串或消息数组，支持 `input_image` / `input_file` [多模态](../concepts/multimodal.md) 类型 | +| 输出格式 | 会话级 SSE 事件流（User / Agent / Tool / Tool_output / Error / Model / System） | `{"output":{"text","finish_reason","session_id"}, "usage":{...}, "request_id":"..."}` | OpenAI Responses 标准结构（`response.output` 数组） | +| API 端点 | `/api/v1/agentstudio/agents`、`/environments`、`/sessions`、`/sessions/{id}/events`、`/sessions/{id}/events/stream` | `POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion` | `POST https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | +| SDK 支持 | AgentStudio HTTP API（可搭配任意 HTTP 客户端） | [DashScope SDK](../concepts/dashscope-sdk.md)（Python / Java），或 HTTP（Node.js / curl 等） | OpenAI 官方 SDK（Python / Java 等） | +| 内置工具 | `bash`、`read`、`write`、`edit`、`glob`、`grep`、`download_file`，可挂载 MCP 服务与 Skill | 由应用编排决定（知识库检索、插件、工作流节点等） | 同 DashScope 侧，取决于应用配置 | +| [多模态](../concepts/multimodal.md) | 通过文件挂载到 `/mnt/session/uploads` 参与工具处理 | 依赖应用内模型能力 | 原生支持 `input_image`（VL 模型 + 自定义处理）与 `input_file`（全文引用 / 切片检索） | +| 多轮对话 | 天然多轮：会话即上下文，事件历史持久化 | `session_id`（1 小时、≤ 50 轮）或自维护 `messages` | `input` 数组显式携带完整对话历史 | +| [流式输出](../concepts/streaming.md) | 默认 SSE 事件流 | 支持流式（工作流需在结束/输出节点开启开关） | `stream=true`；异步任务暂不支持流式 | +| 异步执行 | 天然长时任务，会话可中断/续接 | 暂不支持（需自行轮询业务状态） | `background=true` 提交任务，通过 `responses.retrieve(task_id)` 轮询 | +| 自定义参数透传 | 通过 Agent/Environment/Session 配置及事件负载 | `biz_params.user_defined_params` 面向自定义插件 / 工作流插件节点 | 同 DashScope 应用侧的插件透传 | +| 支持模型 | 由 Agent 配置选择（示例：`qwen3-max`；以控制台可选模型为准） | 由应用编排决定 | 由智能体应用编排决定，[多模态](../concepts/multimodal.md) 场景需选通义千问 VL 系列 | +| 资源挂载 | `resources` 字段或运行时 `POST /sessions/{id}/resources` 挂载，路径统一在 `/mnt/session/uploads`，单文件 ≤ 10 MB，会话隔离 | 通过知识库 / 附件 / 插件参数传递 | 通过 `input_file` URL 或应用知识库 | +| 计费与配额 | 计费与沙箱运行时、模型调用相关；单文件 ≤ 10 MB | 按模型调用量计费；`session_id` 缓存 1 小时 | 按模型调用量计费；异步/流式受限见文档 | +| 可用地域 | 见 AgentStudio 文档 | 仅华北 2（北京） | 仅华北 2（北京） | +| 典型场景 | 代码执行、批量文件处理、多步工具编排、长时任务 | 客服问答、RAG 检索、工作流驱动的业务自动化 | 需要 OpenAI 生态兼容、多模态输入或异步长任务的交互 | + +## 各方案的适用场景建议 + +### 优先选 Managed Agents + +- 任务需要**执行 shell 命令**、**读写文件**、**运行/调试代码**、**安装依赖**等真实计算操作。 +- 单轮响应无法覆盖，需要**长时运行**、**中断续接**或**人工审批**工具调用。 +- 需要**独立沙箱**（例如运行不受信代码、隔离网络策略、需要预装的运行环境）。 +- 事件级可观测性要求高，需按 User / Agent / Tool / Model / Error 等类型审计执行过程。 +- 会话内文件产物需被隔离拷贝管理，避免污染原始资源。 + +### 优先选 DashScope 应用调用 + +- 已经在控制台完成**智能体应用**或**工作流**编排，业务系统只需一次调用即可拿到结果。 +- 需要使用**自定义插件**并通过 `biz_params.user_defined_params` 透传业务参数（如用户级鉴权、上下文字段）。 +- 多轮对话强度中等，愿意使用平台 `session_id` 或客户端自维护 `messages`。 +- 语言栈以 Python / Java 为主，倾向使用 [DashScope SDK](../concepts/dashscope-sdk.md) 的成熟示例。 + +### 优先选 Responses API（OpenAI 兼容） + +- 现有代码或团队约定使用 **OpenAI SDK/生态**，希望以最小改动接入百炼。 +- 需要**多模态输入**（`input_image` / `input_file`）或严格 OpenAI 输出结构。 +- 需要**异步长任务**（`background=true`）并轮询结果，避免请求超时。 +- 需要显式控制**完整对话历史**（在 `input` 中传消息数组）而不依赖 `session_id`。 + +## 技术选型参考 + +- **要不要托管运行时？** 若任务本质是"让 Agent 在容器里自己干活"，选 Managed Agents；若任务本质是"调一次已配置好的应用拿结果"，选自建应用调用。 +- **要不要 OpenAI 兼容？** 是则 Responses API；否，且要用工作流/自定义插件，则 DashScope API；两者都不满足（需沙箱/工具执行）则 Managed Agents。 +- **多轮对话怎么管？** 短会话选 `session_id`；需要精细控制或跨端同步选自维护 `messages` / Responses `input` 数组；长时有状态任务选 Managed Agents 会话。 +- **要不要异步？** 长时任务但希望"提交-轮询"模式选 Responses API `background=true`；真正需要 Agent 自主推进的长任务选 Managed Agents（会话持久化 + 中断续接）。 +- **模型与地域约束**：自建应用调用（两套 API）当前均限华北 2（北京）；模型 ID 需以控制台下拉列表为准，注意文档中 `qwen3-max` 与 `qwen3.7-plus` 等示例不一致的情况。 +- **迁移路径**：可以先用自建应用调用跑通业务闭环，当出现需要"沙箱执行 + 长时状态"的诉求时再迁移到 Managed Agents；两者可在同一账号 / [业务空间](../concepts/workspace.md) 内共存，通过应用 ID / Agent ID 区分。 + +## 被对比主题页 + +- [managed agents](../guides/managed-agents.md) +- [bailian application calling](../guides/bailian-application-calling.md) +- [application call](../api/application-call.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-comparison.md new file mode 100644 index 00000000..d5bc91c5 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-comparison.md @@ -0,0 +1,110 @@ +# 记忆能力对比：记忆库与长期记忆 + +百炼平台为解决大模型跨会话上下文丢失问题提供了完整的记忆能力体系。本文对比「记忆库概览」（guides/memory-library-overview）与「长期记忆（新）API」（api/long-term-memory-new）两个文档，帮助开发者理解两者在定位、覆盖范围和使用方式上的差异，以便在技术选型时快速定位所需信息。 + +## 对比维度 + +| 维度 | 记忆库概览（memory-library-overview） | 长期记忆（新）API（long-term-memory-new） | +| --- | --- | --- | +| 文档定位 | 概念指南，介绍记忆库整体架构、核心能力与接入方式 | API 参考手册，详细列出全部 RESTful 接口的端点、参数与返回值 | +| 目标读者 | 做技术选型、架构设计的开发者与产品经理 | 直接调用 API 进行集成的后端开发者 | +| 覆盖范围 | 涵盖 API 直连、OpenClaw 插件、控制台管理、记忆规则配置 | 聚焦于 HTTP API 层面，不涉及 OpenClaw 插件与控制台操作 | +| Base URL | `https://dashscope.aliyuncs.com/api/v2/apps/memory/*`（提及） | `https://dashscope.aliyuncs.com/api/v2/apps/memory/`（完整说明） | +| 认证方式 | `Authorization: Bearer $DASHSCOPE_API_KEY` | `Authorization: Bearer $DASHSCOPE_API_KEY`，并指引 [API Key](../concepts/api-key.md) 获取链接 | +| 核心能力 | 记忆片段 + 用户画像，含自动去重、动态更新 | 记忆片段 + 用户画像，含完整 CRUD 接口 | +| 接入方式 | API 直连 + OpenClaw 记忆插件（零侵入） | 仅 API 直连 | +| 接口列表 | 仅列举 AddMemory、SearchMemory 的关键参数 | 完整列出 11 个接口（增删改查记忆片段 + 画像模板全生命周期） | +| 使用限制 | 未提及 QPM 限制 | 明确标注：总 3000 QPM、add 120 QPM、search 300 QPM | +| 记忆有效期 | 说明差异：API 文档称暂无失效日期，控制台默认 180 天 | 明确标注：生成的记忆片段与用户画像暂无失效日期 | +| 检索高级参数 | 提及 top_k、memory_library_id | 详列 top_k、min_score、enable_rerank、enable_judge、enable_rewrite、project_ids 等 | +| OpenClaw 插件 | 完整覆盖：安装、配置项、生命周期钩子说明 | 不涉及 | +| 控制台管理 | 涉及记忆库与记忆规则管理说明 | 不涉及 | +| 示例代码 | cURL + Python（agentscope-runtime） | cURL 为主，含请求/返回体完整字段说明 | + +## 详细差异分析 + +### 文档定位与覆盖范围 + +**记忆库概览**是从产品视角出发的入门指南，回答"记忆库是什么、能做什么、怎么接入"的问题。它同时覆盖了三种接入路径——API 直连、OpenClaw 插件、控制台可视化管理——让读者快速建立整体认知。 + +**长期记忆（新）API**则是从工程视角出发的接口参考，回答"具体调哪个端点、传什么参数、返回什么结构"的问题。它将全部 11 个接口以表格形式列出，并逐一给出 HTTP 方法、路径与说明，适合直接查阅。 + +### 接口完整度 + +| 接口能力 | 记忆库概览 | 长期记忆（新）API | +| --- | --- | --- | +| AddMemory（添加记忆） | 有参数说明 | 有完整请求体/返回体说明 | +| SearchMemory（搜索记忆） | 有参数说明 | 有完整请求体/返回体说明 + 高级检索参数 | +| ListMemory（列出记忆） | 提及封装类 | 有独立接口条目 | +| DeleteMemory（删除记忆） | 未涉及 | 有独立接口条目 | +| UpdateMemory（更新记忆） | 未涉及 | 有独立接口条目 | +| CreateProfileSchema（创建画像模板） | 提及封装类 | 有独立接口条目 | +| ListProfileSchemas | 未涉及 | 有独立接口条目 | +| DeleteProfileSchema | 未涉及 | 有独立接口条目 | +| UpdateProfileSchema | 未涉及 | 有独立接口条目 | +| GetProfileSchema | 未涉及 | 有独立接口条目 | +| GetUserProfile | 提及封装类 | 有独立接口条目 | + +### 接入方式差异 + +记忆库概览介绍了两种接入方式： + +1. **API 直连**：通过 HTTPS 调用 `memory/*` 系列接口，适合需要灵活控制写入与检索流程的应用。 +2. **OpenClaw 记忆插件**：通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子实现零侵入接入，适合已使用 OpenClaw Agent 框架的场景。所有读写均由百炼服务端完成提炼、向量化和语义检索。 + +长期记忆（新）API 文档仅覆盖 API 直连方式，不涉及插件接入，但提供了更完整的接口集（包括记忆片段和画像模板的增删改查全生命周期）。 + +### 检索能力 + +在 SearchMemory 接口上，长期记忆（新）API 文档提供了更丰富的高级检索参数： + +| 高级参数 | 记忆库概览 | 长期记忆（新）API | +| --- | --- | --- | +| `top_k` | 有（建议 3–10） | 有（取值 1~100，默认 10） | +| `min_score` | 无 | 有（值域 [0,1]，默认 0.3） | +| `enable_rerank` | 无 | 有（搜索结果重排序） | +| `enable_judge` | 无 | 有（意图判别回调） | +| `enable_rewrite` | 无 | 有（query 重写） | +| `project_ids` | 无 | 有（多规则混合检索） | + +### 使用限制 + +长期记忆（新）API 文档明确给出了 QPM 限制： + +| 限制项 | 值 | +| --- | --- | +| 全部接口总计 | 3000 QPM | +| 记忆片段 add 接口 | 120 QPM | +| 记忆片段 search 接口 | 300 QPM | + +记忆库概览文档未提及这些限制，开发者需参考 API 参考文档了解限流策略。 + +## 适用场景建议 + +### 推荐阅读「记忆库概览」的场景 + +- **技术选型阶段**：需要了解百炼记忆能力整体架构，评估是否满足业务需求 +- **选择接入方式**：需要对比 API 直连与 OpenClaw 插件两种方案的优劣 +- **配置 OpenClaw 插件**：需要安装、配置记忆插件的详细步骤 +- **理解记忆有效期**：需要了解控制台记忆规则与 API 行为的差异 +- **控制台管理记忆库**：需要通过可视化界面管理记忆库和规则 + +### 推荐阅读「长期记忆（新）API」的场景 + +- **API 集成开发**：需要查阅具体接口的请求体、返回体字段定义 +- **实现记忆 CRUD**：需要调用 List/Delete/Update 等概览文档未覆盖的接口 +- **画像模板管理**：需要创建、更新、删除画像模板 +- **高级检索调优**：需要使用 rerank、judge、rewrite 等高级检索参数 +- **容量与限流评估**：需要了解 QPM 限制以做容量规划 +- **精确参数查阅**：需要确认 `top_k` 取值范围、`min_score` 默认值等细节 + +## 总结 + +两个文档并非竞争关系，而是互补关系。记忆库概览是**入门与选型的起点**，长期记忆（新）API 是**开发与集成的落点**。建议开发者先阅读记忆库概览建立整体认知、选定接入方式，再查阅长期记忆（新）API 获取具体接口实现细节。两者配合使用可以完成从技术评估到工程落地的完整闭环。 + +## 被对比主题页 + +- [memory library overview](../guides/memory-library-overview.md) +- [long term memory new](../api/long-term-memory-new.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions-vs.md new file mode 100644 index 00000000..b99f81b2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions-vs.md @@ -0,0 +1,56 @@ +# 长期记忆与记忆库对比 + +百炼平台提供两套紧密关联但定位不同的记忆能力：「长期记忆（新）API」和「记忆库（Memory Library）」。前者是一组 RESTful 接口，聚焦于记忆片段与用户画像的增删改查；后者是更高层的产品概念，涵盖记忆库管理、记忆规则配置以及多种接入方式（API 直连、OpenClaw 插件、控制台可视化管理）。本文从开发者技术选型角度对两者进行对比，帮助你快速判断应使用哪一套能力。 + +## 关键维度对比 + +| 维度 | 长期记忆（新）API | 记忆库（Memory Library） | +| --- | --- | --- | +| 定位 | 底层 RESTful API 集合，提供记忆片段与用户画像的 CRUD 操作 | 产品级概念，包含记忆库、记忆规则、接入方式与控制台管理的完整体系 | +| 文档归属 | API 参考（application-api-reference） | 用户指南（application-user-guide） | +| Base URL | `https://dashscope.aliyuncs.com/api/v2/apps/memory/` | 同上（API 直连时使用相同端点） | +| 认证方式 | Header `Authorization: Bearer $DASHSCOPE_API_KEY` | 同左（API 直连）；OpenClaw 插件在配置中填 `apiKey` | +| 接入方式 | 仅 HTTP API 直连 | API 直连 + OpenClaw 记忆插件（零侵入）+ 控制台可视化管理 | +| 记忆类型 | 记忆片段（自动提取）+ 用户画像（profile schema） | 记忆片段 + 用户画像（同左，但额外支持记忆规则配置） | +| 记忆有效期 | 生成的记忆片段与用户画像暂无失效日期 | 控制台默认规则预置 180 天有效期，可配置 7/30/180 天或永不过期；API 直写且不指定 `project_id` 时使用默认规则 | +| 核心接口 | AddMemory、SearchMemory、ListMemory、DeleteMemory、UpdateMemory、CreateProfileSchema、ListProfileSchemas、GetUserProfile 等 | 复用长期记忆 API 全部接口，并叠加记忆库 / 记忆规则管理能力 | +| 限流 | 全部接口合计 3000 QPM；AddMemory 120 QPM；SearchMemory 300 QPM | 同左（底层共用同一 API 网关） | +| 编程语言支持 | cURL / 任意 HTTP 客户端 | cURL + Python `agentscope-runtime` 封装类 + OpenClaw 插件 | +| OpenClaw 集成 | 不直接提供 | 提供 `@modelstudio/modelstudio-memory-for-openclaw` 插件，通过 `before_agent_start` / `agent_end` 钩子实现自动捕获与召回 | +| 控制台管理 | 不涉及 | 支持在百炼控制台可视化管理记忆库、记忆规则与记忆内容 | +| 记忆库隔离 | 通过 `memory_library_id` 参数区分，不传则使用默认记忆库 | 每个账号自带一个不可删除的默认记忆库，可创建多个自定义记忆库 | +| 记忆规则 | 通过 `project_id` 指定规则，不传使用默认 | 支持自定义记忆片段规则（有效期、提取策略等），预置默认项目规则 | + +## 适用场景建议 + +### 选择长期记忆（新）API 的场景 + +- **已有自有 Agent 框架**，只需调用 HTTP 接口完成记忆存取，不需要控制台可视化管理。 +- **需要对记忆片段做精细 CRUD**，例如单独 Update、Delete 某条记忆，或管理画像模板的完整生命周期。 +- **需要自定义记忆有效期**为永不过期，且通过 API 直写而不依赖控制台规则配置。 +- **对限流有明确预期**，需要按 120/300 QPM 的接口级限流做容量规划。 + +### 选择记忆库（Memory Library）的场景 + +- **希望零侵入接入**，使用 OpenClaw Agent 且不愿手动编排记忆读写逻辑——安装插件后自动完成捕获与召回。 +- **需要在控制台可视化管理**记忆库与记忆规则，包括调整有效期（7/30/180 天或永不过期）、查看记忆内容、配置提取策略。 +- **使用 Python 开发**，希望用 `agentscope-runtime` 封装类简化调用，而非手写 HTTP 请求。 +- **需要多记忆库隔离**，希望按业务线或场景创建不同记忆库并分别配置规则。 +- **团队协作场景**，需要非开发人员通过控制台查看和管理记忆数据。 + +## 技术选型建议 + +两套能力并非互斥，而是分层关系：记忆库是产品层概念，长期记忆 API 是其底层接口层。实际开发中常见的做法是： + +1. **快速验证阶段**：先用 API 直连方式（即长期记忆 API）跑通 AddMemory → SearchMemory 的核心链路，验证记忆提取与召回效果。 +2. **生产化阶段**：在控制台创建专属记忆库并配置记忆规则（有效期、提取策略），通过 `memory_library_id` 和 `project_id` 参数将 API 调用绑定到对应规则。 +3. **OpenClaw 场景**：如果 Agent 基于 OpenClaw 构建，直接安装记忆插件即可获得完整的自动捕获/召回能力，无需手动编排 API 调用时序。 + +无论选择哪种路径，底层的记忆存储、语义检索和画像提取引擎是同一套，差异仅在接入方式和管理粒度上。根据团队技术栈和运维需求选择即可。 + +## 被对比主题页 + +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-vs-knowledge-base.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-vs-knowledge-base.md new file mode 100644 index 00000000..f714f293 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-vs-knowledge-base.md @@ -0,0 +1,78 @@ +# 长期记忆与知识库对比 + +百炼平台同时提供**长期记忆（Memory Library）** 与**知识库（Knowledge Base，RAG）** 两类"给大模型补充上下文"的能力。二者常被同时提起，但设计目标、数据形态、检索链路和计费模型均不同：长期记忆解决的是**跨会话保留用户级信息**的问题（谁、偏好什么、说过什么），知识库解决的是**为模型注入企业私域文档与最新信息**的问题（产品手册、FAQ、图文表格）。本文从技术选型视角对两者做系统对比，帮助开发者按场景挑选合适的方案，也可以在同一 Agent 中组合使用。 + +## 一句话定位 + +- **长期记忆**：面向**用户对话历史**的自动提炼与语义召回，输出"用户画像 + 记忆片段"，用于跨会话个性化。 +- **知识库**：面向**企业私有文档 / 结构化数据 / 音视频**的解析、切片、向量化与检索，用于让模型引用可信来源作答（RAG）。 + +## 关键维度对比 + +| 维度 | 长期记忆（Memory Library） | 知识库（Knowledge Base / RAG） | +| --- | --- | --- | +| 主要用途 | 跨会话保留用户偏好、历史事件、画像属性 | 为大模型补充私域文档、最新信息、结构化数据 | +| 数据来源 | 对话消息 `messages`，或自定义写入 `custom_content` | PDF/DOCX/PPT/TXT/MD/HTML、图片、音视频、表格、RDS 数据源等 | +| 数据形态 | 自然语言短片段（记忆片段） + 结构化画像（profile schema） | 解析后的文档切片（Text/图片/表格），支持 Meta 属性 | +| 提取方式 | 服务端从对话自动提取关键信息、自动去重与更新 | 用户上传原文件，服务端按选定 parser 解析 + 切片 | +| 隔离粒度 | 按 `user_id` 天然隔离，同 user_id 共享命名空间 | 按知识库 ID 隔离，可打 tag / 归入类目实现分组过滤 | +| 检索方式 | 语义检索（向量），可选 rerank / query 重写 / 意图判别 | 向量 + 关键词双路召回 → Rerank 重排 → 相似度阈值过滤 → TopK | +| 关键调参 | `top_k`（1–100，默认 10）、`min_score`（默认 0.3）、`enable_rerank/judge/rewrite` | 初步向量/关键词 TopK（1–100，默认 50）、相似度阈值（0.01–1.0）、TopK ≤ 20、Rerank 权重 | +| 输入接口 | `AddMemory` / `SearchMemory` / `ListMemory` / `UpdateMemory` / `DeleteMemory` + Profile Schema CRUD | `ApplyFileUploadLease` → `AddFile` → `CreateIndex` → `SubmitIndexJob`；检索用知识检索 / 知识问答服务 | +| Base URL / 端点 | `https://dashscope.aliyuncs.com/api/v2/apps/memory/*` | `bailian.cn-beijing.aliyuncs.com`（阿里云百炼 SDK） | +| 认证方式 | DashScope `Authorization: Bearer $DASHSCOPE_API_KEY` | 阿里云 AK/SK（`ALIBABA_CLOUD_ACCESS_KEY_ID/SECRET`） + `WORKSPACE_ID` | +| 地域限制 | 全网可用（DashScope 网关） | 仅中国站**华北 2（北京）** | +| 零侵入接入 | OpenClaw 记忆插件（`before_agent_start` 自动召回、`agent_end` 自动捕获） | 挂载给百炼智能体 / 工作流应用，作为上下文源 | +| SDK 支持 | Python `agentscope-runtime`（`AddMemory`、`SearchMemory` 等封装类） | 阿里云百炼 SDK（Java/Python），控制台可视化建库 | +| 支持模型 | 与调用侧模型无关（服务端自带提取/向量化模型） | 覆盖主流预置模型（QwQ/Max/Plus/Turbo/Coder 等）、VL 模型、DeepSeek/Llama3/Yi、Qwen3/2.5/2 及其自定义微调模型 | +| 生命周期 | API 直写"暂无失效日期"；控制台记忆规则可配 7/30/180 天或永不过期 | 与知识库存活期一致，可按文件删除 / 更新切片 | +| 更新语义 | 自动去重 + 事件流（`ADD`/`UPDATE`/`DELETE`） | 增量上传新文件、重新切片；单切片可编辑（10–6,000 字符） | +| 主要限流 / 配额 | 总计 3000 QPM；`add` 120 QPM；`search` 300 QPM | 标准版 1 QPS 固定；旗舰版 50–10,000 QPS（1–200 RCU） | +| 存储 / 数量限制 | 单条 `messages` ≤ 50；`custom_content` ≤ 512 字符；`user_id` ≤ 64 字符 | 平台存储：标准版 ≤ 100 GB / 旗舰版 ≤ 9,999 GB；类目 500、文件 100,000、数据表 1,000；单切片 ≤ 6,000 Token | +| 计费方式 | 按 API 调用计费（DashScope 记忆 API 费用） | 规格费 + 模型调用费；标准版 0.03 元/知识库/小时，旗舰版 0.2 元/RCU/小时；向量化 / Rerank 按 Token 计费；2026-01-04 起正式计费 | +| 免费额度 | — | 一次性 720 小时，仅抵扣标准版（老用户至 2026-02-03，新用户开通 30 天内） | +| 典型输出 | 记忆片段列表（`memory_node_id`、`content`、`event`） + 用户画像 JSON | 命中切片列表 + 来源文件；知识问答服务可直接返回带引用的自然语言答案 | + +## 典型场景对比 + +| 场景 | 推荐方案 | 说明 | +| --- | --- | --- | +| "记住用户偏好、日程、习惯，下次自然唤起" | 长期记忆 | 自动从对话提取事件，`user_id` 天然多租户 | +| 结构化用户画像（年龄、职业、地区、行业偏好） | 长期记忆 + Profile Schema | 用画像模板固化属性字段 | +| 让智能体回答"我们公司产品手册第 3 章说什么" | 知识库 | 挂载 PDF/DOCX，走 RAG 检索链路 | +| 图文并茂的技术白皮书、含公式/图表 PDF | 知识库（视觉理解类型 + 大模型文档解析） | 强制切换 `qwen3-vl-embedding`，可命中图片切片 | +| FAQ / 参数表极低延时问答 | 知识库（极速问答类型） | 后端针对低延时优化，不支持图片 | +| 音视频课程 / 会议纪要检索 | 知识库（音视频类型） | 语音识别 + 视频帧 + 剧情解析 | +| 表格 / RDS 数据问答 | 知识库（数据查询类型） | 使用专用向量模型 | +| Agent 需要同时"记住用户"和"引用私域文档" | 长期记忆 + 知识库 组合 | 前者提供个性化上下文，后者提供事实依据 | +| 需要多知识库并行召回 + 路由 | 知识检索服务（最多 15 个知识库） | 配置混排模型 / 混排模式 | +| 需要直接生成带引用、可拒答的答复 | 知识问答服务 | 支持极速模式与多轮智能（Agentic）模式 | +| 快速把 OpenClaw Agent 接入长期记忆 | OpenClaw 记忆插件 | 零侵入，通过生命周期钩子自动捕获 / 召回 | + +## 技术选型建议 + +1. **看数据主体**：如果要注入的是"用户历史 / 偏好"，选长期记忆；如果要注入的是"文档 / 数据 / 音视频"，选知识库。 +2. **看隔离维度**：长期记忆按 `user_id` 隔离，天然适合 To C 场景；知识库按空间 / 类目 / tag 隔离，天然适合 To B / 企业内部知识。 +3. **看运维成本**：长期记忆无需上传文件、无需建索引，"调用即用"；知识库需要选择解析器 / 切片策略 / Meta 抽取，且 **Meta 抽取和多轮改写只能在创建时开启，不可事后追加**。 +4. **看时延与并发**：知识库标准版固定 1 QPS，高并发必须上旗舰版并购买 RCU；长期记忆按 QPM 计流，`add` 120 QPM、`search` 300 QPM，超限需分片写入或降频。 +5. **看成本结构**：长期记忆是纯 API 调用费；知识库额外有"规格费（按小时）+ 模型调用费（向量化 + Rerank，按 Token）"，**多知识库下模型调用量按知识库数倍增**，精度要求不高可关闭 Rerank 降本。 +6. **看模型覆盖**：知识库需要挂载给具体大模型，选型时确认使用的是预置文本 / 视觉 / DeepSeek / Qwen 系列并与知识库类型匹配；长期记忆与调用侧模型解耦，仅通过 DashScope API 使用。 +7. **看地域**：知识库当前只在**华北 2（北京）**开放，跨地域业务需评估网络与合规；长期记忆全网可用。 +8. **组合使用**：推荐架构是"用户请求 → 从长期记忆召回画像 + 相关记忆片段 → 从知识库召回文档切片 → 合并入 Prompt → 模型生成 → 会话结束后写回长期记忆"。OpenClaw 用户可通过记忆插件把长期记忆写入 / 召回做成零侵入，把知识库挂载在智能体侧做上下文源。 + +## 常见误区 + +- **不要用知识库来存"用户偏好"**：会导致跨用户污染，且切片粒度不适配短句事件。 +- **不要用长期记忆来存"产品文档"**：`custom_content` 上限 512 字符，无法承载长文本、图片和表格。 +- **知识库创建后**不能补配 Meta 抽取和多轮改写，评估阶段务必先开好。 +- **长期记忆有效期在 API 与控制台不一致**：API 文档写"暂无失效日期"，控制台默认记忆规则预置 180 天。以控制台规则为准，或显式指定 `project_id`。 +- **DashScope API Key ≠ 阿里云 AK/SK**：长期记忆用前者，知识库 API 用后者，切勿混用。 +- **OpenClaw 记忆插件不支持 Coding Plan 的 API Key**，且所有 Agent 共享同一记忆空间，不支持按 Agent 隔离。 + +## 被对比主题页 + +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) +- [knowledge base](../guides/knowledge-base.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-deployment-inference.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-deployment-inference.md new file mode 100644 index 00000000..cb5400aa --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-deployment-inference.md @@ -0,0 +1,61 @@ +# 模型部署与推理对比 + +本文对比百炼平台的两个核心推理能力方向：**模型部署**（将预置或调优后的模型部署为专属推理服务）与**高速推理**（通过 TPM 预留和快速模式提升吞吐量与输出速度）。两者在定位上有重叠（都涉及专属容量与预付费），但解决的问题和适用场景不同。本文帮助开发者根据业务需求做出技术选型。 + +## 关键维度对比 + +| 维度 | 模型部署 | 高速推理 | +| --- | --- | --- | +| 核心目标 | 将模型部署为资源专享的推理服务，支持调优后模型上线 | 提升推理吞吐量（TPM 预留）和输出速度（快速模式） | +| 主要能力 | 预置吞吐（PTU）、模型单元（MU）、按 [Token](../concepts/token.md) 计费、模型导入（LoRA）、API 部署 | TPM 预留（容量保障）、快速模式 Fast mode（速度提升） | +| 计费方式 | 三种：PTU（按天预付费）、模型单元（预付费）、按 [Token](../concepts/token.md) 用量（后付费） | TPM 预留（按 kTPM 预付费）；快速模式（按 token 计费，与标准 API 一致） | +| 资源独占性 | PTU 和模型单元均为专属资源，不与他人共享 | TPM 预留为专属容量；快速模式使用共享资源 | +| 支持模型 | 部分预置模型 + 所有 LoRA 调优后模型 | TPM 预留覆盖千问3.7-Max/Plus、千问3.6-Flash、GLM-5.2/5.1、DeepSeek-v4 等；快速模式支持 glm-5.2-fast-preview 等 | +| 模型导入 | 支持 LoRA 模型从 OSS 导入（千问3/2.5 系列、VL 系列） | 不涉及模型导入，仅使用平台预置模型 | +| 部署方式 | 控制台 + API（`POST /api/v1/deployments`），API 方式仅华北2 | TPM 预留：控制台创建；快速模式：指定 model ID 即可 | +| 接入方式 | `model` 参数设为 `deployed_model`（专属服务 ID） | TPM 预留：`model` 替换为专属 model code；快速模式：`model` 指定为 fast 模型 ID | +| API 端点 | DashScope 标准 endpoint（`dashscope.aliyuncs.com`） | 快速模式需用专属域名：`{workspace_id}.cn-beijing.maas.aliyuncs.com` | +| 扩缩容 | PTU 自助增减吞吐量；模型单元自助增减副本；按 [Token](../concepts/token.md) 需控制台申请 | TPM 预留支持调整输入/输出 TPM（可归 0 保留 code）；快速模式无扩缩容概念 | +| 超额处理 | PTU：自动溢出按量或返回 429；输入超上限自动转按量计费 | TPM 预留：自动溢出按量或返回 429；快速模式：超出 TPM 进入排队队列，不立即限流 | +| 退费规则 | PTU 预付费按天计费，无法提前退费；模型单元首月内退订日单价 1.2 倍 | TPM 预留缩容/退订按 1.5 倍系数结算 | +| 地域支持 | 控制台全地域；API 部署仅华北2（北京） | TPM 预留支持华北2（北京）和新加坡；快速模式华北2（北京） | +| 成熟度 | 正式可用 | TPM 预留正式可用；快速模式处于 preview 阶段 | +| 长输入/缓存 | PTU 部分模型支持长输入（最高 256K）和前缀缓存折扣 | TPM 预留部分模型支持长输入阶梯系数和缓存折扣 | + +## 能力关系说明 + +模型部署和高速推理并非完全互斥，而是从不同角度解决推理性能问题： + +- **PTU（模型部署）与 TPM 预留（高速推理）** 在"专属容量保障"这一诉求上高度相似，均通过预付费锁定专属吞吐量、支持自动溢出策略。区别在于 PTU 是模型部署体系下的计费方式之一，与模型单元、按 Token 计费并列；TPM 预留则是独立的高速推理加速能力，侧重于对已有预置模型的吞吐量锁定。 +- **模型单元** 是模型部署独有的能力，支持自定义性能指标、PD 分离模式，且是部署 LoRA 调优后模型的唯一途径。 +- **快速模式** 是高速推理独有的能力，无需预付费、无需部署，仅通过指定 fast 模型 ID 即可获得 1.5~2 倍的输出 TPS，适合对速度敏感但不需要专属资源的场景。 + +## 适用场景建议 + +| 场景特征 | 推荐方案 | 理由 | +| --- | --- | --- | +| 需要部署 LoRA 调优后的专属模型 | 模型部署（模型单元或按 Token 计费） | 仅模型部署支持模型导入和调优后模型上线 | +| 高负载生产环境，需稳定吞吐保障 | 模型部署（PTU）或高速推理（TPM 预留） | 两者均提供专属容量保障，PTU 偏向完整部署体系，TPM 预留更轻量 | +| 对输出速度敏感（AI 编程、Agent 多步推理） | 高速推理（快速模式） | 1.5~2 倍 TPS 提升，按 token 计费无需预付，接入零改动 | +| 需要自定义性能指标、PD 分离部署 | 模型部署（模型单元） | 模型单元支持部署规格、副本数、推理模式等细粒度配置 | +| 效果验证阶段，不使用不计费 | 模型部署（按 Token 计费） | 按量计费，一个月不使用自动释放 | +| 短期高峰需锁定容量，到期可释放 | 高速推理（TPM 预留） | 按天预付费，支持 1~30 天短周期，到期自动续费可选 | +| 自动化集成部署（CI/CD） | 模型部署（API 方式） | 提供完整的部署/查询/删除 API，适合自动化编排 | + +## 选型决策流程 + +1. **是否需要部署调优后的模型？** 是 → 选择模型部署（模型单元）。 +2. **是否对输出速度（TPS）有明确要求？** 是且无需专属资源 → 选择快速模式。 +3. **是否需要专属容量保障？** 是 → 在 PTU（模型部署）和 TPM 预留（高速推理）间选择： + - 需要完整部署体系（API 管理、模型单元配置、PD 分离）→ PTU + - 仅需锁定预置模型的吞吐量，轻量接入 → TPM 预留 +4. **是否仅用于效果验证？** 是 → 模型部署（按 Token 计费）。 + +> 注意：计费方式在服务创建后无法更改，切换需先下线已部署的模型。快速模式处于 preview 阶段，规格可能随版本调整，生产环境使用前请确认最新状态。 + +## 被对比主题页 + +- [model deployment 1](../guides/model-deployment-1.md) +- [model high speed inference](../guides/model-high-speed-inference.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-approaches.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-approaches.md new file mode 100644 index 00000000..ce1c8d0b --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-approaches.md @@ -0,0 +1,119 @@ +# 模型微调、压缩与高速推理对比 + +在百炼平台的模型生产链路中，模型微调（Fine-tuning）、模型压缩（量化）与高速推理（TPM 预留 / 快速模式）分别面向"效果定制"、"部署降本"与"吞吐/延迟优化"三个正交问题。三者不冲突，可按 `微调 → 压缩（可选）→ 部署 → 高速推理接入` 的顺序组合使用。本文汇总它们的能力边界、计费方式、接入方式与典型场景，便于开发者在做技术选型时对号入座。 + +## 定位速览 + +- **模型微调**：改变模型**参数本身**，用来把领域知识、指令遵循、人类偏好或音色/风格写进模型，解决"模型不会做"、"做得不好"、"不符合偏好"等**效果问题**。 +- **模型压缩**：把已经微调好的**全精度模型**量化为**低精度模型**，在效果基本可控的前提下**降低部署 MU 规格**，解决"部署太贵"的**成本问题**。 +- **高速推理**：不改动模型本身，通过 **TPM 预留**锁定专属吞吐容量、或使用 **快速模式**（`-fast-preview` 系列）加速单请求 TPS，解决"被限流"、"输出太慢"的**推理性能问题**。 + +## 关键维度对比 + +| 维度 | 模型微调（Fine-tuning） | 模型压缩（量化） | 高速推理 · TPM 预留 | 高速推理 · 快速模式（Fast mode） | +| --- | --- | --- | --- | --- | +| 解决的问题 | 效果定制：知识注入、指令遵循、偏好对齐、音色/风格 | 部署降本：降低 MU 规格 | 容量保障：锁定专属吞吐，避免公共池限流 | 输出加速：提升单请求 TPS | +| 是否修改模型参数 | 是（写入领域知识/偏好） | 是（降低参数精度，不可逆） | 否 | 否 | +| 支持模型范围 | 千问 3.x/2.5 文本、Qwen-VL、万相图像/视频、CosyVoice 等，各模型支持 CPT/SFT/DPO 的组合不同 | 仅百炼平台微调产出的自定义模型（如 qwen3.5-flash-2026-02-23）；不支持基础模型/第三方模型 | 千问 3.6/3.7、GLM-5.1/5.2、DeepSeek-v4-Pro/Flash、Kimi-K2.6 等，以控制台开放范围为准 | 已上线 `glm-5.2-fast-preview` 等 `-fast-preview` 系列，preview 阶段动态调整 | +| 输入形态 | 训练数据集：SFT 用 ChatML、DPO 追加 chosen/rejected、CPT 用纯文本、VL 打包 ZIP、CosyVoice 用 `train/*.wav` + text | 全精度微调模型 + 可选校准数据集（≤5 个，语义贴近推理场景） | 预付费订单参数（输入 kTPM、输出 kTPM、时长、溢出策略） | 与标准 API 相同的 `messages` 请求体 | +| 输出形态 | 新的微调模型（`finetuned_output`），可部署后调用 | 低精度量化模型（新的模型 ID，带自定义后缀） | 一个**专属 model code**，作为 `model` 参数使用 | 直接返回 `chat/completions` 响应 | +| 主要接入点 / API 端点 | `POST /api/v1/files`（上传数据）→ `POST /api/v1/fine-tunes`（创建任务）→ 轮询 → `POST /api/v1/deployments` 部署 | 控制台：模型 → 模型训练 → 模型压缩 → 创建压缩任务（暂以控制台为主） | 控制台创建 TPM 预留，业务侧沿用 `dashscope.aliyuncs.com/compatible-mode/v1`，仅替换 `model` 为专属 code | 使用业务空间专属域名 `https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + `-fast-preview` 系列 model ID | +| 训练/构建成本 | 高：数据准备、训练耗时、Token/训练单元计费 | 压缩任务本身**限时免费**（截止时间以控制台公告为准） | 无训练成本，仅预付吞吐容量费 | 无训练成本 | +| 运行/调用计费 | 部署后按 MU 规格或按 Token 计费 | 部署阶段按压缩后**更小的 MU 规格**计费（示例：MU1\*2 → MU8\*1，节省约 56%） | 预付费按 **kTPM/天**，输入/输出分别计价；支持长输入阶梯系数与缓存折扣；超额可自动溢出到按 Token 付费或 429 | 与标准 API 一致的**按 Token 计费**，输入/输出/缓存命中分别计价 | +| 地域可用性 | 仅华北2（北京） | 仅华北2（北京） | 华北2 与新加坡各有独立价目 | 华北2、新加坡分别定价 | +| 生效方式 | 训练完成 → 部署 → 用 `deployed_model` 调用 | 压缩完成 → 用压缩后模型 ID 部署调用 | 创建成功即生成专属 model code；短时冲高需预热 | 更换 `model` + 域名即刻生效 | +| 可逆性 / 组合性 | 支持多轮训练与迭代；推荐 `CPT → SFT → DPO` 递进 | **不可逆**：压缩模型不支持继续微调或二次压缩，须回到全精度重压 | 支持扩缩容（含归 0 保留 code）、续费、退订；退订后 code 立即失效 | preview 阶段能力可能调整；与 TPM 预留可叠加使用 | +| 典型场景 | 深度定制：安全合规对齐、专业领域问答、专属音色/画风 | 已微调模型上线阶段进一步压缩部署成本 | 流量可预估、对限流零容忍的生产接口 | AI 编程助手、Agent 多步推理、实时对话等对 TPS 敏感的场景 | + +## 各方案适用场景建议 + +### 模型微调 + +优先选择微调的场景： + +- Prompt 工程 + 插件调用 + RAG 已尝试但效果仍不达标。 +- 需要注入**大量领域知识**或专属**知识体系**（CPT，1000 万+ Token）。 +- 需要模型稳定遵循**特定输出格式或流程**（SFT，1000+ ChatML 样本）。 +- 需要对齐特定**用户偏好或安全策略**（DPO，100+ chosen/rejected 对）。 +- 视觉理解、图像/视频生成、语音合成场景的**风格/音色定制**。 + +不建议微调的场景： + +- 数据量极小（<1000 条 SFT 样本，且无法扩充）——先做 Prompt 工程或少样本示例。 +- 只是想让模型"更快"或"更便宜"——那是压缩或高速推理要解决的问题。 +- 需求变化极快、每周都要迭代业务规则——微调迭代成本高，优先在 Prompt/知识库层解决。 + +### 模型压缩 + +优先选择压缩的场景： + +- 已有微调模型将进入**规模化生产部署**，MU 成本压力大。 +- 业务对**推理精度**的容忍度较高，可以用业务测试集验证不同量化模板的实际效果。 +- 处于免费期，希望在同一微调模型上并行尝试多个量化模板挑最优。 + +不建议压缩的场景： + +- 使用**基础模型或第三方模型**——不在支持范围。 +- 精度极度敏感、SLA 要求严格（对齐质量、事实性极高要求）——量化不可逆，风险较大。 +- 模型仍在快速迭代微调阶段——先稳定微调模型，再进入压缩环节。 + +### 高速推理 · TPM 预留 + +优先选择 TPM 预留的场景： + +- 已有稳定的日/周流量画像，可估算 RPM 与输入/输出平均长度。 +- 面向 **C 端高峰、金融交易、客服 SLA** 等对公共池限流零容忍的场景。 +- 需要固定预算 / 财务上更希望**预付费**而非按量波动。 +- 命中大量**缓存**的场景：不同模型的缓存折扣（8%~25%）可显著放大等效容量。 + +配合 `自动溢出至按 token 付费` 使用可获得容量保底 + 弹性溢出的组合；对成本严格封顶的场景则选择 `仅使用预留容量` + HTTP 429。 + +### 高速推理 · 快速模式 + +优先选择快速模式的场景： + +- **AI 编程助手 / IDE 补全**：需要 80~100 TPS 的[流式输出](../concepts/streaming.md)。 +- **Agent 多步推理**：单轮延迟直接影响整条 chain 的响应时间。 +- **实时对话 / 语音助手**：用户对首 token 与后续 token 速度都敏感。 +- 需要**按量计费**弹性，接受 preview 阶段可能的能力调整。 + +注意事项： + +- 需要使用业务空间维度的**专属域名**，且模型 ID 必须为 `-fast-preview` 系列。 +- 超出 TPM 会**排队**而非立即拒绝——业务侧仍要做超时与重试策略。 +- `glm-5.2-fast-preview` 默认返回 `reasoning_content` 思考字段，前端展示逻辑需相应适配。 + +## 组合与技术选型参考 + +从产品生命周期角度，三条能力线通常按下面的方式协同： + +1. **能力打磨阶段**：先用 Prompt 工程 + 知识库；确认能力缺口后走 **模型微调**（`CPT?→SFT→DPO?`），产出自定义模型。 +2. **降本阶段**：微调模型进入准生产后，若 MU 成本吃紧，评估 **模型压缩**——先在免费期用不同量化模板做业务集回归，再挑选精度损失可接受、MU 规格最小的模板部署。 +3. **性能扩展阶段**：稳定上线后，根据流量特征选择高速推理方案—— + - 流量可预估、对限流零容忍 → **TPM 预留**。 + - 关注单请求 TPS、面向 IDE/Agent/实时对话 → **快速模式**。 + - 两者不冲突：若目标模型同时开放 TPM 预留与 fast 域名（以控制台开放范围为准），可先购买 TPM 预留、再走 fast 域名调用。 + +一图表述的决策路径： + +- 想让模型"**做得对 / 做得像**"？→ 模型微调。 +- 微调已经完成，想"**部署更便宜**"？→ 模型压缩（不可逆，需回归精度）。 +- 想"**不被限流**、有容量兜底"？→ TPM 预留。 +- 想"**输出更快**"？→ 快速模式（`-fast-preview` + 专属域名）。 +- 想"**又不被限流、又输出更快**"？→ 在支持的模型上叠加使用 TPM 预留 + 快速模式。 + +## 常见误区 + +- **把压缩当作微调的替代**：压缩改的是精度不是能力，能力缺口只能通过微调补齐。 +- **把高速推理当作降本手段**：TPM 预留是预付费容量，快速模式按 Token 计费与标准 API 一致，两者都不会直接降低单位 Token 单价，真正降本要靠模型压缩换 MU 规格或缓存折扣。 +- **忽略地域约束**：微调与压缩**仅华北2（北京）可用**且必须使用该地域 API Key；高速推理华北2 与新加坡分别定价与开放。 +- **忽略压缩的不可逆性**：压缩后模型不能继续微调或二次压缩；如需迭代必须从上游全精度微调模型重跑。 +- **忽略快速模式的域名切换**：Fast mode 必须使用业务空间专属域名 `{workspace_id}.cn-beijing.maas.aliyuncs.com`，直接沿用 `dashscope.aliyuncs.com` 不会生效。 + +## 被对比主题页 + +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) +- [model high speed inference](../guides/model-high-speed-inference.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md index 47044f8e..c2fb9779 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md @@ -1,85 +1,63 @@ -# 模型微调、压缩与部署对比 +# 模型优化方式对比 -在百炼平台上，将一个基础模型转化为可在生产环境中使用的定制化推理服务，通常涉及三个阶段：**模型微调（Fine-tuning）**、**模型压缩（Quantization）** 和 **模型部署（Deployment）**。三者在模型生产链路中依次衔接（调优 → 压缩（可选）→ 部署），各自解决不同层面的问题。本文从功能定位、适用范围、操作方式和成本等维度进行系统对比，帮助开发者在技术选型时做出合理决策。 - -## 功能定位与链路关系 - -模型微调、压缩与部署构成一条完整的模型生产流水线： - -- **模型微调**处于链路上游，目标是基于自有数据定制模型能力，使模型在特定领域或任务上表现更优。 -- **模型压缩**处于链路中间，是可选环节，通过量化技术降低模型参数精度，从而减小部署所需的算力规格和推理成本。 -- **模型部署**处于链路下游，将训练好（或压缩后）的模型发布为在线推理服务，供应用调用。 - -三者缺一不可地覆盖了"训练 → 优化 → 上线"的完整生命周期，但各自的输入输出、关注点和约束条件差异显著。 +百炼平台提供三种模型优化方式：**微调**（Fine-Tuning）、**模型压缩**（Model Compression）和**模型高速推理**（High-Speed Inference）。三者在模型生产链路中处于不同环节、解决不同问题：微调改变模型参数以注入领域知识或对齐指令；压缩在不改参数的前提下降低精度以减少部署成本；高速推理则从部署层面提升吞吐量或输出速度。本文从核心目标、技术原理、适用模型、接入方式、计费模式等维度进行对比，帮助开发者根据实际诉求做出技术选型。 ## 关键维度对比 -| 维度 | 模型微调（Fine-tuning） | 模型压缩（Quantization） | 模型部署（Deployment） | -|------|------------------------|------------------------|----------------------| -| **核心目标** | 基于自有数据定制模型能力，提升特定场景表现 | 降低模型参数精度，减小部署规格与推理成本 | 将模型发布为在线推理服务，供应用调用 | -| **在链路中的位置** | 上游（第一步） | 中间（可选） | 下游（最后一步） | -| **输入** | 基础模型 + 训练数据集（JSONL / ZIP 等） | 微调产出的自定义模型 | 预置模型 / 微调模型 / 压缩后模型 | -| **输出** | 微调后的自定义模型 | 低精度量化模型 | 可调用的在线推理服务（API 端点） | -| **支持的模型范围** | 广泛：Qwen3.6/3.5/3/2.5 系列文本模型、Qwen-VL 视觉模型、Wan 图像/视频模型、CosyVoice 语音模型 | 较窄：仅支持百炼平台微调产出的特定自定义模型（如 qwen3.5-flash） | 最广泛：预置模型（Qwen、DeepSeek、GLM 等）+ 微调模型 + 压缩模型 + OSS 导入的 LoRA 模型 | -| **支持的模态** | 文本生成、视觉理解、图像生成、视频生成、语音合成 | 仅文本生成 | 文本生成、[多模态](../concepts/multimodal.md)、语音合成等 | -| **操作方式** | 控制台 + API | 仅控制台 | 控制台 + API | -| **是否可逆** | 可重复训练和迭代 | 不可逆：压缩后不支持继续微调或二次压缩 | 可随时上线/下线，支持重新部署 | -| **典型耗时** | 数小时至数天（取决于数据量和训练轮次） | 平台自动完成，排队后运行 | 分钟级（状态变为"运行中"即可调用） | -| **计费方式** | 按 Token 用量计费：训练数据 Token 数 x 训练轮次 x 训练单价 | 压缩任务本身限时免费 | 三种模式：预置吞吐（PTU）、模型单元（MU，按时长）、Token 用量（按调用量） | -| **地域限制** | 无特殊限制 | 仅华北2（北京） | 无特殊限制 | - -## 训练方法与压缩模板选择 - -### 微调方法 - -百炼平台提供三种递进式微调方法，推荐按 CPT → SFT → DPO 的顺序使用： - -| 方法 | 目标 | 数据要求 | 典型场景 | -|------|------|----------|----------| -| CPT（继续预训练） | 注入领域知识 | 1000万+ Token 无标签文本 | 金融/医疗/法律等垂直领域适配 | -| SFT（监督微调） | 学会遵循指令 | 1000+ 条高质量问答对 | 客服、代码助手、Agent 工具调用 | -| DPO（直接偏好优化） | 对齐人类偏好 | 100+ 组正负样本对 | 安全合规强化、降低幻觉 | - -每种方法支持全参训练和高效训练（LoRA）两种模式。全参训练效果更好但耗时更长、成本更高；LoRA 训练收敛快、成本低，适合快速验证。 - -### 压缩量化模板 +| 维度 | 微调（Fine-Tuning） | 模型压缩（Model Compression） | 模型高速推理（High-Speed Inference） | +| --- | --- | --- | --- | +| **核心目标** | 定制化训练，注入领域知识、遵循指令、对齐偏好 | 量化降精度，降低部署 MU 规格，节省推理成本 | 提升推理吞吐量或输出 TPS | +| **技术原理** | CPT / SFT / DPO，全参训练或 LoRA 高效训练 | 量化（Quantization），不支持结构剪枝或知识蒸馏 | TPM 预留（专属容量）或快速模式（Fast mode） | +| **链路位置** | 模型生产链路的起点 | 微调之后、部署之前的可选环节 | 部署 / 调用阶段 | +| **是否改变模型参数** | 是（更新全部或低秩参数） | 否（仅降低参数精度，不可逆） | 否（部署配置层面的优化） | +| **支持模型类型** | 文本生成、视觉理解、图像生成、视频生成、语音合成 | 仅百炼平台微调产出的自定义模型 | 千问、GLM、DeepSeek、Kimi 等主流模型 | +| **训练模式 / 机制** | 全参训练（Full-Tuning）/ 高效训练（LoRA） | 量化模板（MU 编号越大规格越小成本越低） | TPM 预留（预付费锁容量）/ 快速模式（指定 fast 模型 ID） | +| **数据要求** | CPT 需 1000 万+ Token；SFT 需 1000+ 条；DPO 需 100+ 组 | 校准数据（可选，最多 5 个数据集） | 无训练数据需求；TPM 预留可配合容量计算器估算 | +| **接入方式** | 控制台或 API（上传数据集 → 创建任务 → 部署模型 → 调用） | 控制台创建压缩任务（选源模型 → 选量化模板 → 校准数据） | TPM 预留：替换 model 为专属 code；快速模式：指定 fast 模型 ID | +| **API 端点** | `dashscope.aliyuncs.com/api/v1/fine-tunes`、`/deployments` | 控制台操作为主 | TPM：`dashscope.aliyuncs.com`；快速模式：`{workspace_id}.cn-beijing.maas.aliyuncs.com` | +| **计费方式** | 按 Token 计费（API）或训练单元（控制台） | 压缩任务限时免费；部署按 MU 规格计费 | TPM 预留：按 kTPM 预付费；快速模式：按 Token 计费（与标准 API 一致） | +| **可用地域** | 仅华北2（北京） | 仅华北2（北京） | TPM：华北2（北京）+ 新加坡；快速模式：华北2（北京） | +| **可逆性** | 可多次微调、组合 CPT→SFT→DPO | 不可逆，压缩后不可继续微调或二次压缩 | 可调整容量（TPM）或切换模型（快速模式） | +| **成熟度** | 正式可用 | 正式可用（压缩任务限时免费） | TPM 预留正式可用；快速模式为 preview 阶段 | -量化模板决定压缩后的部署规格，MU 编号越大表示部署规格越小、成本越低，但精度损失可能越大。可选配校准数据以提升量化精度，建议选择与推理场景语义相近的数据集。 +## 各方案适用场景建议 -## 部署计费方式对比 +### 微调（Fine-Tuning） -| 计费方式 | 计费公式 | 适用场景 | 特点 | -|---------|---------|---------|------| -| 预置吞吐（PTU） | 使用时长 x (输入 TPM 单价 x 输入 TPM + 输出 TPM 单价 x 输出 TPM) | 流量稳定的高负载生产环境 | 保障吞吐额度内不限速，超额自动切换按量计费；TPS 约为按量的 1.5~2.0 倍 | -| 模型单元（MU） | 使用时长（小时）x 模型单元数量 x 模型单元单价 | 需要资源独占和自定义性能指标 | 支持 PD 分离计算模式，可降低首 Token 延迟 | -| Token 用量 | 输入 Token 数 x 输入单价 + 输出 Token 数 x 输出单价 | 调用量不稳定、用量较少的场景 | 仅支持部分 LoRA 调优模型，不使用不计费 | +- **适用场景**：需要注入大量领域知识（CPT）、让模型学会遵循特定指令格式（SFT）、或对齐业务偏好（DPO）。 +- **典型用例**：医疗/法律问答系统、企业内部知识助手、特定风格的内容生成、客服对话优化。 +- **选型建议**：数据量充足（1000+ 条以上）且对模型行为有明确定制需求时首选。推荐流程 `CPT（可选）→ SFT → DPO（可选）`。文本生成模型推荐全参训练（费用与 LoRA 相同），图像/视频/语音模型仅支持高效训练。 -## 适用场景建议 +### 模型压缩（Model Compression） -**场景一：快速验证模型定制效果** -推荐路径：SFT 高效训练（LoRA）→ 直接部署（Token 用量计费）。跳过压缩环节，以最低成本快速上线验证。 +- **适用场景**：微调后的模型部署成本偏高，需要在保持推理能力的前提下降低 MU 规格。 +- **典型用例**：微调模型上线后发现推理费用过高，通过量化将部署成本降低 50% 以上。 +- **选型建议**：仅适用于百炼平台微调产出的自定义模型。建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证效果，选择最优方案。注意压缩不可逆，压缩后无法继续微调。 -**场景二：生产环境成本敏感** -推荐路径：SFT 全参训练 → 模型压缩 → 部署（MU 计费）。通过压缩降低部署规格（如从 MU1x2 降至 MU8x1，成本节省约 56%），适合长期运行的在线服务。 +### 模型高速推理（High-Speed Inference） -**场景三：高并发低延迟的核心业务** -推荐路径：微调（按需）→ 部署（PTU 计费）。PTU 模式提供预留吞吐保障，TPS 提升约 1.5~2.0 倍，适合流量稳定且对延迟敏感的场景。 +- **适用场景**：对推理吞吐量或输出速度有较高要求，但不需要改变模型能力本身。 +- **TPM 预留典型用例**：大促/高峰期需要稳定 QPS 保障的线上服务，不希望受公共限流影响。 +- **快速模式典型用例**：AI 编程助手、Agent 多步推理、实时对话等对延迟敏感的场景，需 80~100 TPS 高速输出。 +- **选型建议**：若首要诉求是"高峰期不被限流"，选 TPM 预留；若首要诉求是"输出更快"，选快速模式。两者可单独使用，也可与微调/压缩后的自定义模型配合使用。快速模式目前为 preview 阶段，生产环境建议先验证稳定性。 -**场景四：[多模态](../concepts/multimodal.md)模型定制** -推荐路径：视觉/图像/视频/语音 SFT → 直接部署（MU 计费）。当前压缩功能仅支持文本模型，[多模态](../concepts/multimodal.md)微调模型需直接部署。 +## 技术选型决策参考 -## 技术选型要点 +| 诉求 | 推荐方案 | +| --- | --- | +| 需要让模型学会新知识或遵循特定指令 | 微调（SFT / CPT / DPO） | +| 微调模型部署成本过高，想降低推理费用 | 模型压缩（量化） | +| 高峰期需要稳定的推理吞吐量保障 | TPM 预留 | +| 需要更快的输出速度（高 TPS） | 快速模式（Fast mode） | +| 既想定制模型又想降低部署成本 | 微调 → 模型压缩（串行使用） | +| 定制模型 + 高速输出 | 微调 → 部署 → 快速模式调用 | -1. **是否需要微调**：如果预置模型已满足需求，可直接部署，无需微调。当模型在特定领域表现不佳、需要定制输出格式或降低幻觉时，再考虑微调。 -2. **是否需要压缩**：压缩可显著降低部署成本，但会带来一定精度损失且不可逆。建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证推理效果，选择最优方案。 -3. **如何选择部署计费方式**：流量稳定选 PTU，需要资源独占和灵活配置选 MU，用量少且不稳定选 Token 用量。注意 Token 用量模式仅支持部分 LoRA 模型。 -4. **地域约束**：模型压缩当前仅在华北2（北京）地域可用，规划链路时需考虑地域一致性。 -5. **不可逆操作提醒**：压缩后的模型不支持继续微调或二次压缩，务必保留上游全精度微调模型以备后续迭代。 +> **注意**：微调与压缩属于模型生产环节（改变或优化模型本身），高速推理属于部署调用环节（优化服务性能），三者不互斥，可组合使用。典型完整链路为：微调（可选）→ 模型压缩（可选）→ 部署 → 高速推理调用。 ## 被对比主题页 - [fine tuning](../guides/fine-tuning.md) - [model compression](../guides/model-compression.md) -- [model deployment 1](../guides/model-deployment-1.md) +- [model high speed inference](../guides/model-high-speed-inference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-vs.md new file mode 100644 index 00000000..5bc9c587 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-vs.md @@ -0,0 +1,59 @@ +# 微调与模型压缩对比 + +## 背景与目的 + +微调（Fine-tuning）与模型压缩（Model Compression）是百炼平台模型生产链路中两个不同阶段的可选能力。微调位于链路前段，通过训练将领域知识、任务能力或人类偏好写入模型参数，解决"效果不够"的问题；模型压缩位于链路后段，通过量化将全精度模型转为低精度版本，解决"部署太贵"的问题。两者并非互斥替代，而是先后关系：先微调得到自定义模型，再按需压缩以降低推理成本。本文从多个维度对比两者的技术特征、适用场景与限制，帮助开发者在技术选型时做出合理判断。 + +## 关键维度对比 + +| 维度 | 微调（Fine-tuning） | 模型压缩（Model Compression） | +| --- | --- | --- | +| **链路位置** | 模型调优阶段（链路前段） | 模型压缩阶段（链路后段，位于微调与部署之间） | +| **核心目标** | 把领域知识、任务能力、人类偏好或特定音色/风格写入模型参数 | 将全精度模型量化为低精度版本，降低部署 MU 规格与推理成本 | +| **技术手段** | CPT（持续预训练）、SFT（监督微调）、DPO（直接偏好优化）；全参训练或 LoRA 高效训练 | 量化（特指低比特量化，不涉及结构剪枝或知识蒸馏） | +| **输入要求** | 训练数据集（ChatML 问答对、偏好对、纯文本等），支持文件上传或 OSS 挂载 | 已微调完成的自定义模型作为源模型；部分量化模板需校准数据集（最多 5 个） | +| **支持模型范围** | 广泛：千问文本系列、Qwen-VL 视觉系列、万相图像/视频、CosyVoice 语音合成 | 有限：仅支持百炼平台微调产出的自定义模型，不支持基础模型或第三方模型 | +| **训练方式差异** | 不同模型支持的方式不同（CPT/SFT/DPO，全参/LoRA），需按模型查表 | 无训练方式概念，仅选择量化模板；MU 编号越大规格越小、成本越低、但精度损失可能越大 | +| **操作入口** | 控制台"模型调优"页面，或 API/命令行（`POST /api/v1/fine-tunes` 等四步流程） | 控制台"模型训练 → 模型压缩 → 创建压缩任务" | +| **计费方式** | 按 [Token](../concepts/token.md) 计费（API 创建的任务）或使用模型训练单元预付费/后付费（仅控制台创建） | 压缩任务本身限时免费（截止时间以控制台公告为准）；压缩后模型在部署阶段按 MU 规格计费 | +| **地域限制** | 仅华北2（北京）地域可用，需使用该地域的 API Key | 仅华北2（北京）地域可用 | +| **可逆性** | 可对同一模型多次微调（如 CPT → SFT → DPO 递进组合） | 不可逆：压缩后模型不支持继续微调，也不支持二次压缩；如需调整须从上游全精度模型重新压缩 | +| **产出物** | 全精度自定义微调模型，可继续微调或压缩 | 低精度量化模型，直接用于部署 | +| **成本示例** | 取决于数据量、训练方式、epoch 等参数，成本较高 | 示例：qwen3.5-flash-2026-02-23 压缩前 MU1*2（108 元/小时）→ 压缩后 MU8*1（47 元/小时），节省约 56% | +| **任务状态** | API 轮询 `status`：从创建到 `SUCCEEDED` | 7 种状态：PENDING → QUEUING → RUNNING → SUCCEEDED/FAILED/CANCELING/CANCELED | +| **关键超参数** | `learning_rate`、`n_epochs`、`batch_size`、`max_length`、`lora_rank` 等 | 任务名称、量化产出模型名后缀、量化模板、校准数据 | +| **数据格式** | SFT 用 ChatML JSONL；DPO 追加 chosen/rejected；CPT 用纯文本；视觉需打包 ZIP | 校准数据为已有数据集（无需特殊格式化），仅当模板含校准输入参数时需提供 | + +## 适用场景建议 + +### 优先选择微调的场景 + +- **Prompt 工程已到瓶颈**：已有 [prompt](../guides/prompt.md) 优化、插件调用等手段无法达到效果，需要将领域知识或任务能力深度写入模型参数。 +- **需要[多模态](../concepts/multimodal.md)定制**：视觉理解（Qwen-VL）、图像/视频生成（万相）、语音合成（CosyVoice）等模态需要特定风格或音色。 +- **需要对齐人类偏好**：通过 DPO 让模型回答更符合业务安全和质量要求（如安全合规对齐）。 +- **需要递进式优化**：可按 CPT（补知识）→ SFT（学指令）→ DPO（对齐偏好）逐步组合使用。 +- **需要灵活迭代**：微调后仍可继续微调或压缩，保留后续优化空间。 + +### 优先选择模型压缩的场景 + +- **微调模型已满足效果但部署成本偏高**：模型能力达标，推理费用过高成为瓶颈。 +- **对推理延迟或吞吐有更高要求**：低精度模型在同等硬件下推理更快、并发更高。 +- **已确定不再需要继续微调**：模型效果已经稳定，压缩的不可逆性不构成障碍。 +- **希望在免费期内多方案验证**：压缩任务限时免费，可对同一微调模型尝试多个量化模板，分别部署后用业务测试集选最优方案。 + +### 典型组合流程 + +两者最常见的组合是**串联使用**： + +1. 在控制台或通过 API 完成微调训练（如 SFT 或 CPT → SFT → DPO），得到全精度自定义模型。 +2. 在模型压缩页面选择该微调模型作为源模型，选取合适的量化模板（权衡成本与精度损失），按需配置校准数据。 +3. 压缩成功后部署量化模型，按 MU 规格计费。 + +> **注意**：压缩是不可逆操作。建议在压缩前确认微调模型效果已达预期，或在免费期内对多个量化模板做 A/B 验证后再正式上线。 + +## 被对比主题页 + +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization.md new file mode 100644 index 00000000..091b6469 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization.md @@ -0,0 +1,57 @@ +# 模型微调与压缩对比 + +本页对比百炼平台的**模型微调（Fine-Tuning）**与**模型压缩（Compression/量化）**两项能力。二者同属模型生产链路，但定位不同：微调用于在基础模型上注入领域知识、对齐指令或偏好，产出全精度定制模型；压缩则在微调之后将模型量化为低精度版本，以更低的 MU 规格部署、降低推理成本。完整的模型生产链路为：模型调优 → 模型压缩（可选）→ 模型部署。理解二者差异，有助于在不同阶段做出正确的技术选型。 + +## 关键维度对比 + +| 维度 | 模型微调（Fine-Tuning） | 模型压缩（Compression） | +| --- | --- | --- | +| **核心目标** | 注入领域知识、学会遵循指令、对齐人类偏好 | 将全精度微调模型量化为低精度版本，降低部署规格与推理成本 | +| **在链路中的位置** | 模型生产链路的上游环节 | 模型调优与模型部署之间的可选环节 | +| **技术手段** | CPT（持续预训练）、SFT（监督微调）、DPO（直接偏好优化）；训练模式分全参训练与高效训练（LoRA） | 量化（Quantization），不涉及结构剪枝或知识蒸馏 | +| **输入数据** | 需要训练数据集（纯文本/ChatML/ChatML + chosen-rejected），通过文件上传或 OSS 挂载加载 | 输入是已完成的全精度微调模型；部分量化模板需要校准数据集（最多 5 个） | +| **产物** | 全精度自定义模型（`finetuned_output`） | 低精度量化模型（独立部署模型名） | +| **支持的模型范围** | 文本生成（Qwen3.x/Qwen2.5 等）、视觉理解（千问 VL）、图像生成（万相）、视频生成（万相）、语音合成（CosyVoice） | 仅支持百炼平台微调产出的自定义模型，不支持基础模型或第三方模型；具体可压缩模型以控制台展示为准 | +| **训练方式/模式限制** | 文本生成支持全参训练与高效训练（推荐全参）；图像生成、视频生成、语音合成仅支持高效训练（`efficient_sft`） | 不涉及训练方式选择；通过选择量化模板决定部署规格，MU 编号越大规格越小、成本越低、精度损失可能越大 | +| **操作入口** | 控制台（模型调优页面）或 HTTP API（上传数据集 → 创建任务 → 查询状态 → 部署 → 调用） | 仅控制台（模型 → 模型训练 → 模型压缩 → 创建压缩任务），无独立 API | +| **计费方式** | API 创建的任务仅按 [Token](../concepts/token.md) 计费，不支持训练单元；控制台创建可使用预付费/后付费训练单元 | 压缩任务本身限时免费（截止时间以控制台公告为准）；压缩后模型按 MU 规格计费 | +| **成本示例** | 视训练方式与数据量而定 | 如 qwen3.5-flash-2026-02-23 微调模型，压缩前 MU1*2（108 元/小时），压缩后 MU8*1（47 元/小时），节省约 56% | +| **可逆性** | 微调模型可继续微调或作为压缩源模型 | 不可逆：压缩后模型不支持继续微调或二次压缩，需从上游全精度微调模型重新压缩 | +| **地域限制** | 仅华北2（北京）可用 | 仅华北2（北京）可用 | +| **任务配置可修改性** | 训练任务创建后超参数等配置不可改 | 压缩任务创建后不可修改配置 | +| **任务状态** | 创建后轮询 `status` 至 `SUCCEEDED`，再部署 | 7 种状态：PENDING → QUEUING → RUNNING → SUCCEEDED/FAILED/CANCELING → CANCELED | + +## 适用场景建议 + +### 选择模型微调的场景 + +- **需要注入领域知识**：拥有大量领域语料（1000 万+ [Token](../concepts/token.md)），希望通过 CPT 让模型掌握行业背景。 +- **需要定制指令遵循行为**：有标注好的指令-回答对（1000+ 条），通过 SFT 让模型按特定格式或风格响应。 +- **需要对齐人类偏好**：拥有 chosen/rejected 对（100+ 组），通过 DPO 降低不良输出、提升回答质量。 +- **[多模态](../concepts/multimodal.md)定制**：需要对视觉理解、图像生成、视频生成或语音合成模型进行定制化训练。 +- **快速验证想法**：数据量较小、成本敏感时，可先用高效训练（LoRA）快速迭代，再视需要升级全参训练。 + +### 选择模型压缩的场景 + +- **降低推理成本**：微调模型部署规格偏高，希望在保持能力的前提下降低 MU 规格，如将 MU1*2 降至 MU8*1。 +- **上线前做成本与精度的权衡**：微调已完成，建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证，选最优方案再正式上线。 +- **生产环境对成本敏感**：推理量大、部署时间长，量化带来的小时费率下降能产生可观的总成本节省。 + +### 组合使用 + +二者并非互斥，而是链路上的先后关系。典型路径为：先用微调得到满足效果的全精度定制模型，再视成本需求对该微调模型执行压缩，最终部署量化版本。需要注意压缩不可逆，压缩后的模型不能再微调，因此应在微调效果稳定后再进入压缩环节。 + +## 技术选型参考 + +- **是否需要新知识/新行为**：是 → 微调（CPT/SFT/DPO）；否，只需降本 → 压缩。 +- **是否已有满意的微调模型**：是 → 可考虑压缩进一步降本；否 → 先做微调。 +- **是否需要继续迭代模型**：是 → 暂不压缩（压缩后不可再微调）；否，且追求低成本部署 → 压缩。 +- **是否需要 API 发起**：微调支持 HTTP API 全流程；压缩仅支持控制台操作。 +- **是否使用训练单元**：如需预付费/后付费训练单元，微调必须通过控制台创建；API 创建的微调任务仅按 [Token](../concepts/token.md) 计费。 + +## 被对比主题页 + +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md index 3e3d1202..65724277 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md @@ -1,53 +1,46 @@ # 应用监控与模型监控对比 -百炼平台提供两套互补的监控体系：**应用观测**和**模型监控**。应用观测侧重于端到端追踪应用内部的调用链路与节点级性能，帮助开发者定位应用层面的延时与逻辑问题；模型监控则聚焦于模型维度的调用性能、Token 消耗、费用趋势与告警，帮助开发者管控模型使用成本与稳定性。理解两者的定位差异，有助于开发者建立完整的可观测性方案。 - -## 核心维度对比 - -| 维度 | 应用观测 | 模型监控 | -|------|----------|----------| -| **监控对象** | 应用（智能体应用、工作流应用、高代码应用） | 模型（含自定义模型和调优模型） | -| **观测粒度** | 节点级（CHAIN、LLM、RETRIEVER、TOOL 等多种节点类型） | 模型级（按模型名称、API-KEY、推理类型筛选） | -| **核心指标** | 调用延时、Token 用量（输入/输出）、首 Token 耗时、调用次数与失败率 | 调用时长、首 Token 延时、RPM、TPM、Token 消耗、失败率、限流错误、内容安全错误 | -| **数据更新频率** | 分钟级 | 普通监控为小时级；高级监控为分钟级 | -| **数据保留时长** | 最长 30 天 | 用量统计不支持查看 30 天以前的数据 | -| **告警能力** | 无 | 支持告警规则配置，通知方式含短信、邮件、电话、钉钉机器人、企业微信机器人、Webhook | -| **用量统计** | 无独立用量统计，通过监控统计图表查看 Token 总量 | 按[业务空间](../concepts/workspace.md)维度统计，支持免费额度管理与用完即停 | -| **数据导出** | 支持导出为 JSONL 或 EXCEL | 高级监控数据可通过 Prometheus HTTP API 接入 Grafana 等外部系统 | -| **数据标注** | 支持对 Span 添加标签（布尔值/分类/数字/文本），可关联评测集 | 不支持 | -| **日志查看** | 通过 Trace 详情查看 Prompt 输入输出与原始数据 | 开通推理日志后可查看每次调用的输入、输出及 Token 消耗（仅华北2北京地域部分模型） | -| **地域限制** | 无特殊地域限制 | 高级监控仅支持北京、新加坡、弗吉尼亚；告警仅支持北京、新加坡 | -| **计费** | 功能免费，观测数据存储由 OpenTelemetry 服务收费 | 功能免费，高级监控数据存储在私有 Prometheus 实例中 | -| **操作方式** | 仅控制台操作，无 API | 控制台操作 + Prometheus API 接入 | - -## 开通与前置条件对比 - -| 维度 | 应用观测 | 模型监控 | -|------|----------|----------| -| **开通步骤** | 授权 OpenTelemetry 服务角色权限 → 开通 OpenTelemetry 服务 → 初始化 LogStore | 普通监控默认可用；高级监控需在模型监控配置中手动开启 | -| **子账号权限** | 需要 AliyunBailianFullAccess + 应用观测页面权限 + ram:CreateServiceLinkedRole 策略 | 标准百炼控制台权限即可 | -| **推荐操作账号** | 主账号 | 无特殊要求 | +百炼平台提供两种互补的监控能力：**应用监控**（应用观测）聚焦于应用内部调用链路的端到端追踪，**模型监控**则面向模型调用的用量统计、性能指标与告警。两者监控对象、数据来源、延迟粒度均不同，开发者需根据关注点选择合适的监控方式，或结合使用以获得从应用到模型的完整可观测性。 + +## 关键维度对比 + +| 维度 | 应用监控（应用观测） | 模型监控 | +| --- | --- | --- | +| 监控对象 | 智能体应用、工作流应用、高代码应用（应用级调用链路） | 模型 API 调用（用量、性能、错误，按模型 + 业务空间维度） | +| 数据来源 | OpenTelemetry 链路追踪（Span 级别） | 系统自动采集（普通监控）+ Prometheus（高级监控） | +| 数据延迟 | 分钟级 | 普通监控：小时级；高级监控 / 推理日志：分钟级；用量统计：约 1 小时 | +| 关键指标 | 调用延时、Token 量、CHAIN/Span 节点链路、节点嵌套关系 | 调用次数、失败率、调用时长、首 Token 延时、Token 消耗、RPM/TPM、分位延时 | +| 指标粒度 | 应用内部节点级（LLM、RETRIEVER、EMBEDDING、TOOL、GUARDRAIL 等） | 模型级（按模型 Code 维度，含安全、成本、性能、错误四类） | +| 支持范围 | 智能体应用（AgentApp）、工作流应用、高代码应用；不支持 Assistant API 创建的智能体应用 | 主账号下所有业务空间的全部模型；新模型首次同步后自动加入 | +| API 接入 | 无 API，仅控制台操作 | 支持 Prometheus HTTP API（公网 / VPC），可接入 Grafana 或自建应用 | +| 告警能力 | 无主动告警 | 支持告警规则（紧急/错误/警告/普通四级），通知方式含短信、邮件、电话、钉钉机器人、企业微信、Webhook | +| 数据导出 | 支持 JSONL、EXCEL 格式导出 | Prometheus 查询接口导出；推理日志页签查看请求/响应 | +| 数据保留 | 调用记录最长 30 天；监控统计最长 30 天 | 用量统计不支持查看 30 天以前数据；推理日志仅记录开通后的调用 | +| 计费方式 | 功能本身免费；数据存储于 OpenTelemetry 服务，由该服务收取存储费用 | 普通监控免费；高级监控依赖 Prometheus 实例（可能产生费用） | +| Token 追踪 | LLM 节点记录输入+输出 Token；Embedding 节点记录[向量化](../concepts/embedding.md) Token 数 | 汇总（按业务空间）、逐次追踪（推理日志）、Token 消耗阈值告警 | +| 开通方式 | 控制台「应用观测配置」：授权 OpenTelemetry → 开通服务 → 初始化 LogStore | 「模型监控配置」中开启高级监控 / 推理日志 / 审计日志 | +| 历史数据补录 | 关闭后重新添加仅同步新增数据 | 推理日志开通前的历史不补录 | ## 适用场景建议 -### 应用观测适合以下场景 +### 优先选择应用监控的场景 -- **调用链路排查**：应用响应慢或出错时，需要逐节点定位瓶颈，例如区分是检索环节还是模型推理环节导致延时过高。 -- **Prompt 调试**：查看每次调用的完整输入输出，对比不同 Prompt 的效果。 -- **数据质量管理**：通过 Span 筛选与标注功能，对线上真实调用数据进行质量打分，并将优质样本导入评测集。 -- **工作流应用调试**：工作流包含多种节点类型（意图分类、脚本转换、条件判断等），需要观察每个节点的执行情况。 +- **排查应用内部调用链路问题**：当需要查看智能体应用中检索（RETRIEVER）、重写（REWRITER）、模型推理（LLM）、插件调用（TOOL）等节点的嵌套关系与各环节延时时，应用监控的 Span 级追踪是不可替代的能力。 +- **优化应用运营效果与成本**：需要追踪单次应用调用的完整 Prompt、输出、延时和 Token 消耗时，应用监控提供端到端的 Trace 视图。 +- **将线上数据加入评测集**：应用观测支持将 Span 数据直接导入评测集，便于把真实调用作为评测样本。 +- **高代码应用基础观测**：高代码应用虽不支持内部链路追踪，但可通过应用观测获取入口 CHAIN 节点的调用量统计（需在代码中接入 AgentScope-AI Tracing 模块并加 `--telemetry enable` 参数）。 -### 模型监控适合以下场景 +### 优先选择模型监控的场景 -- **成本管控**：按[业务空间](../concepts/workspace.md)统计模型用量与费用，配合免费额度管理控制预算。 -- **稳定性保障**：配置告警规则，在失败率上升或限流异常时及时收到通知。 -- **性能基线建立**：通过 RPM、TPM、首 Token 延时等指标建立性能基线，持续跟踪模型表现。 -- **多模型对比**：对比不同模型在相同业务场景下的调用时长、Token 消耗等指标，辅助模型选型。 -- **外部可视化集成**：将监控数据接入 Grafana 等系统，构建统一的运维大盘。 +- **模型用量统计与费用管理**：需要按业务空间、API-KEY、模型名称查看 Token 消耗和调用量，或管理免费额度、设置费用告警时，模型监控的用量统计页是首选。 +- **模型性能监控与故障定位**：关注调用时长、首 Token 延时、失败率、限流（429）等指标，或需查看推理日志（请求/响应内容）进行内容审计与故障排查时，应使用模型监控。 +- **主动告警与异常发现**：需要设置 Token 突增、超时等阈值告警，通过短信/电话/钉钉等方式及时通知时，模型监控的告警体系是必要选择。 +- **接入 Grafana 或自建监控大盘**：高级监控数据存储在私有 Prometheus 实例，支持标准 Prometheus HTTP API，适合有自建可观测性平台的团队。 -### 建议组合使用 +### 结合使用场景 -在生产环境中，推荐同时启用两套监控：用模型监控建立全局的成本与稳定性视图并配置告警，用应用观测在出现异常时深入排查具体调用链路。两者从不同维度覆盖可观测性需求，互为补充而非替代。 +- **从应用到模型的端到端排障**：应用监控定位到某次调用中 LLM 节点延时异常后，可结合模型监控查看该模型的整体调用时长趋势、失败率和首 Token 延时，区分是应用编排问题还是模型本身性能问题。 +- **成本归因**：应用监控提供单次调用的 Token 明细，模型监控提供业务空间维度的 Token 汇总与告警，两者结合可做从单次调用到全局成本的多层归因。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-vs.md new file mode 100644 index 00000000..81850c01 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-vs.md @@ -0,0 +1,52 @@ +# 应用监控与模型监控对比 + +百炼平台提供了两种不同层次的监控能力：**应用监控**（应用观测）关注应用层端到端调用链路，**模型监控**关注模型层用量与运行指标。两者面向不同的观测粒度，开发者在排障、成本优化和性能调优时需要选择合适的监控视角。本页对比两者的关键维度，帮助开发者做技术选型。 + +## 关键维度对比 + +| 维度 | 应用监控（应用观测） | 模型监控 | +| --- | --- | --- | +| 监控对象 | 应用级（智能体应用、工作流应用、高代码应用） | 模型级（按模型 + [业务空间](../concepts/workspace.md)维度） | +| 观测粒度 | 端到端调用链路（CHAIN → AGENT/RETRIEVER/LLM/TOOL 等嵌套节点） | 模型调用记录（调用量、[Token](../concepts/token.md)、延时、失败率等指标） | +| 数据来源 | 可观测链路 OpenTelemetry 服务 | 平台自动采集 + Prometheus（高级监控） | +| 数据延迟 | 分钟级 | 用量统计约 1 小时；普通监控小时级；高级监控/推理日志分钟级 | +| 接入方式 | 仅控制台操作，无 API | 控制台 + 标准 Prometheus HTTP API（可接 Grafana / 自建应用） | +| 支持范围 | 智能体应用、工作流应用、高代码应用（不支持 Assistant API 创建的智能体应用；高代码应用仅入口 CHAIN 节点） | 主账号下所有[业务空间](../concepts/workspace.md)的模型调用，新模型首次同步后自动加入 | +| 关键指标 | 延时（调用时长）、[Token](../concepts/token.md) 量（输入+输出）、调用次数、失败率、平均首 [Token](../concepts/token.md) 耗时 | 调用次数、Token 用量、调用时长、首 Token 延时、RPM/TPM、失败次数/失败率、限流错误次数（429） | +| 调用链路追踪 | 支持，可展开 CHAIN 内部嵌套节点查看 Prompt、输出、延时等 | 不追踪应用内部链路，仅记录模型调用级别的请求/响应 | +| 数据导出 | 支持 JSONL / EXCEL 格式导出 Trace 数据 | 推理日志页签查看请求/响应；Prometheus HTTP API 拉取指标 | +| 筛选维度 | 状态、Span Name、输入/输出、延时、Token、标签；支持 Root/All/Model Span 模式 | API-KEY、推理类型、时间范围及精度；告警历史按规则/等级/状态筛选 | +| 告警能力 | 无主动告警 | 支持短信、邮件、电话、钉钉/企业微信机器人、Webhook；四级告警等级（紧急/错误/警告/普通） | +| 历史数据保留 | 最长 30 天调用记录 | 用量统计不支持查看 30 天以前数据；推理日志仅记录开通后的调用 | +| 数据标注 | 支持（布尔值/分类/数字/文本四种标签类型），与评测集共享标签管理 | 不支持数据标注 | +| 评测联动 | 支持将 Span 数据直接加入评测集 | 不支持评测联动 | +| 计费 | 功能本身不收费，数据存储费用由 OpenTelemetry 服务收取 | 功能本身不收费；Prometheus 实例存储费用由云监控收取 | +| 地域限制 | 无特殊地域限制 | 高级监控/告警/推理日志仅部分地域支持（北京、上海、新加坡、弗吉尼亚等） | + +## 适用场景建议 + +### 选择应用监控的场景 + +- **应用排障**：需要追踪智能体应用或工作流应用内部完整调用链路（检索 → 重写 → 向量化 → 重排 → LLM → 插件），定位具体节点的问题。 +- **性能优化**：需要查看每个节点的延时与 Token 消耗，分析瓶颈在检索、Embedding 还是 LLM 推理。 +- **评测样本采集**：需要将线上真实调用直接作为评测集样本，利用数据标注功能标记异常案例。 +- **Prompt 调试**：需要查看具体 Prompt 内容、模型输出和思考过程，按 Request ID / Trace ID / Span ID 精确检索。 + +### 选择模型监控的场景 + +- **成本管理**：需要按[业务空间](../concepts/workspace.md)维度汇总 Token 消耗，设置 Token 消耗阈值告警，掌握免费额度使用情况。 +- **模型选型**：需要对比不同模型的调用量、失败率、平均调用时长、首 Token 延时等指标，辅助选择最优模型。 +- **故障检测**：需要主动告警发现静默失败（超时、Token 突增、限流等），支持多渠道通知。 +- **Grafana 集成**：需要将监控数据接入 Grafana 看板或自建运维系统，通过 Prometheus HTTP API 灵活查询自定义指标。 +- **推理日志审计**：需要记录每次调用的输入/输出及耗时，用于内容审计与事后排查。 + +### 两者结合使用 + +大多数生产环境建议两者结合：模型监控提供宏观的用量趋势、成本统计和主动告警；应用监控提供微观的调用链路分析和节点级排障能力。当模型监控发现异常（如某模型失败率突增）时，可切换到应用观测深入追踪具体应用链路，定位根因节点。 + +## 被对比主题页 + +- [application monitoring](../guides/application-monitoring.md) +- [model monitoring](../guides/model-monitoring.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md index a7e7444d..c8642870 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md @@ -1,76 +1,88 @@ -# [多模态](../concepts/multimodal.md)生成 API 对比（图像/视频/3D） +# [多模态](../concepts/multimodal.md)生成 API 对比 -百炼平台提供图像、视频、3D 三类[多模态](../concepts/multimodal.md)生成 API，分别面向不同的内容产出形态。三者都通过 DashScope HTTP 接口调用，统一使用 API Key 鉴权，并遵循"创建任务 → 轮询结果"的异步任务模式（部分图像模型支持同步调用）。本页从输入格式、输出格式、支持模型、API 端点、调用模式、[计费](../concepts/billing.md)与典型场景等维度做横向对比，帮助开发者根据产出目标与技术约束做选型。 +百炼平台提供三大类[多模态](../concepts/multimodal.md)生成能力：图像生成、3D 资产生成和视频生成。三者均通过 DashScope 网关以 REST / SDK 方式调用，且由于生成耗时较长，大多采用 `X-DashScope-Async: enable` 异步"创建任务 → 轮询 task_id"的两步流程。本文从输入格式、输出格式、支持模型、API 端点、调用模式、计费与典型场景等维度对三者进行对比，帮助开发者根据业务需求做技术选型。 ## 关键维度对比 -| 维度 | 图像生成 | 视频生成 | 3D 生成 | +| 维度 | 图像生成 | 3D 生成 | 视频生成 | | --- | --- | --- | --- | -| 产出形态 | 静态图片（PNG） | 视频文件 | GLB 模型 + 预览渲染图 | -| 输入格式 | 文本、图像（图生图/编辑）、参考图 | 文本、图像（首帧/首尾帧）、参考图、视频、音频 | 文本、单图、多图（前/左/后/右 4 视角，固定数组长度 4） | -| 输出格式 | PNG，1–6 张或多图组图 | 视频 URL | PBR 材质 GLB（`pbr_model_url`）或无贴图基础模型（`base_model_url`），含 1 张预览渲染图 | -| 调用模式 | 同步（千问/万相2.6+/Z-Image 等新版）或异步（V1 及部分编辑/创意类） | 仅异步 | 仅异步 | -| API 端点 | 同步：`POST /api/v1/services/aigc/multimodal-generation/generation`；异步轮询：`GET /api/v1/tasks/{task_id}` | `POST /api/v1/services/aigc/video-generation/video-synthesis`（部分走 `image2video/video-synthesis`）；轮询：`GET /api/v1/tasks/{task_id}` | `POST /api/v1/services/aigc/video-generation/3d-generation`；轮询：`GET /api/v1/tasks/{task_id}` | -| 必需请求头 | `Authorization`；异步需 `X-DashScope-Async: enable` | `Content-Type`、`Authorization`、`X-DashScope-Async: enable` | `X-DashScope-Async: enable`（缺少报 `current user api does not support synchronous calls`） | -| 典型耗时 | 同步秒级返回；异步 1–2 分钟 | 1–5 分钟，万相2.1 视频编辑 5–10 分钟 | 较长，轮询建议间隔约 15 秒 | -| task_id 有效期 | 24 小时 | 24 小时 | 24 小时，超时返回 `UNKNOWN` | -| 产物下载链接有效期 | 随接口返回 | 随接口返回 | 2 小时，需及时下载 | -| 支持模型系列 | 千问图像、万相（Wan/wanx）、Z-Image、可灵 | 万相（HappyHorse/Wan/wanx）、爱诗 PixVerse、Vidu、可灵 | Tripo（`Tripo/Tripo-H3.1` 高精度、`Tripo/Tripo-P1.0` 专业快速） | -| 地域可用性 | 北京/新加坡/弗吉尼亚等多地域，地域独立鉴权不可混用；千问-图像翻译仅北京 | 同地域约束，模型/Endpoint/API Key 必须同地域；PixVerse、Vidu 仅北京 | 仅华北2（北京） | -| 业务空间专属域名 | 支持（`{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` 等） | 支持（北京 `{WorkspaceId}.cn-beijing.maas.aliyuncs.com` 等） | 走默认 dashscope 域名 | -| SDK 支持 | 部分模型支持 DashScope SDK（Python/Java） | HTTP 为主 | HTTP | -| [计费](../concepts/billing.md)方式 | 按张数/模型[计费](../concepts/billing.md) | 按任务/时长计费 | 按任务计费（`usage` 记录任务类型与生成数量） | -| 典型场景 | 文生图、图生图、图像编辑、虚拟模特、试衣、海报、背景生成、擦除补全、画面扩展、人物写真 | 文生视频、图生视频、参考生视频、视频编辑、视频换人、数字人、肖像动态视频 | 文生 3D、单图生 3D、多图生 3D，游戏/电商/工业设计资产 | - -## 调用模式差异 - -三类 API 在调用流程上高度一致，均采用"创建任务 → 轮询查询"模式，但图像 API 额外提供**同步调用**能力： - -- **图像生成**：千问图像系列（qwen-image-2.0-pro/max/plus）、万相 2.6/2.7 文生图与编辑、Z-Image 等新版模型支持一次请求即返回结果的同步调用，走 `multimodal-generation/generation` 端点；V1 版及部分编辑/创意类模型仍需异步。同步模式流程更简单，适合交互式场景。 -- **视频生成 / 3D 生成**：因耗时较长（视频 1–10 分钟，3D 资产更久），统一仅支持异步。请求必须携带 `X-DashScope-Async: enable`，缺少该头会报错 `current user api does not support synchronous calls`。 - -三者都强调"请勿重复创建任务"，`task_id` 有效期 24 小时，直接轮询即可。 - -## 输入能力对比 - -| 输入方式 | 图像 | 视频 | 3D | +| **输入格式** | 文本 [prompt](../guides/prompt.md)（文生图）；参考图 URL + [prompt](../guides/prompt.md)（图生图 / 图像编辑）；多图参考（部分模型支持） | 三选一：文本 [prompt](../guides/prompt.md)（文生 3D）；单图 URL（单图生 3D）；4 视角图片数组（多图生 3D） | 文本 prompt（文生视频）；首帧/首尾帧图像 URL（图生视频）；参考图 + prompt（参考生视频）；视频 URL（视频编辑/超分等） | +| **输出格式** | 静态图像（JPEG/PNG），支持 1~6 张 | GLB 格式 3D 模型（带 PBR 材质或无贴图）+ 预览渲染图 | 视频文件（MP4 等），含分辨率、时长、可选音频 | +| **支持模型** | Qwen-Image / Qwen-Image-Edit、万相 wan2.7/2.6/2.5/2.2/v1、Z-Image、Kling、Vidu、创意工具系列 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业快速） | 万相 wan2.7/2.6/2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画系列 | +| **API 端点** | 文生图/编辑：`/api/v1/services/aigc/text2image/image-synthesis`（异步）或 HTTP 同步（wan2.7/2.6/z-image/qwen-image）；查询：`/api/v1/tasks/{task_id}` | 创建：`/api/v1/services/aigc/video-generation/3d-generation`；查询：`/api/v1/tasks/{task_id}` | 创建：`/api/v1/services/aigc/video-generation/video-synthesis`；查询：`/api/v1/tasks/{task_id}` | +| **调用模式** | 异步为主（`X-DashScope-Async: enable`）；wan2.7/2.6/z-image/qwen-image 支持同步 | 仅异步（`X-DashScope-Async: enable` 必选） | 仅异步（`X-DashScope-Async: enable` 必选） | +| **地域限制** | 部分模型仅北京地域（wanx-v1、创意工具系列） | 仅华北2（北京） | 需模型、Endpoint、[API Key](../concepts/api-key.md) 同一地域（北京/新加坡/美国/德国） | +| **输出分辨率** | 512×512 ~ 2048×2048（部分 4K） | 面数最高 200 万（H3.1）/2 万（P1.0） | 480P ~ 1080P，部分支持 4K | +| **产物有效期** | — | GLB 下载链接 2 小时 | task_id 有效期 24 小时 | +| **task_id 有效期** | 24 小时 | 24 小时 | 24 小时 | +| **典型计费** | 按张计费（如 wanx-v1 0.16 元/张）；部分创意工具免费体验 | 按任务类型计费 | 按视频时长/分辨率计费 | +| **典型耗时** | 秒级（同步）至数十秒（异步） | 分钟级 | 分钟级 | + +## 调用流程对比 + +三者均遵循异步两步流程，但端点路径和请求头要求有所不同： + +| 步骤 | 图像生成 | 3D 生成 | 视频生成 | | --- | --- | --- | --- | -| 纯文本 | 支持，复杂文字渲染能力强（千问系列） | 支持（文生视频） | 支持，中英文等多语言，最大 1024 字符 | -| 单图输入 | 支持（图生图、图像编辑） | 支持（首帧生视频） | 支持，JPEG/PNG，宽高 [20,6000]，≤20MB | -| 多图输入 | 部分编辑模型支持多图输入/输出 | 支持（参考生、首尾帧） | 支持，固定 4 视角（前/左/后/右），有效 2–4 张 | -| 视频输入 | 不适用 | 支持（视频编辑、参考生视频） | 不适用 | -| 音频输入 | 不适用 | 万相2.7 支持[多模态](../concepts/multimodal.md)输入含音频 | 不适用 | +| 创建任务 | POST 图像合成端点 | POST `/api/v1/services/aigc/video-generation/3d-generation` | POST `/api/v1/services/aigc/video-generation/video-synthesis` | +| 异步头 | 大多数需要 `X-DashScope-Async: enable` | **必选** | **必选** | +| 轮询查询 | GET `/api/v1/tasks/{task_id}` | GET `/api/v1/tasks/{task_id}` | GET `/api/v1/tasks/{task_id}` | +| 轮询建议 | — | 约 15 秒间隔 | — | +| 查询 RPS | — | 默认 20 | — | +| 状态枚举 | PENDING/RUNNING/SUCCEEDED/FAILED | PENDING/RUNNING/SUCCEEDED/FAILED/CANCELED/UNKNOWN | PENDING/RUNNING/SUCCEEDED/FAILED/UNKNOWN | -3D 生成的多图输入有严格的视角顺序约束（前/左/后/右），不需要的视角传空对象 `{}`，这与图像/视频的"多图作为参考"语义不同。 +## 输入参数对比 -## 产物与质量参数 - -| 项 | 图像 | 视频 | 3D | +| 参数类型 | 图像生成 | 3D 生成 | 视频生成 | | --- | --- | --- | --- | -| 输出规格 | 总像素 512×512~2048×2048，宽高比 1:4~4:1，1–6 张；万相2.7 支持 4K | 视频文件 URL | 面数：H3.1 最高 200 万面，P1.0 最高 2 万面 | -| 质量参数 | 分辨率、张数、宽高比 | 分辨率、时长、镜头叙事（`shot_type: multi`） | `texture_quality`（标清/高清）、`geometry_quality`（standard/ultra）、`pbr`、`texture` | -| 一致性能力 | 千问编辑支持角色一致性 | 万相2.7 参考生支持角色形象与音色一致性 | 多图视角约束保证几何一致性 | -| 预览能力 | 直接返回图片 | 直接返回视频 | 额外返回 `rendered_image_url` 预览渲染图 | +| **prompt** | 支持，中英文文本 | 支持，最大 1024 字符 | 支持，中英文 | +| **图像输入** | 参考图 URL（图生图/编辑） | 单图 URL 或 4 视角图片数组 | 首帧/尾帧 URL（图生视频）；参考图（参考生视频） | +| **[多模态](../concepts/multimodal.md)数组** | 部分模型支持多图参考 | images 数组（固定 4 元素，视角顺序前/左/后/右） | media 数组（first_frame/last_frame/image_url/video/audio_url/reference_image） | +| **分辨率参数** | 宽高自由设置 | texture_quality / geometry_quality | resolution / size（480P~4K） | +| **数量参数** | 1~6 张 | count 固定 1 | duration（秒）、seed、watermark 等 | ## 适用场景建议 -- **选图像生成 API**：需要静态视觉产出，强调文字渲染、风格化、精确编辑（增删移动物体、改动作）、虚拟模特/试衣/海报等电商与营销场景。优先用同步调用模型（千问图像、万相2.6+/2.7、Z-Image）以简化流程；批量或创意类任务再用异步。 -- **选视频生成 API**：需要动态叙事、数字人、肖像动态视频、视频编辑/换人。文生视频、图生视频（首帧/首尾帧）、参考生视频均可，万相2.7 是推荐的新版协议，支持多模态输入与角色/音色一致性。注意 PixVerse、Vidu 仅北京地域可用且需单独开通。 -- **选 3D 生成 API**：需要可直接导入引擎/3D 软件的 GLB 资产，适用于游戏、电商商品 3D 展示、工业设计。仅北京地域可用，需开通 Tripo。高精度选 `Tripo/Tripo-H3.1`（最高 200 万面），追求速度选 `Tripo/Tripo-P1.0`。 +### 图像生成 + +- **需要高文本渲染质量**（海报、配图含文字排版）→ 优先选择 Qwen-Image 系列。 +- **追求高性价比的通用文生图** → Z-Image-Turbo 或万相 wan2.6 系列。 +- **图像编辑需求**（改字、增删物体、风格迁移）→ Qwen-Image-Edit 或万相 wan2.7-image 编辑能力。 +- **创意工具场景**（虚拟模特、涂鸦作画、创意海报）→ 对应专项工具模型，但注意部分仅北京地域或免费体验。 +- **需要 HTTP 同步调用简化集成** → 选择 wan2.7 / wan2.6 / z-image / qwen-image 等支持同步的模型。 + +### 3D 生成 + +- **游戏/影视高精度 3D 资产** → Tripo/Tripo-H3.1，最高 200 万面，支持 PBR 材质。 +- **快速原型/预览** → Tripo/Tripo-P1.0，面数较低但速度更快。 +- **无贴图基础模型需求** → 同时将 `texture` 和 `pbr` 设为 `false`，获取 `base_model_url`。 +- **注意**：仅限北京地域 [API Key](../concepts/api-key.md)，开通前需在控制台模型市场搜索 Tripo 并完成授权。 -## 技术选型参考 +### 视频生成 -1. **产出形态决定大类**：图片→图像 API；视频→视频 API；3D 模型→3D API。三者端点不同，不可混用。 -2. **延迟敏感优先同步**：仅图像 API 提供同步调用，适合交互式产品；视频与 3D 必须异步，需在业务侧实现轮询或配置异步任务回调（3D 查询接口默认 RPS 20）。 -3. **地域与鉴权**：三类均要求模型、Endpoint、API Key 同地域。3D 仅北京可用；千问-图像翻译、PixVerse、Vidu 也仅北京。建议迁移到业务空间专属域名以获得更好性能与稳定性。 -4. **任务复用**：`task_id` 24 小时有效，三类都要求轮询而非重复创建任务；3D 产物下载链接仅 2 小时，需及时落盘。 -5. **输入约束**：3D 多图必须按前/左/后/右 4 视角顺序；图像图文混排需开启 `enable_interleave=true` 并配合 SSE 流式；视频首尾帧、参考生有专属模型变体。 -6. **模型开通**：可灵、PixVerse、Vidu、Tripo 均需先在控制台搜索并开通授权，再调用 API。 +- **最新推荐体验** → 万相 wan2.7（新版协议），支持图生视频首帧/首尾帧/续写、文生视频、参考生视频及视频编辑。 +- **旧版项目兼容** → wan2.6 及早期模型走旧版协议（图生视频仅首帧）。 +- **需要 4K 超清或对口型/动作模仿** → PixVerse 系列（pixverse-c1/v6/upscale/lipsync/motioncontrol）。 +- **智能分镜、多主体参考** → 可灵 Kling（kling-v3 / kling-v3-omni）。 +- **人像动画/数字人** → animate-anyone / emo / liveportrait / wan2.2-s2v 等系列。 +- **注意路径差异**：万相图生动作（wan2.2-animate-move）、视频换人（wan2.2-animate-mix）、数字人（wan2.2-s2v）使用 `image2video/video-synthesis` 路径，而非 `video-generation/video-synthesis`。 + +## 技术选型总结 + +| 选型场景 | 推荐方案 | 关键考量 | +| --- | --- | --- | +| 静态营销素材 / 产品配图 | 图像生成（Qwen-Image / Z-Image） | 文本渲染质量、输出张数、同步调用可用性 | +| 电商虚拟模特 / 创意海报 | 图像生成创意工具（wanx-virtualmodel / wanx-poster） | 地域限制、部分免费体验 | +| 游戏/影视 3D 资产 | 3D 生成（Tripo-H3.1） | 面数精度、PBR 材质、仅北京地域 | +| 快速 3D 原型验证 | 3D 生成（Tripo-P1.0） | 速度优先、面数较低 | +| 短视频/广告素材 | 视频生成（wan2.7 / Kling） | 分辨率、时长、多镜头分镜 | +| 人像动画 / 数字人 | 视频生成（animate-anyone / wan2.2-s2v） | 口型同步、动作模仿、路径差异 | +| 超清/对口型视频 | 视频生成（PixVerse upscale / lipsync） | 4K 超分、对口型能力 | ## 被对比主题页 - [image generation](../api/image-generation.md) -- [video generation api](../api/video-generation-api.md) - [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api.md new file mode 100644 index 00000000..38716f9f --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api.md @@ -0,0 +1,65 @@ +# [多模态](../concepts/multimodal.md)生成 API 对比 + +百炼平台提供图像、3D 和视频三类[多模态](../concepts/multimodal.md)生成能力，均通过 DashScope 网关以 REST / SDK 方式调用。三者共享「异步创建任务 → 轮询 task_id」的基础调用模式，但在输入模态、输出产物、支持模型矩阵、地域限制和计费粒度上存在显著差异。本页旨在帮助开发者快速理解三者的技术边界，为方案选型提供参考。 + +## 关键维度对比 + +| 对比维度 | 图像生成（Image Generation） | 3D 生成（3D Generation） | 视频生成（Video Generation） | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词；参考图（图生图 / 图像编辑）；多图参考（部分模型支持最多 14 张） | `prompt`（文生 3D，≤1024 字符）；`image`（单图生 3D）；`images`（多图生 3D，固定 4 视角：前/左/后/右） | `prompt` 文本；`media` [多模态](../concepts/multimodal.md)数组（首帧/尾帧/参考图/视频/音频）；旧版协议直接 URL 字段 | +| **输出格式** | 单张或多张图像（1~6 张），JPEG/PNG 格式 | PBR 材质 GLB 模型或无贴图基础 GLB 模型 + 预览渲染图 | 视频文件，支持 480P~4K 分辨率，时长常见 5/8 秒，部分模型可生成音频 | +| **支持模型** | Qwen-Image / Qwen-Image-Edit、万相 wan2.7/wan2.6/wan2.5/wanx-v1、Z-Image、Kling、Vidu 等多家系列 + 多项创意工具 | Tripo-H3.1（高精度，最高 200 万面）、Tripo-P1.0（专业，速度更快，最高 2 万面） | 万相 wan2.7/wan2.6/早期版本、HappyHorse、PixVerse、Vidu、Kling、人像动画系列、万相动作/换人/数字人 | +| **API 端点** | 各模型独立端点，多数为异步 `X-DashScope-Async: enable`；wan2.6/2.7/z-image/qwen-image 部分支持 HTTP 同步调用 | `POST /api/v1/services/aigc/video-generation/3d-generation`（创建）+ `GET /api/v1/tasks/{task_id}`（轮询），**仅异步** | `POST /api/v1/services/aigc/video-generation/video-synthesis`（创建）+ `GET /api/v1/tasks/{task_id}`（轮询），**仅异步**；部分模型用 `image2video/video-synthesis` 路径 | +| **地域限制** | 多数模型多地可用；部分创意工具（图像翻译、涂鸦作画、虚拟模特等）为北京地域独占 | **仅限华北2（北京）**，必须使用北京地域 [API Key](../concepts/api-key.md) | 需模型/Endpoint URL/[API Key](../concepts/api-key.md) 同一地域；北京/新加坡/美国/德国多地域支持，跨地域调用失败 | +| **调用模式** | 异步为主，部分支持同步 | 纯异步（`X-DashScope-Async: enable` 必选） | 纯异步（`X-DashScope-Async: enable` 必选） | +| **轮询间隔建议** | 取决于具体模型，多数秒级完成 | 约 15 秒，查询接口默认 RPS 20 | 取决于模型和时长，任务有效期 24 小时 | +| **产物有效期** | 视具体接口而定 | 下载链接有效期 **2 小时** | 下载链接有效期视具体接口而定 | +| **典型场景** | 营销素材、创意海报、虚拟模特、图像编辑、翻译、局部重绘 | 游戏资产、电商 3D 展示、工业设计原型 | 短视频创作、广告视频、数字人播报、视频编辑、对口型/动作模仿 | + +## 调用模式对比 + +| 特性 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| 同步调用 | 部分支持（wan2.6/2.7、z-image、qwen-image 等） | 不支持 | 不支持 | +| 异步创建 + 轮询 | 大多数模型 | 唯一方式 | 唯一方式 | +| `X-DashScope-Async` 必选 | 仅异步模型 | 必选 | 必选 | +| task_id 有效期 | 视接口而定 | 24 小时 | 24 小时 | + +## 输入灵活性对比 + +| 能力 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| 纯文本输入 | 支持 | 支持（≤1024 字符） | 支持 | +| 单图输入 | 支持（图生图 / 图像编辑） | 支持（单图生 3D，JPEG/PNG，≤20MB） | 支持（首帧 / 尾帧） | +| 多图输入 | 支持（最多 14 张参考图，Vidu 等） | 支持（固定 4 视角：前/左/后/右） | 支持（多参考图、首尾帧组合） | +| 视频输入 | 不支持 | 不支持 | 支持（部分模型接收视频 URL 作为输入） | +| 音频输入 | 不支持 | 不支持 | 支持（数字人、对口型等模型） | +| 多输出 | 支持（1~6 张） | 支持（PBR 模型 + 渲染图） | 单个视频文件 | + +## 适用场景建议 + +- **图像生成**：适合需要快速产出高质量静态视觉内容的场景，如电商商品图、营销海报、虚拟模特展示、图像编辑与翻译。当需要文本渲染能力强（Qwen-Image）、高性价比批量出图（Z-Image Turbo）、或多图参考融合（Kling / Vidu）时优先选用。部分创意工具（涂鸦作画、局部重绘、人像风格重绘）适合特定创意需求。 +- **3D 生成**：适合需要将文本或少量参考图转化为可直接使用的 3D 模型资产的场景，如游戏道具、电商 3D 展示、工业设计快速原型。**仅限北京地域**，需提前开通 Tripo 服务。追求精度选 Tripo-H3.1（可设 `ultra` 几何精度，最高 200 万面），追求速度选 Tripo-P1.0。 +- **视频生成**：适合需要动态视觉内容的场景，如短视频创作、广告视频、数字人播报与口型同步。万相 wan2.7 为新版协议首选（支持多主体参考生视频 + 音色），需要 4K 超清或动作模仿选 PixVerse，需要智能分镜或首尾帧控制选 Kling。人像动画系列（animate-anyone / emo / liveportrait）适合舞蹈、唱演、播报等人物驱动场景。 + +## 选型决策流程 + +1. **确定输出模态**：静态图像 → 图像生成；3D 模型 → 3D 生成；动态视频 → 视频生成。 +2. **确认地域**：3D 生成仅限北京；视频生成需确保模型/Endpoint/[API Key](../concepts/api-key.md) 同地域；图像生成多数多地可用但部分创意工具限北京。 +3. **评估输入素材**：是否有参考图、多视角图、首尾帧或音视频素材，据此筛选支持的模型。 +4. **权衡同步/异步**：如需快速同步响应，图像生成中的 wan2.6/2.7、z-image、qwen-image 系列支持 HTTP 同步；3D 和视频生成均为异步，需规划轮询或回调机制。 +5. **关注产物有效期**：3D 生成下载链接仅 2 小时有效，视频和图像产物有效期视接口而定，均需及时下载。 + +## 来源文档 + +- [image generation](../api/image-generation.md)（api/image-generation.md） +- [3d generation](../api/3d-generation.md)（api/3d-generation.md） +- [video generation api](../api/video-generation-api.md)（api/video-generation-api.md） + +## 被对比主题页 + +- [image generation](../api/image-generation.md) +- [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md index 9ac91dd6..de769113 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md @@ -1,71 +1,72 @@ -# 图像生成、视频生成与3D生成对比 +# [多模态](../concepts/multimodal.md)生成对比：图像、3D 与视频 -百炼平台提供图像生成、视频生成和3D生成三大[多模态](../concepts/multimodal.md)内容创作能力。三者在输入输出格式、模型生态、调用方式和适用场景上各有侧重。本文从开发者技术选型角度，对这三类生成能力进行系统对比，帮助快速定位最适合业务需求的方案。 +百炼平台提供三类[多模态](../concepts/multimodal.md)生成能力——**图像生成**、**3D 生成**和**视频生成**。它们在输入形式、输出产物、调用模式、模型生态、地域限制等方面各有差异。本页面向开发者做技术选型参考，帮助快速判断哪个子系统最适合你的业务场景。 ## 关键维度对比 -| 维度 | 图像生成 | 视频生成 | 3D生成 | -|------|---------|---------|--------| -| **输入格式** | 文本提示词、参考图像（单张/多张）、涂鸦草图 | 文本提示词、首帧/首尾帧图像、参考图像/视频/音频 | 文本提示词、单张图像、多图（4视角：前/左/后/右） | -| **输出格式** | PNG 图像（512x512 至 4K） | MP4 视频 | GLB 模型（PBR 材质或无贴图基础模型）+ 预览渲染图 | -| **调用方式** | 同步调用为主，部分模型支持异步 | 全部异步（创建任务 → 轮询结果） | 全部异步（创建任务 → 轮询结果） | -| **主要模型系列** | 千问-图像、万相(Wan/Wanx)、Z-Image、可灵(Kling) | 万相(Wan)、HappyHorse、爱诗(PixVerse)、Vidu、可灵(Kling) | Tripo（H3.1 / P1.0） | -| **模型数量** | 20+ 款模型覆盖各类场景 | 6 大模型家族，任务类型丰富 | 2 款模型（高精度 / 专业快速） | -| **可用地域** | 部分全地域，部分仅华北2（北京） | 多数仅华北2（北京），HappyHorse 支持海外地域 | 仅华北2（北京） | -| **批量输出** | 单次可生成 1-9 张图像 | 单次生成 1 条视频 | 单次生成 1 个3D模型 | -| **产物有效期** | 即时返回，URL 有时效 | task_id 有效期 24 小时 | task_id 有效期 24 小时，下载链接有效期 2 小时 | -| **典型生成耗时** | 秒级至十秒级 | 分钟级 | 分钟级（耗时较长） | - -## 能力覆盖对比 - -| 能力 | 图像生成 | 视频生成 | 3D生成 | -|------|:-------:|:-------:|:-----:| -| 文本生成 | 支持 | 支持 | 支持 | -| 图像/图片参考生成 | 支持 | 支持（首帧/首尾帧） | 支持（单图/多图） | -| 内容编辑 | 支持（局部重绘、风格迁移、扩图等） | 支持（指令编辑、视频迁移） | 不支持 | -| [多模态](../concepts/multimodal.md)混合输入 | 支持（文+图） | 支持（文+图+视频+音频） | 不支持 | -| 中文文字渲染 | 支持（千问、Z-Image 等） | 不适用 | 不适用 | -| 人像/人物专项 | 支持（人像风格重绘、AI试衣） | 支持（数字人、舞动人像、悦动人像等） | 不适用 | -| PBR 材质输出 | 不适用 | 不适用 | 支持 | - -## 计费方式差异 - -- **图像生成**：按张计费，不同模型单价不同（如扩图 0.18 元/张）。部分创意工具仅提供免费体验额度，用完不可付费续用。 -- **视频生成**：按任务计费，费用与视频时长、分辨率、模型版本相关。 -- **3D生成**：按任务计费，费用与贴图质量（standard/detailed）和几何精度（standard/ultra）相关。 +| 维度 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词（文生图）；参考图 URL（图生图/编辑）；多图参考 | 文本提示词（文生 3D）；单张图像 URL（单图生 3D）；4 张多视角图 URL（多图生 3D，前/左/后/右） | 文本提示词（文生视频）；首帧/首尾帧图像 URL（图生视频）；参考图 URL（参考生视频）；音频 URL（数字人/对口型） | +| **输出格式** | 静态图片（PNG/JPG），1~6 张 | PBR 材质 GLB 模型（含贴图）或无贴图基础模型（GLB）；附 1 张预览渲染图 | 视频文件（MP4 等），含或不含音频 | +| **支持模型** | Qwen-Image 系列、万相 wan2.7/wan2.6/wan2.5/wan2.2/wan2.1/wan2.0、Z-Image-Turbo、wanx-v1、Kling-V3、Vidu、qwen-mt-image 等专项工具 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业快速） | 万相 wan2.7/wan2.6/wan2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画系列、万相动作/换人/数字人 | +| **API 端点** | 多端点，按模型族分流；如 `text-generation/generation`（同步）、异步任务创建端点 | `POST /api/v1/services/aigc/video-generation/3d-generation`（创建）→ `GET /api/v1/tasks/{task_id}`（轮询） | `POST /api/v1/services/aigc/video-generation/video-synthesis`（创建）→ `GET /api/v1/tasks/{task_id}`（轮询）；部分模型走 `image2video/video-synthesis` 路径 | +| **调用模式** | **混合**：wan2.6/wan2.7/z-image/qwen-image 支持同步；大多数长耗时任务走异步（`X-DashScope-Async: enable`） | **仅异步**：必须携带 `X-DashScope-Async: enable`，不支持同步 | **仅异步**：必须携带 `X-DashScope-Async: enable`，不支持同步 | +| **地域限制** | 大部分模型多地域可用；部分专项工具（图像翻译、创意工具等）仅限北京地域 | 仅限华北2（北京），需使用北京地域 [API Key](../concepts/api-key.md) | 北京、新加坡、美国（弗吉尼亚）、德国（法兰克福）；模型、Endpoint、[API Key](../concepts/api-key.md) 必须同一地域 | +| **产物有效期** | 异步任务产物通常较长（按各模型文档） | 下载链接有效期 **2 小时** | 下载链接有效期较短（按各模型文档，通常数小时） | +| **轮询间隔建议** | 异步任务约 10~15 秒 | 约 15 秒；查询接口默认 RPS 为 20 | 视任务耗时，task_id 有效期 24 小时 | +| **典型耗时** | 秒级到数十秒（同步通常 2~10 秒，异步按模型不同） | 较长，分钟级 | 分钟级到十分钟级 | +| **[计费](../concepts/billing.md)方式** | 按张[计费](../concepts/billing.md)（如 wanx-v1 0.16 元/张）；各模型独立定价 | 按任务类型[计费](../concepts/billing.md)（text-to-3d / image-to-3d / multi-image-to-3d） | 按任务计费，分辨率与时长影响价格；部分模型分 std/pro 模式 | +| **典型场景** | 营销素材生成、电商商品图、虚拟模特、海报、图像编辑与翻译、AI 试衣 | 游戏/AR/VR 资产制作、3D 打印、数字藏品、产品 3D 展示 | 短视频营销、影视片段生成、数字人播报、视频编辑、视频超清、对口型与动作模仿 | ## 适用场景建议 -**选择图像生成的场景：** -- 电商商品图、营销海报、社交媒体配图等静态视觉内容 -- 需要精细文字渲染或图文混排的场景（如带中文的宣传图） -- 图像编辑与风格迁移（如局部重绘、背景替换、AI试衣） -- 对生成速度要求高、需要批量出图的场景 +### 图像生成 -**选择视频生成的场景：** -- 短视频创作、广告片制作、动态内容营销 -- 人像动画（数字人播报、舞蹈视频、唱演视频） -- 需要多镜头叙事或多角色互动的复杂视频 -- 视频风格转换和口型替换等后期编辑 +适合需要**快速产出静态视觉素材**的场景。如果你的业务是电商商品图、营销海报、图像编辑（增删物体、风格迁移）、图像翻译、虚拟模特或 AI 试衣，图像生成是首选。 -**选择3D生成的场景：** -- 游戏资产、AR/VR 场景中的3D模型快速原型 -- 电商3D商品展示 -- 需要 PBR 材质的高精度3D资产生产（最高 200 万面） -- 从多视角图片重建3D物体 +- 追求**文本渲染质量**和多行排版 → 选 Qwen-Image 系列。 +- 需要**高性价比轻量文生图** → 选 Z-Image-Turbo 或 wanx-v1（注意后者仅北京地域且官方推荐迁移 V2）。 +- 需要**4K 高清输出** → 选万相 wan2.7-image-pro。 +- 需要**多图参考或组图** → 选万相 wan2.7 或 Kling-V3 omni。 +- 需要**同步调用**降低集成复杂度 → 优先 wan2.6+、z-image、qwen-image 等支持同步的模型。 -## 技术选型要点 +### 3D 生成 -1. **生成速度**：图像生成最快（秒级），视频和3D生成均需分钟级等待，且必须使用[异步调用](../concepts/async-invocation.md)模式。 -2. **模型生态丰富度**：图像生成和视频生成均拥有多个模型家族可选，3D生成目前仅有 Tripo 系列。 -3. **地域限制**：3D生成仅限北京地域；视频和图像生成的部分模型也有地域限制，选型前需确认目标地域的模型可用性。 -4. **输出后处理**：视频和3D的产物下载链接有时效限制（3D仅 2 小时），需在业务流程中及时下载存储。 -5. **开通流程**：3D生成和部分视频/图像模型需在百炼控制台额外搜索并开通服务，不是默认可用。 +适合需要**立体可交互 3D 资产**的场景。如果你的业务是游戏开发、AR/VR 内容、3D 打印、数字藏品或产品 3D 展示，3D 生成能从文本或图像直接产出带 PBR 材质的 GLB 模型。 + +- 追求**高精度高面数**（最高 200 万面）→ 选 Tripo/Tripo-H3.1，可设 `geometry_quality: ultra`。 +- 追求**更快生成速度**（最高 2 万面）→ 选 Tripo/Tripo-P1.0。 +- 需要多角度参考 → 使用多图生 3D（4 张前/左/后/右视角）。 +- 只需基础模型无需贴图 → 同时将 `texture` 和 `pbr` 设为 `false`，获取 `base_model_url`。 + +> **注意**：3D 生成仅限北京地域，产物下载链接有效期仅 2 小时，需及时拉取。 + +### 视频生成 + +适合需要**动态视频内容**的场景。如果你的业务是短视频营销、影视片段、数字人播报、视频编辑、超分、对口型或动作模仿，视频生成提供最丰富的模型生态。 + +- 追求**新版协议与多能力**（图生视频首帧/首尾帧/续写、参考生视频含音色、视频编辑）→ 选万相 wan2.7 系列。 +- 需要**4K 超清**或**对口型/动作模仿** → 选 PixVerse 系列。 +- 需要**智能分镜与多镜头** → 选 Kling-V3。 +- 需要**数字人**（单图+音频生成说话/唱歌视频）→ 选万相 wan2.2-s2v 或人像动画系列。 +- 跨地域部署 → 注意模型/Endpoint/[API Key](../concepts/api-key.md) 必须同一地域，官方建议北京/新加坡迁移至[业务空间](../concepts/workspace.md)专属域名。 + +## 选型速查 + +| 你的需求 | 推荐子系统 | 推荐模型 | +| --- | --- | --- | +| 生成静态商品图/海报 | 图像生成 | Qwen-Image、万相 wan2.7-image | +| 编辑已有图片（去水印/扩图/风格化） | 图像生成 | wanx2.1-imageedit、Qwen-Image-Edit | +| 生成 4K 高清图 | 图像生成 | 万相 wan2.7-image-pro、Kling-V3 | +| 从文本/图片生成 3D 模型 | 3D 生成 | Tripo-H3.1（高精度）、Tripo-P1.0（快速） | +| 生成短视频/影视片段 | 视频生成 | 万相 wan2.7、Kling-V3 | +| 数字人播报/口型同步 | 视频生成 | wan2.2-s2v、PixVerse-lipsync | +| 视频超分到 4K | 视频生成 | PixVerse-upscale | ## 被对比主题页 - [image generation](../api/image-generation.md) -- [video generation api](../api/video-generation-api.md) - [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/platform-extension.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/platform-extension.md new file mode 100644 index 00000000..28c62b6e --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/platform-extension.md @@ -0,0 +1,52 @@ +# 插件与 MCP 对比 + +在百炼平台上，**插件（Plug-in）** 与 **MCP（Model Context Protocol）** 都是为大模型扩展外部工具能力的主要手段，但两者在技术协议、服务来源、部署方式和集成模式上有显著差异。插件是百炼平台原生的工具集成机制，适合快速接入官方/三方 API；MCP 则是基于 Anthropic 开源标准协议的统一信息通道，适合需要跨平台互通、自定义部署复杂工具链的场景。本页帮助开发者根据业务需求做出技术选型。 + +## 关键维度对比 + +| 对比维度 | 插件（Plug-in） | MCP（Model Context Protocol） | +| --- | --- | --- | +| **技术协议** | 百炼平台自有接口规范，工具以 RESTful API（GET/POST）形式定义 | 基于 Anthropic 提出的 MCP 开源标准协议，支持 SSE 与 Streamable HTTP 两种传输方式 | +| **服务来源** | 官方插件、三方插件（云市场）、自定义插件 | 官方 MCP 服务、自定义 MCP 服务（脚本部署/从 AI 网关导入/从阿里云 OpenAPI 导入） | +| **工具定义方式** | 在插件下配置 API 路径、请求参数、返回数据，工具路径指向插件 URL 的相对路径 | 遵循 MCP 协议的代码包，托管到函数计算 FC；或通过 AI 网关/OpenAPI 升级为 MCP 服务 | +| **支持模型** | 通义千问-Turbo/Plus/Max、通义千问VL-Max/Plus 等（兼容性以控制台执行结果为准） | 须集成在智能体或[工作流](../concepts/workflow.md)应用中使用，不限制具体模型；无法在直连千问 API 时接入 | +| **集成方式** | [智能体应用](../concepts/agent-application.md)、[工作流](../concepts/workflow.md)应用、Assistant API | [智能体应用](../concepts/agent-application.md)、[工作流](../concepts/workflow.md)应用、外部调用（第三方应用 + 个人项目 SDK） | +| **数量限制** | 每个[智能体应用](../concepts/agent-application.md)最多添加 10 个工具 | 单个智能体最多同时添加 5 个 MCP 服务 | +| **调用机制** | 智能体/Assistant API 由模型自动判断调用；工作流中插件作为节点按编排执行 | 智能体由模型自动判断调用；工作流中每个 MCP 节点只能使用一个工具，需手动指定输入并传递输出 | +| **鉴权方式** | 支持服务级和用户级鉴权；鉴权类型含 basic、bearer、appcode；信息可放 Header 或 Query | 敏感信息使用 KMS 凭据加密管理；外部调用鉴权使用 `Authorization: Bearer ` | +| **部署与运行** | 自定义插件通过百炼平台在线配置 API；三方插件经云市场开通后直接使用 | 自定义 MCP 服务托管在函数计算 FC，分基础模式（按调用时长计费，有冷启动）和极速模式（部署费 + 调用费，常驻在线） | +| **计费方式** | 官方插件多为免费或限时免费（需申请开通） | 云部署限时免部署费，部分服务按第三方费率收取（如联网搜索 2000 次免费，之后 29 元/千次）；自定义部署按调用时长/部署时长计费 | +| **本地/远程资源** | 无特殊限制（取决于 API 本身） | FC 无固定出口公网 IP，访问远程资源需配置 IP 白名单或 VPC 网络；不支持访问本地资源（本地资源建议本地部署） | +| **跨平台互通** | 仅限百炼平台内部使用 | 支持 Cherry Studio、Cursor 等第三方客户端一键配置，也可通过 SDK 集成到个人项目 | +| **首次访问授权** | 需授权服务关联角色 `AliyunServiceRoleForSFMAccessCloudAPI`（主账号直接授权，RAM 子账号需创建权限策略） | 需在 MCP 广场开通或部署服务；已开通用户需从旧版 SSE 升级到 Streamable HTTP 协议 | +| **[Token](../concepts/token.md) 消耗** | 工具返回结果作为上下文传入模型 | MCP 返回内容同样作为上下文传入模型，间接增加输入/输出 [Token](../concepts/token.md) | +| **版本更新** | 平台管理更新 | npx/uvx 部署的服务在源版本更新后不自动更新，需手动重新部署；私有 npm 仓库暂不支持 | + +## 各方案适用场景建议 + +### 选择插件（Plug-in）当： + +- **快速接入现成 API**：官方插件（如代码解释器、计算器、图片生成、夸克搜索等）开通即用，无需编写代码或部署基础设施。 +- **简单 RESTful API 工具化**：已有 HTTP 接口，只需配置路径、参数、返回格式即可让模型调用，适合快速验证 MVP。 +- **仅百炼内部使用**：工具只需在智能体应用或工作流应用中使用，不涉及跨平台或外部集成。 +- **对成本敏感且调用量不大**：大量官方插件免费或限时免费，适合预算有限的场景。 +- **工作流编排中的确定性节点**：需要按固定逻辑链路执行工具调用（非模型自主决策），插件节点方式更直观。 + +### 选择 MCP 当： + +- **需要跨平台工具复用**：同一套工具需同时服务于百炼智能体、Cherry Studio、Cursor 等不同客户端，MCP 协议提供统一接口。 +- **工具链复杂、需自定义部署**：有现成的 MCP 协议代码包（Node.js/Python），或需把已有 RESTful API 通过 AI 网关升级为 MCP 服务。 +- **操作阿里云资源**：需通过 OpenAPI 操作 OSS、ECS 等阿里云产品，从 OpenAPI 开发者门户直接发布为 MCP 服务最为便捷。 +- **长时间在线、调用频繁**：极速模式下服务常驻运行，无冷启动延迟，适合生产环境高频调用。 +- **外部应用集成**：需要把百炼的 MCP 服务集成到第三方应用或个人项目，通过 SDK 灵活编码调用。 + +### 混合使用 + +两者并非互斥。实际项目中常见做法是：用 MCP 接入跨平台复用的核心工具链，同时用官方插件补充搜索、图片生成等百炼原生能力，在智能体应用中统一编排。选型时优先考虑工具的来源生态、部署复杂度、跨平台需求和长期维护成本。 + +## 被对比主题页 + +- [plug in](../guides/plug-in.md) +- [model context protocol](../guides/model-context-protocol.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md b/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md index 5b2f9be9..cfa9354f 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md @@ -1,45 +1,51 @@ # 智能体应用 -智能体应用（Agent）是阿里云百炼平台的核心应用构建模式之一，通过自然语言零代码配置，让大模型基于角色设定自主决策、动态规划并调用知识库、MCP、Skill 等工具来完成任务。相较于流程固定的工作流应用，智能体强调 AI 的自主性，适合意图开放、需要动态编排的对话与轻量任务场景。 +智能体应用（Agent Application）是百炼平台的核心应用形态之一，通过自然语言配置（零代码）构建，由大模型根据系统提示词自主规划工具调用顺序，实现知识问答、任务处理等场景。开发者无需编写编排逻辑，只需定义角色、挂载工具与知识库，模型即可基于 ReAct 循环完成多步推理与执行。 -## 版本演进：Agent 1.0 与 Agent 2.0 +## 两代架构 -百炼提供两代技术架构不同的智能体，**不支持直接升级或版本切换**，迁移需重新创建： +百炼提供两代智能体应用，**推荐优先使用 Agent 2.0**： -- **新版智能体（Agent 2.0）**：2025 年 12 月 26 日上线。将知识库、MCP 等能力统一抽象为「工具」，由智能体自主规划调用时机与顺序，并完整展示「规划-执行-反思」链路。无旧版依赖时推荐使用。**仅支持 API 调用，不支持任何分享渠道**（魔笔/UI、钉钉、微信、组件、音视频互动）。 -- **旧版智能体（Agent 1.0）**：通过知识库（RAG）+ 插件扩展能力，先检索知识再决策是否调用工具，适合意图单一、流程固定的简单任务。自定义插件有 **5 秒超时限制**。分享渠道均为 1.0 功能。 +- **Agent 2.0**：将知识库、MCP 等统一为工具，由模型基于 ReAct 循环自主规划调用时机与顺序，完整暴露"思考-执行-反思"链路。2025 年 12 月 26 日上线。 +- **Agent 1.0**：先命中知识库再决策是否调用其他工具，仅展示最终结果。 -## 核心能力配置（Agent 2.0） +> 两代基于不同技术架构，**不支持直接升级或迁移**，切换需重新创建应用。 -- **模型选择**：推荐具备强工具调用能力的模型（如千问-Max 系列）；可配置最长回复长度、`temperature`、`enable_thinking`（思考模式）等参数。 -- **提示词（System Prompt）**：定义角色、行为指令与能力边界，支持自定义变量嵌入。 -- **内置工具**：沙箱环境下的 `bash`、`write`、`read`、`edit`、`glob`、`grep`、`download_file`，默认关闭需按需开启。 -- **知识库**：作为工具由智能体自主调用，支持标签过滤限定查询范围。 -- **MCP**：外部工具以 MCP 协议接入，支持动态非固定顺序调用。 -- **Skill**：可扩展能力包，智能体在对话中自动识别匹配任务并调用，无需额外编码。 -- **记忆**：短期记忆支持 0-30 轮上下文；长期记忆暂未支持。 -- **ReAct 最大轮次**：取值 1-50，限制单次会话内工具调用最大次数。 +## 关键配置 -## 文件问答 +| 配置项 | 说明 | +| --- | --- | +| 模型 | 推荐 `千问-Max` 系列以保障多步工具调用效果；支持 `enable_thinking`（仅思考模型可配）、`temperature`、最长回复长度 | +| 系统提示词 | 定义角色、输出格式、约束和工具使用指引；支持自定义变量（通过 `/` 引用） | +| 知识库（RAG） | 作为工具由 Agent 2.0 自主调用；支持按标签过滤检索范围；可开启"展示回答来源"以角标形式返回 | +| MCP 与插件 | Agent 2.0 全部外部工具统一走 MCP 协议；插件可一键转换为 MCP | +| 内置工具 | `bash` / `write` / `read` / `edit` / `glob` / `grep` / `download_file`，沙箱内运行，默认关闭 | +| 预解析文件 | 控制上传文件是否由平台预置解析器提取文本；关闭时文件 URL 作为上下文透传 | +| ReAct 最大轮次 | 1–50，超限后强制生成最终回复 | +| 短期记忆 | 0–30 轮上下文 | -智能体应用支持上传文件进行问答，提供三种处理模式： +## 文件问答 -| 模式 | 适用场景 | 特点 | -|------|---------|------| -| 全文引用 | 文档总结、全文翻译 | 简单直接，受上下文长度限制 | -| 切片检索（RAG） | 长文档问答、知识库检索 | 能处理超长文件，效果依赖检索策略 | -| 自定义处理 | 图片转换、视频分析等 | 功能灵活，依赖配置的工具 | +智能体支持三种文件处理模式： -限制：单会话最多 10 个文件，单文件不超过 10 MB（超出需用文件上传 API）。支持文档、图片、视频、音频等格式。 +| 模式 | 机制 | 适用场景 | +| --- | --- | --- | +| 全文引用 | 平台解析后将文件整体注入 Prompt（受上下文长度限制） | 全文总结、翻译、润色 | +| 切片检索（RAG） | 平台解析并切片，按相关性召回若干片段 | 长文档问答、来源定位 | +| 自定义处理 | 只把文件 URL 或原始内容交给模型，由模型调用工具处理 | 图像风格转换、视频分析 | -## 发布与调用 +- 单会话上传上限 **10 个文件**，单文件 **≤ 10 MB**。 +- 页面上传的文件仅当前会话有效；生产场景推荐通过文件上传 API 换取 `session_file_id`（有效期约 24 小时）。 +- API 调用时**无法**动态切换处理模式，取决于应用发布时的配置。 +- 文件问答共享所属智能体应用的限流：**默认 100 次/分钟**。 -所有应用类型均需先发布才能通过 API 集成，核心步骤：在应用配置页点击「发布」→ 在「发布渠道」查看调用方式。RAM 账号发布前需拥有 `ram:CreateServiceLinkedRole` 权限。 +## 调用方式 -API 调用与工作流应用完全一致，通过 `Application.call` / `POST /apps/{app_id}/completion` 触发： +通过 DashScope SDK 或 HTTP API 调用，接口为 `POST /apps/{APP_ID}/completion`： ```python import os +from http import HTTPStatus from dashscope import Application response = Application.call( @@ -47,35 +53,46 @@ response = Application.call( app_id='YOUR_APP_ID', prompt='你是谁？' ) -print(response.output.text) +if response.status_code == HTTPStatus.OK: + print(response.output.text) ``` -响应结构为 `{"output": {"finish_reason", "session_id", "text"}, "usage": {...}, "request_id": "..."}`，业务侧主要消费 `output.text`。 +响应结构为 `{"output": {"finish_reason", "session_id", "text"}, "usage": {...}, "request_id": "..."}`，业务侧主要消费 `output.text`。2025 年 11 月起还支持通过 Responses API 调用，提供同步与异步两种模式。 + +## 发布与分享 -## 分享与组件化（仅 Agent 1.0） +- **Agent 1.0** 支持多种分享渠道：UI 应用/魔笔、钉钉、微信公众号、组件化发布、音视频实时互动。临时体验二维码与 UI 体验链接有效期均为 24 小时。 +- **Agent 2.0** 仅支持通过 API 调用，不支持上述分享渠道。 -- **分享渠道**：UI 应用/魔笔、钉钉、微信公众号、音视频实时互动。UI 体验链接与音视频临时二维码有效期均为 **24 小时**。分享产生的费用由应用创建者 UID 账号承担。 -- **组件化**：智能体或工作流可发布为模块化组件供其他应用复用。接入智能体时组件作为工具，大模型据「组件描述」自动判断调用；预设系统参数 `query`、`imageList` 无法删除。注意避免嵌套调用（A↔B）和多级调用（A→B→C 易超时）。 +智能体或[工作流](workflow.md)应用可发布为模块化组件供其他应用复用，组件预设系统参数 `query` 和 `imageList`（不可删除，可隐藏）。接入方支持智能体应用（作为工具，模型自动调用）和[工作流](workflow.md)应用（作为组件节点，手动传参）。 -## 与 Managed Agents 的区别 +## 评测与监控 -Managed Agents 是服务端托管运行时，与无状态的智能体应用不同：它在独立云端沙箱容器中维护会话状态，支持中断与续接、事件历史持久化，面向多步工具调用、代码执行、文件处理等长时运行任务。 +- **评测**：支持自动评测（基于知识库自动生成评测集并评分）和手动评测（人工标注）。单应用评测深度评估表现，多应用横向评测最多对比 8 个应用。新版评测系统通过评估器（LLM / Code）和标签管理构建多维评测闭环。 +- **监控**：应用观测功能可端到端追踪调用链路，提供延时、[Token](token.md) 量等分钟级指标。支持 Root Span / All Span / Model Span 筛选模式，可将 Span 数据直接加入评测集。观测覆盖智能体应用、[工作流](workflow.md)应用和高代码应用。 -## 计费说明 +## 与其他形态的对比 -- **模型调用**：按模型类型和 Token 用量计费。 -- **知识库**：按量付费，召回的文本切片会增加输入 Token；自 2026 年 1 月 4 日起正式计费。 -- **MCP/插件**：部分官方 MCP 按调用计费，第三方 MCP 由第三方收取。 +| 维度 | 智能体应用 | 工作流应用 | 高代码应用 | +| --- | --- | --- | --- | +| 开发方式 | 自然语言配置（零代码） | 可视化节点编排（低代码） | Python 项目（专业代码） | +| 控制方式 | 模型自主规划 | 预定义节点顺序 | 代码完全控制 | +| 适合人群 | 业务/产品/运营 | 业务分析师/IT 实施 | AI 工程师 | +| 典型场景 | 客服、知识问答、任务助理 | 报告生成、审批流、数据标注 | 私有算法、复杂系统集成 | -百炼提供限时免费额度，可在模型广场查看。 +与 Managed Agents 的区别：智能体应用为无状态调用（应用侧维护上下文），Managed Agents 由服务端托管会话状态、沙箱环境与工具执行，支持中断与续接，适合长时运行的多步工具调用任务。 ## 关联主题页 +- [start using](../guides/start-using.md) - [llm application](../guides/llm-application.md) -- [bailian application calling](../guides/bailian-application-calling.md) -- [managed agents](../guides/managed-agents.md) - [application publishing and sharing](../guides/application-publishing-and-sharing.md) -- [start using](../guides/start-using.md) +- [bailian application calling](../guides/bailian-application-calling.md) +- [application evaluation](../guides/application-evaluation.md) +- [application monitoring](../guides/application-monitoring.md) +- [application permission management](../guides/application-permission-management.md) +- [application use cases](../guides/application-use-cases.md) - [skill](../guides/skill.md) +- [managed agents](../guides/managed-agents.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md b/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md index a6884fa8..60eba19e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md @@ -1,80 +1,103 @@ -# API Key 鉴权 +# API Key -API Key 是调用阿里云百炼平台模型与应用的核心鉴权凭证，以 `Authorization: Bearer ` 的形式随请求携带，用于标识调用者身份并界定其可访问的模型、应用与业务空间范围。 +API Key 是阿里云百炼平台的鉴权凭证，用于在调用模型推理、应用、知识库等 API 时验证调用者身份和权限。每个 API Key 绑定一个地域内的一个[业务空间](workspace.md)和一个用户，不可跨地域混用。 -## 在百炼平台的使用场景 +## 获取方式 -API Key 贯穿百炼的各类调用入口，不同场景下的获取与使用方式略有差异： +需使用主账号或具备 `管理员` / `API-Key` 页面权限的子账号，在[阿里云百炼控制台](https://bailian.console.aliyun.com/)对应地域的 API Key 页面创建。创建时需配置： -- **模型 API 直连**：调用文本、图像、视频、语音、向量等模型前，先在控制台对应地域的 **API Key** 页面创建 Key，配合服务端点 `base_url` 发起请求。 -- **应用与知识库调用**：智能体应用、工作流应用、知识检索/问答接口（DashScope 应用网关）均通过 API Key Bearer 鉴权，Base URL 常需拼接业务空间 ID，如 `https://{workspaceId}.cn-beijing.maas.aliyuncs.com`。 -- **框架集成**：LlamaIndex（RAG）、Spring AI Alibaba（智能体/工作流/知识库检索）均以 API Key 鉴权复用百炼能力，通常通过环境变量注入。 -- **百炼 CLI（`bl`）**：支持控制台登录、`--api-key`、环境变量、配置文件、临时传入等多种认证方式，可组合使用。 -- **不可信环境（浏览器/移动端）**：应由后端生成临时 API Key，避免永久 Key 泄露。 -- **子业务空间**：需使用该空间自身的 API Key，并预先为其授予相应模型的调用权限。 +- **归属[业务空间](workspace.md)**：决定该 Key 的调用权限范围。默认空间的 Key 可调用所有标准模型及默认空间内的应用；子空间的 Key 只能调用已授权的模型及本空间应用。同一空间内的 Key 权限相同，无需为不同模态分别创建。 +- **权限范围**：可选 **全部**（调用所有模型与应用），或 **自定义**（配置 IP 白名单最多 20 个 IPv4/IPv6 地址或网段，以及可访问的模型/应用范围）。 -## Key 的类型与前缀 +此外，百炼提供 OpenAPI（`CreateApiKey`、`GetApiKey`、`ListApiKeys`、`UpdateApiKey`、`DeleteApiKey`、`EnableApiKey`、`DisableApiKey`、`ResetApiKey`）以编程方式管理 Key，调用需使用阿里云账号 AccessKey 签名认证并具备相应 RAM 权限。 -百炼的 API Key 因计费方式不同而彼此隔离，前缀是重要区分标识： +## Key 格式与计费方案 -| 类型 | 前缀 | 说明 | +不同计费方案使用不同前缀的 API Key，彼此隔离不可混用： + +| 计费方案 | Key 前缀 | 说明 | +| --- | --- | --- | +| 按量计费（新版） | `sk-ws` | 安全升级后的新建 Key，仅创建时展示一次明文 | +| 按量计费（旧版） | `sk-` | 升级前的旧 Key，仍可正常使用 | +| [Token](token.md) Plan / Coding Plan | `sk-sp-` | 订阅专属 Key，不同于按量付费 Key | + +> 安全升级（美国弗吉尼亚地域除外）后新建的 Key 以 `sk-ws` 开头，仅在创建时展示一次明文，关闭弹窗后无法再次查看，务必立即复制保存。 + +## 配置方式 + +推荐将 API Key 配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄漏： + +- **Linux / macOS**：写入 `~/.bashrc`、`~/.zshrc` 或 `~/.bash_profile` +- **Windows**：通过系统属性、`setx` 或 PowerShell 配置 + +调用时还需指定服务端点 `base_url`（即创建弹窗中的 API Host），且 OpenAI 兼容协议与 Anthropic 兼容协议的 `base_url` 不同并随地域变化。Base URL 必须与同一计费方案的 API Key 配套使用，否则报错 401。 + +### Base URL 对照 + +| 计费方案 | OpenAI 兼容 | Anthropic 兼容 | | --- | --- | --- | -| 按量付费（安全升级后） | `sk-ws` | 仅创建时展示一次明文，关闭弹窗后无法再查看，务必立即保存 | -| 按量付费（升级前旧 Key） | `sk-` | 仍可正常使用 | -| Token Plan / Coding Plan 专属 | `sk-sp-` | 套餐专属，与通用 Key 不可混用 | -| 临时 API Key | `st-` | 由后端接口生成、限时有效 | +| 按量计费（北京） | `https://dashscope.aliyuncs.com/compatible-mode/v1` | `https://dashscope.aliyuncs.com/apps/anthropic` | +| 按量计费（新加坡） | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/apps/anthropic` | +| [Token](token.md) Plan | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | +| Coding Plan | `https://coding.dashscope.aliyuncs.com/v1` | `https://coding.dashscope.aliyuncs.com/apps/anthropic` | + +## 使用场景 -> API Key 与其配套的 Base URL 必须成对使用。按量付费、Token Plan、Coding Plan 三者的 Key 与 Base URL 混用会导致意外扣费或返回 401/403 鉴权失败。 +### 模型调用 -## 创建时的关键选项 +在 SDK 调用中，API Key 通过 `api_key` 参数或 `Authorization: Bearer` 请求头传入。百炼兼容 OpenAI 接口规范，现有 OpenAI 代码只需修改 `api_key`、`base_url` 和 `model` 三个参数即可迁移。支持 DashScope SDK（Python、Java）和 OpenAI 兼容 SDK（Python、Java、Node.js、Go）。 -- **归属业务空间**：决定 Key 的调用权限。默认空间的 Key 可调用所有标准模型及默认空间应用；子空间的 Key 仅能调用已授权模型及本空间应用。同一空间内的 Key 权限相同，无需按模态分别创建。 -- **权限**：可选「全部」或「自定义」。自定义可配置 IP 白名单（最多 20 个 IPv4/IPv6 地址或网段）及可访问的模型/应用范围。 -- **创建主体**：需主账号，或具备「管理员」/「API-Key」页面权限的子账号。RAM 子账号在订阅套餐前需主账号授予 `AliyunBailianFullAccess` 等权限。 +### 应用调用 -## 配置与使用 +调用[智能体应用](agent-application.md)或[工作流](workflow.md)应用时，除 API Key 外还需提供 APP ID；若应用位于子[业务空间](workspace.md)，还需提供 Workspace ID。目前仅支持通过控制台手动获取 APP ID 和 Workspace ID，不支持 API 或 CLI 查询。 -推荐将 API Key 写入环境变量，避免硬编码泄漏： +### 知识库接口 -- 通用约定使用 `DASHSCOPE_API_KEY`。 -- Spring AI Alibaba 应用集成用 `DASHSCOPE_API_KEY`，知识库检索用 `AI_DASHSCOPE_API_KEY`（约定不一致，关键是 `application.yml` 中占位符与实际变量名匹配）。 +知识检索与问答接口通过 `Authorization: Bearer ` 鉴权，Base URL 使用业务空间 ID 拼接的专属域名（`https://{workspaceId}.{region}.maas.aliyuncs.com`），默认用户维度 25 QPS。 -调用时除 API Key 外，还需指定与地域、协议匹配的 `base_url`（OpenAI 兼容协议与 Anthropic 兼容协议不同）。 +### 开源框架集成 + +LlamaIndex 和 Spring AI Alibaba 均以 API Key 鉴权。Spring AI Alibaba 应用集成推荐环境变量名 `DASHSCOPE_API_KEY`，知识库检索推荐 `AI_DASHSCOPE_API_KEY`；关键是 `application.yml` 中 `${...}` 占位符与实际变量名一致。 + +### 百炼 CLI + +百炼 CLI 支持多种认证方式：控制台登录（`bl auth login --console`）、API Key 登录（`bl auth login --api-key sk-xxx`，会校验有效性）、环境变量、配置文件（`bl config set`，不校验有效性）。 ## 临时 API Key -面向浏览器、移动端等不可信环境，通过后端接口用永久 Key 换取限时凭证： +在浏览器、移动 App 等不可信环境中，应通过后端服务生成临时 API Key，避免永久 Key 泄露： ``` -curl -X POST "https://dashscope.aliyuncs.com/api/v1/tokens?expire_in_seconds=1800" \ - -H "Authorization: Bearer $DASHSCOPE_API_KEY" +POST https://dashscope.aliyuncs.com/api/v1/tokens?expire_in_seconds= +Authorization: Bearer $DASHSCOPE_API_KEY ``` -关键参数与特性： - -- `expire_in_seconds`：有效期（TTL），单位秒，范围 `[1, 1800]`，默认 60 秒。 -- 返回体中 `token`（`st-` 前缀）为临时 Key，`expires_at` 为过期 UNIX 时间戳。 -- 临时 Key 继承永久 Key 的全部权限（含模型/知识库访问限制），到期自动失效，无法提前删除。 -- 各地域（北京 / 新加坡 / 弗吉尼亚）的 Key 与 Endpoint 不互通，需配套使用。 - -## 编程化管理 +| 参数 | 说明 | +| --- | --- | +| `expire_in_seconds` | 临时 Key 有效期，单位秒，范围 [1, 1800]，默认 60 秒 | -除控制台外，百炼提供 OpenAPI（`CreateApiKey` / `GetApiKey` / `ListApiKeys` / `UpdateApiKey` / `DeleteApiKey` / `EnableApiKey` / `DisableApiKey` / `ResetApiKey`）以编程方式管理 Key。这些接口使用阿里云账号 AccessKey 签名认证，并需具备相应 RAM 权限，与业务调用所用的 API Key Bearer 鉴权不同。 +临时 Key 继承生成它的永久 Key 的全部权限，到期后自动失效，无法手动删除。各地域的 API Key 不互通，请求时需使用对应地域的 Endpoint 与永久 Key。 -## 开发者要点 +## 权限与安全 -- 优先用环境变量注入，切勿硬编码或提交到代码仓库。 -- 升级后的 `sk-ws` Key 只显示一次，创建后立即保存。 -- 明确当前场景使用的是按量付费、Token Plan、Coding Plan 中的哪种 Key，并搭配对应 Base URL。 -- 不可信环境一律走临时 API Key，生产环境的文件存储不要依赖临时 URL。 +- 单个 API Key 只能归属一个地域内的一个业务空间和一个用户，且不能转移。 +- Key 的可调用功能与模型限流与归属业务空间的权限保持一致，不受用户控制台权限影响。 +- 将 RAM 账号移出业务空间会使其 API Key 失效（重新加入后恢复）；在 RAM 控制台删除账号/角色则使 Key 永久失效、不可恢复。 +- [Token](token.md) Plan 个人版、团队版和 Coding Plan 的 Key 仅限在 AI 编程工具和 OpenClaw 类型 Agent 中使用，不支持接入 Dify、n8n、Coze 等平台。将套餐 Key 用于允许范围之外的调用可能导致订阅被暂停或 Key 被封禁。 ## 关联主题页 - [preparations](../api/preparations.md) +- [get started with models](../guides/get-started-with-models.md) - [more](../api/more.md) -- [frameworks](../api/frameworks.md) - [more about models](../api/more-about-models.md) -- [token plan guide](../guides/token-plan-guide.md) +- [frameworks](../api/frameworks.md) +- [application call](../api/application-call.md) +- [more models](../api/more-models.md) - [knowledge](../api/knowledge.md) +- [bailian application calling](../guides/bailian-application-calling.md) +- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) +- [security and compliance](../guides/security-and-compliance.md) +- [token plan guide](../guides/token-plan-guide.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md b/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md index 8e78a250..74df46f8 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md @@ -1,53 +1,94 @@ -# 异步调用与任务轮询 +# 异步调用 -异步调用是百炼平台为耗时较长的模型任务（图像生成、视频生成、3D 生成等）设计的调用模式：客户端先提交任务拿到 `task_id`，再通过轮询或事件通知获取最终结果，从而避免长连接等待与请求超时。 +异步调用是百炼平台针对耗时较长的模型任务（如视频生成、3D 生成、部分图像生成、[智能体应用](agent-application.md)多步骤工具调用等）提供的调用模式。其核心流程为「创建任务 → 轮询获取结果」，通过将请求提交与结果获取解耦，避免因长耗时任务导致 HTTP 请求超时。 -## 核心流程：创建任务 → 轮询获取 +## 适用场景 -异步调用统一分为两步： +异步调用主要用于以下场景： -1. **创建任务**：向对应能力的生成端点发起 `POST` 请求，请求头必须携带 `X-DashScope-Async: enable`，否则会报错 `current user api does not support synchronous calls`。请求成功后返回一个 `task_id`。 -2. **轮询查询结果**：用该 `task_id` 发起 `GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}`，读取 `output.task_status` 直到任务进入终态（`SUCCEEDED` / `FAILED`），再从结果中取回产物 URL。 +- **视频生成**：所有视频生成 API 均采用异步模式，统一通过 `video-synthesis` 接口提交任务。 +- **3D 资产生成**：基于 Tripo 模型的 3D 生成因耗时长，仅支持异步调用。 +- **图像生成**：大多数长耗时图像生成任务采用异步模式；较新的 wan2.6 / wan2.7 / z-image / qwen-image 系列支持 HTTP 同步调用。 +- **[智能体应用](agent-application.md)**：Responses API 通过设置 `background=true` 开启异步模式，适用于生成报告、多步骤工具调用等场景。 -任务状态的典型流转为：`PENDING`（排队中）→ `RUNNING`（处理中）→ `SUCCEEDED`（成功）/ `FAILED`（失败）。不同能力还可能出现 `SUSPENDED`（挂起）、`CANCELED`（已取消）、`UNKNOWN`（任务不存在或已过期）等状态。 +## 调用流程 -## 在不同场景中的使用 +### 步骤 1：创建任务 -- **3D 生成（Tripo）**：仅支持异步，端点为 `.../aigc/video-generation/3d-generation`，轮询建议间隔约 15 秒，生成耗时较长，产物下载链接有效期仅 2 小时。 -- **视频生成**：所有厂商模型（万相、PixVerse、Vidu、可灵等）统一走异步，端点通常为 `.../aigc/video-generation/video-synthesis`（部分数字人/换人类模型使用 `.../aigc/image2video/video-synthesis`）。单次任务通常耗时 1-5 分钟，个别统一编辑模型约 5-10 分钟。 -- **图像生成**：多数传统模型仅支持异步（`text2image` / `image2image` 等端点），生成通常需 1-2 分钟；而新版模型（wan2.6 / wan2.7、z-image-turbo 等）走 `multimodal-generation/generation` 端点，支持 HTTP 同步一次拿结果。请勿把同步协议用在旧模型上。 -- **应用调用（智能体/工作流）**：Responses API（OpenAI 兼容）通过设置 `background=true` 开启异步，创建任务后返回任务 ID 再轮询；DashScope 应用调用接口目前暂不支持异步。 +通过 POST 请求提交任务，请求头中必须携带 `X-DashScope-Async: enable`，否则会报错 `current user api does not support synchronous calls`。成功创建后，响应中返回 `task_id`。 + +对于[智能体应用](agent-application.md)的 Responses API，则在请求体中设置 `background=true`，API 立即返回任务 ID。 + +### 步骤 2：轮询查询结果 + +通过 GET 请求查询任务状态： + +``` +GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} +``` + +任务状态流转为 `PENDING`（排队中）→ `RUNNING`（处理中）→ `SUCCEEDED` / `FAILED`。`UNKNOWN` 表示任务不存在或已超过有效期。轮询建议间隔约 15 秒，请勿重复创建任务。 ## 关键参数与配置 -- **请求头**：创建任务必须带 `X-DashScope-Async: enable`；同时需 `Authorization: Bearer $DASHSCOPE_API_KEY`、`Content-Type: application/json`。 -- **`task_id` 有效期**：一般为 **24 小时**，过期查询返回 `UNKNOWN`。请勿重复创建任务，轮询即可。 -- **`background`（应用 Responses API）**：布尔值，默认 `false`，设为 `true` 开启异步执行。 -- **查询限流**：任务查询接口默认约 20 QPS / RPS（主账号维度）。 +| 项目 | 说明 | +| --- | --- | +| `X-DashScope-Async: enable` | 请求头，模型调用场景下开启异步模式（必选） | +| `background=true` | Responses API 请求体参数，开启智能体应用异步执行 | +| `task_id` | 创建任务后返回的任务标识，有效期 24 小时 | +| 轮询间隔 | 建议约 15 秒 | +| 查询接口 RPS | 默认 20 QPS（主账号维度） | +| 任务结果保留 | 24 小时后自动清理 | +| 产物下载链接有效期 | 通常为 2 小时，需及时下载 | + +## 任务状态枚举 + +| 状态 | 含义 | +| --- | --- | +| `PENDING` | 排队中 | +| `RUNNING` | 处理中 | +| `SUCCEEDED` | 执行成功 | +| `FAILED` | 执行失败 | +| `CANCELED` | 已取消 | +| `UNKNOWN` | 任务不存在或已超过 24 小时有效期 | + +## 异步任务管理 API + +除了基础的创建与查询，百炼还提供三个通用任务管理接口： -## 异步任务管理与完成通知 +**查询单个任务**：`GET /api/v1/tasks/{task_id}`，返回任务状态与结果。 -百炼提供三个通用的异步任务管理接口： +**批量查询任务**：`GET /api/v1/tasks/?start_time=xxx&end_time=xxx&status=xxx`，支持按时间范围、模型名称、任务状态组合过滤，单次查询时间跨度不超过 24 小时。 -- **查询单个任务**：`GET .../api/v1/tasks/{task_id}`。 -- **批量查询**：`GET .../api/v1/tasks/?start_time=xxx&end_time=xxx&status=xxx`，单次时间跨度不超过 24 小时。 -- **取消任务**：`POST .../api/v1/tasks/{task_id}/cancel`，仅能取消 `PENDING` 状态的任务。 +**取消任务**：`POST /api/v1/tasks/{task_id}/cancel`，仅支持取消 `PENDING` 状态的任务，已开始处理的任务无法取消。 -为避免频繁轮询浪费资源并触发限流，百炼已接入阿里云事件总线 EventBridge，支持任务完成后主动推送通知（HTTP 回调 URL 或 RocketMQ 两种方案）。事件源为 `acs.dashscope`，事件类型为 `dashscope:System:AsyncTaskFinish`，收到通知后只需调用一次查询接口即可获取结果。 +以上三个接口的流量限制均为 20 QPS（主账号维度）。 -## 开发者建议 +## 任务完成通知 -- 妥善保存 `task_id`，切勿因未及时轮询到结果而重复创建任务。 -- 轮询间隔不宜过密（如约 15 秒），高频或生产场景优先使用异步完成通知。 -- 及时下载产物：图像/视频 URL 有效期通常为 24 小时，3D 模型下载链接有效期仅 2 小时。 -- 处理失败时读取响应中的 `code` 与 `message`，对照百炼错误码文档排查。 +频繁轮询会浪费资源且可能触发限流。百炼已接入阿里云事件总线 EventBridge，支持在任务完成后主动推送通知，无需持续轮询。 + +两种接入方案： + +| 方案 | 适用场景 | 特点 | +| --- | --- | --- | +| HTTP 回调 URL | 通用场景 | 需要公网或 VPC 可达的 HTTP 接口，接入较简单 | +| RocketMQ | 消息可靠性要求高的场景 | 保证无丢失、支持失败重试，需额外开通 RocketMQ 实例 | + +事件源为 `acs.dashscope`，事件类型为 `dashscope:System:AsyncTaskFinish`。事件体中 `data.task_status` 和 `data.task_id` 是关键字段，收到通知后只需调用一次查询接口即可获取结果。 + +## 注意事项 + +- 不同模型的异步调用路径可能不同，例如万相动作/换人/数字人模型使用 `image2video/video-synthesis` 路径而非 `video-generation/video-synthesis`。 +- `task_id` 有效期 24 小时，超时后返回 `UNKNOWN` 且无法再查询。 +- 调用失败时响应中会返回 `code` 与 `message`，可参照百炼错误码文档排查。 ## 关联主题页 - [3d generation](../api/3d-generation.md) -- [video generation api](../api/video-generation-api.md) - [image generation](../api/image-generation.md) -- [more about models](../api/more-about-models.md) +- [video generation api](../api/video-generation-api.md) - [application call](../api/application-call.md) +- [more about models](../api/more-about-models.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md b/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md index 6b73c92e..c6a1a7bb 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md @@ -1,85 +1,89 @@ # 计费 -计费是百炼平台围绕模型推理、模型训练、模型部署及增值服务所建立的费用体系，涵盖按量付费、订阅制（[Token](token.md) Plan / Coding Plan）、预留容量（TPM 预留 / PTU）等多种方式，开发者可根据用量规模和业务场景灵活组合，实现成本最优。 +百炼平台采用按量后付费为主、预付费为辅的计费体系，覆盖模型调用、模型训练、模型部署三个环节，分钟级出账、按月结算。开发者可通过免费额度、节省计划、资源包等方式降低成本。 -## 计费场景与方式 +## 计费环节 -百炼平台的计费覆盖以下主要场景： +### 模型调用（实时推理） -| 场景 | 计费方式 | 说明 | -|------|---------|------| -| 模型推理调用 | 按量付费（[Token](token.md) 计价） | 按输入/输出 [Token](token.md) 分别计价，部分模型支持阶梯计费 | -| 模型训练 | 按训练 Token 计费 | （训练数据 Token + 混合训练数据 Token）× 循环次数 × 单价 | -| 模型部署 | PTU / 模型单元 / Token 用量 | 三种方式创建后不可更改，需下线重建才能切换 | -| 知识库 | 按规格计费 | 标准版 0.03 元/小时，旗舰版 0.2 元/RCU/小时 | -| TPM 预留 | 按 kTPM 预付费 | 按天计费，输入/输出分别定价 | -| Token Plan 团队版 | 坐席订阅制 | 按 Credits 抵扣，198 元/坐席/月起 | -| Coding Plan | 月度订阅制 | 按模型调用次数限额，200 元/月 | +默认按量计费，按输入/输出 [Token](token.md) 计价。影响价格的因素： -## 费用抵扣顺序 +- **阶梯计费**：部分模型按单次请求的输入 [Token](token.md) 总量分阶梯，全部 [Token](token.md) 按对应阶梯单价结算。例如 qwen3-max 在 0–32K 区间输入 2.5 元/百万 Token，32K–128K 区间 4 元，128K–256K 区间 7 元。 +- **Batch 调用**：输入和输出 Token 均按实时推理价格的 50% 计费。 +- **上下文缓存**：仅输入 Token 享有折扣（命中缓存可低至 10%），与 Batch 半价不能同时生效。 +- **地域差异**：同一模型在中国内地、美国、新加坡、德国、日本等地域价格不同。 -多种付费方式并存时，系统按以下优先级自动抵扣： +### 模型训练 -**免费额度 → 资源包 → 其他模型节省计划 → AI 通用型节省计划 → 按量付费** +按训练 Token 计费，费用 = (训练数据 Token + 混合训练数据 Token) × 循环次数 × 训练单价。文本生成模型约 ¥0.003–¥0.35/千 Token，图像生成模型 ¥0.08/千 Token，视频生成模型 ¥0.06–¥2/千 Token。 -Token Plan 和 Coding Plan 的套餐额度独立于按量计费体系，不参与上述抵扣链路。 +### 模型部署 -## 免费额度 +| 计费方式 | 费用公式 | 付费模式 | +| --- | --- | --- | +| 预置吞吐（PTU） | 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM) | 后付费按小时 / 预付费按天 | +| 模型单元 | 使用时长 × 模型单元数量 × 模型单元单价 | 后付费按小时 / 预付费按天或包月 | +| 按 Token 用量 | 按实际 Token 消耗 | 不使用不计费，一个月不用自动释放 | -首次开通百炼时自动发放新人免费额度，有效期 30~90 天。关键限制： +PTU 和模型单元支持 PD 分离模式。PTU 溢出策略可选「自动溢出转按量付费」或「超出返回 429」。输入超过模型上限（千问 128K / DeepSeek 64K）时自动转为按量计费。 -- 仅适用于华北2（北京）地域、中国内地服务部署范围的实时推理 -- 不支持抵扣 Batch 调用、模型调优、模型部署、自定义模型 -- 主账号与 RAM 子账号共享 -- 建议开启"免费额度用完即停"功能，防止额度耗尽后自动扣费 +## 抵扣优先级 -## 成本优化方案 +模型调用场景下的费用抵扣顺序为： -### AI 通用型节省计划 +**免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费** -承诺每月消费金额获取阶梯折扣，最高可享 5.3 折。覆盖阿里直供全部模型，承诺金额 1,000 元起，支持 3/6/12/24 个月周期。当月未用完的额度自动清零，不可累积。 +## 新人免费额度 -### 资源包 +首次开通百炼时自动发放，通常每个模型 100 万 Token。 -预先购买具体 Token 数量，用于抵扣特定模型的实时推理用量。适合用量明确且集中在单一模型的场景。 +- **有效期**：2025 年 9 月 8 日后新开通用户为 90 天，到期或耗尽后自动失效，不支持补发或延期。 +- **适用范围**：仅抵扣模型实时推理费用，不支持 Batch 调用、模型调优、模型部署及自定义模型。 +- **共享规则**：主账号与 RAM 子账号共享；不同模型（含同一模型不同快照版本）额度相互独立。 +- **用完即停**：可为单个/批量模型开启该功能，额度耗尽时返回错误码 `AllocationQuota.FreeTierOnly`，不再扣费。 -### Batch 调用优惠 +## 节省计划与资源包 -支持 Batch 调用的模型，输入和输出 Token 单价均按实时推理价格的 50% 计费。 +### AI 通用型节省计划（推荐） -### 上下文缓存折扣 +通过承诺月消费金额换取阶梯式折扣，最高 5.3 折，覆盖全部模型。 -部分模型支持上下文缓存，命中缓存的输入 Token 按折扣系数消耗额度（例如 deepseek-v4-pro 为 0.08，即按 8% 折算）。Batch 调用与上下文缓存不能同时生效。 +- 承诺周期：3/6/12/24 个月，月内未用完的额度自动清零。 +- 抵扣范围：模型调用、原生工具调用、上下文缓存、批量推理等；不支持模型调优、模型部署、联网搜索插件、MCP 广场。 +- 付款方式：全预付（享最大折扣）或零预付（按月支付）。 +- 注意：若模型开启了"免费额度用完即停"，免费额度耗尽后节省计划无法抵扣，需手动关闭该功能。 -## 多地域定价差异 +### 其他方案 -同一模型在不同地域的价格可能不同。华北2（北京）使用人民币定价，新加坡等国际地域按国际价格结算，通常高于国内价格。[API Key](api-key.md) 必须与 Base URL 同一地域，否则会报 `401` 错误。 +| 方案 | 适用场景 | 折扣 | +| --- | --- | --- | +| 大语言模型节省计划 | 文本/[多模态](multimodal.md)模型调用 | 无折扣 | +| 千问语音模型节省计划 | 语音合成/识别 | 9.8–8 折 | +| 向量及排序模型节省计划 | Embedding/Rerank | 9–7 折 | +| 万相模型节省计划 | 图像/视频生成 | 无折扣–9 折 | +| 资源包 | 特定模型实时推理 | 预购 Token 量，按原价抵扣 | -## 账单查询 +## Token Plan 团队版计费 -- **费用概览**：控制台"用量 & 费用 > 费用概览"查看当月总消费，支持按模型或 [API Key](api-key.md) 筛选 -- **模型用量**：按[业务空间](workspace.md)维度统计，数据延迟约 1 小时，不支持查看 30 天以前的数据 -- **出账时间**：大模型推理分钟级出账（2~10 分钟），批量推理和训练小时级出账 -- **分账管理**：通过[业务空间](workspace.md)标签按部门或项目归集费用，T+1 天生效 +面向团队/企业办公的订阅式服务，按 Credits 抵扣 Token 消耗，与标准 API 计费体系隔离。 -## 欠费与停止计费 +- 坐席是最小订阅单位，每个坐席绑定一个 [API Key](api-key.md)，不可共享。 +- 抵扣顺序：坐席额度 → 共享用量包（优先扣最近到期的）→ 全部用尽后服务暂停。 +- 坐席额度按订阅月重置且不累积。 +- Token Plan 与 Coding Plan 不支持相互转换，可同时订阅、各自独立计费。 -账户可用额度小于 0 时视为欠费。Token Plan 和 Coding Plan 的套餐额度独立于账户余额，欠费期间可继续使用。停止计费的方式： +## 账务管理 -- **模型推理**：停止 API 调用，删除不再使用的 [API Key](api-key.md) -- **模型部署**：在控制台下线已部署模型；包月预付费需额外退订实例 -- **模型训练**：无进行中的训练任务即不产生费用 -- **订阅制**：关闭自动续费，到期自动停止 +- 开通服务要求阿里云账户余额不小于 0 元。 +- 后付费场景下账户欠费后部署资源保留并计费 24 小时，超时停止计费、底层资源删除但任务保留；补足欠费后恢复使用。 +- 费用明细与发票申请通过阿里云费用与成本控制台操作。 +- 预付费退费规则：PTU 按天预付费无法提前退费；模型单元预付费首月内提前退订按日单价 1.2 倍计费。 ## 关联主题页 - [test 1](../guides/test-1.md) +- [support](../guides/support.md) - [token plan guide](../guides/token-plan-guide.md) - [model deployment 1](../guides/model-deployment-1.md) -- [model monitoring](../guides/model-monitoring.md) -- [support](../guides/support.md) -- [knowledge base](../guides/knowledge-base.md) -- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) -- [model high speed inference](../guides/model-high-speed-inference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md b/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md index de46d3bd..3d922372 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md @@ -1,67 +1,38 @@ # DashScope SDK -DashScope SDK 是阿里云百炼平台官方提供的软件开发工具包，封装了模型与应用调用的原生（DashScope）接口，让开发者用少量代码即可接入通义千问、万相、Qwen-MT、Qwen-OCR 等模型能力以及智能体/工作流应用。相比 HTTP 直连和 [OpenAI 兼容接口](openai-compatible-interface.md)，DashScope 原生接口暴露的参数最完整、功能集最丰富。 +DashScope SDK 是阿里云百炼平台官方提供的多语言软件开发工具包，封装了模型调用、应用调用与应用组件 API 的请求签名、鉴权与响应处理逻辑，使开发者无需手动拼接 HTTP 请求即可在业务代码中集成百炼能力。 -## 适用语言与安装 +## 支持的语言与安装 -DashScope SDK 主要提供 Python 与 Java 两种官方实现，部分场景也可用 HTTP（如 Node.js 借助 `axios`）替代： +| 语言 | 包名 / 依赖 | 安装命令 | +| --- | --- | --- | +| Python | `dashscope` | `python3 -m pip install -U dashscope` | +| Java | `com.alibaba:dashscope-sdk-java`（建议 >= 2.12.0） | Maven / Gradle 添加依赖 | +| Node.js | 无官方 SDK，使用 `axios` 等 HTTP 客户端 | `npm install axios` | -- **Python**：`python3 -m pip install -U dashscope` -- **Java**：通过 Maven / Gradle 引入 `com.alibaba:dashscope-sdk-java`，建议版本 `>= 2.12.0` -- **Node.js / 其他语言**：目前无官方 SDK，直接走 HTTP API（发起 POST 请求） +Node.js 虽然没有专属 SDK，但可直接调用百炼的 HTTP API（[OpenAI 兼容接口](openai-compatible-interface.md)或原生 RESTful 接口），请求结构与 curl 示例一致。 -> 注意：不同能力对 SDK 语言与地域的支持存在差异。例如 `qwen-deep-research` **仅支持 Python DashScope SDK，且仅限华北2（北京）地域**，暂不支持 Java SDK 与 [OpenAI 兼容接口](openai-compatible-interface.md)。 +## 鉴权方式 -## 在不同场景中的使用 +所有通过 DashScope SDK 发起的请求都需要 [API Key](api-key.md) 进行鉴权： -### 1. 调用文本生成模型（Qwen 系列） +- **环境变量（推荐）**：将 [API Key](api-key.md) 写入 `DASHSCOPE_API_KEY` 环境变量，SDK 会自动读取，避免在代码中硬编码。 +- **代码传参**：也可在调用时通过 `api_key` 参数显式传入。 -Qwen 系列可通过 OpenAI 兼容、Anthropic 兼容或 DashScope 原生三类接口调用。其中 DashScope 是百炼原生接口，**功能集最完整、参数支持最丰富**；当需要使用最全的采样参数、插件或业务字段而兼容接口未暴露时，应改用 DashScope 原生接口。 +[API Key](api-key.md) 可在百炼控制台的密钥管理页面创建。 -### 2. 调用专用模型（[more](../api/more.md) models） +## 在百炼平台中的使用场景 -法律、意图理解、翻译、OCR 等专用模型大多支持 OpenAI 兼容或 DashScope 两种方式调用： +### 1. 调用专用模型 -- `farui-plus`（法律大模型）：通过 DashScope SDK（Python / Java）调用 -- `tongyi-intent-detect-v3` / `qwen-mt-plus` / `qwen3.5-ocr`：OpenAI 兼容或 DashScope 均可 -- `qwen-deep-research`（深度研究）：仅 Python DashScope SDK +DashScope SDK 可用于调用百炼平台上的各类专用模型，包括法律大模型（`farui-plus`）、意图理解（`tongyi-intent-detect-v3`）、深度研究（`qwen-deep-research`）、翻译（`qwen-mt-plus`）、OCR（`qwen3.5-ocr`）等。 -### 3. 调用图像生成与编辑模型 +- 大部分模型同时支持 [OpenAI 兼容接口](openai-compatible-interface.md)和 DashScope SDK 调用。 +- **`qwen-deep-research`** 是特例：当前仅支持通过 Python DashScope SDK 调用，暂不支持 Java SDK 与 [OpenAI 兼容接口](openai-compatible-interface.md)，且仅支持华北2（北京）地域，调用时需设 `stream=true`。 -千问-图像（Qwen-Image）、万相（Wan/Wanx）、Z-Image 等图像模型均可通过 HTTP 或 DashScope SDK 调用，覆盖文生图、图像编辑、图像翻译、风格迁移等能力。 +### 2. 调用百炼应用 -### 4. 调用智能体应用与工作流应用 - -已创建并发布的智能体应用、工作流应用可通过 DashScope SDK 集成到业务系统，二者调用方式一致： - -- Python：`from dashscope import Application`，调用 `Application.call(...)` -- Java：构造 `ApplicationParam` 后调用 `application.call(param)` -- HTTP 等价接口：`POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion` - -响应统一为 `{"output": {...}, "usage": {...}, "request_id": "..."}` 结构，业务侧主要消费 `output.text`。 - -## 关键参数与配置 - -### 鉴权（API Key） - -- SDK 通过 [API Key 鉴权](api-key.md)，**推荐将密钥写入环境变量 `DASHSCOPE_API_KEY`**，SDK 会自动读取，避免在代码中硬编码。 -- 调用特定地域（如华北2/北京）或子业务空间下的模型/应用时，需使用对应地域的 API Key，并按需提供 Workspace ID。 - -### 通用请求参数 - -- `model`（string，必选）：目标模型名称。 -- `messages`（array）：对话消息列表，按顺序排列，需由调用方维护上下文。 -- `app_id`（应用调用）：目标应用 ID，从控制台应用卡片复制。 -- `prompt` / `input`：用户输入内容。 -- `stream`（bool，可选）：是否[流式输出](streaming.md)；如 `qwen-deep-research` 的反问阶段需设为 `true`。 -- `session_id`（应用多轮对话）：由云端维护上下文，免去手动拼接历史。 - -### 模型专属参数示例 - -- **Qwen-MT（翻译）**：通过 `translation_options`（OpenAI SDK 中放入 `extra_body`）控制 `source_lang`、`target_lang`、`terms`（术语干预）、`tm_list`（翻译记忆）、`domain_prompt`（领域提示）。 -- **Qwen-OCR**：`messages.content` 为[多模态](multimodal.md)数组，可设 `min_pixels` / `max_pixels` 控制图像像素阈值。 - -## Python 快速示例（应用调用） +通过 SDK 的 `Application.call` 方法（Python）或 `Application.call`（Java）可调用已在百炼控制台创建的智能体应用和工作流应用： ```python import os @@ -80,20 +51,35 @@ else: print(response.output.text) ``` -## 使用建议 +对应的 HTTP 接口为 `POST /apps/{app_id}/completion`，请求体包含 `input`、`parameters`、`debug` 三部分，响应统一返回 `output.text` 供业务消费。工作流应用还支持通过 `session_id` 实现多轮对话。 -- 优先使用环境变量管理 API Key，区分不同地域的密钥。 -- 需要最完整功能与参数时选 DashScope 原生接口；追求生态兼容、迁移成本最低时可选 [OpenAI 兼容接口](openai-compatible-interface.md)。 -- 接入前先对照具体模型的 API 参考，确认其支持的 SDK 语言、协议与地域。 +### 3. 调用应用组件 API + +百炼应用组件 API（`bailian/2023-12-29`）采用 ROA 签名风格，官方已封装在多语言 SDK 中，建议直接使用 SDK 调用而非自行签名。该 API 覆盖数据连接、Prompt 模板、知识库（RAG）、记忆、临时存储与支付流转等能力，涉及文件上传、解析器管理、知识库索引等完整生命周期操作。 + +## 关键参数与配置 + +### 模型调用通用参数 + +- `model`（string，必选）：模型名称，如 `farui-plus`、`qwen-mt-plus` 等。 +- `messages`（array，必选）：对话消息列表，按顺序排列。 +- `stream`（bool，可选）：是否[流式输出](streaming.md)，部分模型（如 `qwen-deep-research` 反问阶段）要求设为 `true`。 + +### 地域与接入地址 + +不同模型支持的地域不同，调用时需使用对应地域的 API Key 和接入地址： + +- **[业务空间](workspace.md)专属域名**（推荐，性能更优）：如华北2 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`。 +- 应用组件 API 接入地址：华北2·北京 `bailian.cn-beijing.aliyuncs.com`、新加坡 `bailian.ap-southeast-1.aliyuncs.com`。 + +### 应用组件 API 的 RAM 权限 + +通过 SDK 调用应用组件 API 时，RAM 子账号需同时满足：授予百炼 API 权限（推荐 `AliyunBailianDataFullAccess`）并加入对应[业务空间](workspace.md)。授权粒度为操作级，不支持资源级授权，细粒度隔离需通过[业务空间](workspace.md)而非 RAM Resource 实现。 ## 关联主题页 -- [image generation](../api/image-generation.md) - [more models](../api/more-models.md) - [bailian application calling](../guides/bailian-application-calling.md) -- [qwen api reference](../api/qwen-api-reference.md) -- [application call](../api/application-call.md) - - +- [application component api reference](../api/application-component-api-reference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md b/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md index 1334d698..ef87f94d 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md @@ -1,53 +1,87 @@ -# 向量嵌入 +# 向量化 -向量嵌入（Embedding）是将文本、图像、视频等非结构化数据转换为固定维度的数值向量，使语义相近的内容在向量空间中距离也相近。百炼平台提供多类嵌入模型，支撑语义检索、RAG 召回、跨模态搜索、聚类推荐等下游任务。 +向量化（Embedding）是将文本、图片、视频等非结构化数据映射为高维数值向量的过程，使语义相近的内容在向量空间中距离更近。百炼平台提供多种向量模型，覆盖纯文本和多模态场景，广泛用于语义搜索、RAG 检索、推荐、聚类与分类。 -## 在百炼平台的使用场景 +## 在百炼平台中的使用场景 -- **RAG 知识库召回**：知识库创建时选择向量模型，对导入文档切片做嵌入入库；查询时对 Query 做同款嵌入，再与切片向量做相似度匹配，作为 RAG 流程的第一段召回。文档搜索、数据查询、音视频搜索类知识库支持 `text-embedding-v4` 或 `text-embedding-v3`（均为 512 维，维度不可更改）；图片问答类固定使用 `multimodal-embedding-v1`（1024 维）；视觉理解场景自动切换为 `qwen3-vl-embedding`。 -- **本地 RAG 应用**：本地知识库方案默认调用百炼 embedding API 生成向量，也可替换为本地部署的 GTE 文本向量模型（如 `iic/nlp_gte_sentence-embedding_chinese-large`）。受 embedding API 限流影响，单文件不建议超过 100 MB。 -- **跨模态检索**：多模态向量模型（如 `qwen3-vl-embedding`、`multimodal-embedding-v1`）将文本、图像、视频映射到同一语义空间，支持以文搜图、以图搜视频等。支持「独立向量」（逐项生成）与「融合向量」（多输入合并为 1 个向量）两种模式。 -- **框架集成**：LlamaIndex 路线将知识库部署在百炼云端，使用官方向量模型与智能切分，不支持自定义嵌入模型；如需灵活选择嵌入模型，应改用本地知识库方案。 +### 1. 模型 API 直接调用 -## 模型与关键参数 +通过百炼的向量模型 API，开发者可以将字符串、字符串列表或文件转换为向量，用于自定义的检索或相似度计算流程。 -通用文本向量模型当前推荐 `text-embedding-v4`（Qwen3-Embedding 系列，支持 100+ 语种）。 +- **同步接口**：实时返回向量，适合小批量、低延迟场景。提供 OpenAI 兼容接口，可用 OpenAI SDK 直连，endpoint 为 `POST .../compatible-mode/v1/embeddings`。 +- **批处理接口**：面向大规模离线向量化，仅支持异步模式。需在请求头带 `X-DashScope-Async: enable`，通过文件 URL 传入数据（一行一条），单行最长 2,048 Token、最多 100,000 行、文件不超过 200MB。调用流程为创建任务拿到 `task_id` 后轮询结果，结果 URL 仅保留 24 小时。 -| 模型 | 向量维度 | 最大行数 | 单行最大 Token | 语种 | -|------|---------|---------|---------------|------| -| text-embedding-v4 | 2048/1536/1024(默认)/768/512/256/128/64 | 10 | 8,192 | 100+ 语种 | -| text-embedding-v3 | 1024(默认)/768/512/256/128/64 | 10 | 8,192 | 50+ 语种 | -| text-embedding-v2 | 1,536 | 25 | 2,048 | 10 语种 | -| text-embedding-v1 | 1,536 | 25 | 2,048 | 6 语种 | +### 2. 知识库内置向量化 -请求参数： +百炼知识库在 RAG 流程中自动使用向量模型完成文档索引与查询检索： -- `model`（必选）：模型名称。 -- `input`（必选）：字符串、字符串列表或文件。 -- `dimensions`（可选）：指定向量维度，仅 v3/v4 支持。 -- `encoding_format`（可选）：当前仅支持 `float`。 +- **文档搜索 / 数据查询 / 音视频搜索**：支持 `text-embedding-v4` 和 `text-embedding-v3`（均为 512 维）。 +- **图片问答**：使用 `multimodal-embedding-v1`（1024 维）。 +- **视觉理解（富文本文档）**：自动切换为 `qwen3-vl-embedding`，不可更改。 -调用方式支持 OpenAI 兼容接口（base_url：`https://dashscope.aliyuncs.com/compatible-mode/v1`）和 DashScope SDK。 +检索流程为：Query 改写（可选）→ 向量检索 + 关键词检索 → Rerank 排序 → 返回结果。开发者可配置相似度阈值、初步向量检索 TopK（1~100，默认 50）、最大召回数量（1~20）等参数。 -## 批处理接口 +### 3. 框架集成 -大规模文本向量化可使用异步批处理接口（`text-embedding-async-v1/v2`），单次最多 10 万行文本。需在 HTTP 请求头加 `X-DashScope-Async: enable` 启用异步模式，提交后通过 `task_id` 轮询结果。同时处理中任务不超过 50 个，并发运行上限 3 个，超出部分排队等待。 +- **LlamaIndex**：构建云端知识库 RAG 应用时，默认使用百炼官方向量模型，不支持自定义嵌入模型。如需灵活控制切分与嵌入，应改用本地知识库方案。 +- **Spring AI Alibaba**：通过 SDK 检索百炼知识库，复用平台内置的向量化能力。 +- **本地 RAG 应用**：可使用百炼 embedding API，也可替换为本地部署的 GTE 文本向量模型（如 `iic/nlp_gte_sentence-embedding_chinese-large`）。受 embedding API 限流影响，不建议传入超过 100 MB 的文件。 -## 与 Rerank 的关系 +## 向量模型一览 -向量嵌入负责「召回」，Rerank 模型负责「精排」。在知识库检索流程中，先由向量 + 关键词混合检索召回 TopK 切片，再由 `qwen3-rerank`、`qwen3-vl-rerank` 等排序模型对候选切片二次排序，最终按相似度阈值与最大召回数量返回。两者配合提升 RAG 命中准确率。 +| 模型 | 类型 | 维度 | 单条 Token 上限 | 列表/文件上限 | +| --- | --- | --- | --- | --- | +| `qwen3.7-text-embedding` | 文本（同步） | 2560（可自定义） | 128,000 | 20 条 | +| `text-embedding-v4` | 文本（同步） | 2560/2048/1536/1024/768/512/256/128/64（可自定义，默认 1024） | 8,192 | 10 条 | +| `text-embedding-v3` | 文本（同步） | 1024/768/512/256/128/64（可自定义，默认 1024） | 8,192 | 10 条 | +| `text-embedding-v2` | 文本（同步） | 1536（固定） | 2,048 | 25 条 | +| `text-embedding-v1` | 文本（同步） | 1536（固定） | 2,048 | 25 条 | +| `text-embedding-async-v2/v1` | 文本（批处理） | — | 2,048 | 100,000 行 | +| `qwen3-vl-embedding` | 多模态 | — | — | — | +| `qwen2.5-vl-embedding` | 多模态 | — | — | — | +| `tongyi-embedding-vision-plus/flash` | 多模态 | — | — | — | +| `multimodal-embedding-v1` | 多模态 | 1024 | — | — | + +## 关键参数与配置 + +### 同步接口参数 + +| 参数 | 必选 | 说明 | +| --- | --- | --- | +| `model` | 是 | 模型名称，如 `text-embedding-v4` | +| `input` | 是 | `string` / `array` / `file` 三种形态 | +| `dimensions` | 否 | 仅 `text-embedding-v3/v4` 及 `qwen3.7-text-embedding` 的 2560 维支持自定义，取值 64~2560 | +| `encoding_format` | 否 | 当前仅支持 `float` | + +### 批处理接口参数 + +| 参数 | 说明 | +| --- | --- | +| `input.url` | 文件 HTTP URL，一行一条数据 | +| `parameters.text_type` | `document`（默认）或 `query`；检索类非对称任务建议区分 query / document | + +### 知识库检索相关参数 + +| 参数 | 说明 | 取值范围 | +| --- | --- | --- | +| 相似度阈值 | 过滤排序后分数低于阈值的切片 | 0.01~1.0 | +| 初步向量检索 TopK | 向量语义召回的切片数 | 1~100（默认 50） | +| 最大召回数量 | 单知识库排序后返回的切片数 | 1~20 | + +> **注意**：相似度阈值设置过高会丢弃所有相关切片，导致无召回结果，应通过命中测试反复调试。降低初步检索 TopK 可显著减少 Rerank 成本。 ## 注意事项 -- 知识库向量模型与维度在创建时选定，**维度不可更改**；Meta 抽取、多轮对话改写等索引配置在创建后也无法追加，需重建知识库。 -- 嵌入与 Rerank 是两类不同模型，不要混用接口：qwen3-rerank 走 `/compatible-api/v1/reranks`，qwen3-vl-rerank / gte-rerank-v2 走 `/api/v1/services/rerank/text-rerank/text-rerank`。 -- `gte-rerank` 系列将于 2026 年 5 月 30 日下线，建议迁移到 `qwen3-rerank`。 +- `gte-rerank` 模型将于 2026-05-30 下线，推荐迁移到 `qwen3-rerank`。 +- `dimensions` 参数只对部分模型生效：`text-embedding-v1/v2` 为固定维度，传入无效；`v4` 才支持 2048 等高维度。 +- 批处理结果 URL 仅保留 24 小时，务必及时下载。 +- 各地域 API Key 不同，切换地域需同步更换；建议配置到环境变量 `DASHSCOPE_API_KEY` 以降低泄露风险。 ## 关联主题页 - [vector and sort](../api/vector-and-sort.md) - [knowledge base](../guides/knowledge-base.md) -- [knowledge](../api/knowledge.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) - [frameworks](../api/frameworks.md) - [application use cases](../guides/application-use-cases.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/event-stream.md b/skills/bailian-docs-llm-wiki/wiki/concepts/event-stream.md new file mode 100644 index 00000000..deac152c --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/event-stream.md @@ -0,0 +1,85 @@ +# 事件流 + +事件流（Event Stream）是百炼平台中智能体与客户端之间传递原子消息的机制，涵盖会话状态变更、用户输入、工具调用回执、模型增量输出等。在 Managed Agents API 中通过 SSE（Server-Sent Events）单向推送，在 Realtime API 中通过 WebSocket 双向收发，两者共享"事件即会话内最小消息单元"的语义。 + +## 在百炼平台中的使用场景 + +### Managed Agents API 的 SSE 事件流 + +Managed Agents 会话（Session）内所有交互以 Event 记录存储。开发者通过 REST API 注入事件，并通过 SSE 长连接实时接收平台产生的事件： + +- **发送事件**：`POST /sessions/{session_id}/events` — 注入用户消息、工具审批结果、[函数调用](function-calling.md)返回值等。 +- **订阅事件流**：`GET /sessions/{session_id}/events/stream` — 建立 SSE 长连接，流式接收实时事件推送，包括状态机流转（`idle` → `running` → `idle` / `terminated`）、工具调用回执等。 +- **查询历史**：`GET /sessions/{session_id}/events` — 分页列出会话的事件历史。 + +Event 类型包括用户消息、工具调用回执、状态变更等，是会话生命周期内不可变的消息记录。 + +### Realtime API 的双向事件流 + +Realtime API 基于 WebSocket（以及 WebRTC、AOQ 协议），通过客户端事件与服务端事件的双向交互实现低延迟实时对话： + +**客户端事件**（Client → Server）： + +| 事件 | 用途 | +| --- | --- | +| `session.update` | 更新会话配置（模态、音色、VAD、工具等） | +| `input_audio_buffer.append` | 追加音频数据（Base64 编码） | +| `input_audio_buffer.commit` | 提交音频缓冲区（Manual 模式必需） | +| `input_audio_buffer.clear` | 清空音频缓冲区 | +| `input_image_buffer.append` | 追加图像数据 | +| `response.create` | 触发模型生成响应 | +| `response.cancel` | 取消正在进行的响应 | +| `conversation.item.create` | 回传工具调用结果 | + +**服务端事件**（Server → Client）： + +| 事件 | 含义 | +| --- | --- | +| `session.created` | 连接建立，返回默认配置 | +| `session.updated` | 会话配置更新成功 | +| `error` | 错误信息 | +| `input_audio_buffer.speech_started` | VAD 检测到语音开始 | +| `input_audio_buffer.speech_stopped` | VAD 检测到语音结束 | +| `input_audio_buffer.committed` | 音频缓冲区已提交 | +| `response.audio.delta` | 增量音频输出 | +| `response.audio_transcript.delta` | 增量文本转录 | +| `response.done` | 响应完成 | +| `response.function_call_arguments.done` | 工具调用参数完成 | +| `conversation.item.input_audio_transcription.delta` | 实时语音识别中间结果 | + +## 关键参数与配置 + +### Managed Agents API + +事件交互无额外配置，事件结构由发送时的 payload 决定。Session 状态机（`idle` → `running` → `idle` / `terminated`）驱动事件流转，归档后 Session 进入 `terminated` 终态不再产生新事件。删除 Session 会硬删除全部事件历史。 + +### Realtime API + +会话参数通过 `session.update` 客户端事件配置： + +| 参数 | 说明 | 默认值 | +| --- | --- | --- | +| `modalities` | 输出模态：`["text"]` 或 `["text","audio"]` | `["text","audio"]` | +| `turn_detection.type` | VAD 类型：`server_vad` / `semantic_vad` | `server_vad` | +| `turn_detection.threshold` | VAD 灵敏度，范围 [-1.0, 1.0] | 0.5 | +| `turn_detection.silence_duration_ms` | 静音触发时间（ms），范围 [200, 6000] | 800 | + +交互模式分两种：VAD 模式下服务端自动检测语音起止并触发响应，支持语音打断；Manual 模式下由客户端通过 `input_audio_buffer.commit` + `response.create` 手动控制对话节奏。 + +## 协议与鉴权 + +事件流依赖底层传输协议的建连鉴权： + +- **Managed Agents API**：REST 请求通过 `Authorization: Bearer ` 鉴权，SSE 流复用同一会话的鉴权上下文。 +- **Realtime API WebSocket**：握手时携带 API Key，建连成功后无需重复鉴权。 +- **Realtime API AOQ**：采用服务端代理鉴权，API Key 仅保留在 AppServer 侧，客户端使用网关返回的临时 Token 建连。 + +三种 Realtime 传输协议（WebSocket、WebRTC、AOQ）在弱网表现和端侧支持上差异显著：WebSocket 接入门槛最低适合服务端集成；WebRTC 浏览器原生支持内置回声消除；AOQ 基于 QUIC 抗弱网能力最强，提供移动端原生 SDK。 + +## 关联主题页 + +- [managed agents api](../api/managed-agents-api.md) +- [omni realtime api](../api/omni-realtime-api.md) +- [realtime api user guide](../guides/realtime-api-user-guide.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md b/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md index 93ca5304..18dbe1bf 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md @@ -1,41 +1,66 @@ -# 函数调用（Function Calling） +# 函数调用 -函数调用（Function Calling）是让大模型在推理过程中根据用户输入，自主判断并"调用"外部工具（自定义函数、内置能力或插件）以获取实时信息、执行精确计算或操作外部系统的能力。它是弥补大模型原生局限、构建 Agent 与复杂应用的核心机制。 +函数调用（Function Calling）是大模型根据用户意图自动选择并调用外部工具的能力。开发者声明工具的名称、描述和参数格式后，模型在对话过程中自主判断是否调用、选择哪个工具并生成调用参数，再将工具返回结果整合到最终回复中。 -## 在百炼平台的使用场景 +## 在百炼平台中的使用场景 -百炼在多个层面暴露了 Function Calling 能力： +函数调用能力贯穿百炼多个子系统，不同场景下的调用机制各有侧重。 -- **文本 / 视觉生成模型**：所有 Qwen3 及以上通用文本与视觉理解模型均支持自定义工具调用。以 `qwen3.7-plus` 为代表的旗舰模型工具调用完整、上下文长（1M），适合 AI 编程与 Agent 开发；效果确认后可切到 `qwen3.6-flash` 降本，功能与上下文保持一致。 -- **实时多模态（Omni-Realtime API）**：基于 WebSocket 的实时音视频对话同样支持工具调用。客户端通过 `session.update` 事件在会话中声明工具，模型触发调用后由 `response.function_call_arguments.done` 服务端事件返回调用参数，客户端执行后再用 `conversation.item.create` 事件回传工具结果。 -- **应用构建（智能体 / 工作流）**：新版智能体（Agent 2.0）将知识库、MCP、插件等能力统一抽象为"工具"，由智能体自主规划调用顺序，形成"规划-执行-反思"链路。工作流应用则把工具作为固定节点按编排顺序执行，不由模型主动规划。 -- **插件（Plug-in）与 Assistant API**：插件是工具集合，本质也是工具调用。智能体应用 / Assistant API 中，模型依据工具名称与描述判断是否调用；无需调用时直接生成结果。 +### Chat Completions 接口 -## 内置工具与自定义工具 +百炼兼容 OpenAI 的 Chat Completions 接口，原生支持 function call。开发者通过 `tools` 参数声明函数定义（包含 `name`、`description` 和 `parameters` 的 JSON Schema），模型决定调用时返回函数名与参数，应用侧执行后将结果以 `tool` 角色消息回传，模型继续生成最终回复。支持流式（`stream=True`）与非流式两种模式。Qwen 系列大语言模型、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math 等均支持工具调用。 -- **自定义工具（Function Calling）**：开发者自行定义工具名称、描述与参数结构，模型据此决定何时调用、如何填参，应用侧执行后将结果回填模型生成最终回复。 -- **内置工具**：联网搜索、代码解释器、网页抓取等由平台预置，无需复杂配置即可开启，是 Function Calling 的开箱即用形态。 +### 智能体应用与 Assistant API -## 关键参数与配置 +在智能体应用或 Assistant API 中，大模型根据用户输入内容、工具名称和工具描述判断是否调用工具。需要调用时，模型选择合适工具，应用内部完成调用后将工具返回结果与用户内容合并再次输入模型，由模型生成最终结果；无需调用时直接生成结果输出。每个智能体应用最多支持添加 10 个工具。 -- **模型选型**：推荐具备强工具调用能力的模型（如千问-Max / `qwen3.7-plus` 系列）。 -- **思考模式**：可通过 `enable_thinking` 开启（Responses API 用 `reasoning.effort` 控制），配合工具调用提升规划质量。 -- **ReAct 最大轮次**：智能体中取值 1-50，限制单次会话内工具调用的最大次数，防止无限循环。 -- **实时 API 工具配置**：通过 `session.update` 的 `tools` 字段声明可用工具；工具调用结果需经 `conversation.item.create` 回传。 -- **插件调用**：通过 Assistant API 调用时需正确传递工具 ID（如 `calculator`、`code_interpreter`），且每个智能体应用最多添加 10 个工具。 +### 插件 -## 开发建议 +插件是百炼的工具集合形式，一个插件可包含多个工具（API），分为官方插件、三方插件和自定义插件三类。在智能体应用中，模型主动判断并调用插件工具；在工作流应用中，插件作为工作流节点按编排逻辑执行，而非由模型自主决策。通过 API 调用工具时需正确传递工具 ID（如 `calculator`、`quark_search`）。 -- 优先用内置工具满足通用需求（搜索、计算、代码执行），减少自定义成本。 -- 自定义工具时，工具名称与描述要清晰准确，直接影响模型是否正确触发调用。 -- 需要精确、可控流程时用工作流把工具固化为节点；需要动态规划时用智能体让模型自主调用。 -- 旧版智能体的自定义插件有 5 秒超时限制，设计工具时注意执行时长。 +### MCP 服务 + +模型上下文协议（MCP）服务作为标准化工具接入智能体，单个智能体最多同时添加 5 个 MCP 服务。大模型根据对话内容自动判断是否调用 MCP 服务，适合路径规划、逻辑推理、多工具组合（如天气查询 + 图表绘制）等场景。工作流中 MCP 节点需手动指定输入参数并将输出传递到下一节点。 + +### Managed Agents + +Managed Agents 由平台负责工具调用与沙箱执行，智能体通过内置工具（`bash`、`read`、`write`、`edit`、`glob`、`grep`、`download_file`）与沙箱环境交互，也可挂载 MCP 服务和 Skill。工具调用过程通过 SSE [事件流](event-stream.md)实时推送，事件类型包括 Tool（工具调用）和 Tool_output（工具返回）。 + +### 实时多模态交互 + +Qwen-Omni-Realtime API 通过 WebSocket 支持工具调用。工具配置通过 `session.update` 事件完成，工具调用结果通过 `conversation.item.create` 事件回传。服务端通过 `response.function_call_arguments.done` 事件通知工具调用参数生成完成。Qwen3.5-Omni-Realtime 系列模型支持工具调用功能。 + +## 关键配置 + +| 场景 | 配置方式 | 说明 | +| --- | --- | --- | +| Chat Completions | `tools` 参数 | 声明函数名、描述和参数 schema，支持流式 | +| 智能体应用 | 控制台或 API 挂载工具 | 最多 10 个工具，按输入内容自动选择调用 | +| MCP 服务 | 控制台挂载 | 单个智能体最多 5 个 MCP 服务 | +| Managed Agents | Agent 配置 + Environment 沙箱 | 平台托管工具执行，SSE 推送调用过程 | +| Omni Realtime | `session.update` 事件 | 配置工具，结果通过 `conversation.item.create` 回传 | + +## 调用流程 + +典型的一次函数调用流程如下： + +1. **声明工具**：在应用配置或 API 请求中声明可用工具的名称、描述和参数格式。 +2. **模型决策**：模型根据用户输入判断是否需要调用工具，选择合适的工具并生成调用参数。 +3. **执行工具**：应用侧（或平台沙箱）执行工具调用，获取返回结果。 +4. **结果回传**：将工具返回结果回传给模型（Chat Completions 以 `tool` 角色消息，Omni Realtime 以 `conversation.item.create` 事件，Managed Agents 通过 Event 注入）。 +5. **生成回复**：模型结合工具结果生成最终回复输出。 + +## 支持的模型 + +函数调用对模型有一定要求。在 Chat Completions 接口中，Qwen 系列大语言模型（商业版/开源版）、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math 等均支持工具调用。插件调用目前支持 `qwen-turbo`、`qwen-plus`、`qwen-max`、`qwen-vl-max`、`qwen-vl-plus` 等模型。各模型兼容性以控制台实际执行结果为准。 ## 关联主题页 - [omni realtime api](../api/omni-realtime-api.md) -- [model experience](../guides/model-experience.md) -- [llm application](../guides/llm-application.md) +- [managed agents api](../api/managed-agents-api.md) +- [managed agents](../guides/managed-agents.md) - [plug in](../guides/plug-in.md) +- [model context protocol](../guides/model-context-protocol.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/long-term-memory.md b/skills/bailian-docs-llm-wiki/wiki/concepts/long-term-memory.md new file mode 100644 index 00000000..fe1989a3 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/long-term-memory.md @@ -0,0 +1,112 @@ +# 长期记忆 + +长期记忆是百炼平台提供的跨会话上下文持久化能力。它自动从对话中提取关键信息并存储，在后续对话中通过语义检索召回相关记忆并注入 Prompt，使智能体能够持续理解用户偏好与历史信息，解决大模型上下文窗口有限、对话结束后信息丢失的问题。 + +## 核心能力 + +长期记忆持久化两类内容，二者可独立或组合使用： + +- **记忆片段**：从对话中自动提取的关键事件和信息（如"用户每天上午9点需要喝水提醒"），适用于大多数长期记忆场景。支持自动去重、动态更新，也可通过 `custom_content` 直接写入指定内容。 +- **用户画像**：基于自定义画像模板从对话中提取的结构化属性（如年龄、职业、偏好等），适用于需要固定属性持久化存储的场景。属性字段应清晰具体，避免"姓名/名称/名字"等同义字段并存，且不应期望一次对话就提取全部信息。 + +## 接入方式 + +### API 直连 + +通过 HTTPS 调用 `https://dashscope.aliyuncs.com/api/v2/apps/memory/*` 系列接口。需在请求 Header 中添加 `Authorization: Bearer $DASHSCOPE_API_KEY`，`Content-Type` 设为 `application/json`。典型流程为：对话结束调用 `AddMemory` 写入记忆 → 调用 `SearchMemory` 语义检索 → 将结果注入 Prompt。 + +### OpenClaw 记忆插件 + +OpenClaw Agent 可通过插件实现零侵入的跨会话记忆。插件在 Gateway 内通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子与长期记忆 API 交互，所有读写均由百炼服务端完成提炼、[向量化](embedding.md)和语义检索。 + +```bash +# 安装 +openclaw plugins install @modelstudio/modelstudio-memory-for-openclaw + +# 验证 +openclaw plugins info modelstudio-memory-for-openclaw +openclaw modelstudio-memory stats +openclaw gateway restart +``` + +> **注意**：OpenClaw 记忆插件为统一配置，所有 Agent 共享同一记忆，暂不支持按 Agent 独立配置；不支持阿里云百炼 Coding Plan 的 API Key。 + +## 关键接口 + +| 接口名称 | HTTP 方法 | 路径 | 说明 | +| --- | --- | --- | --- | +| AddMemory | POST | `/add` | 添加记忆片段 | +| SearchMemory | POST | `/memory_nodes/search` | 语义搜索记忆片段 | +| ListMemory | GET | `/memory_nodes` | 列出记忆片段 | +| DeleteMemory | DELETE | `/memory_nodes/{memory_node_id}` | 删除记忆片段 | +| UpdateMemory | PATCH | `/memory_nodes/{memory_node_id}` | 更新记忆片段 | +| CreateProfileSchema | POST | `/profile_schemas` | 创建画像模板 | +| ListProfileSchemas | GET | `/profile_schemas` | 获取画像模板列表 | +| GetProfileSchema | GET | `/profile_schemas/{profile_schema_id}` | 获取画像模板详情 | +| UpdateProfileSchema | PATCH | `/profile_schemas/{profile_schema_id}` | 更新画像模板 | +| DeleteProfileSchema | DELETE | `/profile_schemas/{profile_schema_id}` | 删除画像模板 | +| GetUserProfile | GET | `/profile_schemas/{profile_schema_id}/user_profile` | 获取用户画像 | + +## AddMemory 请求参数 + +| 参数 | 类型 | 必填 | 说明 | +| --- | --- | --- | --- | +| `user_id` | string | 是 | 记忆实体 ID，用于标识归属对象，最大 64 个字符 | +| `messages` | array | 与 `custom_content` 二选一 | 对话消息列表，每个消息含 `role`（user/assistant）和 `content`，最多 50 条 | +| `custom_content` | string | 与 `messages` 二选一 | 自定义内容，最大 512 个字符，传入后忽略 `messages` | +| `profile_schema` | string | 否 | 画像模板 ID | +| `memory_library_id` | string | 否 | 记忆库 ID，最大 32 个字符，不传则使用默认记忆库 | +| `project_id` | string | 否 | 记忆片段规则 ID，不传则使用指定记忆库的默认规则 | +| `meta_data` | object | 否 | 用户自定义信息 | + +返回结果中 `memory_nodes` 数组包含每项的 `memory_node_id`、`content`、`event`（`ADD`/`UPDATE`/`DELETE`）及 `old_content`（仅 `UPDATE` 时有效）。 + +## 使用示例 + +```bash +# 写入记忆（从对话自动提取） +curl -X POST https://dashscope.aliyuncs.com/api/v2/apps/memory/add \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --data '{ + "messages": [ + {"role": "user", "content": "每天上午9点提醒我喝水"}, + {"role": "assistant", "content": "好的，已记录"} + ], + "user_id": "user_001" + }' + +# 语义检索记忆 +curl -X POST https://dashscope.aliyuncs.com/api/v2/apps/memory/memory_nodes/search \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --data '{ + "user_id": "user_001", + "messages": [{"role": "user", "content": "我需要做什么？"}], + "top_k": 5 + }' +``` + +## 使用限制 + +| 接口 | 限流（阿里云账号级别） | +| --- | --- | +| 全部接口 | 总计不超过 3000 QPM | +| 记忆片段 add 接口 | 120 QPM | +| 记忆片段 search 接口 | 300 QPM | + +## 记忆有效期 + +记忆有效期在不同入口存在差异：通过 API 直写且不指定 `project_id` 时使用默认规则，API 文档指出"生成的记忆片段与用户画像暂无失效日期"；而控制台记忆库的默认规则预置了"默认有效期 180 天"，并支持按规则配置 7/30/180 天或永不过期。以控制台记忆规则配置为准。 + +## 与应用调用的关系 + +长期记忆通常与应用调用配合使用。在通过 Responses API 或 DashScope API 调用智能体应用时，可在对话前通过 `SearchMemory` 检索相关记忆注入 Prompt，在对话后通过 `AddMemory` 将新信息写入记忆库，从而实现多轮对话间的上下文连续性。使用 OpenClaw 插件时，这一过程在 Gateway 内自动完成，无需在应用代码中显式调用记忆 API。 + +## 关联主题页 + +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) +- [application call](../api/application-call.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/migration.md b/skills/bailian-docs-llm-wiki/wiki/concepts/migration.md new file mode 100644 index 00000000..31c46434 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/migration.md @@ -0,0 +1,93 @@ +# 迁移指南 + +迁移指南是将已有应用（主要基于 OpenAI 或 Anthropic 生态构建）迁移到阿里云百炼平台模型服务的操作总览。核心目标是尽可能复用现有代码与客户端库，仅替换凭证、服务地址和模型名称即可完成接入。 + +## 迁移三要素 + +无论使用哪种兼容协议，迁移的关键是配置以下三项： + +- **API Key**：替换为百炼 API Key。各地域的 API Key 不同，切换地域时需同步更换。建议通过环境变量（如 `DASHSCOPE_API_KEY`）注入，避免硬编码。 +- **Base URL**：根据所选兼容协议和地域，替换为百炼对应的服务地址。 +- **Model**：替换为百炼支持的模型名称（如 `qwen-plus`、`qwen3-max` 等）。 + +对于已有 OpenAI 应用的最简迁移路径，通常只需替换这三项即可，无需改动业务逻辑。 + +## 接口选择 + +百炼提供四类文本生成接口，迁移时应根据现有技术栈和功能需求选择： + +| 现有技术栈 | 推荐接口 | 迁移成本 | +| --- | --- | --- | +| OpenAI SDK（Chat Completions） | OpenAI 兼容 Chat Completions | 最低，直接复用客户端库 | +| OpenAI SDK（需要内置工具/自动上下文） | OpenAI 兼容 Responses | 中，需适配新接口字段 | +| Anthropic SDK | Anthropic 兼容 Messages | 最低，直接复用客户端库 | +| 无特定生态绑定，需最全功能 | DashScope 原生接口 | 较高，需学习原生 SDK | + +迁移时需注意：不同接口的参数集合和功能覆盖存在差异。DashScope 参数最全，OpenAI/Anthropic 兼容接口以对应生态的字段约定为准。跨接口迁移时需核对参数映射，确认目标接口是否支持原有功能（如流式输出、function call、多模态等）。 + +## Base URL 配置 + +### OpenAI 兼容协议 + +| 地域 | Base URL | +| --- | --- | +| 华北2（北京） | `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| 新加坡 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 日本（东京） | `https://{WorkspaceId}.ap-northeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` | +| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | + +其中 `{WorkspaceId}` 为业务空间 ID，可在百炼控制台的业务空间详情页查看。 + +### Anthropic 兼容协议 + +Anthropic 兼容协议的 Base URL 在上述地址基础上将 `/compatible-mode/v1` 替换为 `/apps/anthropic`。 + +## 计费方案匹配 + +百炼提供四种计费方案：Token Plan 个人版、Token Plan 团队版、Coding Plan、按量计费。迁移时需特别注意： + +- 四种方案的 API Key 互不通用，Base URL 也各不相同。 +- 配置时必须确保 API Key、Base URL 和计费方案三者匹配，否则会返回 401 认证错误。 +- 例如 Token Plan 个人版 OpenAI 兼容地址为 `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`，与按量计费地址不同。 + +## 域名与路径迁移 + +### 旧域名迁移 + +百炼为北京、新加坡地域推出了业务空间专属域名，性能与稳定性更佳，建议从旧域名迁移： + +- 北京：`https://dashscope.aliyuncs.com` → `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` +- 新加坡：`https://dashscope-intl.aliyuncs.com` → `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + +现有旧域名仍可正常使用，但建议尽快迁移。 + +### 旧版路径迁移 + +Responses 与 Conversations 接口的旧版路径 `/api/v2/apps/protocols/compatible-mode/v1/...` 即将停止维护，请迁移至新版 `/compatible-mode/v1/...` 路径。 + +## 客户端工具迁移 + +百炼支持通过多种聊天客户端和开发工具接入模型服务（如 Claude Code、Codex、Cursor、Cline、Cherry Studio 等）。这类工具的迁移步骤通常为： + +1. 选择计费方案并获取对应 API Key。 +2. 根据工具支持的协议（OpenAI 兼容或 Anthropic 兼容）选择 Base URL。 +3. 在工具的配置文件或设置界面中填入 API Key、Base URL 和模型名称。 + +各工具的具体配置文件路径和字段不同，需参照对应文档。 + +## 注意事项 + +- **地域限制**：部分模型仅支持特定地域（如 `qwen-deep-research` 仅支持华北2-北京），迁移前需确认目标模型的地域可用性。 +- **协议差异**：Qwen-Audio 不支持 OpenAI 兼容协议，仅支持 DashScope 协议；`qwen-deep-research` 仅支持 Python DashScope SDK，暂不支持 OpenAI 兼容接口。 +- **三方模型**：三方直供模型（如 DeepSeek、Kimi、GLM 等）仅在中国站的中国内地地域可用，调用前需在控制台开通对应服务。 +- **功能差异**：若原应用依赖联网搜索、代码解释器等内置工具，需使用 Responses 接口而非普通的 Chat Completions。 + +## 关联主题页 + +- [qwen api reference](../api/qwen-api-reference.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) +- [more models](../api/more-models.md) +- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/model-lifecycle.md b/skills/bailian-docs-llm-wiki/wiki/concepts/model-lifecycle.md new file mode 100644 index 00000000..0fee1b1b --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/model-lifecycle.md @@ -0,0 +1,93 @@ +# 模型生命周期 + +模型生命周期指一个大模型在百炼平台中从数据准备、调优训练、压缩、部署上线到运行监控的完整链路。开发者可以通过控制台或 API 完成全流程操作，并可根据监控反馈持续迭代优化。 + +## 生命周期阶段 + +百炼平台的模型生产链路包含以下阶段，部分阶段可选： + +``` +数据准备 → 模型调优 → 模型压缩（可选）→ 模型部署 → 模型监控 → 迭代优化 +``` + +### 1. 数据准备 + +在调优前创建训练集和评测集，并可通过数据清洗与增强提升数据质量。训练集用于模型调优，评测集用于评估模型泛化能力。 + +- 训练集格式：SFT 用 ChatML 格式 `{"messages":[...]}`；CPT 用纯文本 `{"text":"..."}`；DPO 用 ChatML + `chosen`/`rejected` 字段。 +- 最低数据量要求：CPT 需 1000 万 Token，SFT 需上千条，DPO 需上百组。 +- 评测集为 Excel 格式，每行包含 Prompt 和 Completion。 + +### 2. 模型调优 + +通过 CPT、SFT、DPO 三种递进式方法定制模型，推荐顺序为 `CPT（可选）→ SFT → DPO（可选）`。训练模式分为全参训练和高效训练（LoRA）。 + +| 方法 | 目标 | 数据量要求 | +| --- | --- | --- | +| CPT（持续预训练） | 注入领域知识 | 1000 万+ Token | +| SFT（监督微调） | 学会遵循指令 | 1000+ 条 | +| DPO（直接偏好优化） | 对齐人类偏好 | 100+ 组 | + +文本生成模型中全参训练与高效训练费用相同，推荐优先选择全参训练。图像生成、视频生成和语音合成模型目前仅支持高效训练。 + +### 3. 模型压缩（可选） + +将全精度微调模型量化为低精度版本，降低部署规格和推理成本。压缩位于调优与部署之间，操作不可逆——压缩后的模型不支持继续微调或二次压缩。 + +- 量化模板中 MU 编号越大，部署规格越小、成本越低，但精度损失可能越大。 +- 建议在免费期内对同一微调模型尝试多个量化模板，分别部署后验证效果再正式上线。 + +### 4. 模型部署 + +将预置模型或调优后的模型部署为资源专享的推理服务。部署计费方式在服务创建后无法更改，切换需先下线已有部署。 + +| 计费方式 | 适用场景 | +| --- | --- | +| 预置吞吐（PTU） | 高负载生产环境，需稳定吞吐保障 | +| 模型单元 | 自定义性能指标，资源独占，支持 PD 分离 | +| 按 Token 用量 | 调优后模型效果验证，不使用不计费 | + +PTU 支持长输入（最高 256K token）和前缀缓存，通过阶梯容量系数和缓存折扣管理额度消耗。外部 LoRA 模型可从 OSS 导入后部署。 + +### 5. 模型监控 + +部署后通过用量统计和运行监控掌握模型运行状态，并设置告警发现静默失败。 + +- 用量统计：按业务空间维度统计 Token 消耗，延迟约 1 小时。 +- 运行监控：普通监控为小时级，高级监控（Prometheus）为分钟级。 +- 推理日志：记录每次调用的输入、输出及耗时，用于故障排查与内容审计。 +- 告警：支持 Token 消耗阈值告警，通知方式包括短信、邮件、电话、钉钉群机器人等。 + +### 6. 迭代优化 + +根据监控指标（如失败率、调用时长、Token 消耗）和评测结果，决定是否回到数据准备阶段收集更多数据进行重新调优。如果调优后评测结果不佳，最简单的改进方法是收集更多训练数据。 + +## API 全流程 + +通过 HTTP API 可完成模型生产全流程自动化： + +1. 上传数据集（`POST /api/v1/files`） +2. 创建调优任务（`POST /api/v1/fine-tunes`） +3. 查询任务状态（`GET /api/v1/fine-tunes/{id}`） +4. 部署模型（`POST /api/v1/deployments`） +5. 调用部署后的模型端点进行推理 + +API 部署支持三种 `plan` 参数：`ptu`（预置吞吐）、`mu`（模型单元）、`lora`（按 Token 计费）。 + +## 使用限制 + +- 模型调优、压缩、部署功能仅在华北2（北京）地域可用。 +- 模型压缩仅支持百炼平台微调产出的自定义模型，不支持基础模型或第三方模型。 +- OSS 导入仅支持 LoRA 模型，不支持全参微调模型。 +- 按 Token 计费的模型一个月内不使用将自动释放。 + +## 关联主题页 + +- [model data overview](../guides/model-data-overview.md) +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) +- [model deployment 1](../guides/model-deployment-1.md) +- [model monitoring](../guides/model-monitoring.md) +- [model production](../api/model-production.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md b/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md index d238b34c..9d1af34c 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md @@ -1,45 +1,87 @@ -# 多模态能力 +# 多模态 -多模态能力指模型同时理解或生成文本、图像、音频、视频、3D 等多种模态内容的能力。在百炼平台上，它既体现为「输入多模态」（如图文混合输入、音视频实时对话），也体现为「输出多模态」（如文生图、文生视频、语音合成、3D 资产生成）。 +多模态（Multimodal）是指模型能够同时理解和处理多种数据形态（文本、图像、音频、视频等）的能力。在百炼平台中，多模态贯穿模型推理、向量化、实时交互、微调等核心环节，是构建跨模态应用的基础能力。 -## 在百炼平台的主要场景 +## 能力概览 -百炼按模态与任务把能力拆分到多个方向，开发者可按需组合： +百炼平台的多模态能力覆盖以下场景： -- **实时音视频对话**：Qwen-Omni-Realtime 系列通过 WebSocket 提供低延迟的语音输入/输出、图像输入、语音活动检测（VAD）、工具调用与联网搜索，适用于智能客服、语音助手等实时交互场景。 -- **图像生成与编辑**：覆盖文生图、图生图、局部重绘、扩图、背景生成、虚拟模特、AI 试衣、创意海报等，涉及千问 Qwen-Image、万相 Wan/Wanx、Z-Image、可灵 Kling、Vidu 等模型家族。 -- **视频生成与编辑**：聚合万相 Wan、HappyHorse、PixVerse、Vidu、可灵 Kling 及人像驱动模型，支持文生视频、图生视频（首帧/首尾帧/续写）、参考生视频、视频编辑与数字人。 -- **3D 资产生成**：基于 Tripo 模型支持文生 3D、单图生 3D、多图生 3D，产出带 PBR 材质或无贴图的 GLB 模型。 -- **视觉理解与 OCR**：以 Qwen 旗舰多模态模型理解图像与长视频（最长约 2 小时），并提供专优的 OCR/文档提取能力。 -- **语音合成 / 识别 / 语音转语音**：TTS、ASR、声音复刻/设计、S2S 实时对话与同传翻译，以及音乐生成。 +| 场景 | 说明 | 代表模型 | +| --- | --- | --- | +| 视觉理解 | 图像分析、视频理解、OCR、文档提取 | qwen3.7-plus、qwen3.5-ocr | +| 多模态向量 | 将文本、图片、视频编码到同一语义空间，支持跨模态检索 | qwen3-vl-embedding、multimodal-embedding-v1 | +| 多模态重排序 | 对图文混合候选结果做精排 | qwen3-vl-rerank | +| 实时多模态交互 | 低延迟音视频对话，支持语音、图像输入与语音输出 | qwen3.5-omni-plus-realtime | +| 全模态 | 音视频分析、语音对话、内容审核、语音翻译 | qwen3.5-omni-plus | +| 多模态微调 | 对视觉理解、图像生成、视频生成、语音合成模型做定制化训练 | Qwen3-VL、wan2.7-image、CosyVoice | -## 输入与协议 +## 使用场景 -- **实时流式（WebSocket）**：延迟最低，适合实时交互。Omni-Realtime 通过 `input_audio_buffer.append`（PCM 音频，Base64）、`input_image_buffer.append`（JPG/JPEG，Base64）等事件送入多模态素材，`session.update` 的 `modalities` 控制输出模态（`["text"]` 或 `["text","audio"]`）。 -- **HTTP 同步**：新一代图像模型（如 `wan2.6-image`、`wan2.7-image`、`z-image-turbo`）支持一次请求返回结果，路径为 `.../aigc/multimodal-generation/generation`，请求体用 `messages` 结构，`content` 内混排 `text` 与 `image`。 -- **HTTP 异步**：图像、视频、3D 生成等耗时任务（约 1-5 分钟）统一采用「创建任务拿 `task_id` → 轮询查询」两步流程，创建时必须携带请求头 `X-DashScope-Async: enable`，否则报错 `current user api does not support synchronous calls`。`task_id` 有效期 24 小时，切勿重复创建，轮询即可。 +### 视觉理解 -## 关键参数与配置 +通过视觉理解模型对图片和视频进行分析。调用前需通过文件管理 API 上传文件并获取文件标识，再在模型调用中引用。关键限制包括： -不同模态的请求体大多由 `model`、`input`、`parameters` 三部分组成： +- 每张图片最高 1600 万像素，[Token](token.md) 计算公式为 `h x w / (32 x 32) + 2`。 +- 视频时长：Qwen3.7/3.6/3.5 系列最长 2 小时 / 2GB；Qwen3-VL 系列最长 1 小时 / 2GB。 -- **实时对话**（`session.update`）：`modalities`、`voice`（音色，因模型而异）、`input_audio_format` / `output_audio_format`（仅 `pcm`，输入 16kHz、输出 24kHz）、`turn_detection.type`（`server_vad` / `semantic_vad`）及 `threshold`、`silence_duration_ms` 等。 -- **图像生成**：`input.prompt` / `negative_prompt`（或新协议 `messages`），图像编辑用 `images` / `image_url` / `mask_image_url`；`parameters` 含 `size`（如 `1024*1024`、`1K`/`2K`/`4K`）、`n`、`aspect_ratio`、`watermark`、`prompt_extend` 等。 -- **视频生成**：`input.prompt` 描述画面镜头，`input.media` 承载 `first_frame` / `last_frame` / `reference_image` / `video` 等素材；`parameters` 含 `resolution`（`480P`/`720P`/`1080P`）、`duration`、`ratio` 等。 -- **3D 生成**：`prompt`、`image`、`images` 三者互斥；`parameters` 含 `texture_quality`、`geometry_quality`、`pbr`、`texture`。 +### 多模态向量与检索 -## 注意事项 +多模态向量模型将文本、图片、视频编码到同一语义空间，适用于跨模态语义搜索和 RAG 检索。使用流程： -- **地域隔离**：模型、Endpoint URL 与 API Key 必须属于同一地域，华北2（北京）、新加坡、美国（弗吉尼亚）等地域各自独立、不可混用；部分能力（如 Tripo 3D、Fun-Music）仅在特定地域可用。推荐迁移到业务空间专属域名（如 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com`）以获得更好性能与稳定性。 -- **产物有效期**：图像结果 URL 有效期 24 小时，3D 模型下载链接仅 2 小时，务必及时下载。 -- **计费**：图像等仅对成功生成的输出计费，输入与失败任务不计费；具体计费、上下文窗口等实时参数以模型广场为准。 +1. 调用多模态向量接口，将图文内容编码为向量。 +2. 将向量存入向量数据库。 +3. 检索时对召回结果使用多模态重排序模型（如 qwen3-vl-rerank）做二次精排。 + +多模态向量接口支持文本、图片、视频输入，编码后可直接用于跨模态相似度计算。 + +### 实时多模态交互 + +通过 Realtime API 实现低延迟的音视频对话，支持语音输入/输出、图像输入、VAD（语音活动检测）、工具调用等功能。三种传输协议各有侧重： + +- **WebSocket**：接入门槛最低，全平台可用，适合服务端集成和快速验证。 +- **WebRTC**：浏览器原生支持，内置回声消除与降噪，适合浏览器端音视频对话。 +- **AOQ（AI over QUIC）**：抗弱网能力最强，提供 Android/iOS/HarmonyOS 三端 SDK，浏览器不支持。 + +会话通过 `session.update` 事件配置模态：`modalities` 设为 `["text","audio"]` 可同时输出文本和语音，设为 `["text"]` 则仅输出文本。输入音频格式固定为 `pcm`（16kHz），输出音频格式固定为 `pcm`（24kHz）。 + +### 多模态微调 + +百炼支持对多种多模态模型进行定制化训练： + +- **视觉理解（千问 VL）**：支持 SFT 全参和高效训练，训练数据支持图片和视频输入。 +- **图像生成（万相）**：支持 wan2.7-image-pro、wan2.7-image，仅支持 SFT-LoRA 高效微调，覆盖文生图和图生图。 +- **视频生成（万相）**：支持图生视频，仅支持 SFT-LoRA 高效微调。 +- **语音合成（CosyVoice）**：支持 cosyvoice-v3-flash，仅支持 SFT 高效微调，且仅通过 API 发起。 + +## 文件管理前置 + +多数多模态场景（文档解析、视频理解、批量任务等）都需要先通过文件管理 API 上传文件。典型流程为"先上传、再引用、后清理"： + +1. 调用上传接口将文件送入平台，获取文件标识。 +2. 在多模态模型 API 调用中传入该文件标识。 +3. 使用完毕后按需删除文件，释放存储资源。 + +上传前需确认目标模型支持的文件类型与大小限制，文件标识是后续调用的关键，需妥善保存。 + +## 关键参数速查 + +| 参数 | 所属场景 | 说明 | +| --- | --- | --- | +| `modalities` | 实时多模态交互 | 输出模态：`["text"]` 或 `["text","audio"]` | +| `input_audio_format` | 实时多模态交互 | 输入音频格式，仅支持 `pcm`（16kHz） | +| `output_audio_format` | 实时多模态交互 | 输出音频格式，仅支持 `pcm`（24kHz） | +| `voice` | 实时多模态交互 | 音色名称，因模型而异 | +| `turn_detection.type` | 实时多模态交互 | VAD 类型：`server_vad` / `semantic_vad` | +| `dimensions` | 多模态向量 | 自定义向量维度（部分模型支持） | +| `training_type` | 多模态微调 | 训练方式：`sft` / `cpt` / `dpo` | ## 关联主题页 +- [file management api](../api/file-management-api.md) - [omni realtime api](../api/omni-realtime-api.md) -- [image generation](../api/image-generation.md) -- [video generation api](../api/video-generation-api.md) -- [3d generation](../api/3d-generation.md) +- [vector and sort](../api/vector-and-sort.md) +- [fine tuning](../guides/fine-tuning.md) - [model experience](../guides/model-experience.md) +- [realtime api user guide](../guides/realtime-api-user-guide.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md b/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md index a4fbcd2b..3530409a 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md @@ -1,75 +1,97 @@ -# OpenAI 兼容接口 +# OpenAI兼容接口 -OpenAI 兼容接口是百炼平台提供的一套遵循 OpenAI API 规范的服务入口，让已有 OpenAI 应用只需替换 `api_key`、`base_url` 和 `model` 三项即可迁移到百炼，无需改动业务逻辑，是接入成本最低的调用方式。 +OpenAI兼容接口是阿里云百炼平台提供的一套与 OpenAI API 规范对齐的调用入口，开发者无需改动现有 OpenAI 客户端库和业务代码，仅需替换 [API Key](api-key.md)、Base URL 和模型名称三项即可完成迁移。该接口覆盖 Chat Completions、Responses、Completions、Embedding、文件、Batch、Conversations 等能力，是迁移成本最低、生态兼容性最广的接入方式。 -## 在百炼平台的使用场景 +## 核心接口类型 -OpenAI 兼容接口贯穿百炼的多类使用场景： +百炼的 OpenAI 兼容体系包含以下几类接口，功能定位各有侧重： -- **文本生成模型调用**：作为四类接口（OpenAI 兼容 Chat Completions、OpenAI 兼容 Responses、Anthropic 兼容 Messages、DashScope 原生）中迁移成本最低的一类，适合已基于 OpenAI SDK 构建的应用平滑迁移。其中 Chat Completions 为最常用入口，支持非流式、流式与工具调用（function call）；Responses 为其演进版本，内置联网搜索、代码解释器、网页抓取等工具，并通过 `previous_response_id` 自动管理多轮上下文。 -- **接入第三方客户端与开发工具**：Cherry Studio、Chatbox、Cursor、Cline、Dify 等聊天客户端和编程工具，统一通过「Base URL + API Key + 模型 ID」以 OpenAI 兼容协议接入百炼网关。 -- **专用模型调用**：`tongyi-intent-detect-v3`（意图理解）、`qwen-mt-plus`（翻译）、`qwen3.5-ocr`（OCR）、`gui-plus`（界面交互）等专用模型多数支持 OpenAI 兼容接口调用（注意 `qwen-deep-research` 仅支持 Python DashScope SDK，Qwen-Audio 仅支持 DashScope 协议）。 -- **智能体与工作流应用调用**：应用可通过 OpenAI 兼容的 Responses API 调用，支持同步/异步、多轮对话与[流式输出](streaming-output.md)。 +- **Chat Completions（对话补全）**：最常用的兼容接口，支持非流式、[流式输出](streaming.md)和函数调用（function call）。支持 Qwen 全系列大语言模型、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math，以及 DeepSeek、Kimi、GLM、MiniMax 等第三方模型。 +- **Responses（智能体原生接口）**：Chat Completions 的演进版本，内置联网搜索、网页抓取、代码解释器、文搜图/图搜图等工具，输入可直接传字符串，通过 `previous_response_id` 自动管理多轮上下文，无需手动拼接消息历史。 +- **Conversations（会话管理）**：提供会话的创建、查询、更新、删除及消息项管理，配合 Responses API 可自动注入历史上下文。 +- **Completions（文本补全）**：专为代码补全、内容续写设计，当前仅支持 `qwen-coder-turbo`，且仅适用于华北2（北京）地域。 +- **Embedding、文件、Batch**：向量化、文件上传与批量推理等辅助能力。 -## 关键参数与配置 +## 迁移三要素 -迁移与调用的核心是配置以下三要素： +将 OpenAI 应用迁移到百炼，核心是配置以下三项： -- **`api_key`**：使用百炼 API Key。各地域、各计费方案的 API Key **相互独立、不能混用**，建议配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄露。若 Base URL 与 API Key 不配套会返回 401。 -- **`base_url`**：OpenAI SDK 调用统一以 `/compatible-mode/v1`（部分方案为 `/v1`）结尾；HTTP 调用需在其后追加具体资源路径（如 `/chat/completions`、`/responses`、`/embeddings`、`/files`）。各地域 SDK Base URL 示例： - - 华北2（北京）：`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` - - 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` - - 日本（东京）：`https://{WorkspaceId}.ap-northeast-1.maas.aliyuncs.com/compatible-mode/v1` - - 德国（法兰克福）：`https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` - - 美国（弗吉尼亚）：`https://dashscope-us.aliyuncs.com/compatible-mode/v1` +- **`api_key`**：替换为百炼 [API Key](api-key.md)。各地域的 [API Key](api-key.md) 不同，切换地域时需同步更换。建议配置到环境变量 `DASHSCOPE_API_KEY` 以降低泄露风险。 +- **`base_url`**：统一使用 `/compatible-mode/v1` 路径；HTTP 调用在其后追加具体资源路径（如 `/chat/completions`、`/responses`、`/embeddings`）。 +- **`model`**：替换为百炼支持的模型名称（如 `qwen-plus`、`qwen3-max`、`qwen3-coder-plus`）。 - 其中 `{WorkspaceId}` 为业务空间 ID，可在控制台业务空间详情页查看。北京、新加坡地域推荐使用业务空间专属域名以获得更好的性能与稳定性。 -- **`model`**：替换为百炼支持的模型名称（如 `qwen-plus`、`qwen3-max` 等）。 +## Base URL 与地域 -常用请求参数： +各地域的 SDK Base URL（[业务空间](workspace.md)专属域名，推荐用于生产环境）： -- `messages`（array，必选）：对话消息列表，每条含 `role`（system/user/assistant）与 `content`。 -- `stream`（bool，可选）：是否[流式输出](streaming-output.md)；流式统计 Token 需配合 `stream_options={"include_usage": True}`。 -- 部分专用模型的特有参数（如 Qwen-MT 的 `translation_options`、Qwen-OCR 的 `min_pixels`/`max_pixels`）在 OpenAI SDK 中通过 `extra_body` 传入。 +| 地域 | Base URL | +| --- | --- | +| 华北2（北京） | `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| 新加坡 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 日本（东京） | `https://{WorkspaceId}.ap-northeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` | +| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | -## 调用示例 +其中 `{WorkspaceId}` 为[业务空间](workspace.md) ID，可在百炼控制台查看。此外还有 Dashscope 旧域名（兼容存量业务，建议迁移）和试用域名（快速验证，限流值小）。 -以北京地域业务空间专属域名为例（Python）： +不同计费方案的 Base URL 也不互通： -```python -import os -from openai import OpenAI +| 计费方案 | OpenAI 兼容协议 Base URL | +| --- | --- | +| [Token](token.md) Plan | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| Coding Plan | `https://coding.dashscope.aliyuncs.com/v1` | +| 按量计费（北京） | `https://dashscope.aliyuncs.com/compatible-mode/v1` | -client = OpenAI( - api_key=os.getenv("DASHSCOPE_API_KEY"), - base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", -) -completion = client.chat.completions.create( - model="qwen-plus", - messages=[ - {"role": "system", "content": "You are a helpful assistant."}, - {"role": "user", "content": "你是谁？"}, - ], -) -print(completion.choices[0].message.content) -``` +## 关键参数 -OpenAI Python SDK 要求 Python ≥ 3.8。 +### 通用参数 + +- `model`（string，必选）：模型名称。 +- `messages`（array，必选）：对话消息列表，按顺序排列，每条包含 `role`（user/assistant/system）和 `content`。 +- `stream`（bool，可选）：是否[流式输出](streaming.md)，配合 `stream_options={"include_usage": True}` 可返回 [Token](token.md) 统计。 +- `tools` / `tool_choice`（可选）：函数调用（function call）配置。 + +### Responses 接口特有参数 + +- `input`（string / array，必选）：请求输入，可为简单字符串或包含多轮历史的消息数组。 +- `previous_response_id`（string，可选）：传入上一轮响应的顶层 `id`（`resp_xxx` 格式）以自动管理上下文，有效期为 7 天。 +- `background`（bool，可选）：是否异步执行，默认 `false`。 + +### 应用调用特有参数 + +调用智能体或[工作流](workflow.md)应用时，Responses API 的 Base URL 需替换为应用专属路径：`https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/`，并需提供 APP ID（及子[业务空间](workspace.md)场景下的 Workspace ID）。 + +## 使用场景 + +- **已有 OpenAI 应用迁移**：仅改 `api_key`、`base_url`、`model` 三项，无需改动业务逻辑。 +- **第三方工具接入**：Cherry Studio、Chatbox、Cline、Dify 等客户端和开发工具通过 OpenAI 兼容协议接入，配置 Base URL 和 API Key 即可使用。 +- **专用模型调用**：`tongyi-intent-detect-v3`（意图理解）、`qwen-mt-plus`（翻译）、`qwen3.5-ocr`（OCR）、`gui-plus`（界面交互）等专用模型均可通过 OpenAI 兼容接口调用，部分模型通过 `extra_body` 传递专属参数。 +- **[智能体应用](agent-application.md)调用**：通过 Responses API 调用百炼智能体和[工作流](workflow.md)应用，支持同步/[异步调用](async-invocation.md)、[流式输出](streaming.md)和[多模态](multimodal.md)输入。 ## 注意事项 -- **协议路径区分**：OpenAI 协议 Base URL 以 `/compatible-mode/v1`（或 `/v1`）结尾，Anthropic 协议以 `/apps/anthropic` 结尾；部分工具还要求在 Anthropic 端点后追加 `/v1`，以各工具原文为准。 -- **接口能力差异**：DashScope 原生接口参数最全；若依赖联网搜索、代码解释器等内置工具，需使用 Responses 而非普通 Chat Completions。跨接口迁移时需核对参数映射。 -- **旧路径迁移**：Responses、Conversations 接口的旧版路径 `/api/v2/apps/protocols/compatible-mode/v1/...` 即将停止维护，请迁移至新版 `/compatible-mode/v1/...`。 -- **地域约束**：Base URL、API Key 和模型列表均不能跨地域混用；限流按主账号维度合并计算。 +- 三方直供模型仅在中国站的中国内地地域可用，调用前需在百炼控制台开通对应服务。 +- Qwen-Audio 不支持 OpenAI 兼容协议，仅支持 DashScope 协议；`qwen-deep-research` 同样暂不支持 OpenAI 兼容接口，仅支持 Python DashScope SDK。 +- 不同接口在参数集合和功能覆盖上存在差异：DashScope 原生接口参数最全，OpenAI 兼容接口以 OpenAI 生态字段约定为准，跨接口迁移时需核对参数映射。 +- [Token](token.md) Plan 和 Coding Plan 仅限 AI 编程工具中使用，不支持接入[工作流](workflow.md)平台或自定义应用程序，违规使用可能导致 API Key 被封禁。 +- Base URL 必须与同一计费方案的 API Key 配套使用，否则报错 401。 + +## 来源文档 + +- [文本生成模型API参考](../../raw/model-api-reference/qwen-api-reference.md) +- [OpenAI Chat接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md) +- [OpenAI Responses接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md) +- [首次调用千问API](../../raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md) +- [Base URL总览](../../raw/model-user-guide/get-started-with-models/base-url.md) +- [更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md) ## 关联主题页 - [qwen api reference](../api/qwen-api-reference.md) - [toolkits and frameworks](../api/toolkits-and-frameworks.md) -- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) - [get started with models](../guides/get-started-with-models.md) - [more models](../api/more-models.md) +- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) - [application call](../api/application-call.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md b/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md index 6241b301..13bea8d8 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md @@ -1,74 +1,77 @@ -# 提示词工程 +# Prompt工程 -提示词工程（Prompt Engineering）是通过设计、组织与优化 Prompt 来引导大模型生成符合预期结果的方法论。在百炼平台中，它贯穿智能体配置、[工作流](workflow.md)节点、模型直调与多模态生成等几乎所有 LLM 场景，并提供模板化管理、自动优化、样例库与反馈优化等成熟能力。 +Prompt工程是指在百炼平台中通过结构化、模板化、自动优化等手段系统性地设计和改进提示词（Prompt），以提升大模型输出的准确性、稳定性和可控性。百炼围绕 Prompt 的全生命周期提供了一整套工具链，涵盖模板管理、自动优化、反馈迭代、样例注入以及多模态结构化指南。 -## 在百炼中的使用方式 +## 在百炼平台中的使用场景 -### 1. 直接编写 System Prompt +### Prompt 模板管理 -最基础的形态是在智能体应用的「系统提示词」中定义角色、行为指令与能力边界，支持通过 `/` 引用自定义变量。[工作流](workflow.md)应用的大模型节点同样通过「提示词 + 用户提示词」驱动推理。Prompt 越清晰、具体、无歧义，模型表现越稳定。 +Prompt 模板将提示词的固定结构与动态变量分离，实现可复用的统一管理。模板分为**预置模板**和**自定义模板**两类： -### 2. Prompt 模板（结构与变量分离） +- **预置模板**：由平台提供，涵盖营销文案、摘要抽取、文案润色、商品评论等通用场景，已优化且效果稳定，不支持直接修改，但可复制后编辑。 +- **自定义模板**：支持控制台创建（"自定义创建"或"基于 Prompt 工程创建"）和 API 创建（`CreatePromptTemplate` 接口）。自定义模板支持文本生成和图片生成两种类型。 -将固定结构与动态变量分离，统一管理、复用，是团队协作与版本一致性保障的推荐做法。入口位于控制台「应用开发 > 组件管理 > 提示词」。 +模板使用方式包括：控制台中点击"创建应用"将模板内容自动填充到智能体应用的提示词编辑框；或通过 `GetPromptTemplate` 接口拉取模板内容，将业务数据填入变量后生成最终 Prompt 发送给目标模型。提示词最大支持 6144 个字符。 -- **预置模板**：平台提供，覆盖创意文案、办公助理等通用场景，效果稳定、不可修改。 -- **自定义模板**：用户自行设计，支持「自定义创建」（直接粘贴现成 Prompt，可选「优化 Prompt」润色）和「基于 Prompt 工程创建」（选择 ICIO / CRISPE / RASCEF 框架，按字段结构化填写）两种模式。 +> Prompt 模板功能目前仅适用于华北2（北京）地域。 -框架选型建议： +### Prompt 自动优化 -| 框架 | 适用场景 | -| --- | --- | -| ICIO | 简单、明确的任务执行，如数据分析、内容生成、文本摘要 | -| CRISPE | 需要 AI 扮演特定角色的交互，如智能客服、创意写作 | -| RASCEF | 涉及多步骤的复杂业务流程，如项目规划、战略分析 | +当手动编写高质量 Prompt 成本较高时，可使用自动优化功能。该功能利用大模型对原始 Prompt 进行分析和重写，优化策略包括结构重组、角色扮演引导、指令增强、安全与边界注入。操作路径为"应用开发 > 组件管理 > 提示词 > 自动优化"。该功能不额外计费，且提交的数据不会被存储或用于模型训练。 -> 注意：Prompt 模板相关功能仅适用于华北2（北京）地域，使用前请确认业务空间所在地域。 +### Prompt 反馈优化 -### 3. Prompt 自动优化 +反馈优化基于用户提供的输入输出样例进行多轮自动化评估和迭代，生成更贴合实际业务场景的 Prompt。流程为：选择推理模型（推荐千问-max）→ 输入初始 Prompt → 上传样例数据（建议 5-10 条）→ 上传评测数据（建议至少 20 条）→ 系统自动多轮评测与优化。优化后的 Prompt 包含原始 Prompt、few-shot 样例和自动生成的内容提示三部分。 -当缺乏经验或手动编写耗时，可在「提示词 > 自动优化」页面输入原始 Prompt，由大模型进行结构重组、角色扮演引导、指令增强、安全与边界注入等重写，生成结构更优的新版本。该功能不计费，提交数据不会被存储或用于训练。优化失败常见原因：输入超长超出 Token 限制、触发内容审核、网络或服务临时不可用。 +### Prompt 样例库 -### 4. Prompt 样例库（Few-shot 检索） +采用少样本学习（Few-shot learning）思路，从预定义的高质量问答对中检索相关样例注入模型上下文，引导模型生成更准确、风格更一致的回复。适用于智能客服、特定领域知识问答、格式化内容生成等场景。该功能已不再维护，推荐将数据迁移到 RAG 表格库。 -针对特定领域专业任务，从预定义的高质量问答对中检索相关样例注入上下文，引导模型生成更准确、风格更一致的回复。适用于智能客服、特定领域问答、格式化内容生成。注意该功能已不再维护，官方推荐迁移到 RAG 表格库。 +### 多模态 Prompt 指南 -### 5. Prompt 反馈优化 +百炼为不同模态提供结构化 Prompt 指南，核心思路一致：用框架化结构替代模糊描述，描述越完整精确，生成质量越高。 -基于输入输出样例与评测数据，多轮自动评估、反思、优化 Prompt，涉及推理调用。适合对输出质量有持续提升需求的闭环场景。 +- **文生文**：推荐"背景、目的、风格、语气、受众、输出"六要素框架。 +- **文生图**：基础公式（主体 + 场景 + 风格）和进阶公式（主体描述 + 场景描述 + 定义风格 + 镜头语言 + 氛围词 + 细节修饰），支持 `prompt_extend` 智能改写和 `negative_prompt` 反向提示词。 +- **文生视频**：在图像基础上增加"运动"维度，进阶公式为"主体描述 + 场景描述 + 运动描述 + 美学控制 + 风格化"，支持多镜头连贯叙事和参考生视频。 +- **Vidu 视频生成**：公式为"主体/场景 + 场景描述 + 环境描述 + 艺术风格/媒介"，通过关键词词典触发动态控制、运镜和特效。 -## 关键参数与配置 +### 模型评测中的 Prompt -### 智能体应用 +模型评测场景中涉及两类 Prompt：**评分器 Prompt**配置于评测维度，指导裁判模型如何对被评测模型的回答打分，长度不超过 50000 字符，至少包含一个变量（`${prompt}`、`${output}`、`${completion}`）；**System Prompt**配置于评测任务，为被评测模型设定角色定位或行为规范，通常可留空。 -- **系统提示词最大长度**：6144 字符（从模板「使用 [prompt](../guides/prompt.md) > 创建应用」时自动填充到此上限）。 -- **模型参数**：`temperature`、最长回复长度、`enable_thinking`（开启思考模式以提升反思效果，仅支持思考模式模型）。 -- **变量引用**：在系统提示词中通过 `/` 嵌入自定义变量，运行时由业务数据填充。 +## Prompt 工程框架 -### 多模态生成 +百炼平台内置三种 Prompt 工程框架，可在创建自定义文本生成模板时选用： -- **文生图**：`prompt`（正向）、`negative_prompt`（反向，描述不希望出现的内容）、`prompt_extend`（V2 专用，大模型智能改写，默认 `true`）。基础公式 `主体 + 场景 + 风格`，进阶公式追加镜头语言、氛围词与细节修饰。 -- **文生视频**：基础公式 `主体 + 场景 + 运动`，进阶公式 `主体描述 + 场景描述 + 运动描述 + 美学控制 + 风格化`；图生视频简化为 `运动 + 运镜`。wan2.7 起单/多镜头由提示词控制，不再使用 `shot_type`。 +| 框架 | 组成要素 | 适用场景 | +|------|----------|----------| +| **ICIO** | 指令、背景信息、补充数据、输出格式 | 简单明确的任务，如数据分析、内容生成、文本摘要 | +| **CRISPE** | 角色与能力、背景信息、任务、输出风格、输出范围 | 需要 AI 扮演特定角色的交互，如客服、创意写作 | +| **RASCEF** | 角色、行动、步骤、上下文、示例、格式 | 多步骤复杂业务流程，如项目规划、战略分析 | -### 模板调用 API +## 关键参数与限制 -- **创建模板**：`CreatePromptTemplate`，需先获取 Workspace ID。 -- **获取模板**：`GetPromptTemplate`，传入 `workspaceId` 与 `promptTemplateId`，返回 `content`、`variables` 等字段，在代码中填充变量后调用模型。相比字符串拼接，可实现逻辑与内容分离、集中管理与版本一致。 +| 参数/限制项 | 值 | +|-------------|-----| +| 提示词最大字符数 | 6144 | +| 评分器 Prompt 最大长度 | 50000 字符 | +| 单个样例库容量 | 300 条样例 | +| 单应用关联样例库数 | 5 个 | +| 单次召回片段数 | 最多 10 个 | +| 批量导入文件大小 | 20MB（Excel） | +| 单次导入条数 | 100 条 | +| Prompt 模板可用地域 | 仅华北2（北京） | -## 设计要点 +## API 接口 -1. **结构化优先**：复杂任务优先采用 ICIO/CRISPE/RASCEF 框架或「背景-目的-风格-语气-受众-输出」六要素，避免笼统指令。 -2. **变量分离**：把不可变的结构与可变的业务数据拆开，通过模板或 `/` 变量注入，便于复用与协作。 -3. **样例引导**：对风格或格式敏感的任务，用 Few-shot 样例或反馈优化建立闭环，持续校准输出。 -4. **正反向结合**：图片与视频生成场景同时使用正向与反向 Prompt 精确控制画面内容。 -5. **迭代验证**：结合在线调试面板与评测能力，对 Prompt 变更做回归验证后再发布。 +Prompt 模板的生命周期管理通过应用组件 OpenAPI（`bailian/2023-12-29`）实现，核心接口包括 `CreatePromptTemplate`、`GetPromptTemplate`、`UpdatePromptTemplate` 等。调用时需提供 `workspaceId`（业务空间 ID），RAM 子账号需授予百炼 API 权限并加入对应业务空间。接口采用 ROA 签名风格，官方已封装多语言 SDK。 ## 关联主题页 - [prompt](../guides/prompt.md) -- [start using](../guides/start-using.md) -- [llm application](../guides/llm-application.md) - [use cases](../guides/use-cases.md) +- [model evaluation introduction](../guides/model-evaluation-introduction.md) - [application component api reference](../api/application-component-api-reference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md b/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md index f5102324..d4bd0c7a 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md @@ -1,62 +1,77 @@ -# 检索增强生成（RAG） +# 检索增强生成 -检索增强生成（Retrieval-Augmented Generation, RAG）是一种在大模型生成回答前，先从外部知识库检索语义相关内容、再将其与用户问题一起送入模型的技术。它为大模型补充私有数据和最新信息，从而显著提升在特定领域问题上的准确性、降低幻觉。 +检索增强生成（RAG, Retrieval-Augmented Generation）是一种在大模型生成回答前，先从外部知识库中检索相关文档切片的技术方案，用于弥补大模型在私有数据和最新信息上的不足。阿里云百炼平台围绕 RAG 构建了完整的知识库管理、检索、问答和应用集成能力。 -## 在百炼平台的使用场景 +## 在百炼平台中的使用场景 -百炼把 RAG 拆成「建立索引 → 检索召回 → 生成答案」三个阶段，并在不同层面提供了对应能力： +### 知识库构建 -- **云端知识库（控制台）**：进入知识库按「填写基础信息 → 配置数据来源 → 设置索引参数」三步建库，创建时选定类型（文档搜索 / 数据查询表格库 / 图片问答 / 音视频搜索，创建后不可更改），随后关联到智能体应用、工作流应用或外部应用。工作流应用中知识库节点须接在开始节点之后、大模型节点之前，并在大模型提示词中引用 `result` 变量。注意：知识库功能仅在中国站**华北2（北京）**地域可用。 -- **知识检索服务**：面向多知识库联合检索（最多 15 个），提供 Query 改写、混合检索（向量+关键词）、Rerank 排序的流水线。 -- **知识问答服务**：在检索基础上由大模型生成自然语言回答，提供**极速模式**（单轮检索+生成）与**多轮智能模式**（Agentic 多轮规划搜索），并支持文件预解析、拒答、防泄漏、多模态回复、引用来源等生成控制。 -- **应用场景接入**：围绕「RAG + 智能体应用」可将问答能力接入网站、企业微信、微信公众号、钉钉等渠道；也支持基于本地知识库构建 RAG 应用（检索在本地执行、生成调用通义千问 API），适合需要灵活切分与自定义嵌入模型的场景。 -- **框架集成**：LlamaIndex（Python）可构建云端知识库与 RAG 应用；Spring AI Alibaba（Java）可集成智能体/工作流应用并检索百炼知识库。 +百炼知识库是 RAG 的数据底座，支持四种类型，创建后不可更改： -## HTTP REST 接口 +- **文档搜索**：非结构化文档的语义检索，支持基础文档问答、视觉理解（富文本文档，使用 qwen3-vl-embedding [多模态](multimodal.md)向量模型）和极速问答（低延迟 FAQ 场景）三种场景。 +- **数据查询**：结构化数据（Excel/CSV）检索，单库仅支持 1 篇文件。 +- **图片问答**：使用 multimodal-embedding-v1 模型（1024 维）。 +- **音视频搜索**：语音识别 + 视频帧提取 + 剧情解析。 -除控制台外，百炼提供 DashScope 应用网关体系的两个 REST 接口，用 API Key Bearer 鉴权，Base URL 形如 `https://{workspaceId}.cn-beijing.maas.aliyuncs.com`： +文档解析方式包括电子文档解析（最快）、文档智能解析（提取插图摘要）、大模型文档解析（深度理解图表）、Qwen VL 解析（图片专用）和音视频解析。推荐使用**智能切分**策略，基于语义相关性自适应选择切片点，单个切片最大 6,000 [Token](token.md)。 -| 接口 | 路径 | 说明 | +### 检索流程 + +检索管线为：Query 改写（可选）→ 向量检索 + 关键词检索 → Rerank 排序 → 返回结果。 + +| 参数 | 说明 | 取值范围 | | --- | --- | --- | -| 知识检索 | `POST /api/v1/indices/knowledge/search` | 跨多个知识库联合语义检索，返回按相关性排序的切片，适合需自定义生成流程的场景 | -| 知识问答 | `POST /api/v2/apps/knowledge/chat` | 基于知识库的智能问答，通过 SSE 流式返回规划、工具调用、生成三个阶段 | +| 相似度阈值 | 过滤排序后分数低于阈值的切片 | 0.01~1.0 | +| 最大召回数量 | 单知识库排序后返回的切片数 | 1~20 | +| 初步向量检索 TopK | 向量语义召回的切片数 | 1~100（默认 50） | +| 初步关键词检索 TopK | 关键词匹配召回的切片数 | 1~100（默认 50） | +| 排序模型 | qwen3-rerank（文本）/ qwen3-rerank(hybrid) / qwen3-vl-rerank（[多模态](multimodal.md)） | — | +| 排序模型模式 | 问答模式（QA 匹配）/ 相似模式（语义相似度）/ 自定义高级模式 | — | + +相似度阈值过高会丢弃所有切片导致无召回，需通过命中测试反复调试。排序模型费用取决于初步召回的总切片数而非最终返回数，降低初步 TopK 可显著降低成本。 + +### 知识检索与知识问答 + +- **知识检索服务**：支持多知识库联合检索（最多 15 个），每个库可独立配置检索参数。全局配置包括知识库路由（依赖大模型判断检索范围）、混排模型和全局最大召回数量。 +- **知识问答服务**：基于大模型结合检索结果生成自然语言回答，支持极速模式（单轮检索，低延时，适合简单问题）和多轮智能模式（Agentic 多轮规划，自动意图识别、Query 改写、知识库路由，适合复杂问题）。 -默认用户维度 25 QPS。此外还有 `CreateIndex`、`Retrieve` 等 OpenAPI RPC 接口用于建库流程。 +### 应用集成 -## 关键参数与配置 +RAG 能力可挂载到[智能体应用](agent-application.md)和[工作流](workflow.md)应用中。知识库调用方式支持必定调用、智能调用和旧版调用三种。文件问答支持全文引用、切片检索和自定义处理三种模式。 -检索效果主要由以下参数决定，可在命中测试、检索服务与问答服务中反复调优： +百炼 RAG 应用可通过 AppFlow 无代码接入网站、企业微信、微信公众号和钉钉等渠道，通用流程为：创建[智能体应用](agent-application.md)并获取 [API Key](api-key.md) → 在目标平台创建应用获取凭证 → 通过 AppFlow 模板创建连接流 → 配置消息接收地址 → 挂载知识库。 -- **相似度阈值（0.01~1.0）**：仅语义相似度高于阈值的切片会被召回。阈值过高会导致相关切片被全部丢弃（如调至 0.60 可能无召回）。 -- **初步向量检索 TopK / 初步关键词检索 TopK（1~100，默认各 50）**：控制初步召回数量，直接影响送入 Rerank 的 Token 量与成本。 -- **最大召回数量 / 召回片段数（1~20）**：最终提供给大模型的切片数，对总结、列举、比较类复杂问题应适当调大。 -- **权重**：多知识库联合召回时干预排序，仅在**同类型知识库之间**生效。 -- **排序模型（Rerank）**：纯文本可选 `qwen3-rerank` / `qwen3-rerank(hybrid)`，多模态可选 `qwen3-vl-rerank`；`gte-rerank` 将于 2026-05-30 下线，新项目直接选 `qwen3-rerank`。 -- **向量模型（Embedding）**：将文本/图片/视频编码到同一语义空间，供余弦相似度匹配。云端知识库使用官方向量模型；本地方案可改用自部署 GTE 模型。 -- **Meta 信息抽取与标签过滤**：在向量检索前做结构化筛选，精准定位目标文件；元数据只能在创建知识库时配置，创建后无法开启。 +### 框架集成 -在框架（LlamaIndex）中对应的参数为：`similarity_top_k`（召回数）、`similarity_cutoff`（最低相似度阈值）、`top_n`（重排后返回数），可通过 `node_postprocessors`（`SimilarityPostprocessor`、`DashScopeRerank`）做后处理。 +| 框架 | 语言 | 主要能力 | +| --- | --- | --- | +| LlamaIndex | Python 3.9+ | 上传本地文件构建云端知识库、检索引擎与 RAG 应用 | +| Spring AI Alibaba | Java（Spring Boot 3.x, JDK 17+） | 调用智能体/[工作流](workflow.md)应用、检索百炼知识库 | + +LlamaIndex 路线将知识库部署在云端，使用默认智能切分与官方向量模型，不支持自定义切分和嵌入模型。如需灵活控制，应改用本地知识库方案。 + +### 本地知识库 RAG -## 效果优化建议 +检索环节在本地执行，生成环节调用通义千问 API，适合需要自定义切分与嵌入模型的场景。可选模型包括 qwen-max（性能最优）、qwen-turbo（速度快、价格低）和 qwen-plus（效果与成本均衡）。嵌入模型默认使用百炼 embedding API，也可改用本地部署的 GTE 文本向量模型。 -优化前建议用自动评测建立至少 100 组用例的基线，再针对失败用例（打分 < 4）诊断改进： +### API 集成 -- **检索无效（没找到）**：补充知识、优化源文件排版（推荐转 Markdown、移除水印、避免复杂表格）、统一实体表述、启用多轮对话改写。 -- **召回不相关**：使用标签过滤或元数据做结构化搜索。 -- **切片不完整**：采用「智能切分」（基于语义自适应切分），并人工检查修正异常切片。 -- **重排不佳**：在漏召回与噪声之间平衡相似度阈值与召回片段数。 +通过阿里云百炼 SDK 可实现知识库的自动化操作，子账号需获取 AliyunBailianDataFullAccess 策略权限并加入[业务空间](workspace.md)。标准流程为：申请上传租约 → 上传文件 → 添加文件到类目 → 查询解析状态 → 创建知识库 → 提交索引任务 → 查询任务状态。接入地址为 `bailian.cn-beijing.aliyuncs.com`。 -## 监控 +## 关键注意事项 -所有检索调用以日志形式投递到日志服务（SLS），topic 为 `log_dispatch`，含 `request_id`、`pipeline_id`（知识库 ID）、`workspace_id`、`latency`、`response_status_code` 等字段，可用于审计、用量统计与慢查询/错误率监控。SLS 存储与流量单独计费，关闭检索日志开关只停止新投递，历史日志仍保留计费。 +- 知识库规格分标准版（1 QPS，≤100 GB）和旗舰版（50-10,000 QPS，≤9,999 GB），按需选择。 +- metadata 抽取在知识库创建后无法再配置，需在创建时规划好。 +- 知识库功能仅支持中国站华北2（北京）地域。 +- 向量模型方面，文档搜索/数据查询/音视频搜索类知识库支持 text-embedding-v4 和 text-embedding-v3（均为 512 维），图片问答类仅支持 multimodal-embedding-v1（1024 维），视觉理解场景自动切换为 qwen3-vl-embedding。 ## 关联主题页 - [knowledge base](../guides/knowledge-base.md) -- [frameworks](../api/frameworks.md) - [application use cases](../guides/application-use-cases.md) -- [vector and sort](../api/vector-and-sort.md) -- [knowledge](../api/knowledge.md) - [use cases](../guides/use-cases.md) +- [frameworks](../api/frameworks.md) +- [application component api reference](../api/application-component-api-reference.md) +- [start using](../guides/start-using.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md b/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md index c43445dd..d713cb47 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md @@ -1,71 +1,139 @@ # 限流与配额 -限流与配额是百炼平台对模型推理调用施加的吞吐量与调用频率约束，用以保障公共推理资源的公平使用和整体稳定性；当业务流量超过共享上限或需要刚性容量保障时，可通过专属域名、TPM 预留、PTU 部署或异步通知等手段规避限流影响。 +限流与配额是百炼平台对各 API 接口、模型调用吞吐量及资源使用量施加的访问控制机制，用于保障平台整体稳定性，同时为开发者提供可预期的服务边界。在百炼的模型推理、异步任务管理、文件上传、应用组件 API 等不同场景中，限流的维度、阈值和处理策略各不相同。 -## 限流的产生场景 +## 限流的类型与维度 -百炼模型调用主要在以下维度受到约束： +百炼平台的限流主要分为以下几类： -- **TPM（Tokens Per Minute）**：每分钟可消耗的 Token 数上限，按主账号 + 业务空间 + 模型维度计算，超出会返回 `429` 限流错误。 -- **RPM（Requests Per Minute）**：每分钟请求数，RPM 越大建议 TPM 同比增大。 -- **QPS 限制**：部分通用接口有独立的 QPS 限制。例如异步任务管理（查询、批量查询、取消）三个接口统一限制为 20 QPS，按主账号 + 子账号维度计算。 -- **公共池共享**：按量付费方案无专属容量，调用进入公共共享池，受公共限流波动影响，业务高峰期可能被限流。 +| 限流类型 | 维度 | 典型场景 | 超限处理 | +| --- | --- | --- | --- | +| QPS 限流 | 每秒请求数（主账号维度） | 异步任务管理、文件上传、应用组件 API | 返回 429，需退避重试 | +| TPM 限流 | 每分钟 Token 数 | 模型推理调用 | 公共资源限流或溢出至按量计费 | +| RPM 限流 | 每分钟请求数 | 模型单元部署 | 部署时自行设定上限 | +| 容量配额 | 预付费锁定的吞吐量 | PTU / TPM 预留 | 自动溢出或返回 429 | -监控页面的「错误」指标中专门提供**限流错误次数（429）**，可用于定位限流问题；「性能」指标中的 RPM、TPM 则帮助评估容量是否接近上限。 +## 模型推理场景 -## 不同方案下的限流行为 +### 公共 TPM 限流 -| 方案 | 容量保障 | 超额处理 | 接入改动 | -| --- | --- | --- | --- | -| 按量付费 | 无（共享公共池） | 自动服务，受公共限流 | 无需改动 | -| 资源包 / 节省计划 | 承诺用量折扣（非专属容量） | 超出转按量 | 无需改动 | -| TPM 预留 | 专属容量刚性兑付 | 超出自动降级公共池按量，不中断 | 替换 `model` 参数为专属模型 code | -| PTU（模型部署） | 专属部署实例 | 超出转按量 | 替换 `model` 参数 | +按量付费调用模型时，请求受公共资源池的 TPM（每分钟 Token 数）限制。不同模型和地域的 TPM 上限不同，高并发场景下可能触发限流。 + +### TPM 预留（容量保障） + +TPM 预留通过预付费方式锁定专属推理吞吐量，预留容量内的调用不与其他用户共享、不受公共资源限流影响。关键参数： + +| 参数 | 说明 | +| --- | --- | +| 输入 TPM | 预留输入吞吐量，单位 kTPM（1 kTPM = 1,000 Tokens/分钟） | +| 输出 TPM | 预留输出吞吐量，单位 kTPM | +| 付费周期 | 当前支持按天 | +| 购买时长 | 支持 1~30、60、90、120、365 天 | +| 溢出策略 | 自动溢出至按量计费（默认）/ 仅使用预留容量（返回 429） | + +溢出策略的两种选择： + +- **自动溢出至按量计费**：超出部分降级为按量计费，服务不中断，详情页可查看超额降级次数。 +- **仅使用预留容量**：超出返回 429，不产生额外费用。 + +创建 TPM 预留后，控制台生成专属 model code，将 API 请求中的 `model` 参数替换为该 code 即可使用预留容量。短时间请求量快速拉升时系统需短暂预热，预热期间可能出现延迟波动。 + +### PTU 预置吞吐 + +PTU（预置吞吐）是另一种容量保障方式，适用于高负载生产环境。PTU 的溢出策略与 TPM 预留一致：可选「自动溢出」（切换为按量付费，业务不中断）或「仅使用 PTU 容量」（超出返回 429）。输入超过模型上限（千问 128K / DeepSeek 64K）时，一律自动转为按量计费。 + +部分 PTU 部署模型支持长输入阶梯系数和前缀缓存折扣，影响额度消耗： + +- **长输入阶梯系数**：超过 32K token 的输入按更高系数折算 TPM 消耗。例如 glm-5.1 在 [32K, 200K] 区间输入系数为 1.33、输出系数为 1.17。 +- **前缀缓存折扣**：命中缓存的输入 token 按折扣系数消耗额度。glm-5.1 折扣为 0.2，deepseek-v4-pro 折扣为 0.08。 + +API 响应中与额度相关的字段： + +| 字段 | 说明 | +| --- | --- | +| `service_tier` | `ptu-standard` 表示使用 PTU 额度；`default` 或不返回表示按量计费 | +| `provisioned_tokens` | 折算后实际消耗的 PTU 额度 token 数（含阶梯系数和缓存折扣） | +| `cached_tokens` | 前缀缓存命中的 token 数 | -当业务流量可预估且不能接受限流时，优先选择 TPM 预留；对极致性能与隔离有更高要求时，可考虑 PTU 专属部署。 +### 模型单元 -## 接入域名对限流的影响 +模型单元部署方式支持自定义性能指标，部署时可设置 `rpm_limit` 和 `tpm_limit` 参数来限制每分钟请求数和每分钟 Token 数。 -接入域名直接影响并发上限与超时表现： +## Base URL 与并发能力 -- **业务空间专属域名** `https://{WorkspaceId}.{region}.maas.aliyuncs.com`：生产推荐，请求超时 3600 秒、SLA 99.9%，提供更高吞吐与时延隔离。 -- **Dashscope 中心化域名** `https://dashscope.aliyuncs.com`：存量业务兼容，可跨业务空间调用。 -- **试用域名** `https://trial.{region}.maas.aliyuncs.com`：仅限快速验证，限流小，不建议生产。 +不同类型的 Base URL 在并发能力和超时设置上有差异，直接影响可获得的限流上限： -各地域的 API Key、模型列表、接入域名不能跨地域混用；美国（弗吉尼亚）暂不支持业务空间专属域名，需使用 `dashscope-us.aliyuncs.com`。 +| 域名类型 | 特点 | 请求超时 | +| --- | --- | --- | +| 业务空间专属（推荐） | 更高并发、更低延迟、空间级隔离 | 3600 秒 | +| Dashscope 域名 | 存量业务兼容，建议迁移 | 600 秒 | +| 试用域名 | 快速验证，限流值小 | - | -## TPM 预留的关键参数 +生产环境应使用业务空间专属域名以获得更高的并发上限和 SLA 保障（99.9%）。 -创建 TPM 预留时需指定输入 TPM 与输出 TPM，单位为 kTPM（1 kTPM = 1,000 Tokens/分钟），起步和步长因模型而异。容量计算受以下参数影响： +## 异步任务管理 API -- **每分钟请求数（RPM）**：业务高峰期每分钟请求数。 -- **平均输入/输出长度（token）**：输入越长，阶梯系数越大，所需输入 TPM 越高。 -- **预估缓存命中率（%）**：命中率越高，输入容量消耗越慢，所需输入 TPM 越低；仅影响输入 TPM。 +图像生成、视频生成等耗时模型采用异步调用机制，相关管理 API 有明确的 QPS 限制： -部分模型支持长输入阶梯系数和缓存折扣（如 glm-5.1 在 [32K, 200K] 区间输入系数 1.33、输出 1.17；deepseek-v4-pro 缓存命中部分按 8% 折算），TPM 容量计算器会自动应用这些参数。 +| 接口 | 限流 | +| --- | --- | +| 查询单个任务 `GET /tasks/{task_id}` | 20 QPS（主账号维度） | +| 批量查询任务状态 `GET /tasks/` | 20 QPS（主账号维度） | +| 取消任务 `POST /tasks/{task_id}/cancel` | 20 QPS（主账号维度） | -## 规避异步任务轮询限流 +批量查询任务状态时，单次查询时间跨度不超过 24 小时。已完成任务通常保留 24 小时后自动清理。 -图像/视频生成等耗时模型采用异步机制，频繁轮询结果接口会浪费资源并可能触发 20 QPS 限流。百炼已接入事件总线 EventBridge，任务完成（无论成功或失败）后主动上报 `dashscope:System:AsyncTaskFinish` 事件，可推送到 HTTP 回调 URL 或 RocketMQ 消息队列。通知方案不限流、实时性高，适合高并发、大规模或对实时性要求高的任务。 +为避免频繁轮询触发限流，推荐使用 EventBridge 事件通知机制，在任务完成后主动推送通知（事件类型 `dashscope:System:AsyncTaskFinish`），收到通知后只需调用一次查询接口即可获取结果。 -## 免费额度与配额停用 +## 文件上传 API -免费额度页面提供「免费额度用完即停」开关：开启后免费额度用尽时服务自动停止，返回 `403 AllocationQuota.FreeTierOnly`，避免产生免费额度以外的费用。仅在账户内仍有未消耗的免费额度时才能开启；关闭需等免费额度完全消耗后进行。 +多模态、图像、视频、音频模型调用时需要传入文件 URL。百炼提供临时存储空间上传本地文件： -## 应对限流的实践建议 +| 限制项 | 值 | +| --- | --- | +| 上传凭证接口限流 | 100 QPS | +| 单文件大小上限 | 1 GB | +| 文件有效期 | 48 小时 | +| 上传与调用的 API Key | 必须属于同一阿里云主账号 | -1. 生产环境优先迁移到业务空间专属域名，获得更高吞吐与时延隔离。 -2. 流量可预估且不能接受限流的核心业务，使用 TPM 预留锁定专属容量。 -3. 通过模型监控的限流错误次数（429）与 RPM/TPM 指标评估容量是否接近上限。 -4. 异步任务改用 EventBridge 通知方案，避免轮询触发 20 QPS 限制。 -5. 需要严格控制成本的场景，可开启「免费额度用完即停」避免超额消费。 +临时 URL 不适用于生产环境，生产环境建议使用阿里云 OSS 等稳定存储方案。 + +## 应用组件 API + +应用组件 API（`bailian/2023-12-29`）的限流普遍为 5-10 次/秒： + +| 接口 | 限流 | +| --- | --- | +| `ApplyFileUploadLease`、`AddFile`、`DescribeFile`、`DeleteFile` | 10 次/秒 | +| `ListCategory`、`AddCategory`、`ListFile`、`AddFilesFromAuthorizedOss` | 5 次/秒 | + +触发限流后需实现退避重试机制。应用组件 API 还存在资源配额限制，如每个业务空间最多 500 个类目、每文件最多 100 个标签（总长 ≤ 700）、批量删除单次最多 20 个文件等。 + +## 临时 API Key + +临时 API Key 具有有限时效，过期自动失效，相关参数： + +| 参数 | 范围 | 默认值 | +| --- | --- | --- | +| `expire_in_seconds` | [1, 1800] 秒 | 60 秒 | + +临时 API Key 继承生成它的永久 API Key 的全部权限，无法手动删除，到期后自动失效。各地域的 API Key 不同，新加坡地域需将 Endpoint 中的 WorkspaceId 替换为实际值。 + +## 最佳实践 + +1. **生产环境使用业务空间专属域名**：获得更高并发上限和 SLA 保障。 +2. **高负载场景使用容量预留**：通过 TPM 预留或 PTU 锁定专属吞吐量，避免公共限流影响。 +3. **异步任务用事件通知替代轮询**：避免频繁轮询触发 QPS 限流。 +4. **实现退避重试机制**：所有有限流的接口都应实现指数退避重试。 +5. **合理规划配额**：使用控制台提供的 TPM/PTU 额度计算器，根据 RPM、平均输入/输出长度、缓存命中率预估所需容量。 +6. **溢出策略选择**：对延迟敏感的业务选自动溢出，对成本敏感的业务选仅使用预留容量。 ## 关联主题页 -- [get started with models](../guides/get-started-with-models.md) -- [model high speed inference](../guides/model-high-speed-inference.md) -- [model monitoring](../guides/model-monitoring.md) - [more about models](../api/more-about-models.md) -- [use cases](../guides/use-cases.md) +- [model high speed inference](../guides/model-high-speed-inference.md) +- [get started with models](../guides/get-started-with-models.md) +- [application component api reference](../api/application-component-api-reference.md) +- [model deployment 1](../guides/model-deployment-1.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md b/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md index 82223a7f..200be832 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md @@ -1,47 +1,56 @@ # 流式输出 -流式输出（Streaming）是指服务端在生成内容的过程中，以增量分片（delta）的方式持续返回结果，而非等待全部内容生成完毕后一次性返回。它能显著降低首字延迟、改善实时交互体验，广泛用于对话、语音助手等场景。 +流式输出（Streaming）是指模型在生成响应时将内容分块逐步返回给客户端，而非等待全部生成完毕后一次性返回。百炼平台在文本生成、应用调用和实时[多模态](multimodal.md)交互等场景中均支持流式输出，可显著降低首字延迟、提升用户体验。 -## 在百炼平台的使用场景 +## 在不同场景中的使用 -百炼平台在多类接口中都支持流式输出，核心场景包括： +### 文本生成模型调用 -- **应用调用（Application Call）**：无论是 OpenAI 兼容的 Responses API 还是 DashScope 原生 API，调用智能体或工作流应用时均支持流式输出，可用于需要边生成边展示的实时交互场景。 -- **文本生成模型 API**：OpenAI 兼容 Chat Completions / Responses、Anthropic 兼容 Messages 以及 DashScope 原生接口均可开启流式返回，适合聊天补全类应用逐字/逐段渲染输出。 -- **实时多模态交互（Omni-Realtime API）**：基于 WebSocket 协议，流式是其原生工作方式。服务端通过一系列增量事件持续推送音频与文本，天然适配低延迟的语音对话场景。 +百炼的四类接口（OpenAI 兼容 Chat Completions、OpenAI 兼容 Responses、Anthropic 兼容 Messages、DashScope 原生接口）均支持流式输出。开发者只需在请求中设置 `stream` 参数为 `true` 即可启用，客户端以 SSE（Server-Sent Events）方式逐步接收模型输出的文本片段。 -## 关键参数与配置 +- **OpenAI 兼容接口**：通过 `stream: true` 启用，返回格式与 OpenAI 流式响应一致，可直接复用现有 OpenAI SDK 的流式处理逻辑。 +- **DashScope 接口**：同样支持流式参数，且提供最完整的功能集，适合需要使用平台全部能力的场景。 -### HTTP / SDK 接口 +### 智能体与[工作流](workflow.md)应用调用 -- **`stream`**：布尔值，控制是否开启流式输出，默认 `false`。设为 `true` 后，服务端以 SSE（Server-Sent Events）方式逐片返回结果。 - - 适用于 OpenAI 兼容 Responses API、DashScope API 等应用调用与模型调用接口。 -- 使用 SDK 时，开启 `stream=true` 后通过迭代响应对象逐步获取增量内容；部分接口可配合 `stream_options` 等参数控制是否返回用量统计等附加信息（以对应接口文档为准）。 +调用百炼智能体或[工作流](workflow.md)应用时，Responses API 和 DashScope API 均支持流式输出： -### Omni-Realtime（WebSocket） +| API | 流式参数 | 说明 | +| --- | --- | --- | +| Responses API（OpenAI 兼容） | `stream`（boolean，默认 `false`） | 设为 `true` 后逐步返回应用生成内容 | +| DashScope API | `stream`（boolean，默认 `false`） | 设为 `true` 后以增量方式返回 | -实时接口不使用 `stream` 参数，而是以事件流的形式天然流式返回。关键的增量事件包括： +在需要实时展示应用思考过程或逐步展示生成结果的场景中，开启流式输出可以让前端在应用生成过程中即时渲染内容，避免长时间等待。 -| 事件 | 含义 | -| --- | --- | -| `response.audio.delta` | 增量音频输出 | -| `response.audio_transcript.delta` | 增量文本转录 | -| `conversation.item.input_audio_transcription.delta` | 实时语音识别中间结果 | -| `response.done` | 本轮响应流结束 | +### 实时[多模态](multimodal.md)交互（Qwen-Omni-Realtime） -此外，可通过 `session.update` 事件中的 `smooth_output`（部分模型支持）等参数调节流式输出的平滑度。 +Qwen-Omni-Realtime API 基于 WebSocket 协议，天然采用流式交互模式，不依赖 `stream` 参数开关： -## 开发建议 +- **增量音频输出**：通过 `response.audio.delta` 事件逐步推送生成的音频片段。 +- **增量文本转录**：通过 `response.audio_transcript.delta` 事件逐步推送音频对应的文本转录。 +- **实时语音识别中间结果**：通过 `conversation.item.input_audio_transcription.delta` 事件推送用户语音的中间识别结果。 +- **工具调用参数**：通过 `response.function_call_arguments.done` 事件在工具调用参数生成完毕时通知客户端。 -- **注意结束标志**：SSE 流需处理到结束标记（如 `[DONE]`）或 `response.done` 事件后再收尾，避免内容截断。 -- **增量拼接**：客户端需将各 delta 分片按序拼接，才能得到完整结果。 -- **错误处理**：流式过程中仍可能收到错误事件，需在读取流的循环中做好异常捕获与连接重试。 -- **跨接口差异**：不同接口的分片结构与字段命名不同（OpenAI/Anthropic 兼容接口以对应生态约定为准，DashScope 参数最全），跨接口迁移时需核对字段映射。 +这种设计使实时对话场景下的音视频数据能够以极低延迟双向传输，适用于智能客服、语音助手等需要即时反馈的应用。 + +## 关键参数 + +| 参数 | 适用场景 | 类型 | 默认值 | 说明 | +| --- | --- | --- | --- | --- | +| `stream` | 文本生成、应用调用 | boolean | `false` | 设为 `true` 启用流式输出 | +| `modalities` | 实时[多模态](multimodal.md)交互 | array | `["text","audio"]` | 控制输出模态，影响流式返回的事件类型 | + +## 使用建议 + +- **需要即时反馈的交互场景**（如聊天机器人、实时问答）：开启流式输出，让用户在模型生成过程中即可看到部分结果。 +- **批量处理或不需要中间结果的场景**：可保持默认非流式模式，减少网络开销和客户端处理复杂度。 +- **实时多模态交互**：WebSocket 模式下流式是默认行为，无需额外配置，关注服务端事件的增量数据即可。 +- **异步耗时任务**：对于生成报告等长耗时任务，可结合[异步调用](async-invocation.md)（`background=true`）模式，通过轮询获取最终结果，避免流式连接长时间保持。 ## 关联主题页 -- [application call](../api/application-call.md) - [qwen api reference](../api/qwen-api-reference.md) +- [application call](../api/application-call.md) - [omni realtime api](../api/omni-realtime-api.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md b/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md index 169b6401..cadd7bae 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md @@ -1,69 +1,94 @@ # Token 与计费 -Token 是百炼平台衡量模型处理文本量的基本单位，也是绝大多数计费、限流和用量统计的计量基础；平台的费用则围绕 Token 消耗，通过按量付费、免费额度、节省计划与资源包等机制综合结算。理解 Token 如何被计量与抵扣，是控制大模型使用成本的前提。 +Token 是大模型处理文本的最小计量单位，也是百炼平台按量计费、免费额度抵扣、限流控制、订阅套餐抵扣以及监控统计的核心度量。理解 Token 如何被记账，是控制百炼调用成本、规划容量与做线上运维的前提。 -## Token 在计费中的角色 +## 在百炼平台的核心角色 -对大语言模型、全模态模型和向量模型，用量与费用均按 **Token** 计量；图像生成按「张」、视频生成按「秒」、语音模型按「秒/字符/Token」（视模型而定）。因此谈「计费」时，Token 主要针对文本类调用。 +- **计量单位**：大语言模型、全模态模型、向量模型的用量口径均为 Token；图像按张、视频按秒、语音按秒/字符/Token，取决于具体模型。 +- **计费依据**：按量付费下，输入/输出 Token 分开计价，部分模型采用阶梯计费——单次请求的输入 Token 总量决定整次请求所有 Token 的适用单价。 +- **额度抵扣**：新人免费额度、资源包、节省计划、Token Plan 团队版 Credits 等都以 Token 为抵扣单位。 +- **限流基础**：TPM（Tokens Per Minute）与 RPM 一起构成百炼的限流指标，TPM 预留即以 kTPM（1,000 Token/分钟）为最小容量单元。 +- **监控与观测**：应用观测、模型监控中都会记录单次调用的输入/输出 Token 量，作为成本与性能的关键指标。 -模型调用按**输入 Token** 和**输出 Token** 分别计费，单价以「每百万 Token」为单位。部分模型采用**阶梯计费**：按单次请求的输入 Token 总量分档定价，落入某一区间后该请求全部 Token 按对应档位结算（例如 `qwen3-max` 华北2·北京划分为 `0 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费** +### 2. 免费额度与"用完即停" -- **免费额度**：首次开通时各模型自动发放（通常每模型 100 万 Token），仅抵扣实时推理，不抵扣 Batch、调优、部署；不同模型（含同一模型不同快照版本）额度相互独立。开启「免费额度用完即停」后，额度耗尽会停止响应并返回 `AllocationQuota.FreeTierOnly`（或 403），避免意外扣费。 -- **折扣**：Batch 调用输入/输出单价按实时推理价的 50% 计费；支持上下文缓存的模型仅输入 Token 享折扣，两者不能同时生效。 -- **地域差异**：同一模型在不同地域单价不同，境外地域通常无免费额度。 +- 新人开通后每个模型获得 100 万 Token 免费额度（30~90 天），仅在华北 2（北京）+ 中国内地部署生效，仅抵扣实时推理。 +- 主账号与其 RAM 子账号共享免费额度；`qwen-max` 与 `qwen-max-2026-05-17` 等快照视为独立模型，各自独立额度。 +- 抵扣优先级：免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费。 +- 已认证用户可开启"免费额度用完即停"（安心模式），耗尽后自动返回 `403 AllocationQuota.FreeTierOnly`；未认证用户耗尽后返回 `AllocationQuota.FreeTierOnly` 直到实名认证并充值。 +- Token Plan / Coding Plan 专属 API Key 不消耗免费额度。 -### 2. 模型训练（调优） +### 3. 订阅式套餐的 Token 抵扣 -按训练 Token 计费。文本模型公式为 `(训练数据 Token + 混合数据 Token) × 循环次数 × 训练单价`；图像/视频生成模型的训练 Token 总量由 `max_steps`、`max_pixels`、`n_epochs` 等超参决定。免费额度和节省计划**均不抵扣**训练费用。 +Token Plan 团队版按 Credits 抵扣 Token 消耗： -### 3. 模型部署 +| 坐席 | 价格 | 月度额度 | +| --- | --- | --- | +| 标准 | ¥198/月 | 25,000 Credits | +| 高级 | ¥698/月 | 100,000 Credits | +| 尊享 | ¥1,398/月 | 250,000 Credits | +| 共享用量包 | ¥5,000/个 | 625,000 Credits（1 个月有效期） | -免费额度和节省计划同样**不抵扣**部署费用。三种计费方式围绕 TPM（每分钟 Token 数）： +抵扣顺序：坐席额度 → 共享用量包（优先扣最近到期）→ 用尽后服务暂停。坐席额度按订阅月重置且不累积。Coding Plan 则按调用次数而非 Token 计费。 -- **预置吞吐（PTU）**：`费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)`。PTU 下超出购买吞吐或输入超上限时自动转按量付费（响应头 `x-dashscope-ptu-overflow:true`）。长输入按阶梯系数折算 TPM 消耗，命中前缀缓存的 Token 按折扣系数消耗额度。 -- **模型单元（MU）**：`费用 = 使用时长 × 模型单元数量 × 模型单元单价`。 -- **按 Token 使用量**：仅对 LoRA 微调后的自定义模型开放，用于调优效果验证。 +### 4. 训练与部署计费 -### 4. 订阅套餐（Token Plan / Coding Plan） +- **训练**：`训练费用 = (训练数据 Token + 混合训练数据 Token) × 循环次数 × 训练单价`，最小单位 1 Token；图像/视频模型另有换算表（涉及 `max_steps` / `max_token_length` / `max_pixels` / `n_epochs`）。自定义模型不享受免费额度。 +- **部署（预置吞吐 TPM）**：`费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)`；后付费按小时结算，预付费按天结算。 +- **部署（模型单元 MU）**：`费用 = 使用时长 × MU 数量 × MU 单价`；PD 分离模式单价通常翻倍，适合追求首 Token 延迟与吞吐的场景。 -- **Token Plan 团队版**：按 Token 消耗抵扣 Credits，面向团队协作。 -- **Coding Plan**：按模型调用次数计量，面向个人开发。 +### 5. TPM 预留与快速模式 -两者均使用 `sk-sp-` 前缀的**专属 API Key**，**不消耗新人免费额度**，且 Base URL 与按量付费端点完全隔离，混用会导致意外扣费或 401/403 鉴权失败。 +- **TPM 预留**：按 kTPM 预付费，为指定模型锁定专属输入/输出吞吐容量；创建后生成专属 model code，必须替换 `model` 参数才能命中。溢出策略可选"自动溢出至按 Token 付费"或"仅使用预留容量"（后者超出直接返回 429）。 +- **快速模式（Fast mode）**：TPS 提升至标准 API 的 1.5~2 倍（约 80~100 TPS），仍按 Token 计费。两者可叠加。 +- 部分模型有长输入阶梯系数（如 GLM-5.1 在 32K~200K 输入按 1.33、输出按 1.17 倍折算容量）；缓存命中部分按 8%~25% 折算容量。 -### 5. 监控与用量统计 +### 6. 监控、观测与账单 -模型监控将 Token 消耗归入「成本」类指标，并提供首 Token 延时、RPM/TPM 等性能指标。应用观测则可查看每次调用的输入/输出/平均 Token 量与平均首 Token 耗时。开通推理日志后可查看单次调用的 Token 消耗，用于排查与审计。 +- **模型监控**：`调用量`、`平均单次请求 Token 量`、TPM、首 Token 延时、非首 Token 延时等指标均以 Token 为基础；Prometheus 指标 `model_usage` 可按 `usage_type` 拆分输入/输出。 +- **应用观测**：分钟级同步应用调用的 Token 总量、输入/输出 Token、首 Token 耗时，支持 30 天内检索与筛选。 +- **账单分账**：账单详情中"实例 ID（出账粒度）"格式为 `ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`；配置业务空间标签可按部门/项目归集费用，T+1 天生效。 ## 关键参数与配置 -- **`max_tokens`**：限制单次生成的最大输出 Token 数，是控制输出成本和防止过度生成的首要手段。 -- **TPM / RPM 限流**：部署时可配置 `tpm_limit`、`rpm_limit`；触发限流后等待时间取决于限流值。 -- **PTU 计费识别字段**：`service_tier`（`ptu-standard` 走 PTU 额度，`default` 或缺失表示按量）、`provisioned_tokens`（折算后实际消耗额度）、`cached_tokens`（缓存命中数，Anthropic 兼容格式暂不返回）。这些字段在 OpenAI Chat、OpenAI Responses、Anthropic 兼容、DashScope 四种协议下 JSON 路径不同，需按协议读取。 - -## 成本优化与出账 - -- **节省 Token**：优化 Prompt 减少输入 Token、简单任务选用轻量级模型、非实时任务走批量推理、合理设置 `max_tokens`。 -- **预付费方案**：AI 通用型节省计划（承诺月消费换阶梯折扣，最高 5.3 折，月额度不可跨月累积）、其他模型节省计划、资源包（预购具体 Token/图片数量，仅抵扣单个模型超免费额度后的实时推理）。 -- **出账时效**：大模型推理分钟级出账（约 2～10 分钟）；批量推理、模型训练等小时级出账。用量统计数据约 1 小时延迟，且不支持查看 30 天前数据。 +| 项 | 位置 | 说明 | +| --- | --- | --- | +| `max_tokens` | API 请求参数 | 限制输出 Token 数，用于成本与延迟控制；生产环境建议显式设置 | +| `model` | API 请求参数 | 切换快照版本或专属 model code；快照/普通版本各自独立计费与额度 | +| `usage` 字段 | API 响应 | `prompt_tokens` / `completion_tokens` / `total_tokens` 用于对账 | +| 上下文缓存 | 模型支持列表 | 命中按输入单价 10% 计费，创建按 125% | +| 免费额度用完即停 | 控制台「模型监控 - 免费额度」 | 需账号有未消耗额度时开启；开启后需完全消耗才能关闭 | +| TPM 预留溢出策略 | 创建 TPM 预留时 | `自动溢出` 保业务不中断；`仅使用预留容量` 严格控成本 | +| 费用告警 | 阿里云费用中心 | 按月/日趋势与阈值触发，避免账单意外 | +| 审计日志 / 推理日志 | 模型监控配置 | 开通后可在日志页签查看每次调用的输入、输出与 Token 用量（仅部分地域、部分模型） | + +## 排错与最佳实践 + +- 控制台免费额度为分钟级更新且需手动刷新，出现"页面仍显示有额度但已耗尽"属正常，实际以账单为准。 +- `qwen-max` 与其快照版本额度独立、不自动切换，需在代码里显式改 `model`。 +- 生产环境请自建重试与排队机制以缓解限流；限流错误在监控中体现为 429 计入"限流错误次数"。 +- 通过降低 `temperature` / `top_k` / `top_p` 与 `max_tokens` 可同时降低幻觉与 Token 消耗。 +- 定期核对账单详情的 `实例 ID` 字段，识别控制台体验（`bmp`）、Assistant API（`assistant-api`）和代码调用（`app`）的成本分布。 ## 关联主题页 - [test 1](../guides/test-1.md) - [token plan guide](../guides/token-plan-guide.md) -- [model monitoring](../guides/model-monitoring.md) - [application monitoring](../guides/application-monitoring.md) - [support](../guides/support.md) -- [model deployment 1](../guides/model-deployment-1.md) - - +- [model monitoring](../guides/model-monitoring.md) +- [model high speed inference](../guides/model-high-speed-inference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/token.md b/skills/bailian-docs-llm-wiki/wiki/concepts/token.md index 0b4e6e3c..605edb59 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/token.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/token.md @@ -1,65 +1,63 @@ -# Token 与计量计费 +# Token -Token 是大语言模型处理文本的最小计量单位，百炼平台以 Token 为核心，对模型的输入、输出、训练用量进行计量、计费与监控。理解 Token 的产生方式与计费规则，是控制模型调用成本、优化应用性能的基础。 +Token 是百炼平台中模型调用的最小计费与计量单位，贯穿模型推理、训练、部署、监控等全链路。无论是按量计费、节省计划还是订阅服务，Token 都是费用核算和用量统计的基础。 -## 什么是 Token +## 在百炼平台中的使用场景 -Token 是模型在处理文本时切分出的基本片段（一个汉字、单词或子词可能对应一个或多个 Token）。在百炼平台中，Token 既是**用量计量单位**，也是**大部分计费的核算基准**： +### 模型调用计费 -- 文本生成模型按**输入 Token** 和**输出 Token** 分别计量，思考模式下的输出 Token 同时包含「思维链 + 回答」两部分。 -- 不同模型类型的计量单位不同：大语言模型 / 全模态模型 / 向量模型按 **Token** 计量，图像生成按**张**，视频生成按**秒**，语音模型按**秒 / 字符 / Token**（视模型而定）。 +模型实时推理默认按量计费，以输入 Token 和输出 Token 分别计价。部分模型实行阶梯计费，单价取决于单次请求的输入 Token 总量，该请求所有 Token 均按对应阶梯单价结算。例如 qwen3-max：0–32K 输入 2.5 元、32K–128K 输入 4 元、128K–256K 输入 7 元（每百万 Token）。 -## 在各场景中的使用 +影响 Token 价格的因素： -### 1. 按量付费与免费额度 +- **Batch 调用**：输入和输出 Token 均按实时推理价格的 50% 计费。 +- **上下文缓存**：仅输入 Token 享有折扣（显式缓存创建按标准输入 125% 计费、命中按 10% 计费），与 Batch 半价不能同时生效。 +- **服务部署范围**：同一模型在中国内地、美国（弗吉尼亚）、新加坡、德国（法兰克福）、日本（东京）等地域价格不同。 -- 首次开通时，各模型会发放新人专属免费额度（通常各 100 万 Token），仅抵扣**实时推理**费用，且不同模型（含同一模型不同快照版本）额度相互独立、不可合并。 -- 免费额度耗尽后默认转为**按量付费**，按输入 / 输出 Token 计费。部分模型采用**阶梯计费**：按单次请求的输入 Token 总量分档（如 `qwen3-max` 分 0–32K / 32K–128K / 128K–256K 三档），落在哪一档，该请求全部 Token 均按该档单价结算。 -- 同一模型在不同地域（北京、弗吉尼亚、新加坡、法兰克福、东京）单价不同。 +### 模型训练 -### 2. 订阅制套餐 +训练费用 = (训练数据 Token + 混合训练数据 Token) × 循环次数 × 训练单价。文本生成、图像生成、视频生成模型各有独立的每千 Token 价格表。视频生成训练的 Token 总量计算还涉及视频计费时长和 max_pixels 参数。 -- **Token Plan 团队版**：按 Token 消耗抵扣 Credits，工具调用（联网搜索、代码解释器等内置工具）产生的 Token 同样从套餐 Credits 抵扣，不额外收费。 -- **Coding Plan**：按模型调用**次数**计费（而非 Token），面向个人开发场景。 +### 模型部署 -### 3. 模型训练与部署 +部署服务提供三种与 Token 相关的计费方式： -- **训练**按训练 Token 计费，文本模型公式为 `（训练数据 Token + 混合训练数据 Token）× 循环次数 × 训练单价`；图像 / 视频模型的训练 Token 由 `max_steps`、`max_pixels`、`n_epochs` 等超参数推算。 -- **部署**（预置吞吐 TPM）按输入 / 输出 TPM 单价与时长计费，与 Token 用量间接相关。训练与部署**不能**用免费额度或节省计划抵扣。 +| 计费方式 | Token 角色 | +| --- | --- | +| 预置吞吐（PTU） | 以 TPM（Token/分钟）为容量单位，输入和输出分别计价 | +| 模型单元 | 资源独占，不直接按 Token 计费 | +| 按 Token 用量 | 调优后模型效果验证，按实际 Token 消耗计费，不使用不计费 | -### 4. 监控与观测 +PTU 部署中，长输入超过 32K Token 时按更高阶梯系数折算 TPM 消耗，前缀缓存命中的输入 Token 按折扣系数消耗额度。API 响应中 `provisioned_tokens` 表示折算后实际消耗的 PTU 额度 Token 数，`cached_tokens` 表示前缀缓存命中的 Token 数。 -- 应用观测可查看每次调用的 Token 量，监控统计提供 Token 总量（全部 / 输入 / 输出）、平均单次请求 Token 量、平均首 Token 耗时等指标。 -- 模型监控将 Token 消耗归入「成本」类指标，首 Token 延时归入「性能」类指标，支持按分钟 / 小时 / 天聚合，并可配置告警。 -- 用量统计按业务空间维度归集，数据延迟约 1 小时。 +### 应用观测与模型监控 -## 关键参数与配置 +应用观测记录每次应用调用的 Token 量（输入/输出），支持按 Token 总量筛选和导出。监控统计提供 Token 汇总、单次请求 Token 量、Token 消耗追踪和阈值告警。用量数据按[业务空间](workspace.md)维度统计，普通监控延迟约 1 小时，高级监控/推理日志为分钟级。 -| 项 | 说明 | -| --- | --- | -| `max_tokens` | 限制单次生成的最大输出 Token 数，用于控制成本、防止过度生成，也是降低幻觉的手段之一 | -| 上下文缓存 | 命中缓存的**输入** Token 享折扣；缓存折扣与 Batch 折扣不可同时生效，价格表输入单价不含缓存单价 | -| Batch 调用 | 支持的模型输入 / 输出单价按实时推理价的 50% 计费 | -| 免费额度用完即停 | 开启后额度耗尽即停服（返回 403），避免意外扣费，但也会阻断节省计划继续抵扣 | +### Token Plan 订阅 + +Token Plan 是独立的订阅服务，以 Credits 统一计量（1 Credit 对应一定 Token 数），支持在 Claude Code、Cursor、Qwen Code 等工具中使用。与百炼通用按量计费的 [API Key](api-key.md) 和 Base URL 完全隔离，不可混用。 -## 成本优化建议 +## 关键参数 -- **优化 Prompt**：简洁清晰的 Prompt 可减少不必要的输入 Token 消耗。 -- **控制输出长度**：合理设置 `max_tokens`，避免冗长输出。 -- **按任务选模型**：分类、摘要等简单任务优先使用轻量级模型。 -- **批量推理**：非实时大批量任务走 Batch 接口，Token 单价更低。 -- **善用抵扣顺序**：`免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费`，据此规划预付费方案。 +- **输入 Token / 输出 Token**：分别计价，输入 Token 可享受缓存折扣。 +- **上下文长度上限**：如千问 128K、DeepSeek 64K，PTU 部署部分模型支持最高 256K Token 长输入。 +- **TPM（Tokens Per Minute）**：PTU 容量单位，分为输入 TPM 和输出 TPM。 +- **cached_tokens**：前缀缓存命中的 Token 数，享受折扣计费。 +- **免费额度**：首次开通百炼时平台自动发放各模型免费额度（通常每个模型 100 万 Token），仅抵扣实时推理费用，有效期 90 天。 +- **provisioned_tokens**：PTU 部署中折算后实际消耗的额度 Token 数，含阶梯系数和缓存折扣。 -## 账单中的 Token +## 计费抵扣优先级 -大模型推理为分钟级出账（通常 2～10 分钟），批量推理与训练为小时级。账单「实例 ID」以英文分号分隔，包含 `ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`，可据此区分输入 / 输出 Token 的费用来源与调用渠道（`app` 代码调用、`bmp` 控制台体验、`assistant-api`）。 +免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费。若模型开启了"免费额度用完即停"功能，额度耗尽后服务停止，节省计划无法抵扣，需手动关闭该功能才能恢复。 ## 关联主题页 -- [token plan guide](../guides/token-plan-guide.md) - [test 1](../guides/test-1.md) +- [model deployment 1](../guides/model-deployment-1.md) - [application monitoring](../guides/application-monitoring.md) - [model monitoring](../guides/model-monitoring.md) +- [token plan guide](../guides/token-plan-guide.md) - [support](../guides/support.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md b/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md index 0badc9bf..c053dfda 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md @@ -1,75 +1,109 @@ # 工作流 -工作流（Workflow）是百炼平台三种核心应用构建模式之一，通过可视化节点编排将复杂任务拆解为有序步骤，逻辑确定、稳定可复现，适合流程固定、要求可复现的业务场景。 +工作流（Workflow）是阿里云百炼提供的一种低代码可视化应用形态，通过拖拽预定义节点并以有向图方式编排处理链路，将大模型调用、知识库检索、意图分类、API 调用等能力串联为输出确定、可复现的执行流程。与依赖模型自主规划的智能体不同，工作流由开发者显式控制每个步骤的执行顺序与数据流转。 -## 在百炼平台中的定位 +## 应用形态定位 -百炼提供智能体、工作流、高代码应用三种互补的应用构建模式。工作流对应"可视化节点编排（低代码）"路线，由预定义节点精确控制流程，适合 IT 运维、业务分析师构建报告生成、订单处理、审批流等场景。与由大模型自主规划的智能体不同，工作流强调开发者对流程的显式控制，输出可复现、可调试。 +百炼提供三种 LLM 应用形态：智能体、工作流、高代码应用。工作流处于中间位置： -## 核心节点 +| 维度 | 说明 | +| --- | --- | +| 开发方式 | 可视化节点编排（低代码） | +| 控制方式 | 预定义节点顺序确定 | +| 适合人群 | 业务分析师 / IT 实施 | +| 典型场景 | 报告生成、审批流、数据标注 | -工作流画布由以下节点类型组成： +工作流输出结果确定性高、可复现。需要模型自主决策调用顺序时选智能体，需要完全自定义代码时选高代码应用。工作流应用已被新版智能体编排应用替代部分场景，但仍适用于需要稳定、可审计处理流程的业务。 -- **开始 / 结束节点**：定义输入与输出参数。开始节点预置 `query`（用户输入）、`historyList`（对话历史）、`imageList`（图片）等变量，可在下游节点中引用。 -- **大模型节点**：执行 LLM 推理，配置模型、提示词、用户提示词、记忆等。 -- **意图分类节点**：根据输入分流到不同下游分支，支持多意图。 -- **变量处理节点**：用于文本输出或变量加工。 -- **智能体群组节点**：将任务分解给多个已发布的子智能体协同完成。 +## 节点类型与编排 -## 会话变量 +工作流由节点串联构成，支持以下节点类型： -会话变量作为全局变量在工作流全生命周期内记录参数，可在各节点中引用，在画布右上角配置。适合跨节点传递状态、累积上下文信息。 +- **开始 / 结束节点**：定义流程入口与出口。 +- **大模型节点**：调用 LLM 生成、理解、改写文本。 +- **意图分类节点**：根据用户输入分流到不同下游分支，实现多意图路由。 +- **智能体群组节点**：将已发布的[智能体应用](agent-application.md)作为子智能体调度。 +- **变量处理节点**：对中间结果进行格式转换、拼接、提取。 +- **API 节点**：调用外部 HTTP 接口。 +- **函数计算节点**：执行自定义计算逻辑。 +- **[多模态](multimodal.md)生成节点**：生成图像、视频、音频。 +- **[多模态](multimodal.md)数据节点**：解析文档、图片、视频、音频。 -## 典型案例 +典型组合模式：意图分类节点做分流 → 多个大模型节点承接不同意图 → 汇总到结束节点。智能体群组节点可把已发布的[智能体应用](agent-application.md)作为子智能体调度，实现多层编排。 -- **诈骗信息识别**：开始 → 大模型（提示词判定诈骗嫌疑）→ 结束。 -- **智能导购**：意图分类节点将输入分流到手机 / 电视 / 冰箱等大模型分支，未命中分支走变量处理节点。 -- **日程管理助手**：通过智能体群组节点串联"信息收集"与"数据整理"两个子智能体。 +## 预置变量与记忆 -## 创建与发布流程 +### 预置变量 -1. 控制台 → 应用管理 → 创建应用 → 工作流应用。 -2. 在画布上拖拽编排节点，配置各节点的模型、提示词、变量引用关系。 -3. 右侧对话框调试。 -4. 右上角"发布"——发布是后续 API 调用与集成的前提。 +| 变量 | 说明 | +| --- | --- | +| `query` | 用户输入文本 | +| `historyList` | 对话历史 | +| `imageList` | 用户上传图片 URL 列表 | + +`historyList` 和 `imageList` 需在支持"记忆"的节点中选择"自定义缓存"才会注入。 + +### 记忆模式 + +- **本节点缓存**：仅当前节点上下文，不跨节点共享。 +- **自定义缓存**：跨节点共享全局对话历史，适合多轮记忆场景。 + +### 会话变量 + +会话变量作为全局变量在工作流全生命周期内维护，可在任意节点引用，用于在节点间传递状态。 + +## 扩展能力 + +- **异步运行模式**：文本生成模式下后台执行并返回 Task ID，适合长耗时任务。 +- **Dify 工作流一键导入**：支持从 Dify 平台导入已有工作流配置。 +- **批量节点**：支持批量处理输入数据。 ## API 调用 -工作流应用与智能体应用共用同一套调用接口，区别仅在应用内部的编排逻辑。发布后通过 `APP_ID` 调用： +工作流应用发布后通过 API 调用，与[智能体应用](agent-application.md)调用接口完全一致： + +``` +POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion +``` + +请求体包含 `input.prompt`（用户输入）、`parameters`（业务参数）、`debug` 字段，响应中业务侧主要消费 `output.text`。 + +### 多轮对话 + +工作流支持多轮对话，有两种实现方式： -- **DashScope 原生 API**：`POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion`，请求体为 `{"input": {"prompt": "..."}, "parameters": {}, "debug": {}}`，响应中业务侧主要消费 `output.text`。 -- **OpenAI 兼容 Responses API**：`POST https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses`，可复用现有 OpenAI 生态代码库，支持同步 / 异步、流式、多模态。 -- **SDK**：Python 使用 `dashscope.Application.call`，Java 使用 `com.alibaba.dashscope.app.Application`，Node.js 可直接以 `axios` 发起 POST。 +- **使用 `session_id`**：系统自动从云端管理对话上下文。 +- **使用 `historyList`**：由调用方自行维护对话历史并传入。 -调用前需在控制台获取应用 ID 与 API Key（推荐写入 `DASHSCOPE_API_KEY` 环境变量）；若应用位于子业务空间，还需提供 Workspace ID。 +## 组件化复用 -## 多轮对话 +工作流应用可发布为模块化组件，供其他应用（智能体或工作流）复用。发布途径有三处：发布应用时勾选"发布应用组件"、在"发布渠道"的组件区域创建、或在控制台"组件管理"面板创建。 -工作流应用支持多轮对话，有两种实现方式： +组件预设系统参数 `query`（用户输入文本）和 `imageList`（图像 URL 列表），预设参数不可删除，不需要时可将"是否可见"设为"否"隐藏。参数传参方式分两种： -- **使用 `session_id`**：系统自动从云端加载历史对话，实现简单。`session_id` 有效期 1 小时，最多支持 50 轮。 -- **自行管理 `messages`（推荐）**：手动维护消息列表，灵活性更高，不受 session 有效期限制。 +- **业务透传**：由使用者或上游节点提供具体值。 +- **模型识别**：由大模型根据参数描述自动推断填充。 -## 评测 +> **注意**：即使参数传参方式设为模型识别，在工作流应用中也不会自动推断参数值，必须从上游节点明确提供输入值。模型识别仅在智能体应用中生效。 -工作流应用可作为评测任务的被测对象。在新版应用评测中，评测集支持智能体、工作流、自定义三种类型，按所选应用的出入参形式自动生成数据模板。评测任务可关联工作流应用，由 LLM 评估器或 Code 评估器自动评分，也可人工标注。 +接入工作流应用时，组件作为组件节点接入，需手动传入参数（如 `系统变量/query`），并将 `组件1/result` 传递到下游节点。避免嵌套调用（A 调 B、B 调 A）和过多级调用（A 调 B、B 调 C），会因最长运行时间限制导致超时报错。应用重新发布后组件会自动更新。 -## 发布与分享 +## 应用观测 -工作流应用支持多种发布渠道：UI 应用（通过 UI 设计器构建自定义界面）、钉钉机器人、微信公众号、组件化复用（将工作流作为其他智能体或工作流的子组件）、音视频实时互动（仅限图文对话类）。需要注意的是，官方网页版分享当前只支持智能体应用，不支持工作流应用。 +工作流应用（WorkflowApp）在百炼应用观测功能中以 `WorkflowApp` 为根 CHAIN 节点展示完整调用链路，支持查看延时、[Token](token.md) 量等关键指标，数据更新频率为分钟级，可保留最长 30 天的调用记录。观测数据支持按 Request ID / Trace ID / Span ID 检索，并支持导出为 JSONL 或 Excel 格式。 -## 关键限制与注意事项 +## 框架集成 -- 工作流应用若配置了文件类型的自定义参数，在 UI 设计器中需指定 `{{{file_name:files[0]}}}`（将 `file_name` 替换为实际变量名），否则应用无法正确读取用户上传的文件。 -- 旧版"智能体编排"应用已被工作流应用替代，新建应用请直接选择工作流。 -- 工作流与智能体调用接口一致，但可附加的扩展能力（如自定义参数传递）取决于应用内部编排逻辑。 +通过 Spring AI Alibaba（Java，Spring Boot 3.x，JDK 17+）可集成已创建的工作流应用，支持流式与非流式调用。需提前在百炼控制台创建工作流应用并获取应用 ID，通过 `APP_ID` 环境变量配置，[API Key](api-key.md) 推荐使用 `DASHSCOPE_API_KEY` 环境变量。若应用创建在子[业务空间](workspace.md)，还需配置 `WORKSPACE_ID`。 ## 关联主题页 +- [frameworks](../api/frameworks.md) - [llm application](../guides/llm-application.md) -- [application call](../api/application-call.md) - [bailian application calling](../guides/bailian-application-calling.md) -- [application evaluation](../guides/application-evaluation.md) +- [start using](../guides/start-using.md) +- [application monitoring](../guides/application-monitoring.md) - [application publishing and sharing](../guides/application-publishing-and-sharing.md) +- [application use cases](../guides/application-use-cases.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md b/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md index 51a00e4c..58055938 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md @@ -1,61 +1,79 @@ -# 业务空间（Workspace） +# 业务空间 -业务空间（Workspace）是阿里云百炼平台进行精细化权限管理（模型、用户）和阿里云账单分账的**最小管理单元**。平台按地理区域划分资源与业务空间，单个业务空间不能跨地域存在，即便是各地域的默认业务空间也彼此独立。 +业务空间（Workspace）是阿里云百炼平台中进行精细化权限管理（模型、用户）和阿里云账单分账的最小管理单元。业务空间按地理区域划分，单个业务空间不能跨地域存在，即使是各地域的默认业务空间也是不同的空间。 -## 在不同场景中的使用 +## 核心定位 -### 1. 权限与身份管理 +业务空间在百炼平台中承担以下职责： -业务空间是权限体系的核心边界，权限管理围绕三种角色展开： +- **权限隔离**：模型调用、调优、部署的授权，以及用户控制台权限管理，均以业务空间为最小单元。默认业务空间无法设置限制（所有模型均可调用、调优、部署），子业务空间才支持精细化控制。 +- **账单分账**：模型用量统计按业务空间维度汇总，不支持按阿里云账号维度汇总，数据延迟约 1 小时。 +- **资源归属**：数据集、应用、[API Key](api-key.md) 等资源均归属于特定业务空间。 -- **超级管理员**：阿里云主账号，或拥有 `AliyunBailianFullAccess` 系统策略的 RAM 用户。可跨空间统一管理用户权限、空间可用模型、模型限流和 API Key。 -- **业务空间管理员**：拥有访问某个业务空间「权限管理」页面的 RAM 用户，仅管理该空间内的用户与资源，其权限包含该空间下所有页面的访问权限。 -- **普通用户**：仅能访问/使用被授权的空间、页面与资源，不能管理用户或模型授权。 +## 角色体系 -在非默认业务空间中，可对模型进行三类精细化授权（**默认业务空间无法设置这些限制**，即所有模型均可调用、调优、部署且无法限流）： +业务空间内的权限管理围绕三种角色展开，权限范围自上而下递减： + +| 角色 | 权限范围 | +| --- | --- | +| 超级管理员 | 阿里云主账号或拥有 `AliyunBailianFullAccess` 策略的 RAM 用户，可跨空间统一管理用户权限、空间可用模型、模型限流和 [API Key](api-key.md) | +| 业务空间管理员 | 拥有访问某个业务空间「权限管理」页面的 RAM 用户，负责该空间内的用户权限和资源管理，权限包含该空间所有页面的访问权限 | +| 普通用户 | 根据分配的权限使用资源，可访问/使用被授权的空间、页面和资源 | + +> OpenAPI 接口权限不通过业务空间角色授予，必须由阿里云主账号在 RAM 控制台为 RAM 用户添加 `AliyunBailianDataFullAccess`（全部 API）或 `AliyunBailianDataReadOnlyAccess`（只读 API）系统策略。 + +## 子业务空间的权限控制 + +子业务空间可设置以下限制（默认业务空间无法设置）： | 权限项 | 控制范围 | | --- | --- | -| 限制模型调用 | 是否可调用（控制台 & API）+ 请求数限流 + Token 限流 | -| 限制模型训练 | 是否可调优（控制台 & API）及调优后部署 | +| 限制模型调用 | 是否可调用（控制台 & API）+ 请求数限流 + [Token](token.md) 限流 | +| 限制模型训练 | 是否可调优及调优后部署 | | 限制模型部署 | 是否可直接部署 | -| 用户控制台权限 | 管理 RAM 用户能否使用该空间控制台及可用功能 | +| 用户控制台权限 | 管理 RAM 用户能否使用该空间控制台功能及可用功能 | + +## [API Key](api-key.md) 与 Workspace ID -> **注意**：OpenAPI 接口权限不通过业务空间角色授予，必须由阿里云主账号在 RAM 控制台为 RAM 用户单独添加系统策略（如 `AliyunBailianDataFullAccess` / `AliyunBailianDataReadOnlyAccess`）。 +- **Workspace ID**：调用子业务空间下的应用或特定地域（德国、华北2、新加坡、日本）的模型时必须提供。可通过控制台右上角图标查看，目前仅支持控制台手动获取，不支持通过 API 或 CLI 查询。 +- **API Key 归属**：单个 API Key 只能归属一个地域内的一个业务空间和一个用户，且不能转移。API Key 的可调用功能和模型限流与归属业务空间的权限保持一致，不受用户控制台权限影响，也无需为不同模型类型（文生文、文生图、语音合成）创建不同 API Key。 +- **子业务空间模型调用**：必须使用子业务空间自身的 API Key；调用标准模型前需为该空间设置模型调用权限；在百炼上调优并部署的模型仅能由其所在空间的 API Key 调用。 -### 2. API Key 归属 +> 将 RAM 账号移出业务空间会使其 API Key 失效（重新加入后恢复）；在 RAM 控制台删除账号/角色则会使 API Key 永久失效、不可恢复。 -单个 API Key 只能归属**一个地域内的一个业务空间和一个用户**，且不能转移。API Key 可调用的功能与模型限流与其**归属业务空间**的权限保持一致，不受用户控制台权限管理的影响。将 RAM 账号移出业务空间会使其 API Key 失效（重新加入后恢复生效）。 +## 在各场景中的使用 -### 3. 应用组件 API 调用 +### 应用调用 -调用百炼应用组件 API（`bailian/2023-12-29`，含数据连接、知识库、Prompt 模板、长期记忆等）时，所有接口均需传入 `WorkspaceId`（业务空间 ID）。RAM 子账号需先获取对应权限策略并加入业务空间后才能调用。类目等资源也以业务空间为界，例如每个业务空间最多可新建 500 个类目。 +通过 API 调用智能体或[工作流](workflow.md)应用时，如果应用位于子业务空间，需在请求中同时提供 APP ID 和 Workspace ID。Workspace ID 用于定位目标应用所属的空间。 -### 4. 应用观测 +### 应用观测 -应用观测以业务空间为范围，端到端查看空间内应用（智能体应用、工作流应用、高代码应用）的处理流程与延时、Token 等指标。若应用观测列表中看不到已创建的应用，常见原因之一即为该应用不属于当前业务空间。 +应用观测功能用于查看业务空间内应用（[智能体应用](agent-application.md)、[工作流](workflow.md)应用、高代码应用）的处理流程，获取延时、[Token](token.md) 量等指标。若观测列表中看不到已创建的应用，通常是因为该应用尚未发布或不属于当前业务空间。 -### 5. 数据管理 +### 模型监控 -数据管理功能统一管理业务空间下的大模型相关数据集（训练集、评测集）。该能力目前仅适用于华北2（北京）地域。 +模型运行监控自动采集主账号下所有业务空间的调用数据，按「模型 + 业务空间」维度生成记录。[Token](token.md) 消耗追踪也按业务空间维度汇总，可按时间范围和 API Key 筛选。 -## 关键参数与配置 +### 数据管理 -- **`WorkspaceId`**：业务空间 ID，是应用组件 OpenAPI 的必传参数，用于标识资源所属空间。 -- **地域隔离**：业务空间绑定单一地域，跨地域需在对应地域分别创建/使用空间。 -- **默认业务空间的限制**：默认空间无法设置模型调用/训练/部署授权与限流，如需精细化管控请使用非默认业务空间。 +模型调优和评测的数据集统一管理在业务空间下，分为训练集和评测集两类。数据类目（Category）也以业务空间为限，每个空间最多 500 个类目。 ## 生产环境实践 -- **空间规划**：推荐按环境（dev/test/prod）划分业务空间实现隔离，或按业务线划分以便权限与成本管理。 +- **空间规划**：推荐按环境（dev/test/prod）划分业务空间实现隔离，或按业务线划分便于权限与成本管理。 - **限流策略**：将主账号总配额按比例分配给各业务空间并预留缓冲。例如总配额 1000 QPM，可分配 prod 600 / test 200 / dev 100，预留 100。 +- **安全开通**：AI 安全护栏、模型监控、应用观测等功能推荐使用主账号一次性开通，避免子账号因权限不足导致开通失败。 ## 关联主题页 +- [application call](../api/application-call.md) - [application component api reference](../api/application-component-api-reference.md) -- [application permission management](../guides/application-permission-management.md) - [application monitoring](../guides/application-monitoring.md) +- [application permission management](../guides/application-permission-management.md) - [security and compliance](../guides/security-and-compliance.md) +- [more about models](../api/more-about-models.md) - [model data overview](../guides/model-data-overview.md) +- [model monitoring](../guides/model-monitoring.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md index 508d7604..fde65012 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md @@ -1,6 +1,6 @@ # application evaluation -阿里云百炼提供完整的应用[评测体系](../concepts/evaluation.md)，支持对[智能体应用](../concepts/agent-application.md)和工作流应用的输出质量进行系统化评估。平台同时提供自动评测与手动评测两种模式，并通过评测集、评估器和标签三大组件构建多维度的评测闭环。当前平台存在新旧两套评测系统，新版在评测任务管理、评估器和标签体系上做了较大升级。 +阿里云百炼提供完整的应用[评测体系](../concepts/evaluation.md)，支持对[智能体应用](../concepts/agent-application.md)和[工作流](../concepts/workflow.md)应用的输出质量进行系统化评估。平台同时提供自动评测与手动评测两种模式，并通过评测集、评估器和标签三大组件构建多维度的评测闭环。当前平台存在新旧两套评测系统，新版在评测任务管理、评估器和标签体系上做了较大升级。 ## 评测模式 @@ -51,8 +51,8 @@ | 类型 | 说明 | |------|------| -| 智能体 | 根据选中智能体应用的出入参形式定义评测集 | -| 工作流 | 根据选中工作流应用的出入参形式定义评测集 | +| 智能体 | 根据选中[智能体应用](../concepts/agent-application.md)的出入参形式定义评测集 | +| [工作流](../concepts/workflow.md) | 根据选中[工作流](../concepts/workflow.md)应用的出入参形式定义评测集 | | 自定义 | 任意定义评测集表结构，适用于特殊评测场景 | 新版评测集支持手动上传和从应用观测导入两种创建方式，并具备版本管理能力，每次发布生成新版本。创建后类型不可修改。 @@ -66,7 +66,7 @@ 百炼提供多种预置评估器模板，覆盖以下分类： - **通用质量**：评估回答的基本质量指标 -- **智能体**：专门用于评测智能体应用 +- **智能体**：专门用于评测[智能体应用](../concepts/agent-application.md) - **文本匹配**：精确规则文本匹配 - **文本相似度**：计算文本相似度得分 - **格式校验**：验证输出格式规范性 @@ -137,9 +137,9 @@ 识别 BadCase → 分析归因定位问题 → 实施针对性优化 → 发布新版本再次评测 → 对比结果确认改进。若效果未达预期则继续迭代。 -## 计费说明 +## [计费](../concepts/billing.md)说明 -评测任务调用大模型产生的 [Token](../concepts/token.md) 费用正常计费。自动评测的评测集生成和评估均会消耗 [Token](../concepts/token.md)，预估平均消耗仅为参考值，最终以实际账单为准。评估器模型当前限时免费。 +评测任务调用大模型产生的 [Token](../concepts/token.md) 费用正常[计费](../concepts/billing.md)。自动评测的评测集生成和评估均会消耗 [Token](../concepts/token.md)，预估平均消耗仅为参考值，最终以实际账单为准。评估器模型当前限时免费。 ## 常见问题 @@ -167,3 +167,9 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md index 9ae2c8d0..7a35a067 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md @@ -75,17 +75,17 @@ | AGENT | 对智能体的调用 | | RETRIEVER | 检索操作；KnowledgeRetriever 表示在[知识库](../concepts/knowledge-base.md)中检索。子节点名称含 TextRetriever（改进 BM25，默认返回 100 个切片）、VectorRetriever（向量检索，默认返回 100 个切片） | | REWRITER | 基于会话上下文调整原始 Prompt 以提升检索效果 | -| EMBEDDING | 将 Prompt 转为向量，[Token](../concepts/token.md) 量为本次向量化的 [Token](../concepts/token.md) 数 | +| EMBEDDING | 将 Prompt 转为向量，[Token](../concepts/token.md) 量为本次[向量化](../concepts/embedding.md)的 [Token](../concepts/token.md) 数 | | RERANKER | 计算文本切片相似度分数并降序排列 | | LLM | 大模型推理/文本生成，[Token](../concepts/token.md) 量 = 输入 + 输出；延时包含输出回复过程 | | TOOL | 插件调用（官方或自定义） | | GUARDRAIL | 阿里绿网调用；ManualIntervention 为用户干预规则，SystemIntervention 为系统干预规则 | -> 目前暂不支持观测长期记忆中的检索过程；TextRetriever 与 VectorRetriever 默认返回 100 个切片，暂不支持调整数量。 +> 目前暂不支持观测[长期记忆](../concepts/long-term-memory.md)中的检索过程；TextRetriever 与 VectorRetriever 默认返回 100 个切片，暂不支持调整数量。 ### [工作流](../concepts/workflow.md)应用节点 -除上述 CHAIN、RETRIEVER、REWRITER、EMBEDDING、RERANKER、LLM、GUARDRAIL 外，还包含工作流专属节点：START（开始）、END（结束）、API、CLASSIFIER（意图分类）、TEXT_CONVERTER（文本转换）、SCRIPT（脚本转换）、CONDITION（条件判断）、FUNCTION_COMPUTE（函数计算）、APP_FLOW。 +除上述 CHAIN、RETRIEVER、REWRITER、EMBEDDING、RERANKER、LLM、GUARDRAIL 外，还包含[工作流](../concepts/workflow.md)专属节点：START（开始）、END（结束）、API、CLASSIFIER（意图分类）、TEXT_CONVERTER（文本转换）、SCRIPT（脚本转换）、CONDITION（条件判断）、FUNCTION_COMPUTE（函数计算）、APP_FLOW。 ### 高代码应用节点 @@ -98,7 +98,7 @@ ## 关键指标说明 - **延时（调用时长）**：对 LLM 节点，包含输出回复的完整过程。 -- **[Token](../concepts/token.md) 量**：Embedding 节点为本次向量化 [Token](../concepts/token.md) 数；LLM 节点为输入 [Token](../concepts/token.md) + 输出 [Token](../concepts/token.md)。 +- **[Token](../concepts/token.md) 量**：Embedding 节点为本次[向量化](../concepts/embedding.md) [Token](../concepts/token.md) 数；LLM 节点为输入 [Token](../concepts/token.md) + 输出 [Token](../concepts/token.md)。 - **数据时效**：指标更新频率为分钟级，调用记录最长可查 30 天。 - **应用总量 / 平均延时**：用于评估应用运营效果与成本，详见 [应用观测](../../raw/application-user-guide/application-monitoring/application-observation.md)。 @@ -119,6 +119,12 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md index 32803f47..f9c4dcec 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md @@ -32,20 +32,20 @@ - **限制模型调用**：管理某个模型可否在该[业务空间](../concepts/workspace.md)调用（控制台 & API），并设置该模型的请求数限流和 [Token](../concepts/token.md) 限流。默认[业务空间](../concepts/workspace.md)所有模型均可调用且无法限流。 - **限制模型训练**：管理某个模型可否在该[业务空间](../concepts/workspace.md)进行调优和调优后部署。默认[业务空间](../concepts/workspace.md)所有支持调优的模型均可调优及部署。 - **限制[模型部署](../concepts/model-deployment.md)**：管理某个模型可否在该[业务空间](../concepts/workspace.md)直接部署。默认[业务空间](../concepts/workspace.md)所有支持部署的模型均可部署。 -- **用户控制台权限管理**：管理某个 RAM 用户是否能使用该业务空间控制台的功能及能使用哪些功能，但无法限制归属该用户的 [API Key](../concepts/api-key.md) 的调用。阿里云主账号无须设置，可访问所有业务空间的所有页面。 +- **用户控制台权限管理**：管理某个 RAM 用户是否能使用该[业务空间](../concepts/workspace.md)控制台的功能及能使用哪些功能，但无法限制归属该用户的 [API Key](../concepts/api-key.md) 的调用。阿里云主账号无须设置，可访问所有[业务空间](../concepts/workspace.md)的所有页面。 -关于业务空间的地域隔离与限流细节，可进一步参考 [权限管理](../../raw/application-user-guide/application-permission-management/application-permission-management-overview.md)。 +关于[业务空间](../concepts/workspace.md)的地域隔离与限流细节，可进一步参考 [权限管理](../../raw/application-user-guide/application-permission-management/application-permission-management-overview.md)。 ## API-Key 权限 -单个 [API Key](../concepts/api-key.md) 只能归属一个地域内的一个业务空间和一个用户，且不能转移。[API Key](../concepts/api-key.md) 可调用的功能和模型限流与**归属业务空间**的权限保持一致，不受用户控制台权限管理的影响，也无需为不同模型（如文生文、文生图、语音合成）创建不同的 [API Key](../concepts/api-key.md)。 +单个 [API Key](../concepts/api-key.md) 只能归属一个地域内的一个[业务空间](../concepts/workspace.md)和一个用户，且不能转移。[API Key](../concepts/api-key.md) 可调用的功能和模型限流与**归属[业务空间](../concepts/workspace.md)**的权限保持一致，不受用户控制台权限管理的影响，也无需为不同模型（如文生文、文生图、语音合成）创建不同的 [API Key](../concepts/api-key.md)。 [API Key](../concepts/api-key.md) 的状态随归属用户操作变化： | 触发操作 | 主账号的 [API Key](../concepts/api-key.md) | RAM 账号的 [API Key](../concepts/api-key.md) | | --- | --- | --- | | 主动删除 [API Key](../concepts/api-key.md) | 失效，不可恢复 | 失效，不可恢复 | -| 将账号移出业务空间 | — | 失效（重新加入后恢复生效） | +| 将账号移出[业务空间](../concepts/workspace.md) | — | 失效（重新加入后恢复生效） | | 在 RAM 控制台删除账号/角色 | — | 失效，不可恢复 | | 为 [API Key](../concepts/api-key.md) 设置 IP 访问白名单 | 华北2（北京）地域支持 | 华北2（北京）地域支持 | @@ -55,7 +55,7 @@ ## OpenAPI 接口权限 -RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程及长期记忆等功能的 Open API。需由阿里云主账号在 RAM 控制台为 RAM 用户添加以下权限之一： +RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程及[长期记忆](../concepts/long-term-memory.md)等功能的 Open API。需由阿里云主账号在 RAM 控制台为 RAM 用户添加以下权限之一： - `AliyunBailianDataFullAccess`：可调用百炼应用 API 目录下的所有 API。 - `AliyunBailianDataReadOnlyAccess`：可调用百炼应用 API 目录下的只读类 API，如 `DescribeFile`、`GetIndexJobStatus` 等。 @@ -73,21 +73,21 @@ RAM 用户默认无权查看阿里云账单和购买预付费产品，需在 RAM 需要阿里云主账号或具备 `AliyunRAMFullAccess` 系统策略的 RAM 用户操作。前往 RAM 控制台为 RAM 用户添加 `AliyunBailianFullAccess` 和 `AliyunBSSOrderAccess` 权限后，即可通过百炼全局管理菜单授权任意地域、空间的权限并购买预付费产品。 -### 设置业务空间管理员 +### 设置[业务空间](../concepts/workspace.md)管理员 -需超级管理员或业务空间管理员操作。在百炼控制台左侧导航栏「权限管理」页签内为 RAM 用户添加「管理员」权限。 +需超级管理员或[业务空间](../concepts/workspace.md)管理员操作。在百炼控制台左侧导航栏「权限管理」页签内为 RAM 用户添加「管理员」权限。 ### 设置模型调用权限 -1. 不使用默认业务空间时，需先由超级管理员为业务空间开通特定模型的模型调用权限。 -2. 通过控制台调用时，需由超级管理员或业务空间管理员为 RAM 用户添加：**模型体验-操作**（控制台调用模型）、**批量推理-操作**（支持批量推理）、**模型观测-操作**（查看 [Token](../concepts/token.md) 消耗量）。 -3. 通过 API 调用时，需为 RAM 用户在对应业务空间创建或分配 API Key。 +1. 不使用默认[业务空间](../concepts/workspace.md)时，需先由超级管理员为[业务空间](../concepts/workspace.md)开通特定模型的模型调用权限。 +2. 通过控制台调用时，需由超级管理员或[业务空间](../concepts/workspace.md)管理员为 RAM 用户添加：**模型体验-操作**（控制台调用模型）、**批量推理-操作**（支持批量推理）、**模型观测-操作**（查看 [Token](../concepts/token.md) 消耗量）。 +3. 通过 API 调用时，需为 RAM 用户在对应[业务空间](../concepts/workspace.md)创建或分配 [API Key](../concepts/api-key.md)。 ### 设置[模型调优](../concepts/fine-tuning.md)权限 1. 不使用默认业务空间时，需先由超级管理员为业务空间开通特定模型的[模型调优](../concepts/fine-tuning.md)（训练）权限。 2. 在「权限管理」页签内为 RAM 用户添加以下权限：**模型体验-操作**、**模型调优-操作**、**我的模型-操作**（管理调优后模型快照）、**[模型部署](../concepts/model-deployment.md)-操作**（部署调优后的模型）、**模型[评测](../concepts/evaluation.md)-操作**、**数据管理-操作**（管理调优数据集）、**模型观测-操作**。 -3. 通过 API 调优时，无需额外控制台权限，只需为 RAM 用户分配 API Key 即可。 +3. 通过 API 调优时，无需额外控制台权限，只需为 RAM 用户分配 [API Key](../concepts/api-key.md) 即可。 完整的权限配置流程与截图说明见 [权限管理](../../raw/application-user-guide/application-permission-management/application-permission-management-overview.md)。 @@ -100,7 +100,7 @@ RAM 用户默认无权查看阿里云账单和购买预付费产品，需在 RAM - 业务空间不能跨地域存在；不同地域的默认业务空间也是不同空间。 - 默认业务空间无法设置模型调用、调优、部署限制，所有模型均按默认策略可用且无法限流。 -- API Key 不可跨业务空间或跨用户转移；账号移出业务空间后其 API Key 失效，重新加入后恢复。 +- [API Key](../concepts/api-key.md) 不可跨业务空间或跨用户转移；账号移出业务空间后其 [API Key](../concepts/api-key.md) 失效，重新加入后恢复。 - OpenAPI 接口权限、账单与预付费权限必须由阿里云主账号在 RAM 控制台授权，业务空间管理员无法授予。 - `AliyunBSSReadOnlyAccess` / `AliyunBSSOrderAccess` 为全产品级权限，授权范围远超百炼本身，需谨慎。 - 开通 AI 安全护栏、模型监控、应用观测等功能，建议使用阿里云主账号在控制台一次性授权开通。 @@ -108,7 +108,7 @@ RAM 用户默认无权查看阿里云账单和购买预付费产品，需在 RAM ## 常见问题 - **如何获取业务空间 ID**：参考应用开发的「获取 Workspace ID」文档。 -- **如何使用子业务空间调用模型**：无需特殊设置，使用子业务空间的 API Key 即可。 +- **如何使用子业务空间调用模型**：无需特殊设置，使用子业务空间的 [API Key](../concepts/api-key.md) 即可。 - **如何使用特定业务空间的应用**：使用 API 管理和调用特定业务空间的应用时，需同时设置 APP ID 和 Workspace ID。 ## 来源文档 @@ -128,6 +128,12 @@ RAM 用户默认无权查看阿里云账单和购买预付费产品，需在 RAM + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md index 0dd5decf..258ceebb 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md @@ -8,24 +8,24 @@ > **注意**：**Agent 2.0** [智能体应用](../concepts/agent-application.md)仅支持通过 API 调用，**不支持**上述任何分享渠道。若需分享，请确认应用版本。 -前提条件是已有构建好且**已发布**的智能体应用。所有分享渠道通过百炼控制台 **应用管理 → 目标应用卡片 → 发布** 进入。详见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 +前提条件是已有构建好且**已发布**的[智能体应用](../concepts/agent-application.md)。所有分享渠道通过百炼控制台 **应用管理 → 目标应用卡片 → 发布** 进入。详见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 ## 分享渠道 -智能体应用（Agent 1.0）支持四种分享或发布方式，以及音视频实时互动： +[智能体应用](../concepts/agent-application.md)（Agent 1.0）支持四种分享或发布方式，以及音视频实时互动： - **UI 应用 / 魔笔分享渠道**：进入 UI 设计器编辑并发布界面，在 **环境部署** 中获取应用地址后分享。持有链接的阿里云用户均可访问，**单击「下线」可停止服务**。 - **钉钉**：在 **发布平台** 授权计算巢 AppFlow（SLR 关联 + API-KEY 加密传输），配置钉钉模板 ID、Client ID、Client Secret 后创建，最终得到 **回调地址** 用于配置钉钉机器人。钉钉机器人的 **消息接收模式必须选 HTTP 模式**，选 Stream 模式会导致无法返回消息；并需申请 `Card.Streaming.Write` 与 `Card.Instance.Write` 权限。 - **微信公众号**：若已在钉钉步骤授权过则无需再次授权。选择 API KEY 与微信凭据（需 AppID 授权）后创建，生成二维码供用户扫码体验。 -- **音视频实时互动**：仅支持图文对话类应用（含智能体与工作流）。支持 H5/APP 扫码与 SDK 集成（基于 AICallKit SDK，含 UI/不含 UI 两种方案）两种渠道。 +- **音视频实时互动**：仅支持图文对话类应用（含智能体与[工作流](../concepts/workflow.md)）。支持 H5/APP 扫码与 SDK 集成（基于 AICallKit SDK，含 UI/不含 UI 两种方案）两种渠道。 > **注意**：临时体验二维码（音视频互动）与从已有应用发布的 UI 体验链接，**有效期均为 24 小时**，过期需重新生成或重新发布。 -**权限与计费**：共享应用可被应用创建者（主账号）、RAM 用户及持有链接的其他阿里云用户访问；所有通过分享链接产生的费用由**应用创建者 UID 账号**承担。上述钉钉/微信配置细节见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 +**权限与[计费](../concepts/billing.md)**：共享应用可被应用创建者（主账号）、RAM 用户及持有链接的其他阿里云用户访问；所有通过分享链接产生的费用由**应用创建者 UID 账号**承担。上述钉钉/微信配置细节见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 ## 组件化发布与接入 -智能体或工作流应用可发布为模块化组件，供其他应用复用。发布路径有三处：发布应用时勾选 **发布应用组件**、在 **发布渠道** 的组件区域 **+ 创建**、或在控制台 **组件管理** 面板创建。详见 [使用智能体或工作流作为组件](../../raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md)。 +智能体或[工作流](../concepts/workflow.md)应用可发布为模块化组件，供其他应用复用。发布路径有三处：发布应用时勾选 **发布应用组件**、在 **发布渠道** 的组件区域 **+ 创建**、或在控制台 **组件管理** 面板创建。详见 [使用智能体或工作流作为组件](../../raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md)。 ### 关键参数 @@ -35,11 +35,11 @@ - **别名**：调用者只能看到别名，用于避免参数重名。 - **传参方式**： - - **业务透传**：智能体中由使用者提供，工作流中由上游节点提供。 + - **业务透传**：智能体中由使用者提供，[工作流](../concepts/workflow.md)中由上游节点提供。 - **模型识别**：智能体中由大模型根据参数描述自动推断填充。 - **组件描述**：接入智能体时，大模型据此自动判断是否调用；接入工作流时仅作说明，不影响运行。 -> **注意**：即使参数的传参方式设为**模型识别**，在**工作流应用**中应用也**不会**自动推断参数值，必须像业务透传一样从上游节点明确提供输入值。模型识别仅在智能体应用中生效。 +> **注意**：即使参数的传参方式设为**模型识别**，在**工作流应用**中应用也**不会**自动推断参数值，必须像业务透传一样从上游节点明确提供输入值。模型识别仅在[智能体应用](../concepts/agent-application.md)中生效。 ### 接入方式 @@ -56,7 +56,7 @@ UI 设计器集成阿里云多端低代码平台魔笔的能力，提供可视化拖放式界面构建，可将应用发布为网页 UI。详见 [UI设计器](../../raw/application-user-guide/application-publishing-and-sharing/ui-designer.md)。 -**前提**：百炼应用、API Key 和 UI 设计必须归属于**同一业务空间**，否则无法在 UI 创建时选择对应的 API Key 与应用。 +**前提**：百炼应用、[API Key](../concepts/api-key.md) 和 UI 设计必须归属于**同一[业务空间](../concepts/workspace.md)**，否则无法在 UI 创建时选择对应的 [API Key](../concepts/api-key.md) 与应用。 发布方式有两种：从已有应用一键创建 UI（自动填充标题、API-KEY、智能体、预设问题等），或通过 UI 设计器从模板（空白 / 智能出行助手 / 智能体门户 / AI 基础对话 / 企业 AI 知识库 Lite）创建。核心流程为：创建 UI → 拖放组件编辑页面 → 发布与分享。 @@ -71,7 +71,7 @@ UI 设计器集成阿里云多端低代码平台魔笔的能力，提供可视 **权限**：UI 应用发布后默认持有链接的阿里云用户可访问，也可开启 **允许匿名访问** 并通过权限组限制其只访问会话页。 -**计费**：UI 设计器功能本身不计费，但会产生模型调用费用、UI 应用数据（超出 1GB 免费文件存储与 0.3GB 免费数据库容量后按量计费）、以及生产环境发布所需的套餐订阅费用。 +**[计费](../concepts/billing.md)**：UI 设计器功能本身不[计费](../concepts/billing.md)，但会产生模型调用费用、UI 应用数据（超出 1GB 免费文件存储与 0.3GB 免费数据库容量后按量计费）、以及生产环境发布所需的套餐订阅费用。 对于工作流应用，若配置了文件类型的自定义参数，需在 UI 设计器中指定 `{{{file_name:files[0]}}}`（将 `file_name` 替换为实际变量名），才能正确读取用户上传的文件。 @@ -84,3 +84,9 @@ UI 设计器集成阿里云多端低代码平台魔笔的能力，提供可视 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md index adc2411d..831d1e5e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md @@ -82,6 +82,12 @@ RAG（[检索增强生成](../concepts/rag.md)）在问答系统、对话系统 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md index cbd307ef..46b4b7ff 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md @@ -98,6 +98,12 @@ AppFlow 连接流可在百炼步骤后添加 SLS 日志云服务节点，将对 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md b/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md index 5d694cf8..85ce59c4 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md @@ -13,7 +13,7 @@ ## 基本调用方式 -[智能体应用](../concepts/agent-application.md)与工作流应用的调用接口完全相同，详见[调用智能体应用](../../raw/application-user-guide/bailian-application-calling/call-single-agent-application.md)与[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。核心请求结构如下： +[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用的调用接口完全相同，详见[调用智能体应用](../../raw/application-user-guide/bailian-application-calling/call-single-agent-application.md)与[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。核心请求结构如下： ``` POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion @@ -84,14 +84,14 @@ curl -X POST https://dashscope.aliyuncs.com/api/v1/apps/YOUR_APP_ID/completion \ ## 多轮对话 -工作流应用支持多轮对话，详见[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。两种实现方式： +[工作流](../concepts/workflow.md)应用支持多轮对话，详见[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。两种实现方式： - **使用 `session_id`**：系统自动从云端加载历史对话，实现简单。`session_id` 有效期 1 小时，最多支持 50 轮对话。 - **自行管理 `messages`（推荐）**：手动维护 `messages` 数组传递每轮历史，无需传 `prompt`，控制更灵活。 > **注意**：若请求中同时包含 `session_id` 和 `messages`，系统将优先使用 `messages`。 -使用 `messages` 时，需先在工作流的大模型节点中配置提示词变量 `historyList` 并发布应用，再发起调用。 +使用 `messages` 时，需先在[工作流](../concepts/workflow.md)的大模型节点中配置提示词变量 `historyList` 并发布应用，再发起调用。 ## 自定义参数传递 @@ -186,6 +186,12 @@ Java SDK 通过 `JsonUtils.parse(...)` 将 JSON 字符串转为对象传入 `App + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md b/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md index c0b98b7e..f90de605 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md @@ -24,7 +24,7 @@ - MySQL：已有 MySQL 实例（RDS 或自建），网络可达（公网或私网）。 - PostgreSQL：账号具备高权限（Superuser 或 REPLICATION），且 `wal_level` 设置为 `logical`；自建实例还需配置 `listen_addresses` 允许 `100.64.0.0/16` 网段访问。 - PolarDB-X 2.0：已有阿里云 PolarDB-X 2.0 实例且所在地域支持私网访问；DMS 导入方式需先在 DMS 录入实例。 - - 语雀：已有公网版语雀知识库并获取访问 Token。 + - 语雀：已有公网版语雀知识库并获取访问 [Token](../concepts/token.md)。 - OSS：已创建 Bucket 并开通向量检索服务。 ## 数据库连接器关键差异 @@ -63,7 +63,7 @@ - 数据库连接器执行 SQL 的限制见上文注意框（仅 DMS 导入方式支持）。 - **OSS 连接器**：使用需开通[向量检索服务](https://help.aliyun.com/zh/oss/user-guide/vector-retrieval/)，否则无法使用 `searchOSSFile` / `searchOSSFileByFileName` 工具；不支持归档/冷归档/深度冷归档类型的 Bucket；支持内容加密与私有 Bucket；开启 Referer 防盗链时需将 `*.console.aliyun.com` 加入白名单。 -- **文件导入**：文件作为独立副本存储在平台免费空间（当前无容量限制），仅支持查看最近 **90** 天内导入的文件（超期不可查看但不删除），且仅供当前业务空间使用。请求高峰期解析可能耗时数小时甚至偶现超时，需耐心等待或重试。 +- **文件导入**：文件作为独立副本存储在平台免费空间（当前无容量限制），仅支持查看最近 **90** 天内导入的文件（超期不可查看但不删除），且仅供当前[业务空间](../concepts/workspace.md)使用。请求高峰期解析可能耗时数小时甚至偶现超时，需耐心等待或重试。 - **语雀连接器**：仅支持公网版本语雀，需提供有效的 Tenant access token。 以上流程、字段和限制的完整细节，请以原文 [数据连接](../../raw/application-user-guide/data-connection-overview/data-connection.md) 为准。 @@ -78,3 +78,9 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md b/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md index 3781b4b1..de626372 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md @@ -1,77 +1,181 @@ # fine tuning -模型微调（Fine-tuning）是阿里云百炼在 Prompt 工程、插件调用等手段仍无法满足效果时提供的深度定制手段。它覆盖文本生成、视觉理解（Qwen-VL）、图像/视频生成（万相）以及语音合成（CosyVoice）等多种模态，通过 SFT、CPT、DPO 等训练方式，把领域知识、任务能力、人类偏好或特定音色/风格直接写入模型参数。 +百炼平台提供模型调优（Fine-Tuning）能力，支持对文本生成、视觉理解、图像生成、视频生成及语音合成等[多模态](../concepts/multimodal.md)模型进行定制化训练。调优方法包括 CPT（持续预训练）、SFT（监督微调）和 DPO（直接偏好优化），训练模式分为全参训练和高效训练（LoRA）。所有功能仅在华北2（北京）地域可用。 -> **注意**：以下所有微调、部署与调用能力均**仅在华北2（北京）地域可用**，且必须使用该地域的 API Key；子账号（RAM 用户）需预先被授予调用、训练和部署权限。 +## 调优方法 -## 支持的模型与训练方式 +百炼提供三种递进式调优方式，可组合使用，推荐顺序为 `CPT（可选）→ SFT → DPO（可选）`，详见[模型调优简介](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md)。 -按模态划分，不同模型支持的训练方式差异明显： +| 方法 | 目标 | 数据量要求 | 数据格式 | +| --- | --- | --- | --- | +| **CPT**（持续预训练） | 注入领域知识 | 1000万+ [Token](../concepts/token.md) | 纯文本 `{"text":"..."}` | +| **SFT**（监督微调） | 学会遵循指令 | 1000+ 条 | ChatML `{"messages":[...]}` | +| **DPO**（直接偏好优化） | 对齐人类偏好 | 100+ 组 | ChatML + chosen/rejected | -- **文本生成（千问系列）**：支持 CPT、SFT（全参 `sft` / 高效 `efficient_sft`）、DPO（全参 `dpo_full` / 高效 `dpo_lora`）。是否支持某种方式因模型而异，例如 Qwen3-32B、Qwen3-4B/1.7B/0.6B、Qwen2.5 系列支持全部 5 种；而 Qwen3.5-Plus/Flash、Qwen3.6/3.7 等新模型往往仅支持 `sft`。详见 [模型调优简介](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md)。 -- **视觉理解（千问 VL）**：Qwen3-VL、Qwen2.5-VL 系列支持 SFT 全参与高效训练，不支持 CPT/DPO。 -- **图像生成（万相）**：`wan2.7-image-pro`、`wan2.7-image`，仅支持 SFT-LoRA 高效微调，见 [微调图像生成模型](../../raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md)。 -- **视频生成（万相）**：图生视频-基于首帧 `wan2.7-i2v`/`wan2.5-i2v-preview`/`wan2.2-i2v-flash`，基于首尾帧 `wan2.2-kf2v-flash`，同样仅支持 SFT-LoRA，见 [微调视频生成模型](../../raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md)。 -- **语音合成（CosyVoice）**：`cosyvoice-v3-flash`，仅支持 `efficient_sft`，且**当前只能通过 API 发起，控制台暂不支持**，见 [CosyVoice模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-speech-synthesis-model/fine-tune-speech-synthesis-model-by-api.md)。 +## 训练模式 -## 三种调优方式（文本生成） +| 模式 | 特点 | 适用场景 | +| --- | --- | --- | +| **全参训练**（Full-Tuning） | 更新全部参数，效果更优 | 追求全局效果最优，对成本不敏感 | +| **高效训练**（LoRA） | 仅更新低秩部分参数，速度快 | 成本敏感、快速验证、数据量较小 | -推荐按递进顺序组合使用：`CPT（可选）→ SFT → DPO（可选）`。 +> **注意**：文本生成模型中全参训练与高效训练费用相同，百炼推荐优先选择全参训练。但图像生成、视频生成和语音合成模型目前仅支持高效训练（`efficient_sft`）。 -| 方式 | 目标 | 数据量 | 数据形态 | -| --- | --- | --- | --- | -| CPT（持续预训练） | 补领域知识 | 1000 万+ Token | 无标签领域文本 `{"text":"..."}` | -| SFT（监督微调） | 学会遵循指令 | 1000+ 条 | ChatML「问-答」对 | -| DPO（直接偏好优化） | 对齐人类偏好 | 100+ 组 | 同指令下「更好/更差」回答对（`chosen`/`rejected`） | +## 支持的模型 -训练模式分**全参训练**与**高效训练（LoRA）**：两者费用相同，官方建议在模型支持全参训练时优先选择全参（效果更好、性价比更高）；LoRA 适合对训练时间/成本敏感或数据集较小的场景。 +### 文本生成 -## 关键超参数 +支持 Qwen3.x 系列（如 qwen3-32b、qwen3-8b）、Qwen2.5 系列（如 qwen2.5-72b-instruct）等。不同模型支持的训练方式不同，部分模型仅支持 SFT 全参/高效训练，部分还支持 CPT 和 DPO。完整模型列表及支持的训练方式详见[模型调优简介](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md)。 + +### 视觉理解（千问 VL） + +支持 Qwen3-VL-8B-Instruct、Qwen3-VL-4B-Instruct、Qwen2.5-VL-72B/32B/7B-Instruct 等，支持 SFT 全参和高效训练。VL 模型的训练数据支持图片和视频输入。 -文本生成调优的常用超参及默认值（以控制台实际显示为准）： +### 图像生成（万相） -- `learning_rate`：高效训练建议 `1e-4` 量级，全参/CPT 建议 `1e-5` 量级。 -- `n_epochs`：默认 `3`，范围 `[1, 200]`；数据量 <10000 建议循环 3~5 次，>10000 建议 1~2 次。 -- `batch_size`：一般 16/32。 -- `max_length`：建议设为模型支持的最大值；SFT 会**丢弃**超长数据，DPO 则**截断**后仍训练。 -- `lora_rank` / `lora_alpha` / `lora_dropout`：LoRA 专用，秩越大效果略好但更慢、更易过拟合。 -- 通过 API 创建任务时，`n_epochs`、`batch_size`、`max_length` 因影响计费而**必填**。 +支持 wan2.7-image-pro、wan2.7-image，仅支持 SFT-LoRA 高效微调。覆盖文生图（t2i）和图生图（i2i）两种生成类型，详见[微调图像生成模型](../../raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md)。 -> **注意**：默认学习率各文档取值不一致。控制台参数面板列出的 `learning_rate` 默认值为 `3e-4`（对应高效训练默认场景），而 API 示例中 SFT 全参使用的是 `1.6e-5`。请以实际训练方式对应的量级为准，切勿照搬。 +### 视频生成（万相） -万相图像/视频与 CosyVoice 使用各自独立的超参集，例如万相有 `max_steps`/`generation_type`/`val_img_size`，CosyVoice 分 `lm_*`（影响韵律）与 `fm_*`（影响音色）两组网络的 `*_max_epoch`/`*_step`/`*_num`/`*_batch_size`（8 个子字段全部必填）。 +支持图生视频（基于首帧：wan2.7-i2v、wan2.5-i2v-preview、wan2.2-i2v-flash）和图生视频（基于首尾帧：wan2.2-kf2v-flash），仅支持 SFT-LoRA 高效微调，详见[微调视频生成模型](../../raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md)。 + +### 语音合成（CosyVoice） + +支持 `cosyvoice-v3-flash`，仅支持 SFT 高效微调（`efficient_sft`），且仅通过 API 发起，控制台暂不支持。调优产物为独立部署的单音色模型，调用时 `voice` 参数必须固定为 `default`，详见[CosyVoice模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-speech-synthesis-model/fine-tune-speech-synthesis-model-by-api.md)。 ## 使用方式 -**控制台（推荐入门）**：在[模型调优](https://bailian.console.aliyun.com/?tab=model#/efm/model_manager)页面创建训练任务 → 选训练方式与模型 → 配置训练集/验证集（可自动切分）→ 配置 Checkpoint 保存 → 开始训练 → 部署 → 评测。零代码场景可参考 [0 代码强化大模型安全合规能力](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/enhance-the-security-compliance-of-large-models.md)，其中给出了以 Qwen3-8B 为例的完整安全对齐 SFT 流程与超参实验对照（全参 `n_epochs=3`/`lr=1e-5` 或 LoRA `n_epochs=3`/`lr=3e-4` 效果较好）。 +### 通过控制台调优 + +在[模型调优](https://bailian.console.aliyun.com/?tab=model#/efm/model_manager)页面创建训练任务，依次配置训练方式、模型、超参数、训练集和验证集，然后启动训练。训练完成后导出参数快照，进行模型部署和评测。操作详情参见[在控制台进行模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md)。 + +### 通过 API 调优 + +通过 HTTP API 完成全流程：上传数据集 → 创建调优任务 → 查询任务状态 → 部署模型 → 调用模型。 + +**上传数据集：** + +```bash +curl --request POST 'https://dashscope.aliyuncs.com/api/v1/files' \ +--header "Authorization: Bearer $DASHSCOPE_API_KEY" \ +--form 'files=@"/path/to/your/file.jsonl"' \ +--form 'purpose="fine-tune"' \ +--form 'descriptions="a fine-tune data file"' +``` + +保存响应中的 `file_id`。 + +**创建调优任务：** + +```bash +curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \ +--header "Authorization: Bearer $DASHSCOPE_API_KEY" \ +--header 'Content-Type: application/json' \ +--data '{ + "model": "qwen3-8b", + "training_datasets": [ + {"data_source_type": "file_id", "file_id": ""} + ], + "training_type": "sft", + "hyper_parameters": { + "n_epochs": 3, + "batch_size": 16, + "max_length": 8192, + "learning_rate": "1.6e-5", + "lr_scheduler_type": "linear", + "split": 0.9, + "warmup_ratio": 0.05, + "eval_steps": 50, + "save_total_limit": 10 + } +}' +``` + +> **注意**：通过 API 创建的训练任务仅支持按 [Token](../concepts/token.md) [计费](../concepts/billing.md)，不支持使用模型训练单元（预付费或后付费）。如需使用训练单元，请通过控制台创建任务。 + +也支持通过 OSS 挂载方式加载数据集（`data_source_type: "oss_mount"`），需提前授权百炼访问 OSS 数据，OSS Bucket 所属地域支持北京（cn-beijing）和新加坡（ap-southeast-1）。 + +**查询任务状态：** -**API / 命令行**：统一四步流程，详见 [使用 API 或命令行进行模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/fine-tuning-api-guide.md)： +轮询 `GET /api/v1/fine-tunes/` 直到 `status` 变为 `SUCCEEDED`。 -1. 上传数据集到 `POST /api/v1/files`（`purpose=fine-tune`），获取 `file_id`。 -2. `POST /api/v1/fine-tunes` 创建任务，关注返回的 `job_id`、`finetuned_output`、`status`。 -3. 轮询 `GET /api/v1/fine-tunes/` 直到 `status` 变为 `SUCCEEDED`。 -4. `POST /api/v1/deployments` 部署（`plan=lora`），轮询直到 `status` 为 `RUNNING`，再用 `deployed_model` 调用。 +**部署模型：** -> **注意**：通过 API 创建的训练任务**仅支持按 Token 计费**，不支持模型训练单元（预付费/后付费）；如需使用训练单元，必须通过控制台创建。 +```bash +curl --location 'https://dashscope.aliyuncs.com/api/v1/deployments' \ +--header "Authorization: Bearer $DASHSCOPE_API_KEY" \ +--header 'Content-Type: application/json' \ +--data '{ + "model_name": "", + "capacity": 1, + "plan": "lora" +}' +``` -数据集除 `file_id` 外还可用 OSS 挂载（`data_source_type=oss_mount`），OSS Bucket 地域支持 `cn-beijing` 与 `ap-southeast-1`，挂载时只需指定 `data.jsonl` 路径。 +轮询 `GET /api/v1/deployments/` 直到 `status` 变为 `RUNNING`，然后使用 `deployed_model` 名称调用模型。 -## 数据格式要点 +API 调优的完整参数说明详见[使用 API 或命令行进行模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/fine-tuning-api-guide.md)。 -- **SFT**：ChatML `{"messages":[...]}`，支持多轮；不支持 OpenAI 的 `name`/`weight`，所有 assistant 行都会被训练；思考模型（thinking）只训练**最后**一个 assistant 输出且须保留 `` 标签前后的换行。 -- **DPO**：在 `messages` 基础上追加 `chosen`/`rejected`。 -- **CPT**：纯文本 `{"text":"..."}`。 -- **视觉理解**：`content` 用数组，`image`/`video` 声明文件名（不含路径），打包为 ZIP（≤2GB），`data.jsonl` 必须在根目录，文件名全局唯一且仅含 ASCII。 -- **CosyVoice**：`data.jsonl` 每行 `{"wav_fn":"train/xxx.wav","text":"..."}`，`wav_fn` 必须以 `train/` 前缀；`text` 须为纯文本，禁止 SSML/LaTeX/情感标注。 +## 数据格式 + +### SFT 训练集（ChatML） + +```json +{"messages": [ + {"role": "system", "content": "系统输入"}, + {"role": "user", "content": "用户输入"}, + {"role": "assistant", "content": "期望的模型输出"} +]} +``` + +支持多轮对话。思考模型（thinking）需在最后一个 assistant 输出中使用 `` 标签包裹思考内容。VL 模型的 `content` 使用数组格式，可包含 `image` 和 `video` 字段。 + +### DPO 数据集 + +在 SFT 格式基础上增加 `chosen`（期望输出）和 `rejected`（不期望输出）字段。 + +### CPT 训练集 + +纯文本格式：`{"text":"文本内容"}`。 + +### 数据上传要求 + +- 单个文件最大 300MB，总配额 100GB / 10000 个文件 +- VL 模型训练数据需打包为 ZIP，`data.jsonl` 位于根目录，图片/视频文件名全局唯一 +- CosyVoice 训练数据为 `.wav` 音频 + `data.jsonl`，打包为 ZIP + +## 关键超参数 + +| 参数 | 默认值 | 推荐设置 | +| --- | --- | --- | +| `learning_rate` | `3e-4` | 高效训练 1e-4 量级，全参训练 1e-5 量级 | +| `n_epochs` | `3` | 数据量 < 10K 时 3~5 次，> 10K 时 1~2 次 | +| `batch_size` | 因模型而异 | 使用默认值（通常 16/32） | +| `max_length` | `8192` | 设置为模型支持的最大值 | +| `eval_steps` | `50` | 使用默认值 | +| `lora_rank` | `8` | 设置为模型支持的最大值 | +| `lora_alpha` | `16` | 使用默认值 | +| `lr_scheduler_type` | `linear` | 推荐 `linear` 或 `Inverse_sqrt` | +| `warmup_ratio` | `0.05` | 使用默认值 | +| `weight_decay` | `0.01` | 使用默认值 | + +> **注意**：`max_length` 在文档中存在不一致：控制台文档标注范围为 [500, 131072]，API 文档标注为 [500, 32768]。请以控制台实际显示为准。 + +## [计费](../concepts/billing.md) + +训练费用 = (训练数据 [Token](../concepts/token.md) 总数 + 混合训练数据 [Token](../concepts/token.md) 总数) × 循环次数 × 训练单价。不同模型单价不同，文本生成模型从 ¥0.003/千[Token](../concepts/token.md) 到 ¥0.35/千[Token](../concepts/token.md) 不等。训练完成后需部署模型才能使用，部署费用另计。 + +CosyVoice 调优训练单价为 ¥0.2/千[Token](../concepts/token.md)s，消耗 [Token](../concepts/token.md) 数 = (lm_max_epoch + fm_max_epoch) × 25 × 训练集总时长（秒）。 ## 限制与注意事项 -- **成本与耗时高**：文本模型微调需构建大规模数据集，且调优后模型**必须部署才能使用**，部署费用较高；官方明确将模型调优定位为「最后的手段」，建议先充分尝试 Prompt 工程与插件调用。 -- **训练耗时差异大**：万相文生图约数十分钟，视频微调可达数小时；文本 LoRA 通常 15~30 分钟；部署一般需 3~10 分钟。 -- **计费方式各异**：文本/VL 按训练 Token 计费（`训练Token × 循环次数 × 单价`）；CosyVoice 按 `(lm_max_epoch+fm_max_epoch)×25×音频总秒数` 估算 Token，单价 0.2 元/千 Token，另加部署时长费用。 -- **能力边界不可突破**：CosyVoice 调优产物为单音色模型（`voice` 锁定 `default`），无法新增基础模型不支持的语种、也不支持 `instruction` 指令控制。 -- **过拟合/欠拟合判断**：观察 Training/Validation Loss 曲线，欠拟合可增大 `n_epochs`/`lora_rank`，过拟合则反向调整。 -- 万相 LoRA 调用需在提示词中包含**触发词**以激活风格；图像模型部署后当前仅支持异步调用。 +- **地域限制**：所有调优功能仅在华北2（北京）地域可用，必须使用该地域的 [API Key](../concepts/api-key.md)。 +- **权限要求**：子账号（RAM 用户）需被授予模型调用、训练和部署权限。 +- **部署依赖**：调优后的模型必须部署为在线服务后才能调用，图像/视频生成模型仅支持[异步调用](../concepts/async-invocation.md)。 +- **耗时**：LoRA 训练通常 15~30 分钟（文本模型），图像微调约 1~2 小时，视频微调需数小时，CosyVoice 最小超参约 37 分钟、推荐超参约 20 倍。 +- **先试 Prompt 工程**：百炼推荐在调优前先尝试 Prompt 工程和插件调用，模型调优作为改进表现的"最后手段"。 +- **安全合规**：可通过零代码 SFT 微调强化模型的安全合规能力，使用覆盖多类安全风险的高质量指令数据集进行训练，详见[0 代码强化大模型安全合规能力](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/enhance-the-security-compliance-of-large-models.md)。 +- **CosyVoice 能力边界**：调优产物为单音色模型，不支持语种扩展、指令控制、声音复刻和声音设计；训练数据须为同一发音人。 ## 来源文档 @@ -85,3 +189,5 @@ + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md b/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md index 56974632..cc793a8e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md @@ -1,35 +1,85 @@ # get started with models -阿里云百炼是一站式大模型开发与应用平台，集成千问（Qwen）全系列及 DeepSeek、Kimi、GLM 等主流第三方模型，并提供兼容 OpenAI 的 API。本页面帮助开发者快速完成从选择模型、获取 API Key、配置 Base URL 到发起首次调用的全流程，并梳理地域、接入域名与限流等关键约束。 +阿里云百炼是一站式大模型开发与应用平台，集成千问（Qwen）及 DeepSeek、GLM 等第三方模型，提供兼容 OpenAI 的 API 接口。本页梳理从选择模型、获取 [API Key](../concepts/api-key.md)、配置 Base URL 到首次调用的完整流程，并说明地域选择、限流策略等关键注意事项。 -## 支持的模型与能力 +## 平台概览 -百炼提供开箱即用的模型服务，无需自行部署或运维即可调用。文本生成方面，千问旗舰模型按能力与成本分层选择（参见 [选择模型](../../raw/model-user-guide/get-started-with-models/models.md)）： +百炼面向开发者提供 API 调用和全链路模型服务，面向业务人员提供可视化应用构建能力。核心能力包括： -- **千问 Max**（如 `qwen3.7-max`）：Qwen 系列效果最好的模型，适合复杂、多步骤任务。 -- **千问 Plus**（如 `qwen3.7-plus`）：效果、速度和成本均衡，多数场景的**推荐选择**。 -- **千问 Flash**（如 `qwen3.6-flash`）：高性价比、低延迟，适合需要快速响应的简单任务。 +- **模型推理**：开箱即用的文本生成、视觉理解、图像生成、语音识别与合成等[多模态](../concepts/multimodal.md)模型，无需自行部署。 +- **模型调优**：支持 SFT、CPT、DPO 等微调方式。 +- **应用构建**：[智能体应用](../concepts/agent-application.md)、[工作流](../concepts/workflow.md)应用、高代码应用，配合知识库（RAG）和插件/MCP 扩展能力。 -此外还覆盖视觉理解、图像生成、视频生成、语音识别与合成、嵌入向量等多模态能力，以及长文本、翻译、法律等细分领域模型。平台同时支持模型调优（SFT / CPT / DPO）、模型部署与模型评测，详见 [什么是阿里云百炼](../../raw/model-user-guide/get-started-with-models/what-is-model-studio.md)。 +详见 [什么是阿里云百炼](../../raw/model-user-guide/get-started-with-models/what-is-model-studio.md)。 -## 关键概念与参数 +## 模型选择 -调用前需要先确定四个维度（详见 [选择地域、服务部署范围和接入域名](../../raw/model-user-guide/get-started-with-models/regions.md)）： +百炼提供千问全系列及第三方大模型，按效果和成本从高到低分为三档： -- **地域（Region）**：决定接入点和数据存储位置。目前提供华北2（北京，`cn-beijing`）、新加坡（`ap-southeast-1`）、日本（东京，`ap-northeast-1`）、德国（法兰克福，`eu-central-1`）、美国（弗吉尼亚，`us-east-1`）。就近选择可降低延迟。 -- **服务部署范围**：决定推理执行位置。有数据合规需求时选择特定地理边界（如中国内地、欧盟、美国），无合规需求可选全球部署（推理资源池更大）。德国、日本地域通过[业务空间（Workspace）](../concepts/workspace.md)区分部署范围；美国地域可用带 `-us` 后缀的模型名（如 `qwen-plus-us`）限定境内推理。 -- **接入域名**：影响并发上限、超时等服务保障，推荐使用**业务空间专属域名**（`{WorkspaceId}.{region}.maas.aliyuncs.com`，SLA 99.9%、请求超时 3600 秒、支持 HTTP/SSE/WebSocket/WebRTC），另有 Dashscope 域名（现有，超时 600 秒）和试用域名（限流小，不建议生产）。 -- **API Key**：各地域相互独立、不能跨地域混用；Base URL 也必须与同一计费方案的 API Key 配套使用，否则报 401。 +| 档位 | 代表模型 | 特点 | +| --- | --- | --- | +| 旗舰 | qwen3.7-max | 效果最好，适合复杂多步骤任务 | +| 均衡 | qwen3.7-plus | 效果、速度、成本均衡，多数场景推荐 | +| 高性价比 | qwen3.6-flash | 低延迟、低成本，适合简单任务 | -> **注意**：各地域接入点（Base URL）、API Key 和模型列表均不能跨地域混用；使用北京、新加坡、日本、德国地域时，业务空间专属域名中的 `{WorkspaceId}` 需替换为真实业务空间 ID（可在业务空间管理页查看）。 +此外还有 qwen-long（长文本）、qwq-plus（推理模型）等细分领域模型。完整模型列表及各地域可用情况参见 [选择模型](../../raw/model-user-guide/get-started-with-models/models.md)。 -## 使用方式 +> **注意**：qwen3.8-max-preview 目前仅面向 [Token](../concepts/token.md) Plan 订阅用户提供，普通按量付费账号无法调用。 -**1. 账号与凭证准备**（参见 [首次调用千问API](../../raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md)）：注册并开通百炼 → 在 API Key 页面创建 Key → 获取业务空间 ID。建议将 Key 配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄露。 +## 账号准备与 [API Key](../concepts/api-key.md) -**2. 选择 Base URL**（详见 [Base URL总览](../../raw/model-user-guide/get-started-with-models/base-url.md)）：百炼提供 OpenAI 兼容（`/compatible-mode/v1`）、Anthropic 兼容（`/apps/anthropic`）、DashScope（`/api/v1`）三类接口。以北京地域业务空间专属域名的 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)为例：`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`。 +1. **注册阿里云账号**并完成实名认证。 +2. **开通百炼**：主账号前往百炼控制台，阅读并同意协议后自动开通。 +3. **获取 [API Key](../concepts/api-key.md)**：在控制台「[API Key](../concepts/api-key.md)」页面创建。 +4. **获取[业务空间](../concepts/workspace.md) ID**：使用北京、新加坡、东京、法兰克福地域时，需在 Base URL 中填入 WorkspaceId，可在「[业务空间](../concepts/workspace.md)管理」页面查看。 -**3. 发起调用**：兼容 OpenAI 接口规范，迁移现有代码只需调整 API Key、base_url 和模型名称。Python 示例： +建议将 [API Key](../concepts/api-key.md) 配置到环境变量 `DASHSCOPE_API_KEY`，避免在代码中硬编码。各操作系统配置方式详见 [首次调用千问API](../../raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md)。 + +## 地域与服务部署范围 + +百炼提供 5 个地域，每个地域有独立的接入域名、[API Key](../concepts/api-key.md) 和模型列表，**不能跨地域混用**。 + +| 地域 | 地域 ID | 服务部署范围选项 | +| --- | --- | --- | +| 华北2（北京） | cn-beijing | 中国内地 | +| 新加坡 | ap-southeast-1 | 国际 | +| 美国（弗吉尼亚） | us-east-1 | 全球 / 美国 | +| 德国（法兰克福） | eu-central-1 | 全球 / 欧盟 | +| 日本（东京） | ap-northeast-1 | 全球 / 日本 | + +选择原则： + +- **降低延迟**：选择邻近地域。 +- **数据合规**：有驻留要求时选择对应地理边界的部署范围。 +- **资源池大小**：无合规需求选全球部署范围，推理资源池更大。 + +北京和新加坡地域各仅支持一种服务部署范围，无需选择。法兰克福和东京地域通过[业务空间](../concepts/workspace.md)区分部署范围。弗吉尼亚地域使用带 `-us` 后缀的模型名称（如 `qwen-plus-us`）可限定美国境内推理。 + +完整地域信息与功能支持矩阵参见 [选择地域、服务部署范围和接入域名](../../raw/model-user-guide/get-started-with-models/regions.md)。 + +## Base URL + +Base URL 必须与同一计费方案的 API Key 配套使用，否则报错 401。按量付费场景有三种域名： + +| 域名类型 | 格式 | 适用场景 | +| --- | --- | --- | +| [业务空间](../concepts/workspace.md)专属（推荐） | `{WorkspaceId}.{region}.maas.aliyuncs.com` | 生产环境，更高并发、更低延迟、空间级隔离 | +| Dashscope 域名 | `dashscope.aliyuncs.com` 等 | 存量业务兼容，建议迁移 | +| 试用域名 | `trial.{region}.maas.aliyuncs.com` | 快速验证，限流值小 | + +[业务空间](../concepts/workspace.md)专属域名支持 HTTP、SSE、WebSocket、WebRTC 协议，请求超时 3600 秒，SLA 99.9%。Dashscope 域名超时为 600 秒。此外还有 [Token](../concepts/token.md) Plan 和 Coding Plan 专属域名，仅限 AI 工具交互式使用。完整 Base URL 列表参见 [Base URL总览](../../raw/model-user-guide/get-started-with-models/base-url.md)。 + +以北京地域[业务空间](../concepts/workspace.md)专属域名的 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)为例： + +``` +https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1 +``` + +## 首次调用 + +百炼兼容 OpenAI 接口规范，现有 OpenAI 代码只需修改 `api_key`、`base_url` 和 `model` 三个参数即可迁移。 + +**Python 示例（OpenAI SDK）：** ```python import os @@ -41,25 +91,55 @@ client = OpenAI( ) completion = client.chat.completions.create( model="qwen-plus", - messages=[ - {'role': 'system', 'content': 'You are a helpful assistant.'}, - {'role': 'user', 'content': '你是谁？'} - ] + messages=[{"role": "user", "content": "你是谁？"}] ) print(completion.choices[0].message.content) ``` -也可通过 DashScope SDK（`pip install -U dashscope`）、curl，或 Chatbox、Claude Code 等客户端/开发工具调用。OpenAI Python SDK 要求 Python ≥ 3.8。 +**curl 示例：** + +```bash +curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/chat/completions \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ + -H "Content-Type: application/json" \ + -d '{"model": "qwen-plus", "messages": [{"role": "user", "content": "你是谁？"}]}' +``` + +安装 SDK：`pip install -U openai`（OpenAI SDK）或 `pip install -U dashscope`（DashScope SDK）。完整配置步骤和 Node.js 示例参见 [首次调用千问API](../../raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md)。 + +## 限流 + +百炼按主账号维度对模型调用设置限流，账号下所有 RAM 子账号、业务空间和 API Key 的调用量合并计算。不同模型限流额度相互独立。超出限制时请求被拒绝，通常一分钟内自动恢复。 + +**限流类型：** -## 限制与注意事项 +| 错误信息 | 触发类型 | +| --- | --- | +| `Requests rate limit exceeded` | RPM（每分钟请求数）限流 | +| `Allocated quota exceeded` | TPM（每分钟 [Token](../concepts/token.md) 消耗）限流 | +| `Request rate increased too quickly` | 请求频率激增保护 | -- **限流按主账号维度合并计算**：账号下所有 RAM 子账号、业务空间和 API Key 的调用量合并统计，不同模型限流额度相互独立。超限请求被拒绝，通常一分钟内自动恢复。详见 [限流](../../raw/model-user-guide/get-started-with-models/rate-limit.md)。 -- **RPM 与 TPM 双重约束**：`Requests rate limit exceeded` 表示触发每分钟请求数（RPM）限流；`Allocated quota exceeded` 表示触发每分钟 Token 数（TPM）限流；`Request rate increased too quickly` 表示请求瞬时激增触发稳定性保护。限流可能按秒级 RPS（RPM/60）、TPS（TPM/60）执行。 -- **规避限流**：优先选用高限流额度模型（稳定版比日期快照版更宽松）、平滑请求速率（匀速/指数退避/队列）、配置备选模型自动切换、拆分任务、无需实时响应时改用 Batch API（不受实时限流约束）。北京与新加坡地域支持在控制台申请临时 TPM 提额（生效 30 天）。 -- **计费独立**：模型推理按 Token 用量计费，知识库（RAG）按规格时长与调用独立计费，两者互不相通。限流只约束速率、不限制累计用量；如需控费可设置费用告警、开启"免费额度用完即停"或订阅 Coding Plan（固定月费）。 -- **各地域功能差异**：批量推理、模型调优、应用开发等能力目前主要在华北2（北京）支持，海外地域功能覆盖较少，选型前请核对目标地域的功能与模型列表。 +> **注意**：即使每分钟总调用量未超限，短时间内的请求爆发也可能触发秒级 RPS/TPS 限制。 -> **注意**：Token Plan 与 Coding Plan 的 Base URL 及专属 API Key 仅限 Claude Code、Codex 等 AI 工具交互式使用，不能用于后端服务；使用非专属 Base URL 调用将按量付费。 +**避免限流的策略：** + +1. 选用 qwen-plus 等高限流模型，稳定版比快照版限流更宽松。 +2. 收到 RPM 限流时降低调用频率；收到 TPM 限流时缩短输入或限制输出长度。 +3. 采用匀速调度、指数退避或请求队列平滑请求速率。 +4. 配置备选模型，限流后自动切换重试。 +5. 无需实时响应时使用批量推理（Batch API），不受实时限流约束。 +6. 默认额度不足时，可在控制台「限流提额」页面提升临时 TPM 额度，有效期 30 天。 + +完整限流额度表参见 [限流](../../raw/model-user-guide/get-started-with-models/rate-limit.md)。 + +## 计费要点 + +- 开通百炼免费，调用、微调、部署模型时产生费用，按量付费，按分钟出账。 +- 新用户有北京地域专属免费额度；已认证用户额度用完后自动转按量付费，可开启「免费额度用完即停」避免意外扣费。 +- 模型推理按 [Token](../concepts/token.md) 用量计费，可使用 AI 通用节省计划抵扣；知识库（RAG）按规格时长和模型调用独立计费，不支持节省计划。 +- Coding Plan 采用固定月费提供月度请求额度，需使用专属 Base URL 和 API Key，否则按量付费。 + +> **注意**：百炼没有"自动扣费"开关，要避免产生费用可删除 API Key、停止所有调用、清理计费资源，或设置费用监控预警。 ## 来源文档 @@ -71,3 +151,5 @@ print(completion.choices[0].message.content) - [Base URL总览](../../raw/model-user-guide/get-started-with-models/base-url.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md b/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md index 8f2e139a..4b210433 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md @@ -1,81 +1,146 @@ # [knowledge](../api/knowledge.md) base -知识库（Knowledge Base）是阿里云百炼平台基于 RAG（检索增强生成）技术为大模型补充私有数据和最新信息的能力。大模型在生成回答前先从知识库中检索语义相关的内容，从而显著提升在特定领域问题上的准确性。围绕知识库，平台还提供了知识检索、知识问答、API 集成、日志监控与计费等一整套配套能力。 +阿里云百炼知识库基于 RAG（[检索增强生成](../concepts/rag.md)）技术，为大模型补充私有数据与最新信息。支持文档搜索、数据查询、图片问答、音视频搜索等多种类型，可集成到[智能体应用](../concepts/agent-application.md)、[工作流](../concepts/workflow.md)应用或通过 API 调用。知识库功能仅支持中国站华北2（北京）地域。 -> **注意**：知识库功能仅能在中国站 **华北2（北京）** 地域开通和使用，新加坡、德国（法兰克福）等其他地域均不支持。 +## 知识库类型 -## 支持的模型与知识库类型 +创建知识库时需选择类型，创建后不可更改： -预置模型（千问-QwQ/Long/Max/Plus/Turbo/Coder、千问VL 系列、Qwen 开源版，以及 DeepSeek-R1/V3.1、Llama3.1 等第三方文本生成模型）和部分调优后的自定义模型均可挂载知识库。具体可选模型以[应用管理](https://bailian.console.aliyun.com/?tab=app#/app-center)页面创建应用时实际可选项为准。 +- **文档搜索**：适用于企业内部文档、产品手册等非结构化数据。提供三种使用场景： + - 基础文档问答：纯文本文档的语义检索。 + - 视觉理解（富文本文档）：使用 qwen3-vl-embedding [多模态](../concepts/multimodal.md)向量模型，对 PDF、图片等富文本文档进行视觉级理解和索引，保留版面信息。 + - 极速问答：针对低延迟场景优化，适合 FAQ、产品参数表等高度结构化文档，仅支持文本查询。 +- **数据查询**：结构化数据（Excel/CSV）检索，单个知识库仅支持 1 篇文件。 +- **图片问答**：使用 multimodal-embedding-v1 模型。 +- **音视频搜索**：支持音频和视频文件的语音识别、视频帧提取和剧情解析。 -创建知识库时按场景选择类型（创建后不可更改）： +## 支持的模型 -- **文档搜索**：企业内部文档、产品手册等非结构化数据检索。可细分为基础文档问答、图文并茂回复、视觉理解（富文本文档）、极速问答四种使用场景。选择视觉理解后向量模型自动切换为 qwen3 多模态向量（qwen3-vl-embedding），不可更改。 -- **数据查询（表格库）**：结构化 Excel/CSV，单库仅支持 1 篇。 -- **图片问答类**：仅支持 multimodal-embedding-v1 向量模型。 -- **音视频搜索类**：支持语音识别、视频帧提取与剧情解析。 +预置模型包括千问全系列（QwQ/Long/Max/Plus/Turbo/Coder/Deep-Research）、千问VL系列、千问开源版（Qwen3、Qwen2.5、Qwen2等）、第三方模型（DeepSeek-R1、DeepSeek-V3.1、abab6.5s、Llama3.1、Yi-Large 等）。自定义模型支持基于千问 Plus/Turbo、千问VL-Max/Plus 及开源版调优后的模型。详见[知识库](../../raw/application-user-guide/knowledge-base/rag-knowledge-base.md)。 -不同解析方式（电子文档解析、文档智能解析、大模型文档解析、Qwen VL 解析、音视频解析）在速度与图表理解能力上有明显差异，详见[知识库](../../raw/application-user-guide/knowledge-base/rag-knowledge-base.md)。 +向量模型方面，文档搜索/数据查询/音视频搜索类知识库支持 text-embedding-v4 和 text-embedding-v3（均为 512 维）；图片问答类仅支持 multimodal-embedding-v1（1024 维）。视觉理解场景自动切换为 qwen3-vl-embedding，不可更改。 -## 关键参数 +## 创建知识库 -知识库的检索效果主要由以下参数决定，在命中测试、检索服务和问答服务中可反复调优： +知识库分标准版和旗舰版两种规格： -- **相似度阈值（0.01~1.0）**：仅语义相似度高于阈值的切片会被召回。阈值过高会导致相关切片被全部丢弃（例如调至 0.60 可能返回无召回结果）。 -- **初步向量检索 TopK / 初步关键词检索 TopK（1~100，默认各 50）**：控制初步召回的切片数量，直接影响送入 Rerank 模型的 Token 量与成本。 -- **最大召回数量 / 召回片段数（1~20）**：即多路召回的 K 值，最终提供给大模型的切片数。对总结、列举、比较类复杂问题应适当调大。 -- **权重**：多知识库联合召回时用于干预排序，但**仅在同类型知识库之间生效**。 -- **排序模型（Rerank）**：纯文本可选 qwen3-rerank、qwen3-rerank(hybrid)；多模态可选 qwen3-vl-rerank。支持问答模式与相似模式。 -- **Meta 信息抽取与标签过滤**：通过元数据（常量/变量/大模型/正则/关键词方式提取）和标签在向量检索前做结构化筛选，精准定位目标文件。注意元数据只能在创建时配置，创建后无法再开启。 +| 规格 | 最高并发 | 存储空间 | 价格 | +| --- | --- | --- | --- | +| 标准版 | 1 QPS（固定） | ≤ 100 GB | 0.03 元/小时 | +| 旗舰版 | 50-10,000 QPS（1-200 RCU） | ≤ 9,999 GB | 0.2 元/RCU/小时 | -## 使用方式 +创建流程分三步：填写基础信息并选择知识库类型 → 配置数据来源 → 设置索引参数。 -**控制台快速构建**：进入[知识库](https://bailian.console.aliyun.com/?tab=app#/knowledge-base)选择规格后，按"填写基础信息 → 配置数据来源 → 设置索引参数"三步完成创建，随后可关联到智能体应用、工作流应用或外部应用。工作流应用需将知识库节点接在开始节点之后、大模型节点之前，并在大模型提示词中引用 `result` 变量。 +### 数据来源与解析方式 -**知识检索服务**：面向多知识库联合检索（最多 15 个），提供 Query 改写、混合检索（向量+关键词）、Rerank 排序的流水线，支持知识库路由、混排模型模式等全局与单库独立参数配置，详见[知识检索](../../raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md)。 +支持本地上传和云端导入（数据连接器或 OSS）。文档搜索类知识库提供多种解析方式： -**知识问答服务**：在检索基础上由大模型（如 qwen3.6-plus）生成自然语言回答，提供**极速模式**（单轮检索+生成）和**多轮智能模式**（Agentic 多轮规划搜索），并支持文件预解析、拒答、防泄漏、多模态回复、引用来源等生成控制。 +- **电子文档解析**：速度最快，不支持解析插图与图表。 +- **文档智能解析**：提取插图文本摘要，速度较快。 +- **大模型文档解析**：深度理解插图和图表，耗时较长。 +- **Qwen VL 解析**：专用于图片文件。 +- **音视频解析**：语音识别 + 视频帧提取 + 剧情解析（可选）。 -**API/SDK 集成**：通过[阿里云百炼 SDK](https://api.aliyun.com/api-tools/sdk/bailian?version=2023-12-29)调用，典型创建流程为：申请上传租约（ApplyFileUploadLease）→ 上传文件 → AddFile → CreateIndex → SubmitIndexJob → 轮询 GetIndexJobStatus。子账号需先获取 AliyunBailianDataFullAccess 策略并加入业务空间，详见[知识库API指南](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-api-guide.md)。 +### Meta 信息抽取 + +metadata 以 key-value 形式集成到文本切片中，提供上下文信息以提升检索准确性。取值方法支持常量、变量（file_name/cat_name）、大模型（实体描述匹配）、正则、关键词搜索。**知识库一旦创建后无法再配置 metadata 抽取**。 + +### 切片策略 + +建议选择**智能切分**，基于语义相关性自适应选择切片点，保留语义完整性。单个文本切片最大 6,000 [Token](../concepts/token.md)，切片数量无限制。可在导入后人工检查和编辑切片内容进行修正。 + +## 检索与重排配置 + +检索流程为：Query 改写（可选）→ 向量检索 + 关键词检索 → Rerank 排序 → 返回结果。 + +关键参数： + +| 参数 | 说明 | 取值范围 | +| --- | --- | --- | +| 相似度阈值 | 过滤排序后分数低于阈值的切片 | 0.01~1.0 | +| 最大召回数量 | 单知识库排序后返回的切片数 | 1~20 | +| 初步向量检索 TopK | 向量语义召回的切片数 | 1~100（默认 50） | +| 初步关键词检索 TopK | 关键词匹配召回的切片数 | 1~100（默认 50） | +| 排序模型 | qwen3-rerank（文本）/ qwen3-rerank(hybrid) / qwen3-vl-rerank（[多模态](../concepts/multimodal.md)） | — | +| 排序模型模式 | 问答模式（QA 匹配）/ 相似模式（语义相似度）/ 自定义高级模式 | — | + +> **注意**：相似度阈值设置过高会丢弃所有相关切片，导致无召回结果。应通过命中测试反复调试。 + +排序模型费用取决于**初步召回的总切片数**，而非最终返回数量。通过降低初步向量检索 TopK 和初步关键词检索 TopK 可显著降低成本。 + +## 知识检索服务 + +支持多知识库联合检索（最多 15 个），每个知识库可独立配置检索参数。全局配置包括知识库路由（依赖大模型判断检索范围）、混排模型、混排模型模式、最大召回数量（1~20）。详见[知识检索](../../raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md)。 + +## 知识问答服务 + +基于大模型结合知识检索生成自然语言回答，支持多知识库绑定（最多 15 个）。提供两种检索模式： + +- **极速模式**：单轮检索后直接生成回答，低延时，适合简单明确的问题。 +- **多轮智能模式**：基于大模型 Agentic 多轮规划搜索，自动进行意图识别、Query 改写、知识库路由，适合复杂问题和跨库综合回答。 + +生成控制参数包括：文件预解析（全文引用/切片检索）、拒答策略、防泄漏保护、[多模态](../concepts/multimodal.md)回复、引用来源展示。详见[知识问答](../../raw/application-user-guide/knowledge-base/rag-knowledge-qa.md)。 + +## API 集成 + +通过阿里云百炼 SDK 可实现知识库的自动化操作。子账号需获取 AliyunBailianDataFullAccess 策略权限并加入[业务空间](../concepts/workspace.md)。完整流程包括：申请上传租约 → 上传文件 → 添加文件到类目 → 查询文件解析状态 → 创建知识库 → 提交索引任务 → 查询任务状态。接入地址为 `bailian.cn-beijing.aliyuncs.com`。详见[知识库API指南](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-api-guide.md)。 ## 效果优化 -RAG 效果由建立索引、检索召回、生成答案三个阶段决定。优化前建议用[自动评测](https://help.aliyun.com/zh/model-studio/application-auto-evaluation)建立至少 100 组用例的评估基线，再针对失败用例（打分 < 4）诊断改进： +当遇到知识召回不完整或内容不准确时，可从三个阶段优化。详见[RAG效果优化](../../raw/application-user-guide/knowledge-base/rag-optimization.md)。 + +### 建立评估基线 + +创建至少 100 组问题的评测集（覆盖事实型、比较型、教程型、分析型），运行并记录基线结果。 -- **检索无效（没找到）**：补充知识、优化源文件排版（推荐转 Markdown、移除水印、避免复杂表格）、统一实体表述、启用多轮对话改写。 -- **召回不相关**：使用标签过滤或元数据做结构化搜索。 -- **切片不完整**：采用"智能切分"（基于语义自适应切分），并人工检查修正异常切片。 -- **重排不佳**：调整相似度阈值与召回片段数，在漏召回与噪声之间平衡。 +### 诊断与改进 + +针对失败用例（打分 < 4）： + +1. **检索无效（无相关知识）**：补充知识库内容；优化源文件排版（移除水印、避免复杂表格、优先 Markdown）；统一术语表述；启用多轮对话改写（创建时开启，后续无法补开）。 +2. **检索无效（召回不相关）**：为文件添加标签进行过滤；配置 metadata 进行结构化搜索精准定位目标文件。 +3. **切片不完整**：采用智能切分策略；人工检查和修正切片内容。 +4. **重排不佳**：通过命中测试调整相似度阈值；对复杂问题适当增加召回片段数。 ## 日志与监控 -所有检索调用都会以日志形式投递到日志服务（SLS），topic 为 `log_dispatch`，包含 `request_id`、`pipeline_id`（知识库 ID）、`workspace_id`、`latency`、`response_status_code`、`response_code`、`request_body`、`response_body` 等索引字段，可用于调用审计、用量统计、慢查询与错误率监控。首次使用需在知识库列表页的**监控配置**中授权 SLS 角色、开通日志服务并创建 LogStore。SLS 存储与流量单独计费，关闭检索日志开关只停止新投递，历史日志仍保留计费，需彻底停止请到 SLS 删除对应 LogStore。 +所有检索调用日志投递到日志服务（SLS），支持调用审计、问题排查、用量统计与告警。首次使用需授权角色 AliyunServiceRoleForSFMAccessSLS 并开通 SLS。日志字段包括 request_id、pipeline_id（知识库 ID）、latency、response_status_code、response_code 等。关闭检索日志开关只停止新日志投递，历史日志仍按 SLS 配置保留与[计费](../concepts/billing.md)。详见[知识库日志与监控](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-log-monitoring.md)。 -## 限制与配额 +## 配额与限制 | 类别 | 上限 | | --- | --- | -| 知识库数量 | RDS 数据源 100，其它数据源无限制 | -| 存储容量 | 旗舰版 9,999 GB / 标准版 100 GB | -| 单个文档搜索类知识库文件数 | 无硬性上限（数据查询类仅 1 篇） | -| 单次控制台导入文件数 | 50（API 批量建议单次 ≤ 10,000） | -| 单文件标签数 | 32 | -| 文本切片长度 | 6,000 Token | -| 召回文本切片数量 | 20 | -| 检索并发 | 旗舰版 50-10,000 QPS（1-200 RCU）/ 标准版 1 QPS 固定 | +| 知识库数量（RDS 数据源） | 100 | +| 知识库数量（其他数据源） | 无限制 | +| 存储容量（旗舰版） | 9,999 GB | +| 存储容量（标准版） | 100 GB | +| 类目数量（每[业务空间](../concepts/workspace.md)） | 500 | +| 文件数量（每[业务空间](../concepts/workspace.md)） | 100,000 | +| 单知识库文件数（文档搜索） | 无硬性上限 | +| 单知识库文件数（数据查询） | 1 篇 | +| 检索并发（标准版） | 1 QPS | +| 检索并发（旗舰版） | 50-10,000 QPS | +| 召回文本切片数 | 20 | + +文件格式限制：pdf/docx/doc/wps/pptx/ppt 最大 150MB 且不超过 1,000 页；txt/markdown/html 最大 10MB；xlsx/xls 最大 10MB 且 10 万行以内。单次导入文件数量上限 50（API 批量导入建议不超过 10,000）。详见[知识库配额与限制](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-specifications.md)。 -文件格式限制：pdf/docx/ppt 等最大 150MB 且页数 ≤ 1,000；txt/markdown/html 最大 10MB；图片最大 20MB；音视频最大 512MB。向量模型仅支持 text-embedding-v3/v4（512 维）与 multimodal-embedding-v1（1024 维），维度不可更改。完整清单见[知识库配额与限制](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-specifications.md)。 +## [计费](../concepts/billing.md)说明 -## 计费注意事项 +知识库自 2026 年 1 月 4 日起正式[计费](../concepts/billing.md)，费用由规格费用和模型调用费用两部分构成。详见[知识库计费说明](../../raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md)。 -知识库服务自 **2026 年 1 月 4 日**起正式计费，总费用由**规格费用**（运行时长）和**模型调用费用**（向量化 + Rerank）两部分构成，扣费顺序为免费额度 > 资源包 > 按量付费。 +### 规格费用 -- 规格费用：标准版 0.03 元/知识库/小时；旗舰版 0.2 元/RCU/小时（1 RCU ≈ 50 QPS）。 -- 模型调用费用独立计费，公式为 `(输入 Token 总数 / 1000) × 模型单价`。**Rerank 费用取决于初步召回的总切片数，而非最终返回数**，因此降低初步 TopK 或关闭排序可显著省钱。 -- 应用挂载多个知识库时，模型 Token 消耗按知识库数量倍增（N 个库则 × N）。 -- 平台提供一次性 720 小时免费额度（仅抵扣标准版规格费用，不含模型调用费）。删除知识库以停止计费，但删除会**永久清除数据且无法恢复**。 +所有用户享一次性 720 小时免费额度（仅抵扣标准版）。老用户免费额度有效期截至 2026 年 2 月 3 日；新用户自开通起 30 天内有效。扣费顺序：免费额度 > 资源包 > 按量付费。不再需要的知识库需及时删除以停止计费。 -> **注意**：免费额度有效期存在新老用户差异——老用户统一截至 2026 年 2 月 3 日 23:59，新用户自开通起 30 天内有效，逾期作废。此外《知识库计费说明》以 2026 年计费规则描述，而《知识库》文档仍按旧的即时计费口径（0.03/0.2 元/小时）介绍创建流程，接入时以[知识库计费说明](../../raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md)为准。 +### 模型调用费用 + +模型调用费用独立于规格费用，按 [Token](../concepts/token.md) 用量计算： + +- **知识管理**：上传/更新文件时调用向量模型[向量化](../concepts/embedding.md)，按新增内容 [Token](../concepts/token.md) 数计费。 +- **知识检索**：Query [向量化](../concepts/embedding.md)费用（按输入 [Token](../concepts/token.md)）+ Rerank 排序费用（按初步召回总切片数 × 平均切片 [Token](../concepts/token.md) × 模型单价）。多个知识库时 [Token](../concepts/token.md) 消耗按知识库数量倍数增加。 +- **知识问答**：问答生成模型费用 + 可选的预文件解析和知识库路由费用。 + +费用优化方式：关闭排序功能（降低精度但消除排序费用）；调低初步向量/关键词检索 TopK（减少送入排序模型的 [Token](../concepts/token.md) 量）。 ## 来源文档 @@ -89,3 +154,7 @@ RAG 效果由建立索引、检索召回、生成答案三个阶段决定。优 - [知识问答](../../raw/application-user-guide/knowledge-base/rag-knowledge-qa.md) + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md b/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md index cf82ffab..3e7b5090 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md @@ -1,114 +1,123 @@ # llm application -阿里云百炼平台提供三种核心应用构建模式：智能体（Agent）、工作流（Workflow）和高代码应用，用于突破大模型在私有知识访问、实时信息获取和复杂任务规划方面的原生局限。开发者可根据开发门槛、控制粒度和业务场景选择合适的应用类型，并通过集成知识库、MCP 工具、插件等能力构建完整的 AI 应用。 +阿里云百炼提供三种核心 LLM 应用形态：**智能体（Agent）**、**[工作流](../concepts/workflow.md)（Workflow）** 和 **高代码应用**，覆盖从零代码到 Python 编码的全谱开发场景。三者均围绕大模型调用、知识库检索、MCP/插件工具调度构建，区别在于控制方式：Agent 依赖模型自主规划，Workflow 依赖可视化节点编排，高代码依赖 Python 项目部署到 Serverless Function 或 K8s。 -## 应用类型与选型 +## 应用形态与选型 -| 对比维度 | 智能体（Agent） | 工作流（Workflow） | 高代码应用 | -|---------|---------------|-------------------|-----------| -| 开发方式 | 自然语言配置（零代码） | 可视化节点编排（低代码） | Python 编码 | -| 核心特点 | AI 自主决策、动态规划 | 预定义流程精确控制 | 完全由代码控制 | -| 适合人群 | 业务人员、产品经理 | IT 运维、业务分析师 | AI 工程师、开发者 | -| 开发门槛 | 低 | 中 | 高 | +| 维度 | 智能体（Agent） | [工作流](../concepts/workflow.md)（Workflow） | 高代码 | +| --- | --- | --- | --- | +| 开发方式 | 自然语言配置（零代码） | 可视化节点编排（低代码） | Python 项目（专业代码） | +| 控制方式 | 模型根据提示词自主规划 | 预定义节点顺序确定 | 代码完全控制 | +| 适合人群 | 业务/产品/运营 | 业务分析师/IT 实施 | AI 工程师 | +| 典型场景 | 客服、知识问答、任务助理 | 报告生成、审批流、数据标注 | 私有算法、复杂系统集成 | -详细的类型介绍参见 [应用类型介绍](../../raw/application-user-guide/llm-application/application-introduction.md)。 +详细对比与选型建议见 [应用类型介绍](../../raw/application-user-guide/llm-application/application-introduction.md)。 -## [智能体应用](../concepts/agent-application.md) +## 智能体（Agent） -### 新版智能体（Agent 2.0） +Agent 分为两代，**推荐优先使用 Agent 2.0**（[新版智能体应用](../../raw/application-user-guide/llm-application/new-single-agent-application.md)），旧版仅在有历史依赖时使用（[智能体应用](../../raw/application-user-guide/llm-application/single-agent-application.md)）。 -新版智能体将知识库、MCP 等能力统一为工具，由智能体自主规划调用顺序，支持完整的"规划-执行-反思"链路展示。推荐在无旧版依赖时使用新版。 +- **Agent 2.0**：将知识库、MCP 等统一为工具，由模型基于 ReAct 循环自主规划调用顺序，完整暴露"思考-执行-反思"链路。 +- **Agent 1.0**：先命中知识库再决策是否调用其他工具，仅展示最终结果。 -核心能力配置： +> **注意**：旧版智能体和新版智能体基于不同技术架构，**不支持直接升级或迁移**；如需切换必须重新创建应用。 -- **模型选择**：推荐具备强工具调用能力的模型（如千问-Max 系列）。支持配置最长回复长度、temperature、enable_thinking（思考模式）等参数。 -- **提示词**：定义角色、行为指令与能力边界，支持自定义变量嵌入。 -- **内置工具**：沙箱环境中的 bash、write、read、edit、glob、grep、download_file 等工具，默认关闭需按需开启。 -- **知识库**：作为工具由智能体自主调用，支持标签过滤限定查询范围。 -- **MCP**：外部工具以 MCP 协议接入，支持动态非固定顺序调用。 -- **记忆**：短期记忆支持 0-30 轮上下文；长期记忆暂未支持。 -- **ReAct 最大轮次**：取值 1-50，限制单次会话中工具调用最大次数。 +### 关键配置 -详细配置方法参见 [新版智能体应用（Agent 2.0）](../../raw/application-user-guide/llm-application/new-single-agent-application.md)。 +- **模型**：推荐 `千问-Max` 系列以保障多步工具调用效果；支持 `enable_thinking`（仅思考模型可配）、`temperature`、最长回复长度。 +- **系统提示词**：定义角色、输出格式、约束和工具使用指引；支持自定义变量（通过 `/` 引用）。 +- **知识库（RAG）**：作为工具由 Agent 2.0 自主调用；支持按标签过滤检索范围。回答来源可通过"展示回答来源"开关以角标形式返回。 +- **MCP 与插件**：Agent 2.0 全部外部工具统一走 MCP 协议；插件可一键转换为 MCP。旧版插件超时限制 5 秒。 +- **内置工具**（Agent 2.0，沙箱内运行，默认关闭）：`bash` / `write` / `read` / `edit` / `glob` / `grep` / `download_file`。 +- **预解析文件**：控制上传文件是否由平台预置解析器提取文本。关闭时，文件 URL 作为上下文透传，模型自主决策调用工具处理。 +- **ReAct 最大轮次**：1–50，超限后强制生成最终回复。 +- **短期记忆**：0–30 轮上下文；[长期记忆](../concepts/long-term-memory.md)规划中。 -### 旧版智能体（Agent 1.0） +### 文件问答 -旧版智能体通过知识库（RAG）和插件扩展能力，适合意图单一、流程固定的简单任务。知识库检索后再决策是否调用其他工具。 +智能体支持三种文件处理模式（详见 [文件问答](../../raw/application-user-guide/llm-application/file-q-a.md)）： -> **注意**：新版智能体与旧版智能体基于不同技术架构，不支持直接升级或版本切换。需要迁移时必须重新创建新版应用。 +| 模式 | 机制 | 适用场景 | +| --- | --- | --- | +| **全文引用** | 平台解析后，将文件整体（受上下文长度限制）注入 Prompt | 全文总结、翻译、润色 | +| **切片检索**（RAG） | 平台解析并切片，问答时按相关性召回若干片段 | 长文档问答、需要来源定位 | +| **自定义处理** | 只把文件 URL 或原始内容交给模型，由模型调用 MCP/插件处理 | 图像风格转换、视频分析、需外部工具 | -旧版智能体的自定义插件有 5 秒超时限制。详情参见 [智能体应用](../../raw/application-user-guide/llm-application/single-agent-application.md)。 +- 单会话上传上限 **10 个文件**，单文件 **≤ 10 MB**；文档、图片、视频、音频常见格式均支持。 +- 页面上传的文件仅当前会话有效；生产场景推荐通过文件上传 API 换取 `session_file_id`（有效期约 24 小时），或用 `file_list` / `image_list` 传 URL。 +- API 调用时**无法**动态切换处理模式，取决于应用发布时的配置。 +- 文件问答共享所属[智能体应用](../concepts/agent-application.md)的限流：**默认 100 次/分钟**。 -## 工作流应用 +> **注意**：千问-VL 系列模型即使关闭预解析，也能直接理解图片和视频；其他模型对非文本文件的处理严格遵循预解析开关。 -工作流通过可视化节点编排将多步骤任务串联为稳定可控的执行链路，适合固定流程自动化场景。 +## [工作流](../concepts/workflow.md)（Workflow） -主要节点类型： +工作流通过节点编排（[工作流应用](../../raw/application-user-guide/llm-application/workflow-application.md)）串联开始/结束、大模型、意图分类、智能体群组、变量处理、API、函数计算等节点，输出结果确定、可复现。 -- **开始/结束节点**：定义输入输出参数结构，预置 query、historyList、imageList 变量 -- **大模型节点**：配置模型、提示词和用户提示词 -- **意图分类节点**：根据用户输入分发到不同处理分支 -- **智能体群组节点**：将子智能体作为工具组合调用 -- **变量处理节点**：文本输出或变量转换 - -工作流支持会话变量作为全局参数在节点间传递，支持记忆功能（本节点缓存或自定义缓存）。 - -创建和配置详情参见 [工作流应用](../../raw/application-user-guide/llm-application/workflow-application.md)。 +- **预置变量**：`query`（用户输入）、`historyList`（对话历史）、`imageList`（用户上传图片）；后两者需在支持"记忆"的节点选择"自定义缓存"才会注入。 +- **记忆模式**： + - **本节点缓存**：仅当前节点上下文； + - **自定义缓存**：跨节点共享全局对话历史。 +- **会话变量**：作为全局变量在工作流全生命周期内维护，可在任意节点引用。 +- **组合模式**：意图分类节点做分流 → 多个大模型节点承接不同意图；智能体群组节点可以把已发布的[智能体应用](../concepts/agent-application.md)作为子智能体调度。 +- 发布后通过 API 调用（`invoke-workflow-application`）。 ## 高代码应用 -面向专业开发者，支持基于 Python 项目部署 AI 后端服务。 - -关键特性： - -- **部署方式**：Serverless Function（无状态快速拉起）和 K8s（高性能有状态长程任务） -- **MCP 工具接入**：控制台直接关联知识库、工作流、插件等 MCP 服务 -- **前端体验**：支持直接体验、自定义交互卡片、基于 Spark Design 的自定义 WebUI -- **企业级能力**：自动化运维、可观测、日志服务、API 网关 -- **代码提交**：支持控制台模板创建或命令行上传 .whl 代码包 - -生产环境建议开启网关功能，通过自定义域名访问。时延敏感业务建议最小实例数大于等于 1。 - -详细开发和部署流程参见 [高代码应用](../../raw/application-user-guide/llm-application/rich-code-application.md)。 - -## 文件问答 - -[智能体应用](../concepts/agent-application.md)支持上传文件进行智能问答，提供三种处理模式： - -| 模式 | 适用场景 | 特点 | -|------|---------|------| -| 全文引用 | 文档总结、全文翻译 | 简单直接，受上下文长度限制 | -| 切片检索（RAG） | 长文档问答、知识库检索 | 能处理超长文件，效果依赖检索策略 | -| 自定义处理 | 图片转换、视频分析等需工具介入的任务 | 功能灵活，依赖配置的工具 | - -文件限制：单会话最多 10 个文件，单文件不超过 10MB。超过 10MB 需使用文件上传 API。 - -支持格式：文档（doc/docx/pdf/md/txt 等）、图片（png/jpg/bmp/gif）、视频（mp4/mkv/avi 等）、音频（mp3/wav/flac 等）。 - -详细使用方式参见 [文件问答](../../raw/application-user-guide/llm-application/file-q-a.md)。 +高代码应用把开发者的 Python 项目部署为公网可访问的云端 AI 服务（[高代码应用](../../raw/application-user-guide/llm-application/rich-code-application.md)）。 + +- **部署形态**： + - **Serverless Function**（默认）：无状态、快速拉起、低成本；时延敏感场景建议最小实例数 ≥ 1 以获得毫秒级热启动。 + - **K8s**：高性能、有状态、长程任务；需先开通 ACK 并授权。 +- **提交方式**：控制台模板（基础对话、工具调用、深度研究）或上传 `.whl` 代码包；也可用 AgentScope-AI CLI 从本地推送。 +- **工具接入**：控制台一站式挂载知识库、工作流、插件等 MCP 服务。 +- **前端**：直接体验对话面板 / 自定义交互卡片 / 基于 AgentScope Spark Design 的自定义 WebUI。 +- **网关发布**：稳定后接入云原生 API 网关，配置自定义域名与 [Token](../concepts/token.md) 鉴权；生产环境建议关闭测试触发器公网访问。调用示例： + + ```bash + curl -i -X POST "http://{your-domain}/{your-agentCode}/process" \ + -H "Content-Type: application/json" \ + -H "Authorization: Bearer " \ + -d '{ + "input": [{"role": "user", "content": [{"type": "text", "text": "你好"}]}], + "session_id": "xxx", + "user_id": "xxx" + }' + ``` + +- **可观测**：可开启应用观测，追踪调用路径与参数；日志、构建日志、部署日志控制台可查。 +- **权限**：需授权函数计算 FC、API 网关服务角色；RAM 用户还需 `ram:CreateServiceLinkedRole`。 ## 发布与调用 -所有应用类型均需先发布才能通过 API 集成： +- 所有形态在**发布**后方可通过 API/SDK 调用或集成到钉钉、微信公众号、业务系统等第三方渠道。 +- Agent 与 Workflow 均提供**版本管理**：查看历史版本、编辑描述、"覆盖当前草稿"回滚。 +- Agent 2.0 使用 [新版智能体应用 API](https://help.aliyun.com/zh/model-studio/new-agent-application-api-reference)；Agent 1.0 使用 [Assistant API](https://help.aliyun.com/zh/model-studio/assistant-api/)（Assistant API 创建的应用**不受控制台管理**）。 +- 应用管理支持复制、重命名、删除，便于建立测试/备份/多受众变体。 -1. 在应用配置页点击"发布"，确认变更后完成发布 -2. 在"发布渠道"页签查看 API 调用方式 -3. [智能体应用](../concepts/agent-application.md)还支持发布到钉钉、微信公众号等第三方平台 +## [计费](../concepts/billing.md)与限制 -RAM 账号发布前需确认拥有 `ram:CreateServiceLinkedRole` 权限。 +- **模型调用**：按所选模型的输入/输出 [Token](../concepts/token.md) [计费](../concepts/billing.md)；隐式缓存命中的输入 [Token](../concepts/token.md) 按 20% 折算；[智能体应用](../concepts/agent-application.md)**不支持配置显式缓存**。 +- **知识库**：按量[计费](../concepts/billing.md)；召回文本会增加模型输入 [Token](../concepts/token.md)。 +- **MCP**：官方模型型 MCP（文生图/视频、语音合成等）按调用计费；第三方 API MCP 由第三方另行收费。 +- **[长期记忆](../concepts/long-term-memory.md)**：存储免费，但记忆内容合并进 Prompt 会消耗 [Token](../concepts/token.md)（当前 [Token](../concepts/token.md) 暂不计费）。 +- **高代码**：部署即计费，函数计算、API 网关、存储、模型调用四类均单独出账。 +- **自定义插件（旧版）**：单次调用超时 **5 秒**。 +- **上传文件本身不计费**，费用来自处理时的 [Token](../concepts/token.md) 消耗。 -## 计费说明 +> **注意**：文档 [文件问答](../../raw/application-user-guide/llm-application/file-q-a.md) 明确该能力当前**仅适用于中国大陆版（北京地域）**；其他地域的可用性以控制台实际显示为准。 -- **模型调用**：按模型类型和 [Token](../concepts/token.md) 用量计费 -- **知识库**：按量付费，召回的文本切片会增加输入 [Token](../concepts/token.md) -- **MCP/插件**：部分官方 MCP 按调用计费，第三方 MCP 费用由第三方收取 -- **高代码应用**：部署后函数计算、API 网关、存储均按量计费 -- **文件上传**：上传本身不收费，问答消耗按所选模型标准计费 +## 常见排查 + +- **未按预期调用工具**：检查工具是否已挂载、系统提示词是否描述工具用途、用户意图是否清晰、是否触达 ReAct 轮次上限。 +- **知识库回答与内容无关**：先做命中测试查看相似度得分，调整检索配置或提示词强制"仅基于知识库回答"，必要时更换模型。 +- **文件回答不全**：全文引用模式下调高"单文件最大解析长度"和"最大拼装长度"，或改用切片检索模式；检查源文件清晰度与结构。 +- **API 调用文件失败**：确认 URL 公网可访问且非临时签名；使用 OSS 生成稳定 URL；或改用 `session_file_id` 传参。 ## 来源文档 - [应用类型介绍](../../raw/application-user-guide/llm-application/application-introduction.md) -- [新版智能体应用（Agent 2.0）](../../raw/application-user-guide/llm-application/new-single-agent-application.md) +- [新版智能体应用](../../raw/application-user-guide/llm-application/new-single-agent-application.md) - [智能体应用](../../raw/application-user-guide/llm-application/single-agent-application.md) - [高代码应用](../../raw/application-user-guide/llm-application/rich-code-application.md) - [工作流应用](../../raw/application-user-guide/llm-application/workflow-application.md) @@ -120,5 +129,3 @@ RAM 账号发布前需确认拥有 `ram:CreateServiceLinkedRole` 权限。 - - diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md b/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md index 6ad7d7d1..a749bb39 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md @@ -8,7 +8,7 @@ Managed Agents 是百炼提供的智能体托管运行时，面向多步工具 | --- | --- | --- | | 运行模式 | 无状态调用，应用侧维护上下文 | 服务端维护会话状态，支持中断与续接 | | 执行环境 | 共享运行时 | 独立沙箱，云端容器 | -| 事件模型 | 响应级[流式输出](../concepts/streaming.md) | 会话级 SSE 事件流，事件历史持久化 | +| 事件模型 | 响应级[流式输出](../concepts/streaming.md) | 会话级 SSE [事件流](../concepts/event-stream.md)，事件历史持久化 | | 典型场景 | 问答、对话、轻量任务 | 多步工具调用、代码执行、文件处理等长时任务 | ## 核心概念 @@ -38,7 +38,7 @@ Managed Agents 是百炼提供的智能体托管运行时，面向多步工具 1. **配置智能体**：指定名称、模型（如 `qwen3-max`）、系统提示词与工具。API 为 `POST /api/v1/agentstudio/agents`。 2. **配置运行环境**：默认云端托管沙箱，可通过 `config.packages` 预装 apt / pip 依赖并设置网络策略。API 为 `POST /api/v1/agentstudio/environments`。 3. **发起会话**：绑定智能体 ID 与环境 ID 创建会话实例。API 为 `POST /api/v1/agentstudio/sessions`。 -4. **发送事件并接收响应**：向会话写入用户消息触发处理（`POST /sessions/{id}/events`），通过 SSE 事件流实时接收工具调用过程与输出（`GET /sessions/{id}/events/stream`）。 +4. **发送事件并接收响应**：向会话写入用户消息触发处理（`POST /sessions/{id}/events`），通过 SSE [事件流](../concepts/event-stream.md)实时接收工具调用过程与输出（`GET /sessions/{id}/events/stream`）。 控制台的**预览调试**标签页可直接对话并按事件类型（User、Agent、Tool、Tool_output、Error、Model、System）筛选查看执行过程。 @@ -73,3 +73,9 @@ Managed Agents 是百炼提供的智能体托管运行时，面向多步工具 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md b/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md index 3ee13beb..ebad7dbc 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md @@ -1,12 +1,12 @@ # memory library overview -百炼记忆库（Memory Library）通过长期记忆 API 解决大模型跨会话上下文丢失的问题：自动从对话中提取关键信息并持久化存储，再在后续对话中基于语义检索召回相关记忆注入 Prompt，使智能体能够持续理解用户偏好与历史信息。该能力既可在百炼控制台可视化管理，也提供开放的 HTTP API 接入任意应用，并支持通过 OpenClaw 插件以"自动捕获 / 自动召回"的方式零侵入接入 Agent。详见 [记忆库](../../raw/application-user-guide/memory-library-overview/memory-library.md)、[长期记忆 API](../../raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) 与 [为 OpenClaw 配置长期记忆插件](../../raw/application-user-guide/memory-library-overview/modelstudio-memory-for-openclaw.md)。 +百炼记忆库（Memory Library）通过[长期记忆](../concepts/long-term-memory.md) API 解决大模型跨会话上下文丢失的问题：自动从对话中提取关键信息并持久化存储，再在后续对话中基于语义检索召回相关记忆注入 Prompt，使智能体能够持续理解用户偏好与历史信息。该能力既可在百炼控制台可视化管理，也提供开放的 HTTP API 接入任意应用，并支持通过 OpenClaw 插件以"自动捕获 / 自动召回"的方式零侵入接入 Agent。详见 [记忆库](../../raw/application-user-guide/memory-library-overview/memory-library.md)、[长期记忆 API](../../raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) 与 [为 OpenClaw 配置长期记忆插件](../../raw/application-user-guide/memory-library-overview/modelstudio-memory-for-openclaw.md)。 ## 核心能力 记忆库提供两类持久化记忆内容，二者可独立或组合使用： -- **记忆片段**：从对话中自动提取的关键事件和信息（如"用户每天上午9点需要喝水提醒"），适用于大多数长期记忆场景。支持自动去重、动态更新，也可通过 `custom_content` 直接写入指定内容。 +- **记忆片段**：从对话中自动提取的关键事件和信息（如"用户每天上午9点需要喝水提醒"），适用于大多数[长期记忆](../concepts/long-term-memory.md)场景。支持自动去重、动态更新，也可通过 `custom_content` 直接写入指定内容。 - **用户画像**：基于自定义画像模板从对话中提取的结构化属性（如年龄、职业、偏好等），适用于需要固定属性持久化存储的场景。属性字段及描述应清晰具体，避免"姓名/名称/名字"等同义字段并存，且不应期望一次对话就提取全部信息。 > **注意**：记忆有效期在不同入口存在差异。[长期记忆 API](../../raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) 文档指出"生成的记忆片段与用户画像暂无失效日期"，而 [记忆库](../../raw/application-user-guide/memory-library-overview/memory-library.md) 控制台的默认记忆片段规则预置了"默认有效期 180 天"，并支持按规则配置 7/30/180 天或永不过期。以控制台记忆规则配置为准；通过 API 直写且不指定 `project_id` 时使用默认规则。 @@ -45,7 +45,7 @@ Python 用户可安装 `agentscope-runtime`，使用 `AddMemory`、`SearchMemory ### 方式二：OpenClaw 记忆插件 -OpenClaw Agent 可通过插件实现零侵入的[跨会话记忆](../concepts/cross-session-memory.md)。插件在 Gateway 内通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子与长期记忆 API 交互，所有读写均由百炼服务端完成提炼、向量化和语义检索。 +OpenClaw Agent 可通过插件实现零侵入的[跨会话记忆](../concepts/cross-session-memory.md)。插件在 Gateway 内通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子与[长期记忆](../concepts/long-term-memory.md) API 交互，所有读写均由百炼服务端完成提炼、[向量化](../concepts/embedding.md)和语义检索。 ```bash # 安装 @@ -157,6 +157,12 @@ CLI 等效：`openclaw modelstudio-memory search|list|stats`。 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md index 7b9ed189..b622ea50 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md @@ -56,10 +56,10 @@ 任务失败时，可在详情页查看错误信息，或切换到日志页签搜索 ERROR 级别日志进行排查。如仍无法解决，可提交工单并附上任务 ID 和日志文件。更多管理细节参见[模型压缩](../../raw/model-user-guide/model-compression/model-compression-introduction.md)。 -## 计费说明 +## [计费](../concepts/billing.md)说明 - 压缩任务本身限时免费，截止时间以控制台公告为准。 -- 压缩后的模型在部署阶段按 MU 规格计费。 +- 压缩后的模型在部署阶段按 MU 规格[计费](../concepts/billing.md)。 - 建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证推理效果，选择最优方案后再正式上线。 ## 来源文档 @@ -75,3 +75,9 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md index d021cb14..dcf047e2 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md @@ -1,6 +1,6 @@ # model context protocol -模型上下文协议（Model Context Protocol, MCP）是 Anthropic 提出的开源标准协议，用于在大模型与外部工具之间搭建统一的信息传递通道。阿里云百炼基于 MCP 提供全周期服务：开发者无需为每个外部工具编写专用接口，即可让智能体、工作流应用接入海量第三方工具，也能通过外部调用集成到第三方应用或个人项目中。 +模型上下文协议（Model Context Protocol, MCP）是 Anthropic 提出的开源标准协议，用于在大模型与外部工具之间搭建统一的信息传递通道。阿里云百炼基于 MCP 提供全周期服务：开发者无需为每个外部工具编写专用接口，即可让智能体、[工作流](../concepts/workflow.md)应用接入海量第三方工具，也能通过外部调用集成到第三方应用或个人项目中。 ## 服务类型 @@ -16,10 +16,10 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三方应用。 -### 平台内部：智能体与工作流 +### 平台内部：智能体与[工作流](../concepts/workflow.md) - **[智能体应用](../concepts/agent-application.md)**：大模型根据对话内容自动判断是否调用 MCP 服务，单个智能体最多可同时添加 **5 个** MCP 服务。适合路径规划、逻辑推理、多工具组合（如天气查询 + 图表绘制）等场景。 -- **工作流应用**：每个 MCP 节点只能使用一个工具，需手动指定输入参数并将输出传递到下一节点。通常需先用大模型节点把自然语言解析为 MCP 工具所需的输入参数（在 System Prompt 中描述工具的名称、功能、输入输出格式），再接入 MCP 节点。 +- **[工作流](../concepts/workflow.md)应用**：每个 MCP 节点只能使用一个工具，需手动指定输入参数并将输出传递到下一节点。通常需先用大模型节点把自然语言解析为 MCP 工具所需的输入参数（在 System Prompt 中描述工具的名称、功能、输入输出格式），再接入 MCP 节点。 > **注意**：在工作流中仅使用单一工具（如 Amap Maps 的 `maps_weather`）时，工作流只能回答与该工具相关的问题。 @@ -51,11 +51,11 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三 > **注意**：百炼 MCP 服务已从旧版 SSE 协议升级为新版 **Streamable HTTP** 协议。已开通用户需在 MCP 广场执行"取消开通 → 立即开通"完成协议升级；SDK 调用请使用 `streamablehttp_client` 连接。 -## 计费 +## [计费](../concepts/billing.md) -- **云部署 MCP 服务**：限时免部署费用；部分服务涉及第三方 API 调用，费用由第三方收取。联网搜索 MCP 服务免费额度 2000 次，用尽后按 29 元/千次计费，限流 15 QPS（主账号与 RAM 子账号共享）。 +- **云部署 MCP 服务**：限时免部署费用；部分服务涉及第三方 API 调用，费用由第三方收取。联网搜索 MCP 服务免费额度 2000 次，用尽后按 29 元/千次[计费](../concepts/billing.md)，限流 15 QPS（主账号与 RAM 子账号共享）。 - **自定义部署 MCP 服务**： - - **基础模式**：无部署费用，按调用时长计费（0.000156 元/秒），首次调用有冷启动延迟，适合偶尔调用。 + - **基础模式**：无部署费用，按调用时长[计费](../concepts/billing.md)（0.000156 元/秒），首次调用有冷启动延迟，适合偶尔调用。 - **极速模式**：有部署费用（0.000036 元/秒）+ 调用费用（0.000156 元/秒），适合长时间在线、调用频繁的场景。 ## 限制与注意事项 @@ -66,8 +66,8 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三 - **无法访问本地资源**：自定义 MCP 服务托管在函数计算 FC，暂不支持访问用户本地数据库、文件、硬件等资源；需要访问本地资源的 MCP Server 建议在本地部署。 - **访问远程资源需配置网络**：FC 无固定出口公网 IP，访问云数据库等远程资源需配置 FC 的 IP 白名单或打通 VPC 网络。 - **仓库与版本限制**：私有 npm 仓库暂不支持，需发布到公共仓库或改用 SSE；通过 npx/uvx 部署的服务在源版本更新后不会自动更新，需手动重新部署。 -- **调用增加 Token 消耗**：MCP 返回的内容会作为上下文传入模型，增加输入 Token，并可能间接增加输出 Token。 -- **调用失败排查**：优先确认已开通/升级服务、API Key 有效、额度未用尽；若模型无报错但不调用工具，应在提示词中明确工具名称与能力，必要时更换更强的推理模型（如千问 3 系列）。自定义服务的连接、超时、鉴权、协议等错误可对照 `11200044`~`11200060` 系列错误码逐项排查。 +- **调用增加 [Token](../concepts/token.md) 消耗**：MCP 返回的内容会作为上下文传入模型，增加输入 [Token](../concepts/token.md)，并可能间接增加输出 [Token](../concepts/token.md)。 +- **调用失败排查**：优先确认已开通/升级服务、[API Key](../concepts/api-key.md) 有效、额度未用尽；若模型无报错但不调用工具，应在提示词中明确工具名称与能力，必要时更换更强的推理模型（如千问 3 系列）。自定义服务的连接、超时、鉴权、协议等错误可对照 `11200044`~`11200060` 系列错误码逐项排查。 ## 来源文档 @@ -80,3 +80,9 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md index a2d4f8ac..369e4059 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md @@ -164,6 +164,12 @@ Few-Shot 策略示例：训练集 1000 条、指令生成依赖样本数 5、生 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md index 0491c527..42c21ddd 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md @@ -1,93 +1,102 @@ # model deployment 1 -模型部署让你为平台预置模型或调优后的自定义模型获得独立、资源专享的推理服务，以满足高并发、低延迟等生产需求。本页汇总三种计费方式的选型、PTU 长输入与前缀缓存机制、LoRA 模型导入约束，以及通过控制台或 API 完成部署的完整流程，面向需要落地专属推理服务的开发者。 +百炼平台支持将预置模型和调优后的模型部署为资源专享的推理服务，提供预置吞吐（PTU）、模型单元和按 [Token](../concepts/token.md) 用量三种[计费](../concepts/billing.md)方式。本文整合部署概览、PTU 长输入与缓存、模型导入以及 API 部署操作，帮助开发者快速完成模型部署全流程。 -## 三种计费方式与选型 +## [计费](../concepts/billing.md)方式 -百炼提供三种互斥的部署计费方式，计费方式在服务创建后无法更改，如需切换必须先下线已部署的模型再重新部署（详见 [模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-introduction.md)）： +部署前可在模型部署控制台查看不同模型的预估每小时费用。[计费](../concepts/billing.md)方式在服务创建后无法更改，如需切换必须先下线已部署的模型。三种计费方式的对比如下： -- **预置吞吐（PTU，Provisioned Throughput Unit）**：平台预留资源保障特定 TPM 吞吐能力，额度内不限速。相比按 Token 计费，TPS 通常提升约 1.5～2.0 倍，适合流量可预估的高负载生产环境（智能客服、实时内容审核）。支持预付费（按天）与后付费（按小时），可自助增减吞吐量并设置自动续费。 -- **模型单元（MU）**：按使用时长 × 模型单元数量计费，资源独占，延迟/吞吐等性能指标可自定义。支持部分预置模型与所有调优后模型，可自助增减模型单元数量，支持 PD 分离计算模式（拆分 Prefill 与 Decode 阶段以降低首 Token 延迟、提高吞吐）。 -- **按 Token 使用量**：以每次调用的输入/输出 Token 计量，不使用不计费。仅支持对基础模型完成 SFT 高效训练后的自定义模型，主要用于调优后模型的效果验证；扩缩容需在控制台提交申请等待人工审核。 +| 计费方式 | 适用场景 | 扩缩容 | 支持模型 | +| --- | --- | --- | --- | +| 预置吞吐（PTU） | 高负载生产环境，需稳定吞吐保障、低延迟 | 自助增减吞吐量 | 部分预置模型 | +| 模型单元 | 自定义性能指标、资源独占，支持 PD 分离模式 | 自助增减模型单元数量 | 部分预置模型与所有调优后模型 | +| 按 [Token](../concepts/token.md) 用量 | 调优后模型效果验证，不使用不计费 | 控制台提交申请，人工审核 | 部分经过 LoRA 调优后的模型 | -关键计费公式： +> **注意**：PTU 预付费按天计费，无法提前退费；模型单元预付费首月内提前退订，日单价按 1.2 倍计费。按 [Token](../concepts/token.md) 用量计费的模型一个月内不使用将自动释放。 -- 预置吞吐（按时长）：`费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)` -- 模型单元（按时长）：`费用 = 使用时长（小时）× 模型单元数量 × 模型单元单价`；预付费按月时改为 `包月数 × 模型单元数量 × 月单价` -- 按 Token：`费用 = 输入 Token 数 × 输入单价 + 输出 Token 数 × 输出单价` +PTU 和模型单元均支持设置自动续费。PTU 溢出策略可选「自动溢出」（切换为按量付费，业务不中断）或「仅使用 PTU 容量」（超出返回 429）。输入超过模型上限（千问 128K / DeepSeek 64K）时，一律自动转为按量计费。详见[模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-introduction.md)。 -## PTU 长输入与前缀缓存 +## PTU 长输入与缓存 -PTU 部署支持长输入请求（部分模型最高 200K token）和前缀缓存，通过阶梯容量系数和缓存折扣管理额度消耗，详见 [预置吞吐长输入与缓存](../../raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md)： +部分 PTU 部署模型支持长输入（最高 256K token）和前缀缓存，通过阶梯容量系数和缓存折扣管理额度消耗： -- **长输入阶梯系数**：超过 32K token 的输入按更高阶梯系数折算 TPM。例如 glm-5.1 在 `[32K, 200K]` 区间输入系数为 1.33、输出为 1.17；deepseek-v4-pro 与 qwen3.7-plus-2026-05-26 无阶梯（1.0）。 -- **前缀缓存折扣**：命中缓存的输入 token 按折扣系数消耗额度（glm-5.1 为 0.2，deepseek-v4-pro 为 0.08，qwen3.7-plus 为 0.2），可显著降低多轮对话和重复前缀场景的额度消耗。 -- **自动转按量计费**：超出 PTU 额度或输入超过模型上限时，请求自动转为按量计费，无需修改调用代码，业务不中断。 +- **长输入阶梯系数**：超过 32K token 的输入按更高系数折算 TPM 消耗。例如 glm-5.1 在 [32K, 200K] 区间输入系数为 1.33、输出系数为 1.17。 +- **前缀缓存折扣**：命中缓存的输入 token 按折扣系数消耗额度。glm-5.1 折扣为 0.2（即 20%），deepseek-v4-pro 折扣为 0.08（即 8%）。 +- **额度计算器**：在创建或扩容 PTU 时，控制台提供预置吞吐额度计算器，根据 RPM、平均输入/输出长度、缓存命中率推荐购买的输入/输出 KTPM。 -API 响应关键字段：`service_tier`（值为 `ptu-standard` 表示使用 PTU 额度，`default` 或不返回表示按量计费）、`provisioned_tokens`（折算后实际消耗的额度 token 数）、`cached_tokens`（前缀缓存命中数）。不同 API 格式（OpenAI Chat / Responses、Anthropic、DashScope）下这些字段的 JSON 路径不同，需按对应格式取值。 +API 响应中与额度相关的字段： -> **注意**：模型输入上限存在两处口径。[模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-introduction.md) 的价格表中千问系列多为 128K、部分新模型达 256K，而 PTU 文档明确将「千问 128K / DeepSeek 64K」作为触发自动转按量计费的上限。请以控制台实际展示与所选具体模型为准。 +| 字段 | 说明 | +| --- | --- | +| `service_tier` | 值为 `ptu-standard` 表示使用 PTU 额度；`default` 或不返回表示按量计费 | +| `provisioned_tokens` | 折算后实际消耗的 PTU 额度 token 数（含阶梯系数和缓存折扣） | +| `cached_tokens` | 前缀缓存命中的 token 数 | -> **注意**：长输入场景下 PTU 利用率可能超过 100%，这是阶梯系数导致折算消耗高于原始 token 数的正常现象，超出部分自动转按量计费，不影响服务可用性。 +不同 API 格式下上述字段的 JSON 路径有差异，Anthropic 兼容格式暂不返回 `cached_tokens`。详见[预置吞吐长输入与缓存](../../raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md)。 -## 模型导入（LoRA） +## 模型导入 -通过**我的模型**页面可将本地训练的 LoRA 模型从 OSS 导入百炼平台，详见 [模型导入](../../raw/model-user-guide/model-deployment-1/model-import.md)。当前版本**仅支持 LoRA 模型，不支持全参微调模型**。 +部署调优后的模型前，需先将本地训练的 LoRA 模型从 OSS 导入到百炼平台。导入操作在「我的模型」页面完成。 -导入前提与约束： +### 支持导入的基础模型 -- **OSS Bucket**：需为目标 Bucket 添加 `bailian-datahub-access` 标签（标签值 `read`）；不支持归档/冷归档类存储；不支持访问 Bucket 根目录文件，需放入子目录。首次导入需先完成 OSS 服务关联角色授权（子账号还需主账号授予 `ram:CreateServiceLinkedRole` 权限）。 -- **必需文件**：`adapter_model.safetensors`（权重）与 `adapter_config.json`（含 rank、alpha 等配置）。 -- **rank 限制**：必须为 8、16、32、64 之一，且同一模型所有 LoRA 层使用相同 rank。 -- **词汇表与对话模板**：不得修改原始 vocab 或 chat_template，必须与开源基础模型默认配置一致，否则无法导入。 -- **VL 模型**：必须冻结 VIT，若 adapter 中包含 `visual` 开头的权重参数则无法导入。 +- **千问3**：千问3-32B、千问3-14B、千问3-8B、千问3-4B-Instruct-2507 +- **千问3-VL**：千问3-VL-8B-Instruct +- **千问2.5**：千问2.5-72B-Instruct、千问2.5-32B-Instruct、千问2.5-14B-Instruct、千问2.5-7B-Instruct +- **千问2.5-VL**：千问2.5-VL-72B-Instruct、千问2.5-VL-7B-Instruct -支持导入的基础模型涵盖千问3、千问3-VL、千问2.5、千问2.5-VL 系列的指定版本。导入后模型状态包括创建中、创建成功（可部署）、创建失败、已失效。 +### 导入要求 -> **注意**：导入模型若与本地 vLLM/SGLang 推理效果不一致，通常是推理引擎参数默认值差异所致。可将 `temperature`、`top_p`、`repetition_penalty` 设为 1.0、`presence_penalty` 设为 0 以对齐 vLLM 默认行为。 +- OSS Bucket 不能为归档/冷归档/深度冷归档类型，不支持访问 Bucket 根目录文件，需选择子目录。 +- 必需文件：`adapter_model.safetensors`（权重）和 `adapter_config.json`（配置）。 +- rank 值必须为 8、16、32 或 64，且同一模型所有 LoRA 层 rank 值一致。 +- 不得修改词汇表（vocab）或对话模板（chat_template），须与基础模型完全一致。 +- VL 模型必须冻结 VIT 部分，LoRA adapter 中不能包含 `visual` 相关权重参数。 -## 使用 API/命令行部署 +> **注意**：当前版本仅支持导入 LoRA 模型，不支持全参微调模型。首次从 OSS 导入需完成授权并为 Bucket 添加 `bailian-datahub-access` 标签。详见[模型导入](../../raw/model-user-guide/model-deployment-1/model-import.md)。 -除控制台外，可通过 DashScope HTTP API 完成部署，**仅适用于华北2（北京）地域**，需先获取并配置 API Key，详见 [使用 API或命令行进行模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md)。核心接口为 `POST/GET/DELETE https://dashscope.aliyuncs.com/api/v1/deployments`，通过 `plan` 字段区分计费方式： +## 通过 API 部署模型 -- **PTU**：`plan: "ptu"`，配合 `ptu_capacity.input_tpm` / `output_tpm`。 -- **模型单元**：`plan: "mu"`，配合 `deploy_spec`（如 `MU1`）、`capacity`（副本数）、`enable_thinking`、`max_context_length`、`rpm_limit`、`tpm_limit`。 -- **按 Token（LoRA 自定义模型）**：`plan: "lora"`，`capacity` 必填但设置无效，扩缩容需在控制台申请。 +模型部署支持控制台和 API 两种方式。API 方式适用于自动化集成场景，当前仅适用于华北2（北京）地域。 -典型部署命令（模型单元）： +### 部署 -```bash -curl "https://dashscope.aliyuncs.com/api/v1/deployments" \ ---header "Authorization: Bearer $DASHSCOPE_API_KEY" \ ---header 'Content-Type: application/json' \ ---data '{ - "name": "my_qwen_plus", - "model_name": "qwen-plus-2025-12-01", - "plan": "mu", - "deploy_spec": "MU1", - "enable_thinking": true, - "capacity": 4, - "max_context_length": 10000, - "rpm_limit": 500, - "tpm_limit": 1000 -}' -``` +调用 `POST https://dashscope.aliyuncs.com/api/v1/deployments` 接口，根据 `plan` 参数选择计费方式： -部署流程：创建部署 → 返回 `deployed_model`（专属服务唯一 ID）→ 轮询 `GET /deployments/{id}` 直到 `status` 为 `RUNNING` → 通过 DashScope SDK 或兼容 API 发起推理 → 不再使用时 `DELETE /deployments/{id}` 下线并停止计费。 +- **PTU**（`plan: "ptu"`）：需指定 `ptu_capacity.input_tpm` 和 `ptu_capacity.output_tpm`，吞吐和生成速度由平台预置。 +- **模型单元**（`plan: "mu"`）：需指定 `deploy_spec`（如 `MU1`）、`capacity`（副本数）、`enable_thinking`、`max_context_length`、`rpm_limit`、`tpm_limit` 等，性能可自定义。 +- **按 [Token](../concepts/token.md) 计费**（`plan: "lora"`）：`capacity` 参数设置无效但必须填写，扩缩容需在控制台提交申请。 -## 部署配置与列表管理 +部署成功后返回 `deployed_model`（专属服务唯一 ID）和初始状态 `PENDING`。 -在控制台部署时可配置：服务名称、选择模型、模型单元类型（部署规格）、部署副本数、部署模板（如「单机部署」，仅模型单元模式可用）、推理模式（Instruct 非思考 / Thinking 思考）、最长上下文、服务限流（RPM/TPM）。 +### 查询状态 -部署列表页展示服务名称、模型名称、**模型 Code**（API 调用时指定模型的唯一标识）、部署状态（待部署、部署中、运行中、部署失败、下线中、已停止、变配中等）、计费方式、部署详情与限流详情。 +调用 `GET https://dashscope.aliyuncs.com/api/v1/deployments/{deployed_model}` 查询服务详情。当 `status` 为 `RUNNING` 时表示部署完成、可调用推理。 -## 限制与注意事项 +### 执行推理 -- **计费不可逆变更**：计费方式创建后不可改；预付费按天/按月无法提前退费，首月内提前退订按日单价 1.2 倍计费。 -- **部署即计费**：模型部署成功后即产生费用，即便尚未发起任何调用；后付费欠费后资源保留并继续计费 24 小时，超时后停止计费并删除底层资源（部署任务保留）。 -- **按 Token 模式约束**：仅支持 LoRA 调优后模型，一个月内不使用将自动释放。 -- **权限**：API 部署报错 `Workspace ... does not have deployment privilege` 或 `Workspace access denied` 时，需检查 API Key 归属业务空间的模型部署授权与账号操作权限。 -- **删除不可恢复**：执行 DELETE 后服务立即下线且不可恢复。 +使用 [DashScope SDK](../concepts/dashscope-sdk.md) 或 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)，将 `model` 参数设为 `deployed_model` 即可调用专属服务。需确保 [API Key](../concepts/api-key.md) 归属[业务空间](../concepts/workspace.md)与模型部署所在[业务空间](../concepts/workspace.md)一致。 + +### 删除服务 + +调用 `DELETE https://dashscope.aliyuncs.com/api/v1/deployments/{deployed_model}` 删除专属服务，删除后立即停止计费且不可恢复。 + +> **注意**：部署成功后即开始计费，即使未发起任何调用。API 部署时如报错 `Workspace xxx does not have deployment privilege for model xxxx`，需在[业务空间](../concepts/workspace.md)管理页面检查模型部署权限授权状态。详见[使用 API或命令行进行模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md)。 + +## 部署配置项 + +模型单元部署模式下可配置以下参数： + +| 配置项 | 说明 | +| --- | --- | +| 模型单元类型 | 部署规格，不同规格对应不同算力和性能（如 MU1、MU2、MU3 等） | +| 部署副本数 | 影响并发处理能力 | +| 推理模式 | Instruct（非思考模式）或 Thinking（思考模式），部分模型可选 | +| 最长上下文 | 基于模型类型设置上下文长度上限 | +| 服务限流 | 限制模型调用的 RPM、TPM | +| 部署模板 | 如「单机部署」或「PD 分离模式」，后者可降低首 [Token](../concepts/token.md) 延迟、提高吞吐 | + +PTU 部署模式下吞吐和生成速度由平台预置，用户不可调。 ## 来源文档 @@ -98,3 +107,5 @@ curl "https://dashscope.aliyuncs.com/api/v1/deployments" \ + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md index 674be24b..33808690 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md @@ -71,13 +71,13 @@ 数据量建议：小规模验证 50-100 条，正式评测 200-500 条，全面评估 500 条以上。 -## 计费说明 +## [计费](../concepts/billing.md)说明 费用由两部分构成：被评测模型推理费用 + 裁判模型评分费用。 - 使用推理结果集可免去推理费用。 - 规则评估和人工评估无裁判模型费用。 -- 已部署的调优模型评测不额外计费（推理费用包含在部署算力费用中）。 +- 已部署的调优模型评测不额外[计费](../concepts/billing.md)（推理费用包含在部署算力费用中）。 **成本优化**：先用 50-100 条小规模验证 → 保存推理结果集复用 → 有确定性标准的场景优先用规则评估。 @@ -105,3 +105,9 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md index 5cedd681..6c601660 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md @@ -1,83 +1,120 @@ # model experience -百炼平台按模态和场景组织了一整套可直接调用的模型能力：文本生成、视觉理解、图片/视频/3D 生成、语音合成与识别、语音转语音、全模态、音乐生成，以及向量与重排序。本页汇总各场景的推荐模型、关键参数和选型要点，帮助开发者快速定位到合适的模型；模型的实时上下文窗口、计费等详细参数请以模型广场为准。 +百炼平台提供文本、视觉、视频、图片、3D、语音合成、语音转语音、语音识别、音乐生成、向量与重排序、全模态等 11 类模型能力，覆盖从理解到生成、从单模态到全模态的完整场景。本页按能力类别汇总选型要点、关键参数与使用方式，帮助开发者快速定位合适的模型。 + +## 能力总览 + +| 能力类别 | 推荐首选 | 适用场景 | +| --- | --- | --- | +| 文本生成 | `qwen3.7-plus` | 聊天机器人、内容生成、文档处理、AI 编程 | +| 视觉理解 | `qwen3.7-plus` | 图像分析、视频理解、OCR、文档提取 | +| 视频生成与编辑 | `happyhorse-1.1-t2v` / `happyhorse-1.1-i2v` | 文生视频、图生视频、参考生视频、视频编辑 | +| 图片生成与编辑 | `wan2.7-image-pro` | 文生图、图片编辑、角色一致性多图生成 | +| 3D 模型生成 | `Tripo/Tripo-P1.0` → `Tripo/Tripo-H3.1` | 文生 3D、单图/多图生 3D | +| 语音合成 | `qwen-audio-3.0-tts-plus` | 标准合成、声音复刻、声音设计 | +| 语音转语音 (S2S) | `qwen-audio-3.0-realtime-plus` | 语音对话、语音翻译、同声传译 | +| 语音识别 | `fun-asr-realtime` / `qwen3.5-omni-plus-realtime` | 实时识别、录音文件转写 | +| 音乐生成 | `fun-music-v1` | 提示词/歌词生成歌曲、纯音乐 | +| 向量与重排序 | `text-embedding-v4` / `qwen3-rerank` | 语义搜索、RAG、跨模态检索 | +| 全模态 | `qwen3.5-omni-plus` | 音视频分析、语音对话、内容审核、语音翻译 | ## 文本生成 -通用文本场景（聊天机器人、内容生成、摘要、文档处理、办公任务）推荐从 `qwen3.7-plus` 起步——能力与成本均衡，具备 1M 上下文、Function Calling 和内置工具；效果确认后可切到 `qwen3.6-flash` 降本，功能与上下文一致；需要最强推理时用 `qwen3.7-max`。超长文档（多合同审阅、大规模文献）可用 `qwen-long`（10M 上下文）。AI 编程 / Agent 开发推荐 `qwen3.7-plus`（工具调用完整、1M 上下文适合大代码库）。 +文本生成是百炼的核心能力，支持思考模式、Function Calling、内置工具、结构化输出、批量推理等特性。推荐从 `qwen3.7-plus` 开始（1M 上下文、能力成本均衡），效果稳定后可换 `qwen3.6-flash` 降本；需要最强推理选 `qwen3.7-max` 或 `qwen3.8-max-preview`（[Token](../concepts/token.md) Plan 可用）。超长文档（多份合同审阅、大规模文献）可用 `qwen-long`（10M 上下文）。详细模型列表与参数见 [文本生成](../../raw/model-user-guide/model-experience/text-generation-model.md)。 -关键能力： +关键参数： +- `enable_thinking`：开启思考模式（Responses API 用 `reasoning.effort` 控制深度），适用于多步数学、代码调试、法律交叉引用等场景。 +- Function Calling 与内置工具（联网搜索、代码解释器、网页抓取）：所有通用模型支持自定义工具调用，内置工具无需额外配置。 +- 结构化输出：从文本中提取 JSON，如姓名、地址等。 -- **思考模式**：通过 `enable_thinking` 参数开启（Responses API 用 `reasoning.effort` 控制开关与深度），所有 Qwen3 及以上模型均支持，多为混合模式可按请求切换。 -- **Function Calling**：所有通用模型均支持自定义工具调用；**内置工具**（联网搜索、代码解释器、网页抓取）免复杂配置。 -- **结构化输出**：可强制返回有效 JSON，适合信息抽取。 -- **批量推理**：适合大量、低时延要求的请求以降本。 +## 视觉理解 -详细的模型对位（从 GPT / Claude / Gemini 迁移）与完整模型清单见 [文本生成](../../raw/model-user-guide/model-experience/text-generation-model.md)。 +视觉理解覆盖图像分析、视频理解、OCR 与文档提取。推荐从 `qwen3.7-plus` 开始（1M 上下文、最长 2 小时视频、Function Calling + 内置工具），降本可换 `qwen3.6-flash`。专用 OCR 用 `qwen3.5-ocr`，针对表格、试卷、手写内容优化。详细规格见 [视觉理解](../../raw/model-user-guide/model-experience/vision-model.md)。 -## 视觉理解与 OCR +关键限制： +- 每张图片最高 1600 万像素，[Token](../concepts/token.md) 计算：`h x w / (32 x 32) + 2`。 +- 视频时长：Qwen3.7/3.6/3.5 系列最长 2 小时 / 2GB；Qwen3-VL 系列最长 1 小时 / 2GB。 +- 结构化输出仅在非思考模式下支持。 -图像 / 视频理解推荐 `qwen3.7-plus`（1M 上下文、最长 2 小时视频、Function Calling + 内置工具），稳定后可降本到 `qwen3.6-flash`。要点见 [视觉理解](../../raw/model-user-guide/model-experience/vision-model.md)： +## 视频生成与编辑 -- **图像分辨率**：多数模型支持每张最高 1600 万像素，Token 数按 `h x w / (32 x 32) + 2` 计算。 -- **视频支持**：`qwen3.7-plus` / `qwen3.6-plus` / `qwen3.6-flash` / `qwen3.5-plus` / `qwen3.5-flash` 最长 2 小时 / 2GB；`qwen3-vl-plus` / `qwen3-vl-flash` 最长 1 小时。 -- **OCR / 文档提取**：`qwen3.5-ocr` 针对文档、表格、试卷、手写内容优化；通用图片文字提取也可用旗舰模型。 +视频生成支持文生视频 (t2v)、图生视频 (i2v)、参考生视频 (r2v)、视频编辑与角色动画。HappyHorse 系列自带音频输出（有声视频），Wan 系列支持自定义音频文件输入和多镜头叙事。选型与调用细节见 [视频生成与编辑](../../raw/model-user-guide/model-experience/video-generate-edit-model.md)。 -## 图片生成与编辑 +| 场景 | 推荐模型 | 分辨率 | 时长 | +| --- | --- | --- | --- | +| 文生视频（有声） | `happyhorse-1.1-t2v` | 720P/1080P | 3-15 秒 | +| 文生视频（自定义音频） | `wan2.7-t2v-2026-06-12` | 720P/1080P | 2-15 秒 | +| 首帧生视频 | `happyhorse-1.1-i2v` | 720P/1080P | 3-15 秒 | +| 首尾帧生视频/长视频续写 | `wan2.7-i2v-2026-04-25` | 720P/1080P | 2-15 秒 | +| 参考生视频（角色一致性） | `happyhorse-1.1-r2v` | 720P/1080P | 3-15 秒 | +| 视频编辑 | `happyhorse-1.0-video-edit` | 720P/1080P | 3-15 秒 | +| 动作迁移 | `wan2.2-animate-move` | 720P | 2-30 秒 | -见 [图片生成与编辑](../../raw/model-user-guide/model-experience/image-model.md)。推荐 `wan2.7-image-pro`，集成文字渲染、品牌色控制、角色一致性多图生成和图片编辑（文生图最高 4096x4096，编辑最高 2048x2048，支持最多 9 张输入图参考）。仅需生图且追求速度/成本时用 `z-image-turbo`（约快 10 倍、价格约 1/5，写实人像与产品照）；需要负向提示词或单次最多 6 张变体时用 `qwen-image-2.0-pro`（生成和编辑同一模型 ID）。 +> **注意**：Wan 2.1 及更早版本生成无音频视频，已推荐使用 Wan 2.7。 -## 视频生成与编辑 +## 图片生成与编辑 -见 [视频生成与编辑](../../raw/model-user-guide/model-experience/video-generate-edit-model.md)，按子场景选型： +图片生成推荐 `wan2.7-image-pro`，一个模型集成文字渲染、品牌色控制、角色一致性多图生成与图片编辑，文生图最高 4096x4096、编辑最高 2048x2048。只需快速生成且无需编辑时用 `z-image-turbo`（速度快 10 倍、价格约 1/5）。需要负向提示词或单次最多 6 张变体用 `qwen-image-2.0-pro`。详见 [图片生成与编辑](../../raw/model-user-guide/model-experience/image-model.md)。 -- **文生视频**：`happyhorse-1.1-t2v`（1080P、单片段最长 15 秒、有声）；需传入自定义音频文件用 `wan2.7-t2v-2026-06-12`。 -- **图生视频**：首帧生视频用 `happyhorse-1.1-i2v`；首尾帧串联长视频用 `wan2.7-i2v-2026-04-25`。 -- **参考生视频**：`happyhorse-1.1-r2v`（保持角色一致性）；需自定义音色或视频参考主体用 `wan2.7-r2v-2026-06-12`。 -- **视频编辑 / 角色动画**：编辑用 `happyhorse-1.0-video-edit`，特效/运镜复刻用 `wan2.7-videoedit`；动作迁移用 `wan2.2-animate-move`，人物替换用 `wan2.2-animate-mix`（均支持 wan-std / wan-pro 两种模式）。 +## 3D 模型生成 -## Tripo 3D 模型生成 +Tripo 模型支持文生 3D、单图生 3D、多图生 3D 三种模式，通过异步任务接口调用（创建任务 → 轮询获取结果）。建议先用 `Tripo/Tripo-P1.0` 快速验证效果，再用 `Tripo/Tripo-H3.1` 生成高精度版本（最高 200 万面）。`prompt`、`image`、`images` 三字段互斥，每次请求只选一种。贴图质量通过 `parameters.texture_quality`（`standard`/`detailed`）控制，几何精度通过 `parameters.geometry_quality`（`standard`/`ultra`，仅 H3.1 支持）控制。详见 [Tripo 3D模型生成](../../raw/model-user-guide/model-experience/tripo-3d-generation-guide.md)。 -支持文生 3D、单图生 3D、多图生 3D 三种模式，通过 `input` 中互斥的 `prompt` / `image` / `images` 字段区分。`Tripo/Tripo-H3.1` 面向高精度（最高 200 万面，较慢），`Tripo/Tripo-P1.0` 面向快速预览（最高 2 万面，更快）。贴图质量用 `parameters.texture_quality`（`standard` / `detailed`）控制，几何精度用 `parameters.geometry_quality`（仅 H3.1 支持，`standard` 最高 150 万面 / `ultra` 最高 200 万面）。调用为异步任务，需轮询任务状态（`PENDING` → `RUNNING` → `SUCCEEDED` / `FAILED`），建议间隔 15 秒。 +> **注意**：Tripo 3D 模型仅适用于华北2（北京）地域，必须使用该地域的 [API Key](../concepts/api-key.md)。任务结果（GLB 文件与预览图）URL 有效期 2 小时。 -> **注意**：Tripo 3D 生成仅适用于**华北2（北京）**地域，且必须使用该地域的 API Key。 +## 语音合成 (TTS) -## 语音合成（TTS） +语音合成分标准合成（内置音色）和自定义音色（声音复刻 / 声音设计）两条路线。标准合成推荐 `qwen-audio-3.0-tts-plus`；声音复刻可用 `qwen-audio-3.0-tts-flash` 或 `MiniMax/speech-2.8-hd`；声音设计（无录音素材，文字描述生成新音色）用 `cosyvoice-v3.5-plus`。 -见 [语音合成](../../raw/model-user-guide/model-experience/tts-model.md)。先确定内置音色还是自定义音色：标准合成推荐 `qwen-audio-3.0-tts-plus` / `MiniMax/speech-2.8-hd`；自定义音色分**声音复刻**（提供音频样本，用 `qwen-audio-3.0-tts-flash` / `MiniMax/speech-2.8-hd`）和**声音设计**（用文字描述音色，用 `cosyvoice-v3.5-plus` / `cosyvoice-v3.5-flash`），音色统一由 `voice-enrollment` 服务注册管理。接入方式上，WebSocket 双向流式延迟最低（实时交互），HTTP 适合有声阅读等；Qwen 系列以 `-realtime` 后缀区分 WebSocket / HTTP。指令控制可用自然语言动态调节语速、情绪和风格。 +接入方式： +- **WebSocket**：双向流式，音频边合成边返回，延迟最低，适合实时交互（客服、语音助手）。 +- **HTTP**：发送完整文本，支持流式返回，适合有声阅读、内容制作。 -## 语音识别（ASR） +指令控制：用自然语言描述语速、情绪、风格（如"温柔的语气，语速稍慢"），Qwen-Audio-TTS、CosyVoice、Qwen3-TTS-Instruct 系列支持。详见 [语音合成](../../raw/model-user-guide/model-experience/tts-model.md)。 -见 [语音识别](../../raw/model-user-guide/model-experience/asr-model.md)，按维度选型： +## 语音转语音 (S2S) -- **实时 vs 非实时**：实时（WebSocket）用 `fun-asr-realtime` 或 `qwen3.5-omni-plus-realtime`；非实时文件转写（HTTP）用 `fun-asr` 或 `qwen3.5-omni-plus`。 -- **专业术语**：Prompt 上下文注入（Qwen3.5-Omni，无需预配置）或热词表（Fun-ASR，适合稳定术语列表）。 -- **说话人分离**：仅 Fun-ASR 非实时模型（`fun-asr`、`fun-asr-mtl`）支持。 -- **情感识别**：Qwen-ASR 与 Qwen3.5-Omni 系列支持，推荐 `qwen3-asr-flash-realtime` / `qwen3-asr-flash-filetrans`。 +S2S 是端到端的"语音输入 → 语音输出"单模型路线，延迟低于 Pipeline（ASR + LLM + TTS），能感知语调情绪。推荐 `qwen-audio-3.0-realtime-plus`（高能力对话）或 `qwen-audio-3.0-realtime-flash`（成本敏感）。同声传译用 `qwen3.5-livetranslate-flash-realtime`（60 种语言，约 3 秒延迟），文件模式翻译用 `qwen3-livetranslate-flash`。 -Paraformer 为较早一代模型，新业务建议迁移到 Fun-ASR 或 Qwen-ASR。 +S2S 单模型附带能力（Qwen3.5-Omni / Qwen3-Omni 提供）：Function Calling、联网搜索（仅 Qwen3.5-Omni）、思考模式（仅 Qwen3-Omni HTTP，思考时不生成语音）。如需自定义音色或分阶段选型，走 Pipeline 路线。详见 [语音转语音](../../raw/model-user-guide/model-experience/s2s-model.md)。 -## 语音转语音（S2S）与全模态 +## 语音识别 (ASR) -构建语音应用可选 **S2S 单模型**（延迟低、端到端感知语调情绪）或 **Pipeline（ASR + LLM + TTS）**（可自定义音色、各阶段独立选优）。S2S 路线推荐：语音助手/客服用 `qwen3.5-omni-plus-realtime`，成本敏感用 `qwen3.5-omni-flash-realtime`，同传/直播翻译用 `qwen3.5-livetranslate-flash-realtime`，视频配音/播客翻译用 `qwen3-livetranslate-flash`。全模态（同时理解文本/音频/图片/视频）三大系列为 Qwen3.5-Omni（旗舰）、Qwen3-Omni-Flash（轻量、支持思考模式）、Qwen3.5-Livetranslate（专业翻译，开箱即用，60 种语言）。 +按实时性与增强方式选型： +- **实时（WebSocket）**：`fun-asr-realtime`（热词、方言）或 `qwen3.5-omni-plus-realtime`（Prompt 上下文注入、多语种、情感识别）。 +- **非实时（HTTP）**：`fun-asr`（热词、说话人分离，最长 12 小时 / 2GB）或 `qwen3.5-omni-plus`（Prompt 上下文，最长 3 小时 / 2GB）。 -> **注意**：Function Calling 与联网搜索能力在不同接入模式下差异较大——例如 `qwen3-omni-flash` 在 HTTP 模式支持 Function Calling 和思考模式，但其 WebSocket（`-realtime`）版本均不支持；联网搜索仅 Qwen3.5-Omni（HTTP / WebSocket）支持，且联网搜索与 Function Calling 不可同时开启；思考模式下不输出语音。选型前务必核对目标模型的具体接入模式。 +精度增强：专业术语可用 Prompt 上下文注入（Qwen3.5-Omni，自适应但延迟更高）或热词（Fun-ASR，稳定术语列表）。说话人分离仅 Fun-ASR 非实时模型支持。情感识别用 `qwen3-asr-flash-realtime` / `qwen3-asr-flash-filetrans`。详见 [语音识别](../../raw/model-user-guide/model-experience/asr-model.md)。 ## 音乐生成 -Fun-Music 是端到端音乐生成模型，通过 `prompt` 描述风格/场景/情绪自动作词谱曲，或通过 `lyrics` 提供自定义歌词，用 `gender` 选男女声（仅 `fun-music-v1`），`is_instrumental=true` 生成纯音乐（此时 `lyrics` / `gender` 被忽略），`format` 指定 mp3 / wav 输出。 +Fun-Music 是端到端音乐生成模型，支持提示词描述风格或自定义歌词生成完整歌曲，也支持纯音乐。两个模型：`fun-music-v1`（支持 `gender` 选男声/女声）和 `fun-music-preview`（不支持 `gender`）。通过 `is_instrumental=true` 生成纯音乐时，`lyrics` 和 `gender` 被忽略。输出 MP3 或 WAV。详见 [音乐生成](../../raw/model-user-guide/model-experience/fun-music.md)。 -> **注意**：Fun-Music 处于邀测阶段，需在模型广场申请开通，且服务仅在**华北2（北京）**地域可用。 +> **注意**：Fun-Music 处于邀测阶段，需在模型广场申请开通，仅华北2（北京）地域可用。 ## 向量与重排序 -见 [向量与重排序](../../raw/model-user-guide/model-experience/embedding-rerank-model.md)。纯文本搜索 / RAG / 聚类推荐 `text-embedding-v4`（维度 64~2048，默认 1024，最大 8192 Token；迁移旧索引可用 `text-embedding-v3`）；跨模态检索用 `qwen3-vl-embedding`（融合向量）或 `tongyi-embedding-vision-plus`（独立向量）。重排序用于 Embedding 检索后对 Top-N 结果精排：纯文本用 `qwen3-rerank`（100+ 语言、最多 500 文档），多模态用 `qwen3-vl-rerank`（文本/图片/视频混排）。 +- **文本 Embedding**：`text-embedding-v4`（维度 64~2048，默认 1024，最大 8192 [Token](../concepts/token.md)）。大规模搜索且存储有限选低维（256/512），高精度选 1536/2048。已有 v3 索引迁移用 `text-embedding-v3`（维度兼容）。 +- **[多模态](../concepts/multimodal.md) Embedding**：`qwen3-vl-embedding`（融合 + 独立向量，最高 2560 维）或 `tongyi-embedding-vision-plus`（仅独立向量，跨模态搜索）。 +- **重排序**：纯文本用 `qwen3-rerank`（100+ 语言，最多 500 文档）；[多模态](../concepts/multimodal.md)用 `qwen3-vl-rerank`（文本 + 图片 + 视频）。详见 [向量与重排序](../../raw/model-user-guide/model-experience/embedding-rerank-model.md)。 + +## 全模态 -## 选型与使用注意事项 +全模态模型同时理解文本、音频、图片、视频，输出文本和语音。三个系列： +- **Qwen3.5-Omni**（旗舰）：`qwen3.5-omni-plus`（HTTP，音频最长 3 小时、视频最长 1 小时），支持 Function Calling + 联网搜索。29 种输出语言 + 7 种中文方言。 +- **Qwen3-Omni-Flash**（轻量）：成本更低，支持思考模式（仅 HTTP），11 种输出语言。 +- **Qwen3.5-Livetranslate**（专业翻译）：60 种语言互译，约 3 秒延迟，开箱即用。 -- 旧版模型（如旧版 Qwen、Paraformer、`qwen-omni-turbo`、`qwen-tts` 等）不再作为首选，新项目建议使用各系列最新版本。 -- 上下文窗口、计费、地域可用性等以模型广场实时信息为准；本页面数据可能滞后。 -- 图片/视频/3D/音乐等生成类模型多为异步任务，需按文档轮询或配置回调。 +详见 [全模态](../../raw/model-user-guide/model-experience/omni.md)。 + +> **注意**：联网搜索与 Function Calling 不可同时开启（Qwen3.5-Omni）。思考模式下不支持生成语音（Qwen3-Omni-Flash）。 + +## 通用注意事项 + +- **地域限制**：Tripo 3D 与 Fun-Music 仅华北2（北京）可用；部分 Wan 视频模型有 `-us` 后缀版本适用美国部署。 +- **异步任务**：3D 生成、音乐生成等采用异步接口，需轮询任务状态（建议间隔 15 秒），或配置异步任务回调替代轮询。 +- **快照版本**：需要版本回归或稳定性保证时，使用带日期后缀的快照版本（如 `qwen3.7-plus-2026-05-26`）。 +- **旧版模型**：Qwen3.5 及更早系列不再作为首选推荐，新项目建议使用 Qwen3.6 及以上。 ## 来源文档 @@ -94,3 +131,5 @@ Fun-Music 是端到端音乐生成模型，通过 `prompt` 描述风格/场景/ - [全模态](../../raw/model-user-guide/model-experience/omni.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md index 712b5a20..97c814ab 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md @@ -1,73 +1,105 @@ # model high speed inference -百炼平台针对高吞吐、高速率的推理场景提供两类能力：**TPM 预留**用于为指定模型锁定专属推理容量，避免业务高峰期受公共限流影响；**快速模式（Fast mode）**则针对输出速度敏感的场景提升 TPS。两者都通过替换或指定 `model` 参数接入，无需大改代码。 +百炼平台为对推理吞吐量或输出速度有较高要求的场景提供两种加速机制：**TPM 预留**通过预付费锁定专属 TPM 容量，保障高峰期不受公共限流影响；**快速模式（Fast mode）**则在不改变[计费](../concepts/billing.md)逻辑的前提下将输出 TPS 提升至标准 API 的 1.5~2 倍。两者面向不同诉求，可单独使用。 -## TPM 预留：锁定专属容量 +## 两种加速机制对比 -TPM（Tokens Per Minute）预留为指定模型锁定专属的推理吞吐量，预留容量内的调用不受公共资源限流影响，容量为业务专属、不与其他用户共享。详见 [TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md)。 +| 维度 | TPM 预留 | 快速模式 | +| --- | --- | --- | +| 核心目标 | 容量保障（专属 TPM，不限流） | 速度提升（更高 TPS） | +| [计费](../concepts/billing.md)方式 | 按 kTPM 预付费（输入/输出分别计价） | 按 token [计费](../concepts/billing.md)，与标准 API 一致 | +| 超额处理 | 自动溢出按量（默认）或返回 429 | 超出 TPM 进入排队队列，不立即限流 | +| 接入改动 | 将 `model` 替换为专属 model code | 将 `model` 指定为 fast 模型 ID | +| 成熟度 | 正式可用 | preview 阶段，规格可能调整 | -核心特性： +## TPM 预留 -- **专属模型 code**：创建预留后系统自动生成专属模型 code，需将 API 请求中的 `model` 参数替换为该 code 才能使用预留容量。 -- **超额不中断**：超出预留容量的请求自动降级为按量计费处理，服务不中断，无需修改代码。可在详情页的**超额降级统计**查看降级次数。 -- **计费单位**：按 kTPM 预付费（1 kTPM = 1,000 Tokens/分钟），一次性支付，从购买成功起连续生效。 +TPM 预留为指定模型锁定专属推理吞吐量，预留容量内的调用不与其他用户共享、不受公共资源限流影响。详见 [TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md)。 -### 方案选型 +### 关键参数 -[TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md) 文档给出了多种容量方案的对比，便于按业务诉求选型： +创建 TPM 预留时需填写以下参数： -| 方案 | 计费单位 | 容量保障 | 适用场景 | 超额处理 | 代码改动 | -| --- | --- | --- | --- | --- | --- | -| 按量付费 | 按 token | 无（共享公共池） | 流量波动大/短期 | 自动服务，受公共限流 | 无需改动 | -| 资源包/节省计划 | 预付费额度 | 承诺用量折扣（非专属） | 费用优化 | 超出转按量 | 无需改动 | -| TPM 预留 | 按 kTPM 预付费 | 专属容量刚性兑付 | 流量可预估、不能接受限流 | 超出自动降级公共池按量，不中断 | 替换 model 参数 | -| PTU 专属部署 | 按 kTPM 预付费 | 专属部署实例 | 高吞吐高性能 | 超出转按量 | 替换 model 参数 | +| 参数 | 说明 | 是否必填 | +| --- | --- | --- | +| 预留名称 | 自定义名称，≤50 字符 | 是 | +| 选择模型 | 选择目标模型，提交后自动生成专属 model code | 是 | +| 付费周期 | 计费周期，当前支持按天 | 是 | +| 输入 TPM | 预留输入吞吐量，单位 kTPM（1 kTPM = 1,000 [Token](../concepts/token.md)s/分钟） | 是 | +| 输出 TPM | 预留输出吞吐量，单位 kTPM | 是 | +| 购买时长 | 有效时长，支持 1~30、60、90、120、365 天 | 是 | +| 到期自动续费 | 到期前一天 08:00 自动扣款，默认开启 | 否 | +| 单次续费时长 | 每次自动续费的时长 | 否 | +| 溢出策略 | 容量耗尽时的处理方式 | 是 | -### 创建与接入 +溢出策略两种选择： -1. 登录百炼控制台创建 TPM 预留，填写预留名称、选择模型、付费周期（按天）、输入/输出 TPM（单位 kTPM）、购买时长（支持 1~30、60、90、120、365 天）等参数。建议先用 **TPM 容量计算器**（根据 RPM、平均输入/输出长度、缓存命中率估算）确认所需额度。 -2. 确认费用后完成支付。 -3. 在详情页**概览** Tab 复制**专属模型 code**。 -4. 将 API 请求的 `model` 参数替换为该 code 即可： +- **自动溢出至按量计费**（默认）：超出部分降级为按量计费，服务不中断，详情页可查看超额降级次数。 +- **仅使用预留容量**：超出返回 429，不产生额外费用。 + +### 容量计算 + +创建页面右侧提供 **TPM 容量计算器**，根据 RPM、平均输入/输出长度、缓存命中率自动推荐输入和输出 TPM。部分模型支持长输入阶梯系数和缓存折扣，计算器会自动应用： + +| 模型 | 输入长度上限 | 缓存折扣 | 长输入阶梯系数 | +| --- | --- | --- | --- | +| glm-5.2 | 1M | 0.25 | 无阶梯（1.0） | +| glm-5.1 | 200K | 0.2 | [0,32K) 1.0；[32K,200K] 输入 1.33/输出 1.17 | +| deepseek-v4-pro | 256K | 0.08 | 无阶梯（1.0） | +| deepseek-v4-flash | 256K | 0.2 | 无阶梯（1.0） | +| Kimi-K2.6 | 256K | 0.2 | 无阶梯（1.0） | +| Qwen3.6-flash-2026-04-16 | 256K | 不支持缓存 | 无阶梯（1.0） | +| Qwen 系列 | 256K | 0.2 | 无阶梯（1.0） | + +### 接入方式 + +创建成功并进入**运行中**状态后，在详情页概览 Tab 复制**专属模型 code**，将 API 请求中的 `model` 参数替换为该 code 即可： ```python import dashscope response = dashscope.Generation.call( api_key="your-api-key", - model="your-dedicated-model-code", # 替换为专属模型 code + model="your-dedicated-model-code", messages=[{"role": "user", "content": "你好"}], ) print(response.output.text) ``` -> **注意**：短时间内请求量快速拉升时，系统需短暂预热以匹配算力，预热期间部分请求可能出现延迟波动，请做好请求排队或重试机制。 +```bash +curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ + -H "Content-Type: application/json" \ + -d '{"model":"your-dedicated-model-code","messages":[{"role":"user","content":"你好"}]}' +``` -### 容量换算参数 +> 短时间内请求量快速拉升时系统需短暂预热，预热期间可能出现延迟波动，请做好请求排队或重试机制。 -部分模型支持长输入阶梯系数和缓存折扣，容量计算器会自动应用。例如 glm-5.2 输入长度上限 1M、缓存折扣 0.25、无阶梯；glm-5.1 缓存折扣 0.2，且在 [32K, 200K] 区间输入系数 1.33 / 输出 1.17；deepseek-v4-pro 缓存折扣低至 0.08。Qwen3.6-flash-2026-04-16 不支持缓存。 +### 计费与退订 -### 管理与生命周期 +- 部署成功即开始计费，预留容量内的调用不额外收费。 +- 预付费一次性支付，从购买成功起连续生效。 +- 缩容与退订退费：已使用部分按 1.5 倍系数结算，公式为 `退款 = 降量部分预付费 - (降量部分预付费 × 已用时长/购买时长 × 1.5)`。 +- 输入/输出 TPM 支持调整为 0：归 0 后不再产生容量费用，专属 model code 保留，但归 0 属于减配，按 1.5 倍系数结算。 -- **扩缩容**：在详情页调整输入/输出 TPM，变配期间服务不中断。利用率持续接近 100% 或频繁降级时建议扩容。 -- **续费**：可手动续订，或开启**到期自动续费**（到期前一天 08:00 自动扣款）。 -- **退订**：跳转费用中心完成，退订后专属模型 code 失效、请求回退公共资源，不可恢复。缩容/退订退费按已使用部分 1.5 倍系数结算：`退款 = 降量部分预付费 - (降量部分预付费 × 已用时长/购买时长 × 1.5)`。 +### 支持的模型与地域 -预留实例状态：服务到期后 2 小时内仍为**运行中**（可调用、可续费）；2~14 小时转为**已停止**（不可调用、仍可续费）；到期 14 小时后**已过期/删除**，不可恢复。其余状态包括待生效、变配中、已取消。 +TPM 预留支持华北2（北京）和新加坡地域，覆盖千问3.7-Max、千问3.7-Plus、千问3.6-Flash、GLM-5.2、GLM-5.1、DeepSeek-v4-Flash、DeepSeek-v4-Pro、Kimi-K2.6 等模型，价格因地域和模型不同。详细费用以百炼控制台为准，参见 [TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md)。 -## 快速模式（Fast mode）：提升输出速度 +## 快速模式（Fast mode） -[快速模式](../../raw/model-user-guide/model-high-speed-inference/fast-mode.md) 面向对输出速度敏感的场景（AI 编程助手、Agent 多步推理、实时对话等），当前处于 **preview 阶段**，能力与规格可能随版本调整。 +快速模式为对输出速度敏感的场景提供更高 TPS，当前处于 preview 阶段。详见 [快速模式](../../raw/model-user-guide/model-high-speed-inference/fast-mode.md)。 -关键特性： +### 关键特性 -- **高速输出**：TPS 提升至标准 API 的 1.5~2 倍，达 80~100 TPS。 -- **按 token 计费**：计费逻辑与标准 API 一致，按输入/输出 token 计费。 -- **特殊限流**：超出 TPM 额度不会立即限流，请求进入排队队列。 +- **高速输出**：TPS 提升至标准 API 的 1.5~2 倍，达 80~100 TPS，适用于 AI 编程助手、Agent 多步推理、实时对话等场景。 +- **按 token 计费**：计费逻辑与标准 API 一致，按输入与输出 token 计费。 +- **排队限流**：超出 TPM 额度不会立即限流，请求进入排队队列。 +- **preview 阶段**：能力与规格可能随版本调整。 ### 接入方式 -将 `model` 参数指定为支持的模型 ID（如 `glm-5.2-fast-preview`）即可开启，无需额外参数。接入域名格式为 `https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`，其中 `{workspace_id}` 可在业务空间管理页面切换到对应地域后查看。 +将 `model` 参数指定为支持的 fast 模型 ID 即可开启，无需额外参数。接入域名为 `https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`，`{workspace_id}` 可在[业务空间](../concepts/workspace.md)管理页面查看。 ```bash curl -X POST https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/chat/completions \ @@ -80,14 +112,45 @@ curl -X POST https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode }' ``` -glm-5.2 默认返回 `reasoning_content` 思考字段；[流式输出](../concepts/streaming-output.md)时思考内容与回答内容分别通过 `delta.reasoning_content` 与 `delta.content` 推送。 +glm-5.2-fast-preview 默认返回 `reasoning_content` 思考字段；[流式输出](../concepts/streaming.md)时思考内容与回答内容分别通过 `delta.reasoning_content` 与 `delta.content` 推送： + +```python +from openai import OpenAI +import os + +client = OpenAI( + api_key=os.environ.get("API_KEY"), + base_url=os.environ.get("BASE_URL"), +) + +completion = client.chat.completions.create( + model="glm-5.2-fast-preview", + messages=[{"role": "user", "content": "你是谁"}], + stream=True, +) + +for chunk in completion: + if not chunk.choices: + continue + delta = chunk.choices[0].delta + if hasattr(delta, "reasoning_content") and delta.reasoning_content: + print(delta.reasoning_content, end="", flush=True) + if hasattr(delta, "content") and delta.content: + print(delta.content, end="", flush=True) +``` + +### 支持的模型 + +快速模式当前支持 `glm-5.2-fast-preview`，在华北2（北京）和新加坡地域可用，价格因地域不同。详细计费参见 [快速模式](../../raw/model-user-guide/model-high-speed-inference/fast-mode.md)。 ## 限制与注意事项 -- **两者定位不同**：TPM 预留解决"容量保障/不受限流"，快速模式解决"输出速率提升"。快速模式仍为 preview，生产环境需评估稳定性。 -- **接入差异**：TPM 预留通过替换为专属模型 code 接入标准 dashscope 域名；快速模式使用带 `{workspace_id}` 的 maas 域名并指定 fast-preview 模型 ID。 -- **限流行为差异**：TPM 预留超额自动降级按量、不中断；快速模式超额不立即限流而是排队。 -- **计费口径**：具体价格、容量换算与费用以百炼控制台为准，[TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md) 与快速模式的价格表可能随时间调整，请以控制台实时展示为准。 +- **TPM 预留**到期后专属 model code 失效，请求回退至公共资源按量计费；到期 2 小时内实例仍运行中可续费，2~14 小时停止不可调用但仍可续费，14 小时后删除不可恢复。建议开启**到期自动续费**。 +- **TPM 预留**退订不可恢复，退订后 model code 失效，已有请求回退至公共资源。 +- **快速模式**处于 preview 阶段，能力与规格可能随版本调整，不建议用于对稳定性有强一致要求的场景。 +- 两者的接入域名不同：TPM 预留使用 `dashscope.aliyuncs.com`，快速模式使用 `{workspace_id}.cn-beijing.maas.aliyuncs.com`。 + +> **注意**：TPM 预留与快速模式面向不同维度（容量保障 vs 速度提升），当前无同一模型同时支持两种机制。如需同时保障容量与速度，建议结合 PTU 专属部署方案评估。 ## 来源文档 @@ -95,3 +158,6 @@ glm-5.2 默认返回 `reasoning_content` 思考字段；[流式输出](../concep - [快速模式](../../raw/model-user-guide/model-high-speed-inference/fast-mode.md) + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md index 6aa8dc00..847323b5 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md @@ -1,75 +1,143 @@ # model monitoring -阿里云百炼提供两套互补的用量与监控能力：**模型用量**（控制台聚合视图，用于查看调用量、Token 消耗和费用）与**模型监控**（面向指标、告警、日志的可观测体系）。前者侧重成本与免费额度管理，后者侧重性能、错误、安全指标的采集、告警与对话审计，二者共同覆盖从成本控制到线上运维的完整链路。 +百炼平台提供模型用量统计与运行监控两类能力，帮助开发者掌握 [Token](../concepts/token.md) 消耗、调用性能、失败率等关键指标，并支持告警与 Grafana 接入。用量数据按[业务空间](../concepts/workspace.md)维度统计、延迟约 1 小时；监控数据在普通监控下为小时级，高级监控下为分钟级。本文整合[模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)与[模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)两篇文档，介绍用量查询、运行监控、[Token](../concepts/token.md) 追踪、告警及 Prometheus 接入的要点。 -## 支持的模型与功能范围 +## 功能概览 -- **用量查看**：模型列表中的所有模型均支持查看用量，包括基于它们调优后的自定义模型。详见 [模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)。 -- **模型监控**： - - **普通监控**支持所有模型（含调优后的自定义模型），延迟通常为小时级。 - - **高级监控**支持北京、新加坡、弗吉尼亚地域下的所有模型，可提供分钟级数据洞察。 - - **告警功能**支持北京、新加坡地域下的所有模型。 -- 监控可查看调用记录、指标监控与告警（Token、延时、调用时长、RPM、TPM、失败率）、以及 Token 消耗统计。详见 [模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 +| 能力 | 数据来源 | 典型延迟 | 适用地域 | +| --- | --- | --- | --- | +| 模型用量统计 | 用量统计页 | 约 1 小时 | 全部地域 | +| 模型运行监控（普通） | 自动采集 | 小时级 | 所有模型 | +| 高级监控 | Prometheus | 分钟级 | 北京、上海、新加坡、弗吉尼亚 | +| 告警 | 告警规则 | 实时 | 北京、新加坡、弗吉尼亚 | +| 推理日志（请求/响应） | 开通后采集 | 分钟级 | 北京、新加坡、弗吉尼亚的部分模型 | -## 用量与费用查看 +## 模型用量查询 -数据按[业务空间](https://help.aliyun.com/zh/model-studio/use-workspace)维度统计，不支持按阿里云账号维度统计。 +用量数据在「模型用量」页面查看，按[业务空间](../concepts/workspace.md)维度统计，**不支持按阿里云账号维度汇总**，数据延迟约 1 小时。 -- **数据延迟约 1 小时**；不支持查看 30 天以前的统计数据，更早数据需前往「费用与成本」页面查询。 -- **时间精度**：支持分钟 / 小时 / 天三种精度。时间跨度超过 1 天时分钟精度不可选，超过 7 天时仅支持按天查看。 -- **筛选维度**：仅「大语言模型」页签支持按推理类型（实时推理 / 批量推理）筛选；支持按 API-KEY、模型名称（如 `qwen-plus`）筛选。 -- **费用概览**：可查看当前账期总消费、订阅费用、账单趋势（按月/按天，可按产品分类、API Key ID、模型筛选），并可设置**费用告警**。 +- **时间范围**：不支持查看 30 天以前的统计；更早数据需到「费用与成本」页面查询。 +- **时间精度**：分钟、小时、天三种；跨度超过 1 天时分钟精度不可选，超过 7 天时仅支持按天。 +- **筛选维度**：模型类型页签（如大语言模型）、推理类型（仅大语言模型支持实时/批量筛选）、API-KEY、模型名称搜索。 +- **指标**：调用模型表格按模型 Code 列出调用量、[Token](../concepts/token.md) 用量等（随模型类型变化）；「总调用成功次数 Top 10 模型」区域汇总热门模型。 -不同模型的用量统计口径不同：大语言模型 / 全模态 / 向量模型按 **Token**，图像生成按**张**，视频生成按**秒**，语音模型按**秒、字符或 Token**（视模型而定）。完整口径见 [模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)。 +### 免费额度管理 -## 免费额度管理 +在「免费额度」页面可查看各模型的剩余量、过期时间与状态，并支持「免费额度用完即停」开关（开启后额度用尽返回 `403 AllocationQuota.FreeTierOnly`）。仅大语言模型页签支持按推理类型筛选。详见[模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)。 -「免费额度」页面提供使用概览（按模型总数、额度充沛、使用超 50%/80%、无免费额度等维度汇总）及「即将用尽 Top 3」列表。 +### 费用概览 -- **免费额度用完即停**：开启后免费额度用尽时服务自动停止（返回 `403 AllocationQuota.FreeTierOnly`），避免产生额度外费用。 -- 支持批量开启/关闭、一键开启/关闭所有模型；账号未绑定有效支付方式时批量操作会失败。 +「费用概览」页展示当前账期总消费、订阅费用与账单费用，支持按月/按天的账单趋势图，并可设置费用告警。 -> **注意**：「免费额度用完即停」只能在账户仍有未消耗免费额度时开启；一旦开启，需在免费额度完全消耗后才能关闭。控制台免费额度数据为分钟级更新，账单记录按分钟汇总，请以控制台显示数值为准。 +## 模型运行监控 -## 监控指标与告警 +系统自动采集主账号下所有[业务空间](../concepts/workspace.md)的调用数据，按「模型 + [业务空间](../concepts/workspace.md)」维度生成列表记录，新模型在首次同步后自动加入。列表顶部汇总模型总量、总调用次数、总失败次数、平均调用时长、平均首包时长。 -在模型监控列表中点击目标模型操作列的**监控**，可查询 4 类指标： +点击单行「监控」进入详情页，查看以下 4 类指标： -- **安全**：如 `内容安全错误次数`（输入/输出被内容安全服务拦截）。 -- **成本**：如 `平均单次请求调用量`。 -- **性能**：`调用时长`、`首 Token 延时`、RPM、TPM、非首 Token 延时等。 -- **错误**：`失败次数`、`失败率`，其中**限流错误次数**指因 [429 状态码](https://help.aliyun.com/zh/model-studio/error-code)导致的失败。 +- **安全**：如内容安全错误次数（涉黄、涉政、广告等被内容安全服务拦截）。 +- **成本**：如平均单次请求调用量。 +- **性能**：如调用时长、首 [Token](../concepts/token.md) 延时；性能页签还提供 RPM、TPM、非首 [Token](../concepts/token.md) 延时。 +- **错误**：如失败次数、失败率；限流错误次数对应 429 状态码。 -**创建告警**（仅限新加坡、华北2（北京）地域）：需先开启高级监控（性能和用量指标监控），再在模型告警页面创建规则。 +调用统计页签支持按 API-KEY、推理类型、时间范围及精度筛选，失败次数图表可点击「失败详情」定位失败原因。详见[模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 -- **通知方式**：短信、电子邮件、电话、钉钉群机器人、企业微信机器人、Webhook。 -- **告警等级**：紧急（电话/短信/邮件）、错误（短信/邮件）、警告（短信/邮件）、普通（邮件），不支持自定义。 +## [Token](../concepts/token.md) 消耗追踪 -## Token 消耗与历史对话 +监控提供成本视角的三类能力： -- **历史 Token 消耗**：最近 30 天可在监控页调用统计的「调用量」区域查看；更早数据前往「费用与成本」页面。 -- **单次调用 Token 消耗 / 历史对话（模型日志）**：需在「模型监控配置」中依次开通审计日志和推理日志，之后在**日志**页签查看每次调用的输入、输出与用量。开通后从调用到记录存在分钟级延迟。 +- **汇总**：按[业务空间](../concepts/workspace.md)维度汇总历史 [Token](../concepts/token.md) 消耗，可按时间范围和 [API Key](../concepts/api-key.md) 筛选；最近 30 天可在调用统计页签查看。 +- **追踪**：记录每次调用的 [Token](../concepts/token.md) 消耗，需开通推理日志后在「日志」页签的「用量」字段查看。 +- **告警**：设置 [Token](../concepts/token.md) 消耗阈值，异常时立即告警。 -> **注意**：查看某次调用的 Token 消耗及历史对话（模型日志）功能**目前仅适用于华北2（北京）地域的部分模型**，且仅覆盖特定模型/快照版本（如 qwen3-max、qwen-plus、qwen3-coder 系列、部分开源与三方模型）。详见 [模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 +> **注意**：普通监控的用量汇总为小时级延迟（高峰期可能 1-2 小时），而高级监控/推理日志为分钟级。仅记录开启推理日志后的调用，开通前的历史不会补录。 + +## 历史对话（推理日志） + +推理日志记录每次调用的输入、输出及耗时，用于故障排查与内容审计，需先在「模型监控配置」中开通审计日志与推理日志。 + +日志页签以表格展示 Request ID/调用时间、调用时长、状态码、错误码、用量、请求和响应等字段。并非所有模型都支持请求/响应内容记录（与是否[多模态](../concepts/multimodal.md)无关），不支持时界面会显示「当前模型暂不支持日志」。支持日志的模型包括千问 Max/Plus/Flash/Turbo/Coder 系列、部分开源模型（qwen3-235b-a22b 等）及三方模型（deepseek-v3.x）等，详见[模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 + +## 主动告警 + +告警用于发现静默失败（超时、[Token](../concepts/token.md) 突增等）。需先在「模型监控配置」中开启高级监控的「性能和用量指标监控」，再在「模型告警」页面创建告警规则。 + +- **通知方式**：短信、邮件、电话、钉钉群机器人、企业微信机器人、Webhook。 +- **告警等级**：紧急（CRITICAL，电话+短信+邮件）、错误（ERROR，短信+邮件）、警告（WARNING，短信+邮件）、普通（INFO，邮件），不支持自定义新增。 + +「告警历史」页可按时间、规则、等级、状态筛选历史告警。 ## 接入 Grafana 与自建应用 -高级监控的指标数据存储在私有 Prometheus 实例中，支持标准 Prometheus HTTP API，可接入 Grafana 或自建应用做可视化分析。 +高级监控的数据存储在私有 Prometheus 实例，支持标准 Prometheus HTTP API，可接入 Grafana 或自建应用。 + +### 获取 HTTP API 地址 + +确保已开启高级监控，在模型监控配置页点击云监控 Prometheus 实例右侧「查看详情」，在设置页复制公网或 VPC 的 HTTP API 地址。 + +### 查询示例 + +查询全部[业务空间](../concepts/workspace.md)在指定时间范围内所有模型的 [Token](../concepts/token.md) 消耗： + +```http +GET {HTTP_API}/api/v1/query_range?query=model_usage&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s + +Accept: application/json +Content-Type: application/json +Authorization: Basic base64Encode(AccessKey:AccessKeySecret) +``` -1. 确保已开启高级监控，在模型监控配置中查看 Prometheus 实例详情，按网络环境（公网/VPC）复制 HTTP API 地址。 -2. 通过 `GET {HTTP API}/api/v1/query_range?query=<指标名>&start=...&end=...&step=60s` 查询，`Authorization` 需用 `Basic base64Encode(AccessKey:AccessKeySecret)`。 +增加筛选，仅获取指定模型在指定[业务空间](../concepts/workspace.md)的用量： -常用指标名包括 `model_call_count`（调用次数）、`model_call_duration`（调用时长均值）、`model_usage`（用量总和）等；可用 `{workspace_id="...",model="qwen-plus"}` 形式追加过滤条件（支持 `user_id`、`apikey_id`、`workspace_id`、`model`、`protocol`、`status_code`、`usage_type` 等 LabelKey）。 +```http +GET {HTTP_API}/api/v1/query_range?query=model_usage{workspace_id="llm-nymssti2mzww****",model="qwen-plus"}&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s +``` -> **注意**：`status_code`、`error_code` 仅 `model_call_count` 支持；`usage_type` 仅 `model_usage` 支持。AccessKey 必须与 Prometheus 实例归属同一阿里云账号。 +`query` 可替换为任意指标名称，常用指标如下： -## 生产环境实践建议 +| 类型 | 指标名称 | 描述 | +| --- | --- | --- | +| 调用次数 | `model_call_count` | 模型调用次数总和 | +| 调用时长 | `model_call_duration` | 模型调用时长均值 | +| 调用时长 | `model_call_duration_p50` / `_p99` | 调用时长分位 | +| 首包时长 | `model_first_token_duration` | 首 [Token](../concepts/token.md) 延时均值 | +| 非首包时长 | `model_generation_duration_per_token` | 非 首 Token 延时均值 | +| TPS | `model_tps_per_request` | 单次请求输出 Token 速度（仅高级监控） | +| 用量 | `model_usage` | 模型用量总和 | -- **控制输出长度**：合理设置 `max_tokens` 与限制思考长度以控制费用。 -- **按任务选模型**：分类、摘要等简单任务优先用轻量级模型。 -- **监控与告警**：通过模型监控跟踪用量趋势并配置告警。 -- **优化 Prompt**：简洁清晰的 Prompt 可减少输入 Token 消耗。 -- **使用批量推理**：非实时大批量任务用批量推理更具成本优势。 +支持的过滤条件（LabelKey）：`user_id`、`apikey_id`（-1 表示来自控制台）、`workspace_id`、`model`、`protocol`（HTTP/SSE/WS）、`sub_protocol`（DEFAULT/ASYNC）。`Authorization` 使用 `Basic base64Encode(AccessKey:AccessKeySecret)`，且 AccessKey 须与 Prometheus 实例归属同一阿里云账号。 + +## 用量统计单位 + +不同模型的用量统计口径与[计费](../concepts/billing.md)单位不同，详见[模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)： + +| 模型类型 | 统计单位 | 说明 | +| --- | --- | --- | +| 大语言模型（文本生成/深度思考/视觉理解） | Token | 按输入和输出 Token 数 | +| 视觉模型（图像生成） | 张 | 按成功生成图像张数 | +| 视频生成 | 秒 | 按成功生成视频秒数 | +| 语音模型 | 秒/字符/Token | 视模型而定 | +| 全模态模型 | Token | 各模态按对应 Token 数 | +| 向量模型 | Token | 按输入文本 Token 数 | + +经验换算：1 个汉字约 1.5-2 Token，1 个英文单词约 1.3 Token。实时推理涵盖 API 调用、模型广场、应用测试/发布态、Assistant API、应用调用、Prompt 反馈优化、模型评测等；批量推理为离线文件输入的大规模处理。 + +## 限制与注意事项 + +- **延迟差异**：用量统计约 1 小时，普通监控小时级，高级监控/推理日志分钟级；查不到数据时先确认等待时间。 +- **推理日志开通**：仅在开通后采集，开通前历史不补录；需主账号或足够权限的子账号操作。 +- **地域限制**：高级监控支持北京/上海/新加坡/弗吉尼亚；告警与推理日志支持北京/新加坡/弗吉尼亚（上海不在告警/日志支持列表中）。 +- **数据维度**：用量按[业务空间](../concepts/workspace.md)统计，不支持账号级汇总；如需账号级 Token 用量，需在阿里云账单详情页导出「大模型服务平台百炼」账单。 +- **时间范围**：用量统计不支持查看 30 天以前数据；模型监控历史 Token 消耗仅最近 30 天。 +- **TPS 限流**：`model_tps_per_request` 触发按请求维度的限流，区别于 TPM 的账号维度限流；排查响应慢应结合 TTFT、非首 Token 延时及输入 Token 量综合分析。 + +## 生产环境建议 + +- 合理设置 `max_tokens` 与思考长度，控制单次生成内容长度以控制成本。 +- 简单任务（分类、摘要）优先选择轻量级模型，而非始终使用高规格模型。 +- 通过模型监控掌握用量趋势并配置告警，及时响应异常。 +- 非实时、大批量任务使用批量推理，通常比实时调用更具成本优势。 +- 优化 Prompt，减少不必要的输入 Token 消耗。 ## 来源文档 @@ -77,3 +145,7 @@ - [模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md) + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md b/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md index 5a84d01d..e81de3a2 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md @@ -56,7 +56,7 @@ Python 代码解释器可用依赖包括：matplotlib、pandas、scipy、seaborn ### 调用插件 - **方式一（插件页面）**：在插件页面将工具添加至[智能体应用](../concepts/agent-application.md)。官方插件只能与位于相同[业务空间](../concepts/workspace.md)里的[智能体应用](../concepts/agent-application.md)关联。每个[智能体应用](../concepts/agent-application.md)最多支持添加 10 个工具，应用会根据输入选择调用一个或多个工具。 -- **方式二（应用管理页面）**：在指定智能体或工作流应用内添加插件，测试效果并发布应用。 +- **方式二（应用管理页面）**：在指定智能体或[工作流](../concepts/workflow.md)应用内添加插件，测试效果并发布应用。 - **方式三（Assistant API）**：通过 Assistant API 调用工具，需正确传递工具 ID。 子[业务空间](../concepts/workspace.md)调用官方插件前，需先在插件详情页为子[业务空间](../concepts/workspace.md)授权；默认[业务空间](../concepts/workspace.md)无需此步骤。 @@ -69,7 +69,7 @@ Python 代码解释器可用依赖包括：matplotlib、pandas、scipy、seaborn 当官方和三方插件无法满足业务需求时，可创建自定义插件。详见[自定义插件](../../raw/application-user-guide/plug-in/custom-plug-ins.md)。 -### 工作流程 +### [工作流](../concepts/workflow.md)程 1. **创建/导入插件**：定义插件基础信息，或直接从云市场导入。 2. **添加工具**（导入插件无需此步）：配置 API 路径、请求参数和返回数据。 @@ -149,6 +149,12 @@ Python 代码解释器可用依赖包括：matplotlib、pandas、scipy、seaborn + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md b/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md index 1a567cf3..07564c11 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md @@ -36,11 +36,11 @@ Prompt 模板将提示词的固定结构与动态变量分离，实现可复用 - **指令增强**：将模糊指令具体化、步骤化 - **安全与边界注入**：增加输出格式、内容限制等边界条件 -操作路径：**应用开发 > 组件管理 > 提示词 > 自动优化**。优化结果可直接复制使用或保存为模板。该功能**不计费**，且提交的数据不会被存储或用于模型训练。详见 [Prompt自动优化](../../raw/application-user-guide/prompt/optimize-prompt.md)。 +操作路径：**应用开发 > 组件管理 > 提示词 > 自动优化**。优化结果可直接复制使用或保存为模板。该功能**不[计费](../concepts/billing.md)**，且提交的数据不会被存储或用于模型训练。详见 [Prompt自动优化](../../raw/application-user-guide/prompt/optimize-prompt.md)。 ## Prompt 反馈优化 -相比普通自动优化，Prompt 反馈优化基于用户提供的**输入输出样例**进行多轮自动化评估和迭代，生成更贴合实际业务场景的 Prompt。其工作流程为： +相比普通自动优化，Prompt 反馈优化基于用户提供的**输入输出样例**进行多轮自动化评估和迭代，生成更贴合实际业务场景的 Prompt。其[工作流](../concepts/workflow.md)程为： 1. 选择推理模型（推荐千问-max） 2. 输入初始 Prompt（描述任务目标） @@ -66,7 +66,7 @@ Prompt 样例库采用少样本学习（Few-shot learning）思路，从预定 | 批量导入文件大小 | 20MB（Excel） | | 单次导入条数 | 100 条 | -### 计费说明 +### [计费](../concepts/billing.md)说明 样例库功能本身不收费，但启用后会增加大模型调用的 [Token](../concepts/token.md) 消耗。总输入 [Token](../concepts/token.md) 约等于：用户查询 [Token](../concepts/token.md) + 所有召回样例的总 [Token](../concepts/token.md) + 系统指令 [Token](../concepts/token.md)。 @@ -110,3 +110,9 @@ Prompt 样例库采用少样本学习（Few-shot learning）思路，从预定 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/realtime-api-user-guide.md b/skills/bailian-docs-llm-wiki/wiki/guides/realtime-api-user-guide.md new file mode 100644 index 00000000..289cb0c1 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/guides/realtime-api-user-guide.md @@ -0,0 +1,136 @@ +# realtime api user guide + +Realtime API 是百炼针对低延迟、抗弱网、[多模态](../concepts/multimodal.md)实时交互场景提供的一组接入方案，覆盖 WebSocket、WebRTC、AOQ（AI over QUIC）三种传输协议，适配从服务端集成、浏览器交互到移动端原生 App 的多种场景。本页汇总协议对比、模型/应用支持矩阵、鉴权与建连流程、AOQ SDK 的关键 API，以及常见注意事项，帮助开发者快速选型并落地实时通话/实时对话能力。 + +## 协议选型总览 + +Realtime API 三种协议在适用场景、弱网表现和端侧支持上有显著差异，可参考[Realtime API简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md) 中的完整对比表。核心结论： + +- **WebSocket**：接入门槛最低，适合服务端集成、快速原型验证，以及纯文本或对延迟不敏感的语音识别/合成/对话场景，全平台可用。 +- **WebRTC**：浏览器原生支持，内置回声消除与降噪，适合浏览器端音视频对话和已有 RTC 基础设施的场景；仅支持 `server_vad` / `semantic_vad` 服务端 VAD 模式。 +- **AOQ (AI over QUIC)**：基于 QUIC 深度定制，建连快、抗弱网能力最强，为 AI [多模态](../concepts/multimodal.md)数据流特征优化，官方提供 Android / iOS / HarmonyOS 三端 SDK，浏览器**不支持**。 + +## 模型与应用支持力度 + +不同协议支持的模型/应用能力不同（详见[Realtime API简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md)）： + +| 类型 | 代表模型/应用 | AOQ | WebRTC | WebSocket | +| --- | --- | --- | --- | --- | +| 实时全模态 | qwen3.5-omni-plus-realtime、qwen3.5-omni-flash-realtime、qwen3.5-livetranslate-flash-realtime | 支持 | 支持 | 支持 | +| [多模态](../concepts/multimodal.md)开发套件 | multimodal-dialog | 不支持 | 支持 | 支持 | +| 实时语音识别 | Fun-ASR 系列 | 不支持 | 不支持 | 支持 | +| 实时语音合成 | CosyVoice 系列 | 不支持 | 不支持 | 支持 | +| 实时语音对话 | qwen-audio-3.0-realtime-plus / -flash | 不支持 | 不支持 | 支持 | + +> **注意**：模型的价格、上下文长度、快照版本等信息以[阿里云百炼控制台](https://bailian.console.aliyun.com/cn-beijing#/home)为准；并发限流规则见百炼限流文档。选择协议时，先确认目标模型/应用是否被该协议支持，避免因协议限制导致返工。 + +## 鉴权：[API Key](../concepts/api-key.md) 与建连时机 + +Realtime API 使用 **[API Key](../concepts/api-key.md)** 作为身份凭证，均通过 HTTP 头 `Authorization: Bearer ` 在**建连阶段**完成鉴权，建连成功后无需重复鉴权。三种协议的鉴权时机与主体不同，详见[Token鉴权](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md)： + +- **WebSocket**：WebSocket 握手时携带 [API Key](../concepts/api-key.md)，客户端或服务端可直接建连。 +- **WebRTC**：客户端或服务端在发起 SDP 交换的 HTTP 请求时携带 [API Key](../concepts/api-key.md)。 +- **AOQ**：采用**服务端代理鉴权**模式，[API Key](../concepts/api-key.md) 仅在业务 AppServer 使用；AppServer 调用百炼网关 `POST /api/v1/webrtc/realtime?model=<模型名>` 并携带 `x-dashscope-rtc-transport: moq`，网关返回 `sid`、`aoqTokenForClient`、`clientRelayEndpoints`、`clientRelayCertFingerprint` 等临时凭证，客户端 SDK 用这些字段建连。 + +> **注意**：[API Key](../concepts/api-key.md) 是访问服务的唯一凭证，**禁止**硬编码到客户端或提交到代码仓库。AOQ 场景中，客户端只应持有网关返回的临时 [Token](../concepts/token.md)，[API Key](../concepts/api-key.md) 必须留在业务 AppServer 侧。 + +## AOQ 接入关键步骤 + +AOQ 面向 Android / iOS / HarmonyOS 原生应用，SDK 下载地址见[SDK下载](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md)（当前版本 v1.0.1，Opus 编解码以独立插件 `libPluginOpus` 提供，按需引入）。完整接入流程参见[实现接通模型/应用](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md) 与[通过AOQ使用qwen3.5-omni-plus-realtime实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md)。典型步骤： + +1. **依赖导入与权限声明**：Android/iOS/HarmonyOS 各自导入 aar/framework/har 并声明 `RECORD_AUDIO`、`CAMERA`、麦克风/摄像头用途描述等权限，Opus 插件按 ABI 放入对应目录。 +2. **创建引擎并注册回调**：`AoqClientEngine.createEngine(config, delegate)`，实现 `onConnectionStatusChange`、`onDataMsg`、`onError` 等回调。 +3. **启动采集与播放**：`startAudioCapture` / `startAudioPlayer` / `startVideoCapture`，可通过 `setLocalView` 绑定本地预览画布。 +4. **AppServer 获取 [Token](../concepts/token.md)**：客户端在每次通话前请求业务 AppServer，AppServer 代调百炼网关获取 `sid` + `aoqTokenForClient` 等字段。 +5. **设置编解码 & 关闭发送 & 建连**：`setAudioEncoderConfig` / `setAudioDecoderConfig`，`enableSendMediaStream(.audio, false)` 后再 `engine.connect(config)`。 +6. **发送 `session.update`**：连接成功回调中通过 `AoqDataMsg` 下发会话配置（`modalities`、`voice`、`input_audio_format`、`output_audio_format`、`instructions`、`turn_detection` 等）。 +7. **收到 `session.updated` 后再开启媒体发送**：`enableSendMediaStream(.audio, true)`、`enableSendMediaStream(.video, true)`。 +8. **通话结束**：`engine.disconnect()` + `AoqClientEngine.destroy()`。 + +> **注意**：AOQ SDK 默认在建连成功后立即开始发送媒体数据。若目标模型要求在 `session.updated` 后再接收数据，必须在 `connect` 前调用 `enableSendMediaStream(false)`，否则 AI 侧可能因未就绪而丢弃前几帧音频。 + +## WebRTC 接入关键步骤 + +WebRTC 不提供官方 SDK，Web 端通过浏览器原生 API 即可接入，其他端需借助开源库或第三方 RTC 服务。以 qwen3.5-omni-plus-realtime 为例（详见[通过WebRTC使用qwen3.5-omni-plus-realtime实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md)），核心流程： + +1. `new RTCPeerConnection({ iceServers: [] })`，注册 `onconnectionstatechange` / `ontrack` 回调；服务端使用 ICE-lite，无需配置 STUN/TURN。 +2. `getUserMedia({ audio: true, video: {...} })` 一次性获取音视频轨道；视频建议在 Canvas 中降帧至 2fps 后再 `addTrack`，减小上行带宽。 +3. **媒体门控**：`track.enabled = false` 加 `sender.replaceTrack(null)`，等价于 AOQ 的 `enableSendMediaStream(false)`，收到 `session.created`/`session.updated` 后再恢复。 +4. 创建名为 `oai-events` 的 DataChannel，同时监听 `pc.ondatachannel`（服务端会通过名为 `txt` 的 channel 推送事件）。 +5. `createOffer` → `setLocalDescription` → 等待 `iceGatheringState === 'complete'` → 通过业务 AppServer 或 curl POST 到 `https://{endpoint}/api/v1/webrtc/realtime?model=<模型>`（`Content-Type: application/sdp`），拿到 Answer SDP 后 `setRemoteDescription`。 + +[多模态](../concepts/multimodal.md)交互套件（multimodal-dialog）的接入类似，但 Endpoint 结构为 `https://{workspace_id}.{region}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog`，需要先在百炼控制台创建应用并配置模型、音色、Agent、插件等（详见[通过WebRTC使用多模态交互套件实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md)）。ICE-lite 模式下客户端无需等待 candidates 收集完成即可发送 Offer。 + +> **注意**：浏览器直接向服务端发起 SDP 交换会受 CORS 限制，Demo 中通过终端 curl 完成；生产环境必须由业务 AppServer 代理并注入 [API Key](../concepts/api-key.md)。Answer SDP 传给 `setRemoteDescription` 前需将换行统一为 `\r\n` 并以 `\r\n` 结尾。 + +## WebSocket 接入 + +WebSocket 通道通过 [DashScope SDK](../concepts/dashscope-sdk.md) 直接接入实时语音识别（Fun-ASR）、语音合成（CosyVoice）、语音对话（qwen-audio-3.0-realtime）等模型；SDK 下载参考[SDK下载](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md) 中"WebSocket SDK 下载"一节（跳转至安装 SDK 页面）。核心特点： + +- 建连时在 HTTP Header 中携带 `Authorization: Bearer ` 即可完成鉴权。 +- 无内置回声消除/降噪，业务侧若需要须自行接入处理。 +- 数据类型覆盖文本/音频/图像，服务端集成场景推荐。 + +## AOQ SDK 关键能力 + +### 连接状态机 + +AOQ SDK 通过状态式 API 设计，SDK 内部维护 `Connecting → Connected / Failed → Disconnected` 状态迁移，业务层通过 `onConnectionStatusChange` 回调感知（详见[连接状态管理](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md)）。`Failed` 为瞬态，SDK 触发后会自动迁移到 `Disconnected`，业务层无需手动 `disconnect`。`disconnect` 后可再次 `connect` 重连，引擎不会自动销毁。 + +### 媒体流发送控制 + +`enableSendMediaStream(trackType, enable)` 独立控制音频和视频发送（详见[媒体流发送管理](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md)）。使用要点： + +- 必须在 `createEngine` 之后调用。 +- 未调用时 `connect` 成功即发送，可能引发模型未就绪问题。 +- 推荐"先禁用、后开启"模式：`connect` 前 `enable=false`，收到 `session.updated` 后 `enable=true`。 + +### 音频与视频功能 + +- 音频（详见[音频常用功能介绍](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md)）：内/外部采集与播放、VoIP 模式硬件 AEC、扬声器/听筒切换、音频文件混音、外部音频流注入、音频帧回调；编码支持 PCM 与 Opus，Opus 支持 8K/16K/48K，PCM 支持 8K/16K/32K/48K；默认 `sampleRate=48000`、`channel=1`、`bitrate=32000`。 +- 视频（详见[视频常用功能介绍](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md)）：默认采集 1280×720@15fps，编码默认 H.264 720×1280@5fps 500 kbps，最小码率 128 kbps，关键帧间隔 2 秒；渲染画布支持 Auto/Stretch/Fill/Crop，Android 使用 SurfaceView/TextureView，iOS 使用 UIView（Metal 加速），HarmonyOS 使用 XComponent。 + +### 自定义采集与播放 + +- **自定义音频采集**（详见[自定义音频采集](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md)）：连接成功后通过 `addAudioExternalStream(streamId, config)` 添加外部音频流，`pushAudioExternalStreamData` 推送 PCM；实时采集建议 10ms/帧，文件解析建议 40ms/帧配合 30ms sleep；缓冲区满返回错误码 `110 (AoqErrorCodeAudioExternalBufferFull)`，需重试。 +- **自定义音频播放**（详见[自定义音频播放](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md)）：`startAudioPlayer` 设置 `isExternal=true` 关闭 SDK 内部渲染，通过 `setAudioFrameObserver` + `enableAudioFrameObserver(true, AoqAudioSourcePlayback, config)` 接收 PCM 数据，在 `onPlaybackAudioFrame` 中自行渲染（如 AudioTrack）。 +- **自定义视频输入**（详见[自定义视频输入](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md)）：分为**原始帧模式**（`pushExternalVideoCapturedFrame`，支持 I420 / NV12 / NV21 / BGRA / RGBA，Apple 平台额外支持 CVPixelBuffer 零拷贝）和**编码帧模式**（`pushExternalVideoEncodedFrame`，当前仅支持 JPEG）。两种模式不可混用，均需先 `startVideoCapture(isExternal=true)` 才会消费推送的数据。 + +### 设计原则与异常处理 + +AOQ SDK 采用状态式 API 与回调机制（详见[AOQ SDK简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md)）：业务只需设置期望状态，SDK 内部判断并在合适时机执行；异常情况优先内部恢复，仅在物理限制（网络、音视频设备、CPU/内存）或外部因素（[Token](../concepts/token.md) 无效）无法恢复时才回调业务层介入。 + +## 使用注意事项汇总 + +- **鉴权**：客户端不得持有 [API Key](../concepts/api-key.md)；AOQ 走 AppServer 代理鉴权，WebSocket/WebRTC 建议由业务后端注入。 +- **建连时序**：AOQ 与 WebRTC 均需"先禁用媒体发送，收到 `session.updated`/`session.created` 后再开启"，避免早期数据丢帧。 +- **视频码率**：AOQ 视频默认 5fps / 500kbps 起，弱网下 SDK 会自适应下调到 `minBitrate`；WebRTC 端建议通过 Canvas 或 `sender.setParameters` 显式控制帧率和码率。 +- **AOQ 帧节奏**：外部音频推送需按 10ms/40ms 节奏送帧，遇错误码 110 请等待重试；`pixelBuffer` 在 iOS 上需要 `Unmanaged.passRetained` 追加引用计数。 +- **资源释放**：`stopAudioCapture` / `stopVideoCapture` / `stopAudioPlayer` 之前必须先停掉外部推帧循环，`destroy` 前将业务侧 `running` 标志置 false，避免在已释放资源上继续调用。 +- **浏览器限制**：Demo 通过 curl 完成 SDP 交换是为了绕过 CORS，生产环境必须走 AppServer；SDP 换行需规范化为 `\r\n`。 +- **平台差异**：iOS 扬声器切换在非 VoIP 模式下无效，`enableSpeakerphone` 会触发 `AoqECAudioDeviceEarpieceRequiresVoipMode` 错误；iPad 只有扬声器模式。 + +## 来源文档 + +- [Realtime API简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md) +- [SDK下载](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md) +- [Token鉴权](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md) +- [实现接通模型/应用](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md) +- [通过WebRTC使用qwen3.5-omni-plus-realtime实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md) +- [通过WebRTC使用多模态交互套件实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md) +- [通过AOQ使用qwen3.5-omni-plus-realtime实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md) +- [AOQ SDK简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md) +- [媒体流发送管理](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md) +- [音频常用功能介绍](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md) +- [自定义音频播放](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md) +- [自定义音频采集](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md) +- [连接状态管理](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md) +- [视频常用功能介绍](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md) +- [自定义视频输入](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md) + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md b/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md index f686e492..f3ba61a7 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md @@ -1,41 +1,152 @@ # release notes -阿里云百炼平台的 release notes 由两条互补的时间线组成：一是**平台功能更新**（计费、部署、调优、知识库 RAG、SDK/接入工具、API 等能力的演进），二是**模型上下架与更新**（各模型的上架时间、服务部署范围、模型规格与能力说明）。开发者可据此追踪能力可用性、模型可调用状态与计费/下线变更，避免因模型下线或网关变更导致线上调用中断。 +百炼平台的功能更新与模型上下架动态汇总。本页涵盖平台能力发布节奏、新上架模型清单以及下线机制，帮助开发者快速掌握平台最新状态并及时适配变更。详细信息可参考[模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md)与[模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md)。 -## 两类更新的定位 +## 平台功能动态 -release notes 覆盖两个正交的维度，查询时应按需求选择对应文档： +平台功能更新按月发布，覆盖模型调优、模型部署、知识库 RAG、应用开发、API 接入等多个模块。以下按功能模块归类梳理近期关键更新。 -- **平台功能动态**：记录平台侧能力的上线与调整，按 `年 → 月 → 日` 组织，每条含"功能模块 / 功能点 / 功能说明"。详见 [模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md)。 -- **模型上架清单**：按地域（如华北2（北京））列出每个模型的上架时间、服务部署范围、模型规格（如 `qwen3.7-max`、`kimi/kimi-k2.7-code`）及能力说明。详见 [模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md)。 +### 模型调优与训练 -> **注意**：模型**上架**信息在上表中维护，而模型**下线**规则与清单不在此列，需单独参考 [模型下线机制说明](https://help.aliyun.com/zh/model-studio/model-depreciation)。功能更新文档中也频繁出现"部分老旧模型下线通知""网关变更通告"等公告，建议在集成前定期核对，防止依赖的模型或域名失效。 +- **强化学习训练（邀约制）**：2026 年 5 月 31 日上线，支持基于奖励信号优化模型策略，当前邀约制开放。 +- **图像生成模型调优**：2026 年 5 月 28 日新增 Wan/Wanx 系列图像生成模型的定制训练支持。 +- **视频生成模型调优**：2026 年 1 月 21 日新增万相系列视频模型的定制训练。 +- **视觉理解模型调优**：2026 年 1 月 22 日新增 VL 模型类型支持，可对[多模态](../concepts/multimodal.md)模型进行 SFT 训练。 +- **安全合规强化**：2026 年 5 月 4 日新增 0 代码安全合规强化训练流程。 +- **DPO 偏好训练**：千问 3-32B/14B/8B 和千问 2.5-72B/32B/14B/8B 支持 DPO 训练，通过负反馈降低幻觉。 +- **SFT 微调**：千问 3-VL-8B-Instruct/Thinking 支持全参微调和 LoRA 高效微调。 + +### 模型部署 -## 平台功能更新的关键脉络 +- **预置吞吐部署（PTU）**：2026 年 6 月 15 日新增长输入与前缀缓存能力。 +- **按模型单元部署**：2025 年 10 月 24 日上线按时间[计费](../concepts/billing.md)的模型单元（MU）部署方式，支持灵活调整性能、高服务稳定性、可预测的固定成本。 +- **API 部署预置模型**：2026 年 1 月 23 日新增 qwen-flash/qwen-plus 等预置模型部署，并新增按 MU 时长[计费](../concepts/billing.md)模式。 -从 [模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md) 可提炼出几条对开发者影响较大的主线： +### 知识库 RAG + +- **知识检索服务**：2026 年 6 月 23 日上线，支持多知识库联合检索与混合排序。 +- **知识问答服务**：2026 年 6 月 23 日上线，基于大模型结合检索生成回答。 +- **日志与监控**：2026 年 4 月 24 日上线，知识库检索调用全量投递至 SLS 日志服务，支持审计、排查、统计、告警。 +- **排序模型与指令干预**：2026 年 2 月 5 日 Retrieve 接口新增排序模型选项与指令干预模式。 + +### 应用与 Agent 开发 -- **[模型调优与部署](../concepts/fine-tuning-and-deployment.md)**：陆续新增视觉理解（VL）、视频生成、图像生成模型的定制训练支持；DPO 偏好训练、强化学习（RL，邀约制）训练；以及按模型单元（MU）时长计费的部署方式与预置模型部署（qwen-flash / qwen-plus 等）。 -- **API 能力**：文本生成 API 入口聚合 OpenAI Responses、Anthropic Messages 等分类；Responses API 新增 `background=true` 异步调用；异步任务支持事件总线 EventBridge 回调，无需轮询。 -- **知识库 RAG**：上线知识检索服务、知识问答服务，检索调用全量投递 SLS 日志，Retrieve 接口新增排序模型与指令干预模式。 -- **接入与计费**：新增 Codex、Kilo CLI 等客户端接入；Token Plan 团队版团队管理与共享用量包；Coding Plan 联网搜索 MCP 升级；API Key 加密存储与业务空间专属推理域名升级。 -- **地域接入**：新增美国、德国、日本等地域与服务部署范围，跨地域部署时需确认目标模型的服务部署范围。 +- **智能体托管运行时**：2026 年 6 月 29 日上线 Managed Agent API，平台托管会话与工具执行。 +- **新版[智能体应用](../concepts/agent-application.md) DashScope API**：2026 年 5 月 11 日发布，支持单轮/多轮、流式、文件问答、视觉理解。 +- **Skill 能力包**：2026 年 6 月 10 日上线，智能体可添加官方或自定义技能。 +- **记忆库 Memory 2.0**：2026 年 3 月 20 日上线，自动从对话提取记忆片段与用户画像，支持多应用共享。 +- **数据连接模块**：2026 年 6 月 10 日上线，支持 MySQL/语雀/OSS 等数据源。 +- **UI 设计器**：2026 年 4 月 1 日上线，集成魔笔低代码能力，可视化拖放构建网页 UI。 +- **[多模态](../concepts/multimodal.md)交互开发套件**：陆续上线服务端 Java SDK（4 月 28 日）、Android SDK（4 月 14 日）、Linux C++ SDK（2 月 28 日）、Android/iOS Lite SDK（2 月 6 日）、RTOS C SDK License 模式（4 月 9 日）。 -## 模型上架的读法与关键字段 +### API 与接入 -[模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md) 的每一行都对应一个可调用的模型规格，集成时重点关注： +- **Responses API [异步调用](../concepts/async-invocation.md)**：2026 年 6 月 1 日新增，通过 `background=true` 提交长耗时任务并轮询结果。 +- **文本生成 API 入口聚合**：2026 年 5 月 15 日新增 OpenAI Responses 与 Anthropic Messages 接口分类。 +- **临时 [API Key](../concepts/api-key.md)**：2026 年 6 月 3 日新增生成临时 [API Key](../concepts/api-key.md) 文档，用于不可信环境。 +- **异步任务事件回调**：2026 年 4 月 23 日支持通过事件总线 EventBridge 主动推送任务完成事件，无需轮询。 +- **模型导入 API**：2026 年 6 月 3 日上线，涵盖导入任务与自定义模型对象的完整 API 接口。 +- **通义[多模态](../concepts/multimodal.md)翻译 API**：2026 年 5 月 26 日上线，覆盖文本、图片、文档、网页翻译等接口。 +- **官方 MCP 服务**：2026 年 2 月 6 日上线，支持平台内集成与外部第三方接入。 -- **模型规格**：即调用时使用的 `model` 名称，例如推理模型 `qwen3.7-max`、`qwen3.7-plus`、`deepseek-v4-pro`、`kimi/kimi-k2.7-code`、`ZHIPU/GLM-5.1`；文字提取 `qwen3.5-ocr`；语音合成 `qwen-audio-3.0-tts-plus/flash` 等。三方厂商模型通常带 `厂商/` 前缀（如 `vidu/`、`pixverse/`、`stepfun/`、`xiaomi/`）。 -- **快照版本**：形如 `qwen3.7-max-2026-05-20`、`wan2.7-t2v-2026-04-25` 的带日期后缀模型为快照版，能力与主版本一致但版本锁定，适合对稳定性敏感的生产环境。 -- **服务部署范围**：当前上架清单多为"中国内地"，跨地域调用前务必核对。 -- **模态与模式限制**：部分模型有明确约束，例如 `qwen3.6-max-preview` 仅支持纯文本输入、不支持图像与视频输入且默认开启思考模式；`kimi/kimi-k2.7-code` 仅支持思考模式。 +### 模型评测与观测 + +- **排行榜与综合评测**：2026 年 6 月 9 日新增 Leaderboard 管理入口和综合评测能力，支持 BLEU_4 等评分方法。 +- **模型推理日志**：2025 年 11 月 6 日支持查看用户与模型的历史对话内容。 +- **告警与通知**：2025 年 6 月 5 日新增，当监控指标异常时通知运维团队。 +- **免费额度与用量看板**：2025 年 12 月 22 日集中展示各模型免费额度及调用量统计。 + +### [计费](../concepts/billing.md)与套餐 + +- **[Token](../concepts/token.md) Plan 团队版**：2026 年 5 月 8 日上线团队管理，支持 SSO/钉钉登录、席位分配、Credits 用量监控。 +- **团队版共享用量包**：2026 年 6 月 30 日新增，跨坐席共享 Credits 弹性用量包。 +- **Coding Plan**：2026 年 6 月 29 日 Pro 套餐新客首月特惠 ¥39.90；6 月 11 日联网搜索 MCP 升级 Streamable HTTP 协议。 +- **免费额度用完即停**：2025 年 7 月 29 日上线，额度耗尽返回错误 code `AllocationQuota.FreeTierOnly`。 + +### 其他 + +- **模型压缩**：2026 年 5 月 25 日上线，使用量化算法将全精度微调模型转为低精度版本。 +- **全妙 PPT 生成 API**：2026 年 3 月 19 日上线。 +- **联网检索 Agent 官方应用**：2026 年 3 月 19 日上线。 +- **新增地域**：2026 年 6 月 12 日新增美国、德国、日本地域与服务部署范围。 + +## 模型上架动态 + +新模型上架以华北2（北京）地域为主，服务部署范围为中国内地。以下按模型类型归类近期上架的关键模型，完整清单请参考[模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md)。 + +### 推理模型（文生文） + +| 模型规格 | 上架时间 | 说明 | +| --- | --- | --- | +| kimi/kimi-k3 | 2026-07-17 | Kimi 旗舰模型，2.8 万亿参数，原生视觉理解，100 万 token 上下文 | +| qwen3.7-max-2026-06-08 | 2026-06-10 | Qwen3.7 Max，新增视觉模态理解能力 | +| qwen3.7-plus | 2026-06-01 | [多模态](../concepts/multimodal.md)交互混合智能体，可读取屏幕并操作 GUI | +| kimi/kimi-k2.7-code | 2026-06-15 | 以编码为中心的智能体模型，仅支持思考模式 | +| kimi/kimi-k2.7-code-highspeed | 2026-06-18 | 高速编程模型，速度提升 5~6 倍 | +| qwen3.6-max-preview | 2026-04-20 | Qwen3.6 闭源旗舰，仅纯文本，默认开启思考模式 | +| qwen3.6-plus | 2026-04-02 | 代码开发能力重点升级（Agentic Coding） | +| qwen3.6-flash | 2026-04-16 | 原生视觉语言 Flash，智能体编程与空间智能增强 | +| deepseek-v4-pro/flash | 2026-04-24 | DeepSeek-V4 系列，阿里直供 | +| glm-5.1 | 2026-04-14 | 智谱 GLM-5.1，200K 上下文，最大输出 128K token | +| kimi/kimi-k2.6 | 2026-04-26 | 支持文本/图片/视频输入，思考与非思考模式 | + +### 图像生成 + +| 模型规格 | 上架时间 | 说明 | +| --- | --- | --- | +| qwen-image-2.0-pro-2026-06-22 | 2026-06-25 | 文字渲染增强，真实质感提升，支持 1k token 指令 | +| qwen-image-2.0-pro-2026-04-22 | 2026-04-23 | 图片生成与编辑融合，多语言图内文字 | +| vidu/vidu-image_reference2image | 2026-07-13 | Vidu 参考生图，多图参考精准还原 | + +### 视频生成 + +| 模型规格 | 上架时间 | 说明 | +| --- | --- | --- | +| wan2.7-t2v / i2v / r2v | 2026-04-03 | 万相 2.7 系列，支持文生/图生/参考生视频 | +| wan2.7-videoedit | 2026-04-03 | 万相 2.7 视频编辑，支持指令编辑与视频迁移 | +| happyhorse-1.1-t2v/i2v/r2v | 2026-06-22 | HappyHorse 1.1 系列，有声视频，3~15 秒 720P/1080P | +| pixverse/pixverse-c1-* | 2026-04-13 | 爱诗 C1 系列，支持智能分镜、真人/动漫风格 | +| pixverse/pixverse-v6-r2v | 2026-06-08 | 爱诗 V6 参考生视频，多宫格分镜一键转视频 | + +### 语音与音频 + +| 模型规格 | 上架时间 | 说明 | +| --- | --- | --- | +| qwen-audio-3.0-realtime-plus/flash | 2026-07-14 | 端到端实时语音大模型，双工对话 | +| qwen-audio-3.0-tts-plus/flash | 2026-07-14 | TTS 语音合成，Flash 首包延时 200ms 以内 | +| qwen3.5-livetranslate-flash-realtime | 2026-05-19 | 多语言音视频实时翻译，识别 60 种语言 | +| fun-asr | 2026-04-16 | 实时语音识别升级，方言/古诗词/30 语种 | +| fun-music-v1 | 2026-05-06 | 音乐生成大模型，输入歌词生成整首歌曲 | + +### 文字识别与其他 + +| 模型规格 | 上架时间 | 说明 | +| --- | --- | --- | +| qwen3.5-ocr | 2026-06-16 | 千问文字提取，128K 上下文，多轮对话 | +| vanchin/deepseek-ocr | 2026-04-14 | 快手万擎直供 DeepSeek OCR | +| Tripo/Tripo-H3.1 | 2026-04-29 | 高精度 3D 生成，最高 200 万面 | +| pixverse/pixverse-lipsync | 2026-07-15 | 视频对口型 | +| pixverse/pixverse-motioncontrol | 2026-07-15 | 视频动作模仿 | + +## 模型下线机制 + +平台对老旧模型实行定期下线策略。下线规则与完整清单请参考[模型下线机制说明](https://help.aliyun.com/zh/model-studio/model-depreciation)。近期下线通知包括： + +- 2026 年 7 月 10 日：部分老旧模型下线 +- 2026 年 7 月 9 日：部分老旧长尾模型下线 +- 2026 年 7 月 6 日：部分老旧模型延期下线 +- 2026 年 6 月 28 日：qwen-turbo 资源包启动退市 + +> **注意**：模型下线前平台会提前公告，建议开发者关注[模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md)中的下线通知，及时迁移到替代模型以避免服务中断。 ## 限制与注意事项 -- **计费与优惠会随时间调整**：如 `deepseek-v4-pro` 的 `cached_token` 单价曾调整为 1 元/百万 token（标准 `input_token` 不变），GLM-5.2 Fast mode 降价、上下文缓存降价等均以对应公告为准，release notes 中的价格描述可能滞后。 -- **模型可能延期或提前下线**：功能更新中同时存在"部分老旧模型下线通知"与"部分老旧模型延期下线通知"，同一批模型的下线时间可能被修订，务必以最新公告为准。 -- **两份文档存在时间粒度差异**：功能更新文档到具体功能点，模型清单文档到具体模型规格；排查某能力是否可用时，建议交叉比对 [模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md) 与 [模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md) 两处。 -- **以控制台/API 实际返回为准**：release notes 是变更记录而非实时状态，最终的可调用模型列表、配额与地域支持应以控制台模型广场和 API 返回为准。 +- **地域限制**：多数新模型仅在华北2（北京）地域、中国内地部署范围上架，国际站可用模型可能不同。 +- **输入模态限制**：qwen3.6-max-preview 等部分模型仅支持纯文本输入，不支持图像与视频输入。 +- **思考模式**：kimi/kimi-k2.7-code 仅支持思考模式；qwen3.7-max 系列默认开启思考模式。 +- **计费模式**：deepseek-v4-pro 的 `cached_token` 单价自 2026-04-29 起调整为 1 元/百万 token，标准 `input_token` 单价不变。 +- **[API Key](../concepts/api-key.md) 安全**：在不可信环境下应使用临时 [API Key](../concepts/api-key.md) 而非永久 Key，避免泄露风险。 +- **免费额度**：新人免费额度耗尽后若未启用"用完即停"功能，可能产生额外费用。 ## 来源文档 @@ -43,3 +154,7 @@ release notes 覆盖两个正交的维度，查询时应按需求选择对应文 - [模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md) + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md b/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md index f9850221..ab57d880 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md @@ -30,7 +30,7 @@ ### OpenAPI 接口权限 -RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程、长期记忆等 Open API。需阿里云主账号在 RAM 控制台添加以下系统策略之一： +RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程、[长期记忆](../concepts/long-term-memory.md)等 Open API。需阿里云主账号在 RAM 控制台添加以下系统策略之一： - `AliyunBailianDataFullAccess`：可调用应用 API 目录下的所有 API。 - `AliyunBailianDataReadOnlyAccess`：仅可调用只读类 API（如 `DescribeFile`、`GetIndexJobStatus`）。 @@ -171,11 +171,11 @@ SDK 自动完成加解密，响应为明文，无需手动处理。 ## 限制与注意事项汇总 - 默认[业务空间](../concepts/workspace.md)无法设置模型调用/训练/部署限制，所有模型均可调用、调优、部署，且无法限流。 -- [API Key](../concepts/api-key.md) 不可跨地域、跨业务空间、跨用户转移；账号移出空间会使其 [API Key](../concepts/api-key.md) 失效（重新加入恢复），删除账号/角色则永久失效。 +- [API Key](../concepts/api-key.md) 不可跨地域、跨[业务空间](../concepts/workspace.md)、跨用户转移；账号移出空间会使其 [API Key](../concepts/api-key.md) 失效（重新加入恢复），删除账号/角色则永久失效。 - AI 安全护栏目前仅支持文本和图片类型模型。 - [DashScope SDK](../concepts/dashscope-sdk.md) 自动加密仅支持 Java/Python 且不支持自定义密钥；HTTP 手动加密仅适用于 DashScope Endpoint，OpenAI 兼容 Endpoint 不支持。 - PrivateLink 私网访问美国（弗吉尼亚）地域暂不支持；跨地域访问需区分同境内/同境外与跨境两种方式。 -- 安全存储业务空间的 OSS/ES 等底层资源一旦释放，安全存储空间不可恢复，需重建。 +- 安全存储[业务空间](../concepts/workspace.md)的 OSS/ES 等底层资源一旦释放，安全存储空间不可恢复，需重建。 - 模型与应用的合规备案信息应以算法备案系统实时查询结果为准，建议定期核验；开发者作为"服务提供者"需独立承担全部法律责任。 ## 来源文档 @@ -206,6 +206,12 @@ SDK 自动完成加解密，响应为明文，无需手动处理。 + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/skill.md b/skills/bailian-docs-llm-wiki/wiki/guides/skill.md index c3b17ca0..48c35e48 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/skill.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/skill.md @@ -128,6 +128,12 @@ description: "Use this skill any time a spreadsheet file is the primary input or + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md b/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md index 93ce31e7..c162f7be 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md @@ -17,15 +17,15 @@ 百炼应用支持多种模型系列，详见 [应用功能动态](../../raw/application-user-guide/start-using/application-release-notes.md)： - **千问系列**：千问-Max 为构建问答应用的推荐模型；[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用均支持 QwQ 系列（具备强推理能力，先输出思考过程再输出回答，数学/代码能力达 DeepSeek-R1 满血版水平，但不包括插件、流程、音视频交互能力）；视觉模型支持 qwen-vl-plus-latest、qwen-vl-plus-0125（Qwen2.5-VL 系列，128k 上下文）以及 qwen-vl-max/plus 用于图片解析。 -- **DeepSeek 系列**：[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用均可集成 DeepSeek 系列模型，结合知识库、长期记忆和 Prompt 模板构建私有知识问答应用。 -- **嵌入模型**：知识库支持 text-embedding-v3、v4 模型，v4 在语种支持、代码片段向量化效果和向量维度选择上较 v3 全面升级。 +- **DeepSeek 系列**：[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用均可集成 DeepSeek 系列模型，结合知识库、[长期记忆](../concepts/long-term-memory.md)和 Prompt 模板构建私有知识问答应用。 +- **嵌入模型**：知识库支持 text-embedding-v3、v4 模型，v4 在语种支持、代码片段[向量化](../concepts/embedding.md)效果和向量维度选择上较 v3 全面升级。 ## 应用类型与关键能力 百炼提供多种应用类型以适配不同场景： - **[智能体应用](../concepts/agent-application.md)**：2025 年 12 月 26 日上线新版[智能体应用](../concepts/agent-application.md)（Agent 2.0），将知识库、MCP 统一为工具，由智能体自主规划调用时机与顺序，并完整展示模型思考与工具调用全过程。文件问答支持全文引用、切片检索和自定义处理三种模式。 -- **工作流应用**：支持批量节点、[多模态](../concepts/multimodal.md)生成节点（生成图像/视频/音频）、异步运行模式（文本生成模式下后台执行并返回 Task ID）、Dify 工作流一键导入、[多模态](../concepts/multimodal.md)数据节点（文档/图片/视频/音频解析）等。 +- **[工作流](../concepts/workflow.md)应用**：支持批量节点、[多模态](../concepts/multimodal.md)生成节点（生成图像/视频/音频）、异步运行模式（文本生成模式下后台执行并返回 Task ID）、Dify [工作流](../concepts/workflow.md)一键导入、[多模态](../concepts/multimodal.md)数据节点（文档/图片/视频/音频解析）等。 - **高代码应用**：2025 年 9 月 24 日上线，支持基于 Python 项目结构部署 AI 后端服务，内置自动化运维、可观测性及日志服务等企业级能力。 - **MCP 服务**：2025 年 4 月 9 日新增 MCP 市场与 MCP 管理功能，可开通预置 MCP 服务或部署自定义 MCP 服务；8 月 13 日新增外部调用功能，支持一键配置到第三方应用或通过 MCP SDK 调用。 @@ -40,10 +40,10 @@ ## 应用调用与发布 -- **API 调用**：2025 年 11 月 3 日起支持通过 Responses API 调用百炼应用，提供同步调用 API（实时交互，可复用 OpenAI 代码库）与[异步调用](../concepts/async-invocation.md) API（设置 `background=true` 立即返回任务 ID）。调用工作流和[智能体编排](../concepts/agent-orchestration.md)应用时需传入自定义参数。 +- **API 调用**：2025 年 11 月 3 日起支持通过 Responses API 调用百炼应用，提供同步调用 API（实时交互，可复用 OpenAI 代码库）与[异步调用](../concepts/async-invocation.md) API（设置 `background=true` 立即返回任务 ID）。调用[工作流](../concepts/workflow.md)和[智能体编排](../concepts/agent-orchestration.md)应用时需传入自定义参数。 - **发布渠道**：支持微信、钉钉分享渠道（创建钉钉 AI 机器人或微信公众号 AI 机器人）；支持音视频实时互动（将图文对话应用转为音视频实时互动应用，提供 H5/APP 调试窗口，通过音视频 SDK 发布到 WEB/iOS/Android）。 - **应用观测**：2024 年 10 月 24 日新增应用观测能力，支持端到端查看应用处理流程；2026 年 2 月 6 日上线新版应用[评测](../concepts/evaluation.md)，支持智能体、工作流和自定义三种类型[评测](../concepts/evaluation.md)集。 -- **长期记忆**：2026 年 1 月 31 日上线新版长期记忆与用户画像管理 API，支持多应用共享同一记忆库、自动提取关键信息、语义检索优化及完整用户画像管理。 +- **[长期记忆](../concepts/long-term-memory.md)**：2026 年 1 月 31 日上线新版[长期记忆](../concepts/long-term-memory.md)与用户画像管理 API，支持多应用共享同一记忆库、自动提取关键信息、语义检索优化及完整用户画像管理。 ## 限制与注意事项 @@ -51,7 +51,7 @@ - 大模型调用产生[计费](../concepts/billing.md)，平台提供限时免费额度，可在模型广场查看各模型系列详情。 - QwQ 系列模型在[智能体应用](../concepts/agent-application.md)中不支持插件、流程、音视频交互能力。 - 文档解析耗时与文档大小相关，知识文档导入通常 1~6 分钟，知识库解析通常 1~2 分钟，需耐心等待。 -- [智能体编排](../concepts/agent-orchestration.md)应用已于 2025 年 8 月 12 日随工作流应用界面升级而下线，相关需求请使用新版智能体应用或工作流应用。 +- [智能体编排](../concepts/agent-orchestration.md)应用已于 2025 年 8 月 12 日随工作流应用界面升级而下线，相关需求请使用新版[智能体应用](../concepts/agent-application.md)或工作流应用。 - Assistant API 处于下线中状态，如需全代码开发高度定制化 RAG 应用请关注官方公告。 ## 来源文档 @@ -72,6 +72,12 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/support.md b/skills/bailian-docs-llm-wiki/wiki/guides/support.md index e235c257..1ad03c59 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/support.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/support.md @@ -100,6 +100,12 @@ + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md b/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md index 6f95466a..50e0adaa 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md @@ -1,71 +1,131 @@ # test 1 -本页汇总阿里云百炼平台在计费与成本方面的核心规则，涵盖新人免费额度、模型调用价格、训练与部署计费、节省计划与资源包，以及账单查询与成本管理。面向开发者，帮助你在调用、微调、部署模型时准确预估费用并规避意外扣费。 +阿里云百炼平台的[计费](../concepts/billing.md)体系涵盖模型调用、训练、部署等环节，提供免费额度、节省计划、资源包等多种优惠方案。本文汇总新人免费额度、模型训练与部署[计费](../concepts/billing.md)、账单查询与成本管理、节省计划与资源包、模型调用价格五项核心内容，帮助开发者快速理解成本结构并做好费用管控。 -## 计费优先级与整体逻辑 +## [计费](../concepts/billing.md)概览 -无论使用哪种付费方式，系统在实时调用时按固定优先级自动抵扣，无需手动指定： +百炼的计费方式分为以下几类： -**免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费** +- **模型调用（实时推理）**：默认按量计费，按输入/输出 [Token](../concepts/token.md) 计价，部分模型支持阶梯计费、Batch 调用半价、上下文缓存折扣。详见[模型调用价格](../../raw/model-user-guide/test-1/model-pricing.md)。 +- **模型训练**：按训练 [Token](../concepts/token.md) 计费，费用 = (训练数据 [Token](../concepts/token.md) + 混合训练数据 [Token](../concepts/token.md)) × 循环次数 × 训练单价。文本生成、图像生成、视频生成模型各有独立价格表。 +- **模型部署**：支持按预置吞吐（TPM）计费和按模型单元计费两种模式，均可选择后付费（按小时）或预付费（按天/包月）。 -- 免费额度仅抵扣模型**实时推理**费用，不抵扣 Batch 调用、模型调优、模型部署等场景。 -- 超出各类额度后的用量自动转为按量付费，从阿里云账户余额扣除。 - -> **注意**：账户欠费（可用额度 < 0）时，即使某模型仍有免费额度也无法调用；请提前配置余额预警或消费限额。 +抵扣优先级为：**免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费**。 ## 新人免费额度 -首次开通阿里云百炼时，平台自动为各模型发放新人专属免费额度，详见 [新人免费额度](../../raw/model-user-guide/test-1/new-free-quota.md)。关键规则： +首次开通百炼时，平台自动发放各模型的免费额度（通常每个模型 100 万 [Token](../concepts/token.md)），仅适用于华北2（北京）地域且服务部署范围为中国内地的模型。 + +关键规则： + +- **有效期**：自 2025 年 9 月 8 日 11 点起，新开通用户获赠额度有效期统一为 90 天（此前开通的用户不受影响）。额度到期或耗尽后自动失效，不支持补发、延期或重置。 +- **适用范围**：仅抵扣模型**实时推理**费用，不支持抵扣 Batch 调用、模型调优、模型部署及自定义模型费用。 +- **共享规则**：主账号与 RAM 子账号共享额度；不同模型（含同一模型的不同快照版本）额度相互独立，不互通。 +- **用完即停**：可在免费额度页面或模型广场为单个/批量模型开启"免费额度用完即停"功能，额度耗尽时返回错误码 `AllocationQuota.FreeTierOnly`，不再扣费。 + +> **注意**：免费额度数据为分钟级更新且需手动刷新。若未及时刷新，页面可能显示仍有额度但实际已耗尽，导致产生调用费用。 -- **有效期**：30～90 天，自开通或模型申请通过之日起计算。自 2025 年 9 月 8 日 11 点起首次开通的用户统一调整为 90 天。到期或耗尽后自动失效，不支持补发、延期或重置。 -- **地域限制**：仅华北2（北京）地域且服务部署范围为中国内地的模型享有免费额度（新加坡国际部署同理），其他地域和部署范围无免费额度。 -- **额度独立**：每个模型（含不同快照版本，如 `qwen-max` 与 `qwen-max-2026-05-17`）拥有独立额度（通常 100 万 Token），不可跨模型合并或转移；主账号与 RAM 子账号共享同一模型的额度。 -- **免费额度用完即停**：开启后额度耗尽即停止响应并返回 `AllocationQuota.FreeTierOnly`，不再扣费。全新未认证用户默认额度耗尽后无法继续调用，需完成认证并充值。 +详见[新人免费额度](../../raw/model-user-guide/test-1/new-free-quota.md)。 -> **注意**：Token Plan / Coding Plan 专属 API Key **不消耗免费额度**，会直接按量付费；如需使用免费额度请改用通用 API Key。 +## 模型调用价格 -## 模型调用价格（按量付费） +模型调用默认按量计费，部分模型实行阶梯计费——单价取决于单次请求的输入 [Token](../concepts/token.md) 总量，该请求所有 [Token](../concepts/token.md) 均按对应阶梯单价结算。 -模型调用默认按量计费，价格表见 [模型调用价格](../../raw/model-user-guide/test-1/model-pricing.md)。要点： +计费区间中 K = 1,000，M = 1,000,000。例如 128K 即 128,000 [Token](../concepts/token.md)。 -- **阶梯计费**：部分模型的单价取决于单次请求的输入 Token 总量，该请求的所有 Token 均按落入的阶梯单价结算（K=1,000，M=1,000,000）。例如 `qwen3-max` 分 0 **注意**：价格表中输入单价不含缓存单价，缓存计费规则需单独参考上下文缓存文档。 ## 模型训练与部署计费 -微调与部署的计费规则见 [模型训练与部署计费](../../raw/model-user-guide/test-1/model-training-and-deployment-billing.md)。 +### 模型训练 + +| 模型类型 | 计费方式 | 价格区间（每千 Token） | +| --- | --- | --- | +| 千问（文本生成） | 按 Token 计费 | ¥0.003 – ¥0.35 | +| 万相（图像生成） | 按 Token 计费 | ¥0.08 | +| 万相（视频生成） | 按 Token 计费 | ¥0.06 – ¥2 | -- **模型训练**：按训练 Token 计费。 - - 文本模型：`费用 =（训练数据 Token + 混合训练数据 Token）× 循环次数 × 训练单价`。 - - 图像/视频模型：`费用 = 训练 Token 总量 × 训练单价（每千 Token）`，训练 Token 总量由 `max_steps`、`max_pixels`、`n_epochs` 等超参决定。 -- **模型部署**：训练完成的新模型需先**部署**才能评测/调用。部署计费方式包括： - - **按使用时长（预置吞吐）**：`费用 = 使用时长 ×(输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)`，后付费按小时、预付费按天。超出购买 TPM 或最长输入 Token 时自动切换为按量付费（响应 Header 含 `x-dashscope-ptu-overflow:true`）。 - - **按使用时长（模型单元）**：`费用 = 使用时长 × 模型单元数量 × 模型单元单价`，支持后付费小时计费或预付费包月。 +视频生成训练的 Token 总量计算涉及视频计费时长（四舍五入取整后按模型限制封顶，如 wan2.7 单条最多 10 秒）和 max_pixels 参数。 -> **注意**：免费额度和节省计划均**不抵扣**模型训练与部署费用；后付费部署在账户欠费后仍会继续保留并计费 24 小时。 +### 模型部署 + +**按预置吞吐计费**：费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)。后付费按小时，预付费按天。当输入超过最长 Token 或溢出 TPM 量时，按溢出策略处理（自动溢出转按量付费，或仅使用 PTU 容量返回 429）。 + +**按模型单元计费**：费用 = 使用时长（小时）× 模型单元数量 × 模型单元单价。支持 PD 分离模式（降低首 Token 延迟、提高吞吐）。预付费首月提前退订按日单价 1.2 倍计费。 + +后付费场景下，账户欠费后部署资源继续保留并计费 24 小时，超时停止计费、底层资源删除但部署任务保留；补足欠费后重新分配资源恢复使用。 + +详见[模型训练与部署计费](../../raw/model-user-guide/test-1/model-training-and-deployment-billing.md)。 ## 节省计划与资源包 -成本优化方案见 [节省计划与资源包](../../raw/model-user-guide/test-1/savings-plan-and-resource-package.md)。 +### AI 通用型节省计划（推荐） + +通过承诺月消费金额换取阶梯式折扣，最高 5.3 折。覆盖阿里直供的全部模型，灵活性最高。 + +- **承诺周期**：3/6/12/24 个月，以动态月为周期（非自然月），月内未用完的额度自动清零不可累积。 +- **抵扣范围**：模型调用（输入/输出 Token）、原生工具调用、上下文缓存、批量推理等；不支持抵扣模型调优、模型部署、联网搜索插件、MCP 广场等费用。 +- **付款方式**：全预付（享最大折扣）或零预付（按月支付，需联系商务开通）。 +- **折扣因素**：模型分类（A 类千问/向量/排序、B 类图像/语音/视频、C 类 DeepSeek/Kimi/GLM 等）、承诺金额（1,000 元起）、承诺周期、付款方式共同决定折扣力度。 + +> **注意**：若模型开启了"免费额度用完即停"功能，免费额度耗尽后服务停止，节省计划无法抵扣。需手动关闭该功能才能恢复节省计划抵扣。 -- **AI 通用型节省计划（推荐）**：承诺每月消费金额换取阶梯折扣，最高 5.3 折，可抵扣阿里直供的全部模型。以**动态月**为周期发放额度（非自然月），当月未用完自动清零、不累积。支持抵扣模型调用、原生工具调用、上下文缓存、批量推理；不抵扣调优、部署、联网搜索插件、MCP 广场等。 -- **其他模型节省计划**：一次性购买固定金额，抵扣特定模型系列（如大语言模型、语音模型、向量排序、万相），适合用量集中场景，折扣一般不如通用型。 -- **资源包**：预购具体 Token / 张数等资源量，抵扣单个特定模型超出免费额度后的实时推理用量，到期作废。 +### 其他方案 -> **注意**：若开启了**免费额度用完即停**（安心模式），免费额度耗尽后服务停止，节省计划将无法继续抵扣；需手动关闭该功能后才能切换到节省计划。 +| 方案 | 适用场景 | 折扣 | +| --- | --- | --- | +| 大语言模型节省计划 | 文本/[多模态](../concepts/multimodal.md)模型调用 | 无折扣，按原价扣费 | +| 千问语音模型节省计划 | 语音合成/识别 | 9.8 – 8 折 | +| 向量及排序模型节省计划 | Embedding/Rerank | 9 – 7 折 | +| 万相模型节省计划 | 图像/视频生成 | 无折扣 – 9 折 | +| 资源包 | 特定模型实时推理 | 预购 Token 量，按原价抵扣 | + +详见[节省计划与资源包](../../raw/model-user-guide/test-1/savings-plan-and-resource-package.md)。 ## 账单查询与成本管理 -账单查询、分账与欠费处理见 [账单查询与成本管理](../../raw/model-user-guide/test-1/bill-query-and-cost-management.md)。 +### 查询账单 + +账单在实际调用结束后生成：大模型推理分钟级出账（通常 2–10 分钟），批量推理、模型训练、知识库等小时级出账。 + +- **费用概览**：控制台 > 模型 > 用量 & 费用 > 费用概览，查看当月总消费（拆分为订阅购买费用和账单费用），支持按模型/[API Key](../concepts/api-key.md) 筛选、按天/月对比支出趋势。 +- **账单详情**：可按 ApiKeyID、[业务空间](../concepts/workspace.md) ID、模型名称、输入/输出类型、调用渠道、实例标签拆分查看，支持导出。 +- **实例 ID 字段**：格式为 `ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`，以英文分号分隔。 + +### 分账管理 + +给[业务空间](../concepts/workspace.md)绑定标签可按部门/项目归集费用：在标签管理页面绑定 Workspace ID → 启用费用标签 → T+1 天后生效。 + +### 欠费处理 + +账户可用额度 < 0 视为欠费。欠费时按商品名称维度判定：仍有免费额度/节省计划/资源包额度可继续使用；Coding Plan/Token Plan 套餐额度独立于账户余额可继续使用但自动续费失败；以上均无则暂停服务。 -- **出账时效**：大模型推理分钟级出账（通常 2~10 分钟），批量推理、模型训练、知识库等小时级出账。 -- **账单详情**：核心是"实例 ID（出账粒度）"字段，格式为 `ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`，可据此定位产生费用的模型与渠道（`app` 代码调用、`bmp` 控制台体验、`assistant-api`）。 -- **分账管理**：给业务空间绑定标签，按部门/项目归集费用，配置后 T+1 生效。 -- **欠费与停止计费**：欠费按商品维度判定，Coding Plan / Token Plan 套餐额度独立于余额、欠费期间仍可用。停止计费需停止调用、下线部署模型、删除 API Key 或退订套餐。 +> **注意**：百炼的联网搜索等附加功能按调用次数单独计费，与模型推理费用分开出账。即使未主动操作控制台，历史创建的应用或代码中若开启了 `enable_search` 参数，每次调用仍会产生联网搜索费用。 -> **注意**：按量付费采用"预占+月结"模式，并非实时扣款；系统先冻结额度，月账期结束后（次月初）生成最终账单实际扣款。此外，`enable_search` 等联网搜索附加功能按次单独计费，可能在未主动操作时仍产生费用。 +### 停止计费 + +- **模型推理**：停止 API 调用、关闭控制台模型体验，或删除 [API Key](../concepts/api-key.md) 防止意外调用。 +- **模型训练**：无正在进行的训练任务即不产生费用。 +- **模型部署**：下线已部署模型；包月预付费需在退订管理页面退订实例。 +- **Coding Plan**：到期自动停止，不支持中途取消；如已开启自动续费需手动关闭。 + +详见[账单查询与成本管理](../../raw/model-user-guide/test-1/bill-query-and-cost-management.md)。 + +## 注意事项 + +1. **免费额度不可跨模型共享**：每个模型独立额度，额度用完后系统不会自动切换到其他模型，需手动修改 `model` 参数。 +2. **专属 [API Key](../concepts/api-key.md) 不消耗免费额度**：Token Plan/Coding Plan 专属 [API Key](../concepts/api-key.md) 直接按量付费，使用免费额度需改用通用 [API Key](../concepts/api-key.md)。 +3. **按量付费非实时扣款**：采用"预占+月结"模式，系统先冻结额度，次月初生成最终账单并实际扣款。 +4. **欠费影响全局**：账户欠费时，即使其他模型仍有免费额度也无法调用。 +5. **预付费订单到期处理**：节省计划/模型单元预付费订单到期后延后 2 小时停止服务，停止后资源保留 14 小时后释放。 ## 来源文档 @@ -76,3 +136,6 @@ - [模型调用价格](../../raw/model-user-guide/test-1/model-pricing.md) + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md b/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md index 3bb3d847..14cd9361 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md @@ -1,102 +1,150 @@ # token plan guide -Token Plan 团队版与 Coding Plan 是百炼面向 AI 编程/智能体工具的两类订阅服务：Token Plan 团队版以 Credits 统一计量、按 Token 消耗抵扣，支持文本与图像生成模型并提供团队管理后台；Coding Plan 面向个人开发场景，按模型调用次数计费并设有请求限额。两者的 API Key 与 Base URL 完全隔离、互不相通，接入前需先明确使用的是哪种套餐。 +[Token](../concepts/token.md) Plan 是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持在 Claude Code、Cursor、Qwen Code、OpenClaw 等主流 AI 编程和智能体工具中使用。服务分为个人版和团队版，覆盖文本生成、图像生成、视频生成等多种模型以及联网搜索、代码解释器等 Harness 工具。目前仅支持华北2（北京）地域。 -## 两种套餐对比 +## 版本与套餐 -| 维度 | Token Plan 团队版 | Coding Plan | -| --- | --- | --- | -| 适用场景 | 一人公司/团队/企业日常办公 | 个人开发场景 | -| 支持模型 | 文本生成 + 图像生成 | 文本生成模型 | -| 计费方式 | 按 Token 消耗抵扣 Credits | 按模型调用次数 | -| 使用频次 | 无每 5 小时/每周限额 | 有每 5 小时/每周/每月限额 | -| 高峰期性能 | 多租户隔离，不排队 | 高峰期可能排队 | -| 数据安全 | 承诺不使用数据训练模型 | 用户数据授权用于服务改进 | +### 个人版 -> **注意**：两个计划互相独立，不支持互转（即使补差价也不行），可同时订阅、各自计费。详见 [Token Plan（团队版）概述](../../raw/model-user-guide/token-plan-guide/token-plan-overview.md) 与 [Coding Plan概述](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md)。 +面向个人开发者，提供 Lite、Standard、Pro 三个档位，采用 5 小时和 7 天两层滑动窗口限额： -## 支持的模型 +| 档位 | 限时价格 | 每 5 小时限额 | 每 7 天限额 | 建议并发 | +| --- | --- | --- | --- | --- | +| Lite | 39 元/月 | 700 Credits | 2,500 Credits | 1-2 个 Agent | +| Standard | 139 元/月 | 3,000 Credits | 10,000 Credits | 3-4 个 Agent | +| Pro | 499 元/月 | 12,000 Credits | 40,000 Credits | 6-8 个 Agent | + +滑动窗口以活跃调用时间点 T 为起点，超过窗口期的消耗自动释放。任一层限额触顶即暂停服务。个人版还支持手动额度重置功能。详见 [概述](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md)。 + +### 团队版 -Token Plan 团队版的模型清单为**精确字符串白名单**，必须逐字符完全匹配，版本号/子型号任何差异均视为不支持，禁止版本兼容推理。 +面向团队和企业，提供标准座席、高级座席、尊享座席三个档位，采用月度总额度制，无 5 小时和 7 天滑动窗口限额： -- **千问**：qwen3.7-max（限时活动）、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash、qwen-image-2.0、qwen-image-2.0-pro -- **万相**：wan2.7-image、wan2.7-image-pro -- **DeepSeek**：deepseek-v4-pro、deepseek-v4-flash、deepseek-v3.2 -- **月之暗面**：kimi-k2.7-code、kimi-k2.6、kimi-k2.5 -- **智谱 AI**：glm-5.2、glm-5.1、glm-5 -- **MiniMax**：MiniMax-M2.5 +| 座席类型 | 限时价格 | 月度额度 | 适用场景 | +| --- | --- | --- | --- | +| 标准座席 | 150 元/座席/月 | 25,000 Credits | 轻度使用 | +| 高级座席 | 550 元/座席/月 | 100,000 Credits | 日常高频使用 | +| 尊享座席 | 1,398 元/座席/月 | 250,000 Credits | 重度依赖 | -Coding Plan Pro 套餐的推荐模型为 qwen3.7-plus、qwen3.6-plus、kimi-k2.5（均支持图片理解）、glm-5、MiniMax-M2.5，更多模型见 [Coding Plan概述](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md)。 +团队版还提供共享用量包（5,000 元/个/月，625,000 Credits/个），用于跨座席弹性补充额度。团队版承诺不使用对话数据训练模型，采用多租户隔离架构，高峰期不排队。详见 [概述](../../raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md)。 -> **注意**：两套清单的白名单不完全一致，且 Coding Plan Lite 套餐已于 2026 年 3 月 20 日停止新购、4 月 13 日停止续费与升级。调用时务必以对应套餐控制台的实时清单为准。 +> **注意**：个人版和团队版可同时购买，各自独立计费。个人版暂不支持退订；团队版支持按席位退订（已有用量消耗的席位不可退订）。 -## 快速接入（三步） +### Coding Plan -以 Token Plan 团队版为例，详见 [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-quickstart.md)： +Coding Plan 是独立于 [Token](../concepts/token.md) Plan 的订阅产品，按模型调用次数计费（而非 Credits）。Lite 套餐已于 2026 年 3 月 20 日停止新购，4 月 13 日停止续费和升级；Pro 套餐为限量抢购。推荐使用 [Token](../concepts/token.md) Plan 替代。详见 [Coding Plan概述](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md)。 -1. **订阅**：在购买页选择坐席类型、数量和订阅周期。RAM 子账号订阅前需主账号授予 `AliyunBailianFullAccess` 权限。 -2. **获取 API Key 和 Base URL**：分配席位后为成员生成专属 API Key（Token Plan 以 `sk-sp-` 开头，与通用 `sk-` 不可混用；仅首次显示一次，需立即保存）。 -3. **接入 AI 工具**：支持 Claude Code、Qwen Code、OpenCode、OpenClaw、Cursor、Codex、Qoder、Cline、Kilo CLI 等。 +> **注意**：Token Plan 与 Coding Plan 的 [API Key](../concepts/api-key.md) 和 Base URL 完全隔离，不可混用。Coding Plan 专属 Base URL 为 `https://coding.dashscope.aliyuncs.com/v1`（OpenAI 兼容）或 `https://coding.dashscope.aliyuncs.com/apps/anthropic`（Anthropic 兼容），与 Token Plan 的 Base URL 不同。 -### Base URL 对照 +## 接入配置 -| 套餐 / 协议 | Base URL | +### [API Key](../concepts/api-key.md) 与 Base URL + +Token Plan 专属 [API Key](../concepts/api-key.md) 以 `sk-sp-` 开头，与百炼通用 API Key（`sk-` 开头）格式不同，两者不可混用。Base URL 根据工具支持的协议选择： + +| 协议 | Base URL | | --- | --- | -| Token Plan · OpenAI 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | -| Token Plan · Anthropic 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | -| Coding Plan · OpenAI 兼容 | `https://coding.dashscope.aliyuncs.com/v1` | -| Coding Plan · Anthropic 兼容 | `https://coding.dashscope.aliyuncs.com/apps/anthropic` | -| 按量付费 · OpenAI 兼容 | `https://dashscope.aliyuncs.com/compatible-mode/v1` | +| OpenAI 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| Anthropic 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | + +API Key 仅在生成或重置时完整显示一次，之后控制台仅显示脱敏信息（如 `sk-sp-****`）。误用其他计费模式的 API Key 或 Base URL 会导致走按量计费通道产生意外扣费，或返回 401/403 鉴权失败。 -> **注意**：Token Plan、Coding Plan、按量付费三者的 API Key 与 Base URL 必须配套使用。混用会导致走按量计费通道产生意外扣费，或返回 401/403 鉴权失败。 +### 接入步骤 -## 工具调用与扩展能力 +1. 订阅 Token Plan（个人版或团队版） +2. 在控制台获取 API Key 和 Base URL +3. 将 API Key 和 Base URL 配置到 AI 工具中 + +RAM 用户使用前需由主账号在 RAM 控制台授予 `AliyunTokenPlanReadOnlyAccess`（只读）或 `AliyunTokenPlanFullAccess`（管理）系统策略，并在百炼控制台账号管理页面分配权限。详见 [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-quickstart.md) 和 [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md)。 + +支持的 AI 工具包括 Claude Code、Cursor、Qwen Code、OpenClaw、Codex、OpenCode、Cherry Studio、Chatbox、Cline、Qoder、Lingma、Kilo CLI 等。 + +### 团队版成员管理 + +团队版提供管理后台，支持手动添加成员或通过 SSO/钉钉接入。角色分为所有者、管理员、成员三种。管理员为成员分配席位后系统自动生成 API Key，每个席位绑定一个成员，不可共享。支持席位分配、回收、加购、升级操作。详见 [团队管理](../../raw/model-user-guide/token-plan-guide/token-plan-team.md)。 + +## 支持的模型 -- **模型内置工具**：qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash 通过 Responses API 内置联网搜索、代码解释器、网页抓取、以图搜图、文搜图 5 个工具，不额外收费，token 消耗统一从套餐 Credits 抵扣。 -- **MCP 服务**：其他模型（如 deepseek-v3.2、glm-5）通过百炼 MCP 广场接入工具。联网搜索 MCP 前 2000 次调用免费，之后按 29 元/千次计费。接入 MCP 用的是**百炼通用 API Key（`sk-xxx`）**，而非套餐专属 Key。 -- **图像生成模型**：不在文本模型清单展示，需通过工具的 Skill / Slash Command / Agent 机制调用 `multimodal-generation` API，详见 [接入多模态生成模型](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md)。 -- **视觉理解**：qwen3.6-plus、qwen3.5-plus、kimi-k2.5 原生支持视觉；glm-5、MiniMax-M2.5 等纯文本模型可通过 Skill/Agent 辅助获得视觉能力。OpenCode/OpenClaw 需在配置中显式声明 `modalities`/`input` 为 `["text","image"]`。 +Token Plan 支持的模型涵盖千问、DeepSeek、智谱 AI、月之暗面、MiniMax 等品牌，能力覆盖文本生成、推理、视觉理解、图片生成、视频生成、语音等。主要模型包括： -## Credits 计费与额度 +- **推理与文本生成**：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、deepseek-v4-pro、glm-5.2、kimi-k2.5、MiniMax-M2.5 等 +- **视觉理解**：qwen3.8-max-preview、qwen3.7-plus、qwen3.6-plus、kimi-k2.5 等 +- **图片生成**：qwen-image-2.0、wan2.7-image 等 +- **视频生成**：happyhorse-1.1-t2v、happyhorse-1.1-i2v、happyhorse-1.1-r2v 等 -Token Plan 团队版单次请求消耗的 Credits **并非固定值**，由模型类型、Token 用量、思考模式及工具调用动态决定。多轮对话中上下文持续累积，消耗会随之上升；部分模型按上下文长度阶梯计费，长上下文可能进入更高价位档。 +> **注意**：qwen3.8-max-preview 为预览模型，预览期间享有 Credits 消耗 1 折的限时优惠。预览结束后该模型会下线或替换为正式版本。模型名称区分大小写，必须与套餐支持的模型 ID 完全一致，禁止做版本兼容推理。 -抵扣顺序：坐席套餐月度额度 → 共享用量包（多个时优先扣最近到期的）→ 全部用尽后服务暂停至下一计费周期。 +## Harness 工具与[多模态](../concepts/multimodal.md)能力 -> **注意**：续费/续订只延长有效期或预定下期额度，**不会叠加补充到当前计费周期**。当期额度用尽需立即恢复时，应购买共享用量包、升级坐席或加购坐席（加购后需分配给成员才能使用）。 +### 内置 Harness 工具 -控制消耗建议：任务切换时及时开启新会话、清理无关历史；对长文档/大代码库按需拆分输入；在控制台订阅页用量明细关注实时消耗趋势。 +部分 Qwen 模型（qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus）内置 Harness 工具，包括联网搜索、代码解释器、网页抓取、以图搜图、文搜图。将工具切换到这些模型后直接提问即可，模型自动调用相应工具，无需额外配置。工具调用消耗 Credits，不额外收费。详见 [接入 Harness 工具](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md)。 -## 常见报错速查 +### [多模态](../concepts/multimodal.md)生成 -- **401 Invalid API-key / invalid access token**：误用了通用 Key 或其他套餐的 Key/Base URL、订阅过期、或 Key 复制不完整含空格。核对套餐专属 Key 与配套 Base URL，必要时重置。 -- **404 model not found / model not [support](support.md)ed**：模型名拼写或大小写错误，或不在套餐白名单内。 -- **400 url error / Range of input length**：Base URL 路径与协议不匹配（Anthropic 端点以 `/apps/anthropic` 结尾，OpenAI 端点以 `/compatible-mode/v1` 或 `/v1` 结尾），或输入超出上下文长度（新建会话或切换更长上下文模型）。 -- **429 quota exceeded**：套餐额度用尽（加购/等待重置）或触发 TPS/TPM 限流（限流按主账号维度合并计算，等待约一分钟后平滑重试）。 -- **Coding Plan 限额类**：`hour/week/month allocated quota exceeded` 分别对应每 5 小时（滚动恢复）、每周一 00:00 重置、每月订阅日重置。 +图像和视频生成模型使用独立接口，需通过工具的扩展机制（Skill、Slash Command 或 Agent）接入。以 Claude Code 为例，通过在 `.claude/commands/` 目录下创建 Slash Command 文件，调用 Token Plan 文生图/文生视频 API。其他工具（Codex、Qwen Code、OpenCode 等）的扩展机制和配置路径有所不同。详见 [接入多模态生成模型](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md)。 -完整报错表见 [Token Plan 常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-faq.md) 与 [Coding Plan 常见问题](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md)。 +### 视觉理解 -## 团队管理与使用限制 +qwen3.7-plus 等模型原生支持视觉理解，可直接传入图片。对于 glm-5、MiniMax-M2.5 等不支持视觉的模型，可通过添加本地 Skill（Claude Code）或 Agent（OpenCode）使其获得视觉能力。详见 [添加视觉理解能力](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md)。 -- **角色**：所有者、管理员（权限同所有者，可被移除/降级）、成员（仅使用分配的 Key 调用）。 -- **成员接入**：支持手动添加（仅供 API 调用）、SAML 2.0（SSO）、钉钉登录三种方式。 -- **席位操作**：分配后自动生成 API Key；回收后席位释放、原 Key 失效；加购/升级按剩余时长折算费用；退订按席位维度，已消耗用量的席位不可退订。 -- **使用范围**：仅限在兼容的 AI 编程和智能体工具中**交互式**使用，禁止用于自动化脚本或应用后端，违规可能导致订阅暂停或 API Key 封禁。 +> **注意**：OpenCode 默认不启用模型视觉能力，需在配置文件的模型定义中显式声明 `modalities` 参数，将 `input` 设为 `["text", "image"]`。 -> **注意**：Token Plan 团队版目前仅支持**华北2（北京）**地域；每个阿里云账号限购一个订阅，共享用量包需先订阅坐席套餐后才能购买、有效期 1 个月且到期清零。 +### 联网搜索 MCP + +对于不内置联网搜索的工具，可通过百炼 MCP 广场开通联网搜索 MCP 服务（Streamable HTTP 协议）。注意此处使用百炼通用 API Key（`sk-` 开头）进行 MCP 鉴权，与 Token Plan 专属 API Key（`sk-sp-` 开头）不同。前 2000 次调用免费，超出后按 29 元/千次计费。详见 [联网搜索](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md)。 + +## Credits 计费机制 + +Credits 消耗由模型类型、Token 用量、思考模式及工具调用等动态决定。抵扣顺序为：坐席套餐月度额度 → 共享用量包 → 服务暂停。以 qwen3.6-plus 为例，单次请求约消耗 3 Credits（输入 1.67 + 缓存 0.82 + 输出 0.69）。 + +### 额度恢复 + +- **个人版**：5 小时和 7 天滑动窗口自动释放，也支持手动额度重置将当前窗口消耗清零 +- **团队版**：月度额度在计费周期内可用，到期未使用额度不结转；超出后可加购共享用量包补充 + +> **注意**：个人版额度用完后调用被阻断，不会按量计费。如需更多额度可升级套餐（不支持降配）或等待窗口释放。 + +## 使用限制与注意事项 + +1. **仅限交互式使用**：禁止用于自动化脚本、应用后端或非交互式批量调用，违规可能导致订阅暂停或 API Key 封禁 +2. **账号规范**：个人版限单人使用，团队版 API Key 限已分配席位的成员本人使用，不可共享或公开泄露 +3. **数据使用授权**：使用期间模型输入和生成内容将用于服务改进；团队版承诺不使用对话数据训练模型 +4. **地域限制**：目前仅支持华北2（北京）地域 +5. **Coding Plan 不支持退款**：订阅前需知悉数据授权和使用限制条款 + +## 常见报错 + +| 报错 | 原因 | 解决方案 | +| --- | --- | --- | +| 401 InvalidApiKey | 未携带 API Key 或误用通用 API Key | 使用 `sk-sp-` 开头的专属 API Key | +| 401 Incorrect API key | 误用通用 Base URL（dashscope.aliyuncs.com） | 使用 Token Plan 专属 Base URL | +| 404 model not found | 模型名称拼写错误或不在套餐列表 | 确认模型名称区分大小写，与套餐支持列表一致 | +| 429 rate limit exceeded | 请求过于密集触发限流 | 等待一分钟后重试，降低请求频率 | +| 429 quota exceeded | 套餐额度用尽 | 加购座席/用量包或等待额度释放 | +| 400 input length | 输入超出模型上下文长度 | 新建会话或使用上下文压缩命令 | +| 400 max_tokens | max_tokens 超出模型上限 | 调整为不超过报错提示的上限值 | +| 400 thinking_budget | 思维链长度超出模型上限 | 调整 budgetTokens 为不超过报错提示值 | +| Connection error | Base URL 拼写错误或网络异常 | 检查域名拼写及网络连接 | + +详见 [常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-faq.md) 和 [常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md)。 ## 来源文档 -- [Token Plan（团队版）概述](../../raw/model-user-guide/token-plan-guide/token-plan-overview.md) +- [Token Plan 概述](../../raw/model-user-guide/token-plan-guide/token-plan-overview.md) - [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-quickstart.md) - [团队管理](../../raw/model-user-guide/token-plan-guide/token-plan-team.md) - [常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-faq.md) -- [工具调用](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md) - [接入多模态生成模型](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md) - [Coding Plan概述](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md) -- [联网搜索](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md) -- [添加视觉理解能力](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md) +- [添加视觉理解能力](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md) - [常见问题](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md) +- [概述](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md) +- [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md) +- [概述](../../raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md) +- [常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md) +- [接入 Harness 工具](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md) +- [联网搜索](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md) + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md b/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md index c59a6d33..d6313be3 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md @@ -1,56 +1,115 @@ # use cases -本页汇总阿里云百炼平台的典型使用场景与实践指南，覆盖三大方向：Prompt 设计技巧（文生文、文生图、文生视频）、第三方/多供应商模型接入（DeepSeek、Kimi、GLM、MiniMax、MiMo、Stepfun 等），以及工程化最佳实践（RAG、限流应对、显式缓存、模型调优、端到端解决方案）。面向开发者，以下内容按主题组织，便于快速定位到对应的参数、调用方式和注意事项。 +本页汇总阿里云百炼平台的典型使用场景，涵盖 Prompt 工程、RAG 应用构建、自定义模型调优、第三方模型集成、限流与缓存优化，以及多个开箱即用的行业解决方案。面向开发者，提供关键参数、调用方式和注意事项的快速参考。 -## Prompt 设计与生成类场景 +## Prompt 工程 -针对不同模态，百炼提供了结构化的提示词方法论： +百炼提供了针对不同模态（文生文、文生图、文生视频/图生视频）的结构化 Prompt 指南，核心思路一致：用框架化结构（主体 + 场景 + 风格/运动等）替代模糊描述，描述越完整、精确，生成质量越高。 -- **文生文**：推荐使用「背景 / 目的 / 风格 / 语气 / 受众 / 输出」六要素的 Prompt 框架，任务描述越清晰具体，模型表现越贴近预期。控制台还提供 Prompt「自动优化」工具，可自动扩写和补充细节（该功能调用大模型，按推理费用计费）。详见 [文生文Prompt指南](../../raw/model-user-guide/use-cases/prompt-engineering-guide.md)。 -- **文生图**：核心参数为正向提示词 `prompt`、反向提示词 `negative_prompt`；文生图 V2 额外支持 `prompt_extend`（默认 `true`，开启大模型智能改写）。提示词公式分基础版（主体 + 场景 + 风格）与进阶版（增加镜头语言、氛围词、细节修饰），并配有景别、视角、风格、光线等提示词词典。详见 [文生图Prompt指南](../../raw/model-user-guide/use-cases/text-to-image-prompt.md)。 -- **文生视频 / 图生视频**：正向提示词描述画面内容与运动过程。基础公式为「主体 + 场景 + 运动」，进阶公式增加「美学控制 + 风格化」，图生视频则以「运动 + 运镜」为主。较新的 wan2.7 / wan2.6 还支持声音公式（人声/音效/BGM）、多镜头公式（镜头序号 + 时间戳 + 分镜内容）和参考生视频公式。详见 [文生视频/图生视频Prompt指南](../../raw/model-user-guide/use-cases/text-to-video-prompt.md)；第三方视频模型可参考 [Vidu视频生成Prompt指南](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/vidu-video-generation-prompt-guide.md)（含大动态、运镜、风格等触发关键词词典）。 +### 文生文 -> **注意**：wan2.7 模型不再支持通过 `shot_type` 指定单镜头/多镜头，改由模型结合提示词自行发挥；如需一镜到底，中文写「生成单镜头」、英文写「Generate single shot.」。 +文生文 Prompt 推荐使用"背景、目的、风格、语气、受众、输出"六要素框架，可在 [文生文Prompt指南](../../raw/model-user-guide/use-cases/prompt-engineering-guide.md) 中查看完整示例。百炼控制台提供 Prompt 一键自动优化工具（消耗 [Token](../concepts/token.md) [计费](../concepts/billing.md)），适合快速扩写和细化初稿。 -## 第三方与多供应商模型接入 +### 文生图 -多篇教程介绍了在百炼平台通过 **[OpenAI 兼容接口](../concepts/openai-compatible-interface.md)** 或 **DashScope SDK** 调用第三方模型，通用要点如下： +文生图 Prompt 分基础公式（主体 + 场景 + 风格）和进阶公式（主体描述 + 场景描述 + 定义风格 + 镜头语言 + 氛围词 + 细节修饰），V2 支持 `prompt_extend` 智能改写和 `negative_prompt` 反向提示词。详见 [文生图Prompt指南](../../raw/model-user-guide/use-cases/text-to-image-prompt.md)。 -- **前置条件**：先[获取 API Key](https://help.aliyun.com/zh/model-studio/get-api-key) 并配置到环境变量；部分模型需在控制台模型广场「立即开通」后才能调用。 -- **思考模式**：多数模型通过 `enable_thinking` 参数控制是否输出推理过程（`reasoning_content`）。注意 `enable_thinking` 非 OpenAI 标准参数——OpenAI Python SDK 需通过 `extra_body` 传入，Node.js SDK 作为顶层参数传入。 -- **地域差异**：不同地域的 Base URL 不同，部分供应商（硅基流动、快手万擎、月之暗面、智谱、MiniMax、小米、阶跃星辰）仅限特定地域（多为华北2（北京））。详见 [DeepSeek-阿里云](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md) 与 [Kimi](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api.md)。 +### 文生视频 -各供应商的默认思考模式行为并不一致，接入时需按模型区分： +视频 Prompt 在图像基础上增加"运动"维度，进阶公式为"主体描述 + 场景描述 + 运动描述 + 美学控制 + 风格化"。万相 2.7/2.6 支持多镜头连贯叙事（通过镜头序号 + 时间戳 + 分镜内容控制）和参考生视频（通过"图n"/"视频n"指代参考素材）。详见 [文生视频/图生视频Prompt指南](../../raw/model-user-guide/use-cases/text-to-video-prompt.md)。 -- **默认开启思考**：`mimo-v2.5-pro`（[MiMo-小米](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/mimo.md)）、`kimi/kimi-k2.6`/`kimi-k2.5` 默认开启，可关闭。 -- **仅思考模型**：`kimi/kimi-k2.7-code` 系列 `enable_thinking` 始终为 `true`，无法关闭；`kimi-k2.7-code-highspeed` 功能与 `kimi-k2.7-code` 一致但速度提升 5~6 倍（见 [Kimi-月之暗面](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md)）。 -- **默认关闭思考**：`stepfun/step-3.7-flash` 默认关闭，需显式开启，并可用 `reasoning_effort`（`low`/`medium`/`high`）控制深度。 -- **供应商差异**：同为 DeepSeek，硅基流动供应商支持更长上下文；阿里云百炼供应商限流更宽松，并支持联网搜索与上下文缓存。GLM 智谱直供的 `glm-5.2` 支持 1M 上下文，并可用 `reasoning_effort`（`max`/`high`/`none`）。 +### Vidu 视频生成 -> **注意**：多篇教程标注 deepseek-v3/v3.1/v3.2/r1 系列、`MoonshotKimi-K2` 与 `kimi-k2-thinking`、`glm-4.6`/`glm-4.7`、`MiniMax-M2.1` 等模型将于 **2026年7月9日** 下架，推荐转用 `qwen3.7-plus` / `qwen3.7-max` / `qwen3.6-flash`。同时不同教程示例中出现的模型版本号存在差异（如 deepseek-v3.2 与 deepseek-v4-pro、MiniMax-M2.5 与 MiniMax-M2.7、kimi-k2.5 与 kimi-k2.7），以模型广场实际可用列表为准。 +Vidu 提供独立的提示词体系，公式为"主体/场景 + 场景描述 + 环境描述 + 艺术风格/媒介"，并通过关键词词典触发动态控制（大动态/中动态/小动态）、运镜（推/拉/左移/右移/航拍/微距等）、画面风格和特效。详见 [Vidu视频生成Prompt指南](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/vidu-video-generation-prompt-guide.md)。 -## RAG 与知识库 +## RAG 应用构建 -[基于LlamaIndex构建RAG应用](../../raw/model-user-guide/use-cases/build-rag-applications-based-on-llamaindex.md) 演示了在 LlamaIndex 中使用百炼检索增强服务的完整链路： +百炼支持通过 LlamaIndex 集成检索增强服务。核心流程：使用 `DashScopeParse` 解析文档（支持 .doc/.docx/.pdf，单文件 ≤100M、≤1000 页）→ `DashScopeCloudIndex.from_documents()` 创建知识库 → `as_retriever()` 或 `as_query_engine()` 查询。前提条件为已获取 [API Key](../concepts/api-key.md)、开通知识库服务，并安装 `llama-index-indices-managed-dashscope` 等包（Python ≥3.8 且 ≤3.12）。详见 [基于LlamaIndex构建RAG应用](../../raw/model-user-guide/use-cases/build-rag-applications-based-on-llamaindex.md)。 -- 安装 `llama-index-core`、`llama-index-llms-dashscope`、`llama-index-indices-managed-dashscope`（Python 版本要求 >=3.8 且 <=3.12）。 -- 使用 `DashScopeParse` 在线解析 .doc/.docx/.pdf 文件（单文件 <100M、页数 <1000），再通过 `DashScopeCloudIndex.from_documents` 创建知识库，`index.as_retriever()` / `index.as_query_engine()` 获取检索器与查询引擎。 +## 自定义模型调优 -## 工程化最佳实践 +自定义模型流程分三步：**模型调优**（准备 Prompt-Completion 格式训练数据，建议至少 500 条）→ **模型部署**（部署到独占实例后方可调用）→ **模型评测**（评测已部署模型，不满意可调整训练策略重来）。训练数据需注意来源多样化、质量控制和类型平衡，并做脱敏处理。[计费](../concepts/billing.md)涵盖调优、部署和评测三个环节。详见 [自定义模型调优、部署与评测](../../raw/model-user-guide/use-cases/model-training-best-practices.md)。 -- **限流应对**：百炼 API 按 RPM/TPM（分钟级）、RPS/TPS（瞬时）、Traffic Burst（增速）三种规则限流，按主账号维度、模型独立计算，触发后通常 1 分钟恢复。方案按改动成本由低到高分为平台配置（服务端排队等待、提升额度、PTU、Batch API）、客户端流控（重试、令牌桶、平滑限速、自适应拥塞控制）、架构兜底（模型降级、MQ 削峰）。针对突发限流推荐首选在请求头添加 `X-DashScope-Wait-Timeout`（建议 3~120 秒），并相应调大客户端超时时间。详见 [限流应对最佳实践](../../raw/model-user-guide/use-cases/rate-limiting-best-practices.md)。 -- **显式缓存**：通过在请求中添加缓存标记实现 100% 确定性命中，适合高频复用相同 Prompt、长上下文 Agent 等场景。首次写入约产生标准价格 25% 的额外开销，后续命中可节省约 90% 成本。Claude Code、OpenCode、OpenClaw 等工具通过 Anthropic 兼容端点（`/apps/anthropic`）接入时原生支持。详见 [显式缓存最佳实践](../../raw/model-user-guide/use-cases/explicit-cache-guide.md)。 -- **自定义模型**：创建自定义模型分为模型调优、模型部署、模型评测三个主步骤，配套训练数据准备、评测模板设计、调整训练策略。数据需编排为「Prompt-Completion」格式，建议至少准备 500 条并做脱敏处理。注意**调优后的模型必须先部署才能调用和评测**。详见 [自定义模型调优、部署与评测](../../raw/model-user-guide/use-cases/model-training-best-practices.md)。 +## 第三方模型集成 -## 端到端解决方案 +百炼支持多家第三方模型供应商，统一通过 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)或 [DashScope SDK](../concepts/dashscope-sdk.md) 调用，`base_url` 通常为 `https://dashscope.aliyuncs.com/compatible-mode/v1`（华北2北京地域）。 -多篇实践方案展示了如何组合百炼模型能力构建完整应用，多数基于函数计算 FC、开箱即用并提供免费试用额度： +### 可用模型与供应商 -- **文档转视频**：结合大模型与多模态技术，将文档自动切片、生成演示文稿、语音字幕并合成视频，依赖 FFmpeg 与 Marp 工具，提供完整代码包。详见 [借助大模型将文档转换为视频](../../raw/model-user-guide/use-cases/use-llm-to-convert-document-to-video.md)。 -- **AI 智能体与工作流**：以 AI 电商客服为例，覆盖智能问答、RAG、自主决策 Agent、对话流四种应用形态（[高效搭建 AI 智能体与工作流应用](../../raw/model-user-guide/use-cases/build-ai-applications-based-on-alibaba-cloud-model-studio.md)）。 -- **视觉创作平台**：集成 Wan2.7 图像生成与 HappyHorse 视频生成，提供节点式编排、AI 导演与在线剪辑（[HappyHorse 打造一站式影视创作平台](../../raw/model-user-guide/use-cases/infinite-canvas.md)）。 -- **深度研究报告**：Qwen-Deep-Research 自动规划检索路径、多源交叉验证并生成结构化洞察报告（[深度研究：生成你的独家洞察报告](../../raw/model-user-guide/use-cases/deep-research.md)）。 -- **AI 解题批改**：基于 Qwen3-VL 视觉模型实现拍照解题与作业自动批改，支持 33 种语言（[AI 解题 + 批改：推动课程教学智变](../../raw/model-user-guide/use-cases/ai-homework-helper.md)）。 +| 供应商 | 模型前缀 | 最新模型示例 | 思考模式参数 | +| --- | --- | --- | --- | +| 阿里云 | `deepseek-` | `deepseek-v4-pro` | `enable_thinking` | +| 硅基流动 | `siliconflow/` | `siliconflow/deepseek-v3.2` | `enable_thinking`（`extra_body`） | +| 快手万擎 | `vanchin/` | `vanchin/deepseek-v4-pro` | `enable_thinking`（`extra_body`） | +| 月之暗面 | `kimi/` | `kimi/kimi-k3` | `reasoning_effort`（`max`/`high`/`none`） | +| 智谱 | `ZHIPU/` | `ZHIPU/GLM-5.2` | `enable_thinking` + `reasoning_effort` | +| MiniMax | `MiniMax/` | `MiniMax/MiniMax-M2.7` | 默认输出思考过程 | +| 小米 | `xiaomi/` | `xiaomi/mimo-v2.5-pro` | `enable_thinking`（默认 `true`） | +| 阶跃星辰 | `stepfun/` | `stepfun/step-3.7-flash` | `enable_thinking` + `reasoning_effort`（`low`/`medium`/`high`） | + +> **注意**：`enable_thinking` 和 `reasoning_effort` 均非 OpenAI 标准参数。Python SDK 需通过 `extra_body` 传入，Node.js SDK 可作为顶层参数传入。 + +> **注意**：多篇文档标注了模型下架时间。DeepSeek 系列（v3/v3.1/v3.2/r1 等）将于 2026年10月10日下架；Kimi-K2-Instruct、kimi-k2-thinking、glm-4.6/4.7、MiniMax-M2.1 将于 2026年7月9日下架。推荐转用 qwen3.7-plus / qwen3.7-max / qwen3.6-flash。 + +### 地域与接入地址 + +不同地域的 `base_url` 不同。华北2（北京）通用域名为 `https://dashscope.aliyuncs.com`；美国（弗吉尼亚）为 `https://dashscope-us.aliyuncs.com`；新加坡、德国（法兰克福）、日本（东京）需使用 `{WorkspaceId}..maas.aliyuncs.com` 格式域名。部分供应商（硅基流动、快手万擎、智谱直供、MiniMax 直供、小米、阶跃星辰）仅在华北2（北京）地域可用。华北2（北京）还推出了[业务空间](../concepts/workspace.md)专属域名 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com`，可提供更高性能和稳定性。 + +### 思考模式调用示例 + +以 DeepSeek（阿里云供应商）为例，通过 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)开启思考模式： + +```python +from openai import OpenAI +import os + +client = OpenAI( + api_key=os.getenv("DASHSCOPE_API_KEY"), + base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", +) +completion = client.chat.completions.create( + model="deepseek-v4-pro", + messages=[{"role": "user", "content": "你是谁"}], + extra_body={"enable_thinking": True}, + stream=True, +) +for chunk in completion: + delta = chunk.choices[0].delta + if hasattr(delta, "reasoning_content") and delta.reasoning_content: + print(delta.reasoning_content, end="", flush=True) + if hasattr(delta, "content") and delta.content: + print(delta.content, end="", flush=True) +``` + +## 限流与缓存优化 + +### 限流应对 + +百炼 API 按主账号、模型维度独立限流，分 RPM/TPM（分钟级配额）、RPS/TPS（瞬时频率）、Traffic Burst（增速限制）三种规则。推荐应对策略： + +- **服务端排队等待**（首选，改动最小）：请求头添加 `X-DashScope-Wait-Timeout: 30`，适用于增速/突发限流，不适用于 RPM/TPM 绝对值限流。 +- **客户端流控**：从基础重试 → 令牌桶/并发信号量 → 双重令牌桶（同时限制 RPM 和 TPM）→ 自适应拥塞控制，按复杂度递进。 +- **架构兜底**：模型降级（Fallback）、基于消息队列（MQ）削峰填谷。 + +详见 [限流应对最佳实践](../../raw/model-user-guide/use-cases/rate-limiting-best-practices.md)。 + +### 显式缓存 + +显式缓存通过在请求中添加 `cache_control` 标记，实现 100% 确定性命中缓存（不受后端调度影响）。首次写入缓存额外 25% 开销，后续命中节省 90% 成本。适用于高频复用相同 Prompt、工业级 Agent 长上下文管理等场景。Claude Code、OpenCode、OpenClaw 等工具可通过 Anthropic 兼容端点自动启用，无需额外配置。详见 [显式缓存最佳实践](../../raw/model-user-guide/use-cases/explicit-cache-guide.md)。 + +## 行业解决方案 + +百炼提供多个基于函数计算（FC）的开箱即用方案，支持快速部署： + +| 方案 | 核心能力 | 预计成本 | 参考文档 | +| --- | --- | --- | --- | +| 文档转视频 | LLM 切片 + 演示文稿生成 + 语音字幕 + 视频合成，依赖 FFmpeg 和 Marp | — | [借助大模型将文档转换为视频](../../raw/model-user-guide/use-cases/use-llm-to-convert-document-to-video.md) | +| HappyHorse 影视创作 | 节点式可视化编排 + AI 导演对话 + Wan2.7 图像/HappyHorse 视频 | 约 30 元 | [HappyHorse 打造一站式影视创作平台](../../raw/model-user-guide/use-cases/infinite-canvas.md) | +| AI 智能体与[工作流](../concepts/workflow.md) | 智能问答/RAG/Agent/对话流四种电商客服应用 | 0.3 元/小时 | [高效搭建 AI 智能体与工作流应用](../../raw/model-user-guide/use-cases/build-ai-applications-based-on-alibaba-cloud-model-studio.md) | +| 深度研究 | Qwen-Deep-Research 自动规划检索路径 + 多源交叉验证 + 结构化报告 | 约 6 元 | [深度研究：生成你的独家洞察报告](../../raw/model-user-guide/use-cases/deep-research.md) | +| AI 解题与批改 | Qwen3-VL 视觉模型，拍照解题 + 自动批改，支持 33 种语言 | 约 1 元 | [AI 解题 + 批改：推动课程教学智变](../../raw/model-user-guide/use-cases/ai-homework-helper.md) | + +> **注意**：上述成本为体验流程预估，阿里云百炼和函数计算提供免费试用额度。实际费用以控制台显示为准。 ## 来源文档 @@ -82,3 +141,5 @@ + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md b/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md index 6f73a29b..dbfeca0b 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md @@ -1,65 +1,101 @@ # use chat client or development tool -阿里云百炼支持将平台上的模型接入各类第三方 AI 聊天客户端、编程工具与应用开发平台。这些工具本身不由百炼提供，接入方式统一为「填入 Base URL + API Key + 模型 ID」，通过 **OpenAI 兼容协议**或 **Anthropic 兼容协议**访问百炼网关。本文汇总不同工具的接入要点、共用的凭证规则以及常见限制。 +阿里云百炼支持通过多种聊天客户端和开发工具接入模型服务，包括终端 CLI 工具、IDE 插件、桌面客户端和低代码平台。所有工具均通过 OpenAI 兼容或 Anthropic 兼容协议接入，凭证配置的核心是选择计费方案、获取 API Key、填写对应的 Base URL。 -## 支持的工具类型 +## 计费方案 -按形态大致分为三类： +百炼提供四种计费方案，不同工具支持的方案范围不同： -- **终端 / CLI 编程工具**：[Hermes Agent](../../raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md)、[Claude Code](../../raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md)、[OpenCode](../../raw/model-user-guide/use-chat-client-or-development-tool/opencode.md)、[Codex](../../raw/model-user-guide/use-chat-client-or-development-tool/codex.md)、[Qwen Code](../../raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md)、[Kilo CLI](../../raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md)、Qoder CLI。 -- **IDE / 编辑器插件**：[Cursor](../../raw/model-user-guide/use-chat-client-or-development-tool/cursor.md)、[Cline](../../raw/model-user-guide/use-chat-client-or-development-tool/cline.md)（VSCode）、Qoder（IDE / JetBrains 插件）、Qoder CN（原 Lingma）。 -- **桌面 / 跨平台聊天客户端与助手**：[Cherry Studio](../../raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md)、[Chatbox](../../raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md)、[OpenClaw](../../raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md)、QwenPaw。 -- **应用开发 / 工作流平台**：[Dify](../../raw/model-user-guide/use-chat-client-or-development-tool/dify.md)。 +| 方案 | 计费方式 | 适用场景 | +| --- | --- | --- | +| Token Plan 个人版 | 按 token 消耗抵扣个人 Credits | 个人开发者 | +| Token Plan 团队版 | 按坐席订阅 + token 消耗 | 团队协作 | +| Coding Plan | 固定月费，按调用次数计量 | 编程场景固定预算 | +| 按量计费 | 按实际调用量后付费 | 灵活使用 | -此外，任何兼容 OpenAI / Anthropic 协议且支持自定义服务端点的工具（如 Trae）都可参照[更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md)接入。若只想快速验证图像/视频生成 API，可用 [Postman 或 cURL](../../raw/model-user-guide/use-chat-client-or-development-tool/first-call-to-image-and-video-api.md) 直接调用。 +> **注意**：四种方案的 API Key 互不通用，Base URL 也各不相同。配置时必须确保 API Key、Base URL 和计费方案三者匹配，否则会返回 401 认证错误。 -## 三种计费方案与凭证 +## Base URL 速查表 -绝大多数工具的接入差异只在「Base URL 属于哪个方案」。百炼提供三种计费方案，各自有独立的 API Key，**互不通用**： +### OpenAI 兼容协议 -| 方案 | 说明 | OpenAI 兼容 Base URL | Anthropic 兼容 Base URL | -| --- | --- | --- | --- | -| Token Plan 团队版 | 按坐席订阅，按 token 消耗抵扣 Credits | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | -| Coding Plan | 固定月费订阅，按模型调用次数计量 | `https://coding.dashscope.aliyuncs.com/v1` | `https://coding.dashscope.aliyuncs.com/apps/anthropic` | -| 按量计费（华北2·北京） | 按实际调用量后付费 | `https://dashscope.aliyuncs.com/compatible-mode/v1` | `https://dashscope.aliyuncs.com/apps/anthropic` | +| 方案 | Base URL | +| --- | --- | +| Token Plan 个人版/团队版 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| Coding Plan | `https://coding.dashscope.aliyuncs.com/v1` | +| 按量计费（华北2-北京） | `https://dashscope.aliyuncs.com/compatible-mode/v1` | +| 按量计费（新加坡） | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 按量计费（美国-弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | -按量计费还支持多地域，需保证 API Key 与 Base URL 地域一致： +### Anthropic 兼容协议 -- 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1`（`WorkspaceId` 替换为真实值） -- 美国（弗吉尼亚）：`https://dashscope-us.aliyuncs.com/compatible-mode/v1` +| 方案 | Base URL | +| --- | --- | +| Token Plan 个人版/团队版 | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | +| Coding Plan | `https://coding.dashscope.aliyuncs.com/apps/anthropic` | +| 按量计费（华北2-北京） | `https://dashscope.aliyuncs.com/apps/anthropic` | +| 按量计费（新加坡） | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/apps/anthropic` | -> **注意**：OpenAI 协议的 Base URL 以 `/compatible-mode/v1`（或 `/v1`）结尾，Anthropic 协议以 `/apps/anthropic` 结尾。部分工具（如 OpenCode、Kilo CLI）要求在 Anthropic 端点后再追加 `/v1`。以各工具原文为准。 +## 工具分类与接入方式 -## 协议选择与配置形态 +### 终端 CLI 工具 -不同工具选用的协议和配置载体各异： +这类工具通过命令行安装，以配置文件方式接入百炼： -- **Anthropic 协议**：[Claude Code](../../raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md) 通过 `~/.claude/settings.json` 的 `ANTHROPIC_BASE_URL` / `ANTHROPIC_AUTH_TOKEN` 环境变量配置；[Hermes Agent](../../raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md) 默认使用 Anthropic 协议（`api_mode: anthropic_messages`），也可切到 OpenAI 协议。 -- **OpenAI 协议**：[Cursor](../../raw/model-user-guide/use-chat-client-or-development-tool/cursor.md)、[Cline](../../raw/model-user-guide/use-chat-client-or-development-tool/cline.md)、Cherry Studio、Chatbox 等在 GUI 中选择「OpenAI Compatible / 兼容」并填入 Base URL、API Key、模型 ID。 -- **配置文件**：Hermes（`~/.hermes/config.yaml`）、OpenCode（`~/.config/opencode/opencode.json`）、Kilo CLI（`~/.config/kilo/config.json`）、Qwen Code（`~/.qwen/settings.json`）、Codex（`~/.codex/config.toml` + `OPENAI_API_KEY` 环境变量）。 -- **原生下拉选择**：Qoder / Qoder CN 在设置中选择「阿里云百炼 - 国内」提供商 + 计费方案「类型」，仅需填 API Key。 +- **Claude Code**：编辑 `~/.claude/settings.json`，设置 `ANTHROPIC_AUTH_TOKEN`、`ANTHROPIC_BASE_URL` 等环境变量。需先在 `~/.claude.json` 中设置 `hasCompletedOnboarding: true` 跳过官方登录。详见 [Claude Code](../../raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md)。 +- **Codex**：编辑 `~/.codex/config.toml`，配置 `model_provider`、`base_url`、`wire_api`（responses 或 chat）。使用自定义模型还需新建 `~/.codex/model-catalog.local.json` 配置模型元数据。详见 [Codex](../../raw/model-user-guide/use-chat-client-or-development-tool/codex.md)。 +- **Qwen Code**：安装后输入 `/auth` 命令进行可视化配置，或编辑 `~/.qwen/settings.json`。 +- **OpenCode**：编辑 `~/.config/opencode/opencode.json`，通过 JSON 配置 provider 和 models。 +- **Kilo CLI**：编辑 `~/.config/kilo/config.json`，配置方式与 OpenCode 类似。详见 [Kilo CLI](../../raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md)。 +- **Hermes Agent**：通过 `hermes config set` 命令行配置，写入 `~/.hermes/config.yaml`，支持 Anthropic 和 OpenAI 两种协议，另有桌面版 Hermes Desktop。 -## 关键参数与注意事项 +### IDE 插件 / 桌面 IDE -- **思考模式**：许多模型（如 Qwen3 思考模式、QwQ）需显式开启思考。OpenCode / Kilo CLI 用 `thinking.budgetTokens`，Qwen Code 用 `extra_body.enable_thinking: true`，Cline 需勾选 **Enable R1 messages format**。若报错 `enable_thinking parameter is restricted to True`，说明该模型仅支持思考模式运行，需在客户端开启。 -- **模型名称别名**：[Cursor](../../raw/model-user-guide/use-chat-client-or-development-tool/cursor.md) 因内置模型名冲突，需改写模型名，如 `kimi-k2.6` → `kimi-k2-6`、`glm-5` → `glm-5-0`。其他工具一般直接使用原始模型 ID。 -- **上下文窗口**：Claude Code 默认 200K，可通过 `CLAUDE_CODE_MAX_CONTEXT_TOKENS=1000000` 或模型名后缀 `[1m]` 扩展到 1M（需模型支持）。 -- **Codex 版本差异**：仅 qwen3.7-max/plus、qwen3.6-plus/flash 支持 Responses API（可用最新版 Codex）；其他模型需用 Chat/Completions API，须安装旧版本（如 `@openai/codex@0.80.0`）。 -- **401 认证失败**：几乎都是「API Key 与 Base URL 不属于同一方案」或「按量计费 Key 与地域不匹配」，逐项核对即可。 +- **Cursor**：在 Settings > Models 中开启 OpenAI API Key 和 Override Base URL，填入 API Key、Base URL 和模型名称。 +- **Cline**（VSCode 插件）：选择 OpenAI Compatible 作为 API Provider，填入 Base URL、API Key 和 Model ID。 +- **Qoder**：提供桌面 IDE、CLI 和 JetBrains 插件三种形态，均在设置界面中选择"阿里云百炼-国内"提供商，按计费方案选择类型。 +- **Qoder CN（原 Lingma）**：阿里云智能编码助手，提供独立 IDE，配置方式与 Qoder 类似，仅个人社区版和专业版支持接入。 -## 套餐使用范围限制 +### 桌面客户端 -> **注意**：Token Plan 团队版与 Coding Plan **仅限**在 AI 编程工具和 OpenClaw 类 Agent 中使用。以下类型不支持接入，误用可能导致订阅暂停或 API Key 被封禁（详见[更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md)）： -> -> - 工作流/自动化平台：如 Dify、n8n、Coze 等； -> - API 测试工具：如 Postman、Insomnia 等； -> - 自定义应用程序：脚本或后端代码中直接调用 API。 +- **Cherry Studio**：开源 AI 桌面客户端，在设置 > 模型中添加供应商，类型选 OpenAI。 +- **Chatbox**：跨平台 AI 客户端，API 模式选 OpenAI API 兼容。 +- **QwenPaw**：AgentScope 团队开源的个人 AI 助手，通过 Web Console 配置，内置 Aliyun 提供商预设。 -因此 [Dify](../../raw/model-user-guide/use-chat-client-or-development-tool/dify.md) 这类应用开发平台只能通过**按量计费**（`get-api-key` 获取的 API Key）接入，且在 Dify 中通过安装「通义千问」或「OpenAI-API-compatible」插件配置。免费额度仅适用于华北2（北京）地域，且各模型额度独立、不可跨模型共享。 +### 低代码平台 -## 快速验证 +- **Dify**：开源大模型应用开发平台，通过安装通义千问插件接入百炼模型，也可使用 OpenAI-API-compatible 插件填入 compatible-mode 端点。详见 [Dify](../../raw/model-user-guide/use-chat-client-or-development-tool/dify.md)。 +- **OpenClaw**：开源个人 AI 助手平台，通过 `~/.openclaw/openclaw.json` 配置。 -配置完成后统一用一句问候验证连通性，例如：`claude "你好"`、`hermes chat -q "你好"`，或在 GUI 客户端对话框发送「你好」。模型正常返回响应即表示接入成功。若为 RAM 子账号，需确保在业务空间中已获得目标模型的调用权限。 +### API 测试工具 + +Postman 和 cURL 可直接调用百炼 API，适用于功能验证和测试。图像/视频生成 API 采用异步调用机制：先创建任务获取 task_id，再轮询查询结果。详见 [使用Postman或cURL调用图像/视频生成API](../../raw/model-user-guide/use-chat-client-or-development-tool/first-call-to-image-and-video-api.md)。 + +> **注意**：Postman、cURL 等 API 测试工具以及 Dify、n8n、Coze 等自动化平台仅支持按量计费方案，不支持 Token Plan 和 Coding Plan。将套餐 API Key 用于允许范围之外的调用可能被封禁。详见 [更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md)。 + +## 支持的模型 + +各计费方案支持的模型范围不同： + +- **Token Plan 个人版**：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro 等。 +- **Token Plan 团队版**：参见官方支持模型列表。 +- **Coding Plan**：参见官方支持模型列表。 +- **按量计费**：支持百炼平台上所有已开通的模型。 + +> **注意**：qwen3.8-max-preview 的思考模式始终开启，不支持关闭。思考模式下 temperature 默认 0.6（传入值小于 0.6 会自动调整），reasoning_effort 可选 xhigh、high、low，默认 xhigh。 + +> **注意**：在 Cursor 中部分模型名称需使用别名，如 kimi-k2.6 写为 kimi-k2-6，glm-5.2 写为 glm-5-2 等。 + +## 百炼 CLI 集成 + +Cursor、Cline、Qoder 等工具支持通过百炼 CLI 注册 Skill，在对话中直接调用百炼能力（如文生图、文生视频）。安装百炼 CLI（`npm install -g bailian-cli`）后配置 API Key，即可用自然语言描述需求。 + +## 常见问题 + +- **401 认证失败**：检查 API Key 与 Base URL 是否来自同一计费方案、同一地域。 +- **模型不可用**：Cursor 免费版仅支持 Auto 模式，需升级 Pro；确认所选模型在当前套餐支持列表内。 +- **思考模式报错**：部分模型仅支持思考模式运行，调用时需开启 `enable_thinking`；使用 Qwen3/QwQ 模型时需在 Cline 中勾选 Enable R1 messages format。 +- **上下文超限**：在工具配置中调整 `max_tokens` 等生成参数。 ## 来源文档 @@ -82,4 +118,3 @@ - [更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md) - diff --git a/skills/bailian-docs-llm-wiki/wiki/index.md b/skills/bailian-docs-llm-wiki/wiki/index.md index f339c226..68231429 100644 --- a/skills/bailian-docs-llm-wiki/wiki/index.md +++ b/skills/bailian-docs-llm-wiki/wiki/index.md @@ -28,13 +28,14 @@ - [model monitoring](guides/model-monitoring.md) — 2 篇源文档 - [plug in](guides/plug-in.md) — 3 篇源文档 - [prompt](guides/prompt.md) — 5 篇源文档 +- [realtime api user guide](guides/realtime-api-user-guide.md) — 15 篇源文档 - [release notes](guides/release-notes.md) — 2 篇源文档 - [security and compliance](guides/security-and-compliance.md) — 12 篇源文档 - [skill](guides/skill.md) — 1 篇源文档 - [start using](guides/start-using.md) — 2 篇源文档 - [support](guides/support.md) — 2 篇源文档 - [test 1](guides/test-1.md) — 5 篇源文档 -- [token plan guide](guides/token-plan-guide.md) — 10 篇源文档 +- [token plan guide](guides/token-plan-guide.md) — 14 篇源文档 - [use cases](guides/use-cases.md) — 24 篇源文档 - [use chat client or development tool](guides/use-chat-client-or-development-tool.md) — 17 篇源文档 @@ -42,7 +43,7 @@ - [3d generation](api/3d-generation.md) — 1 篇源文档 - [application call](api/application-call.md) — 5 篇源文档 -- [application component api reference](api/application-component-api-reference.md) — 57 篇源文档 +- [application component api reference](api/application-component-api-reference.md) — 58 篇源文档 - [file management api](api/file-management-api.md) — 1 篇源文档 - [frameworks](api/frameworks.md) — 3 篇源文档 - [image generation](api/image-generation.md) — 26 篇源文档 @@ -62,23 +63,21 @@ ## 横切概念 -- [API Key 鉴权](concepts/api-key.md) — 关联 6 个主题 -- [MCP 与工具扩展](concepts/mcp-and-tools.md) — 关联 5 个主题 -- [OpenAI 兼容接口](concepts/openai-compatible-interface.md) — 关联 6 个主题 -- [Token 与计费](concepts/token-and-billing.md) — 关联 6 个主题 -- [业务空间（Workspace）](concepts/workspace.md) — 关联 5 个主题 -- [函数调用（Function Calling）](concepts/function-calling.md) — 关联 4 个主题 -- [异步调用与任务轮询](concepts/async-invocation.md) — 关联 5 个主题 -- [检索增强生成（RAG）](concepts/rag.md) — 关联 6 个主题 -- [模型调优与部署](concepts/fine-tuning-and-deployment.md) — 关联 5 个主题 -- [流式输出](concepts/streaming-output.md) — 关联 3 个主题 +- [Prompt工程](concepts/prompt-engineering.md) — 关联 4 个主题 +- [事件流](concepts/event-stream.md) — 关联 3 个主题 +- [函数调用](concepts/function-calling.md) — 关联 6 个主题 +- [向量化](concepts/embedding.md) — 关联 5 个主题 +- [模型生命周期](concepts/model-lifecycle.md) — 关联 6 个主题 +- [迁移指南](concepts/migration.md) — 关联 4 个主题 +- [长期记忆](concepts/long-term-memory.md) — 关联 3 个主题 +- [限流与配额](concepts/rate-limiting.md) — 关联 5 个主题 ## 对比分析 -- [图像、视频与 3D 生成对比](comparisons/image-vs-video-vs-3d-generation.md) — 对比 3 个主题 -- [应用评估与应用监控对比](comparisons/app-evaluation-vs-monitoring.md) — 对比 2 个主题 -- [托管智能体：指南与 API 对比](comparisons/managed-agents-guide-vs-api.md) — 对比 2 个主题 -- [模型微调、压缩与部署对比](comparisons/fine-tuning-vs-compression-vs-deployment.md) — 对比 3 个主题 -- [模型评估与模型监控对比](comparisons/model-evaluation-vs-monitoring.md) — 对比 2 个主题 -- [知识库与记忆库对比](comparisons/knowledge-base-vs-memory-library.md) — 对比 2 个主题 +- [应用监控与模型监控对比](comparisons/monitoring-comparison.md) — 对比 2 个主题 +- [应用评测与模型评测对比](comparisons/evaluation-comparison.md) — 对比 2 个主题 +- [应用调用方式对比](comparisons/application-calling-comparison.md) — 对比 2 个主题 +- [托管智能体 API 与指南对比](comparisons/managed-agents-api-vs-guide.md) — 对比 2 个主题 +- [模型优化方式对比](comparisons/model-optimization-comparison.md) — 对比 3 个主题 +- [生成类 API 对比](comparisons/generation-api-comparison.md) — 对比 3 个主题