BotPsy 推出 0.8B 小模型，让本地 AI 助手选择并调用工具

11 月 11 日，Tether AI Research 介绍 BotPsy，一款面向工具调用的 0.8B 小模型，目前已提供可下载权重与本地部署说明。对想给桌面或移动应用加入自然语言操作的开发者，它提供了一个值得验证的轻量模型选项。本文结合演示手册搜索场景，解释工具如何接入、推理设置怎样影响试用，以及中文任务该观察哪些结果。官方介绍

原创 AI 概念插画，表现本地模型与应用工具之间的连接。

[配图建议：小型设备中的模型连接秒表、文档检索与天气对象，一张指令纸进入设备 + 奶油白与梅紫色立体编辑插画]

1. 这款小模型，适合先接什么任务

BotPsy 基于 Qwen3.5-0.8B，重点训练函数调用与 Agent 工作流。官方模型卡将它定位于低至中等难度任务，并提供 BF16 权重及 GGUF 入口。开发者可以把它放进应用，尝试让用户用一句话选择已有功能。官方模型卡

设想你做了一个产品演示程序，里面有公开的功能手册。用户输入“查一下怎样导出 CSV”，应用把可用工具及其参数说明交给模型。模型选择搜索功能，填入查询词，程序执行后返回手册片段，再由助手组织回答。

这类场景容易明确判断结果。查询词是否包含 CSV，是否找到了导出说明，回答是否沿用了文档中的步骤，都能回到同一份演示资料核对。对独立开发者，先选输入、操作和结果都清楚的小任务， 更容易发现模型接入究竟带来什么价值。

作者报告中，BotPsy 的 BFCL v4 综合分为 44.0，基座模型为 23.4。这是作者使用评估框架得到的加权指标，实际中文应用仍需单独验证。它可以支持“值得试一试”的判断，项目是否采用则要看自己的任务记录。官方评估与指标脚注

[配图建议：用户提出 CSV 导出问题，本地模型选中文档搜索工具，再返回手册片段 + 简洁应用流程图]

2. 从模型选中工具，到应用拿到结果

函数调用需要把一项功能写成模型能理解的接口。以自拟的 search_demo_docs 为例，可以描述为“在演示产品手册中搜索说明”，并声明一个必填字符串参数 query。工具说明越具体，开发者就越容易检查模型是否选对了功能、填对了参数。

一次完整流程可以拆成三个环节。

• 提供工具定义。 把名称、用途、参数类型与必填项随请求交给模型。
• 处理调用请求。 应用读取模型返回的工具名与参数，完成校验并执行对应函数。
• 回填实际结果。 将检索到的片段作为工具结果交回对话，再生成面向用户的回答。

QVAC 的官方文本生成示例展示了读取 toolCalls、校验参数、执行函数以及回填工具结果的过程。开发者可以沿用这条接入思路，替换成自己的演示功能。QVAC 工具调用示例

这里最值得保留的是中间记录。把用户请求、工具名、实际参数、函数结果和最终回答一起保存到测试记录中，能分清问题出在哪一步。搜索结果正确、回答遗漏步骤，需要检查结果组织。工具名正确、查询词丢失关键词，则需要检查参数生成。

同一个工具也可以有不同的数据路径。演示手册保存在本机，搜索就可以在本机完成。接入天气查询时，应用还会访问外部服务。设计本地助手时，开发者应逐一列出工具会读取和访问的位置，按完整流程理解部署方式。

[配图建议：工具定义、调用参数、函数结果与最终回答依次展开，在每一步保留可核对记录 + 分层技术编辑图]

3. 权重文件很小，试用设置仍要核对

官方 GGUF 仓库提供三个文件。下面使用十进制 GB 表示下载文件大小，数值由本轮读取的官方文件目录核对。官方文件列表

文件大小与进程占用需要分别记录。 推理时还涉及上下文缓存、运行时缓冲区和应用自身的数据。给手机或笔记本做原型时，可以在模型加载、接收长请求、生成调用这几个阶段分别观察内存与耗时。

还有一个容易影响复现的设置。官方模型卡要求显式开启思考模式，下载模板在未开启时会走默认的非思考分支。试用前应核对 enable_thinking，并记录采样参数和输出上限。模型使用说明 发布模板

官方也比较了 GGUF 版本，但相关实验使用 H100 GPU 和 CUDA 版 llama-server。选择设备时，应在目标机器上测量首个调用等待、完整任务耗时与实际内存。量化格式和运行环境一起变化时，也要把引擎版本写入记录。GGUF 评估环境

中文任务还需要一组自己的表达。官方主要训练、测试和推荐语言为英语，中文出现在多语言指令遵循评估中。可以针对同一功能写出直接要求、口语省略和多轮补充三类中文输入，逐条查看工具选择与参数是否保持一致。官方语言说明

[配图建议：三个精度文件旁分别摆放下载量、运行内存与任务耗时记录，下方展示同一请求的三种中文表达 + 克制的部署信息图]

4. 从一个演示工具开始跑通

已有支持该模型的近期 llama.cpp 环境和 hf 命令后，可以按官方 GGUF 模型卡下载 Q8_0 文件，再启动支持工具调用的服务。下面摘录官方入口，运行前按自己的设备核对环境配置。官方运行说明

hf download qvac/BotPsy-0.8B-GGUFs botpsy-0.8b-q8_0.gguf --local-dir .
llama-server -m botpsy-0.8b-q8_0.gguf --jinja -c 32768 \
  --temp 0.3 --top-p 0.95 --top-k 20 --presence-penalty 1.5 \
  --chat-template-kwargs '{"enable_thinking": true}' --port 8080

--jinja 与工具感知模板的关系，也可在 llama.cpp 的函数调用文档中核对。接上服务后，给请求加入工具定义，再检查返回的工具调用结构。llama.cpp 函数调用文档

第一组任务可以只使用公开演示资料，围绕一个功能准备几种情况。

• 要求完整时，观察搜索工具和查询词是否正确。
• 缺少完成任务必需的信息时，观察助手能否继续澄清。
• 当前没有对应工具时，观察它怎样说明可用范围。
• 工具返回空结果时，检查回答是否如实使用这一结果。

同时核对调用内容与最终回答。 记录每个任务是否完成、重试次数、耗时和峰值占用，再决定是否扩展第二个工具。这样增加能力时，也保留了可以重复检查的起点。

[配图建议：演示资料旁排列完整请求、缺信息、无匹配工具和空结果四种测试输入 + 开发者工作台概念图]

总结，先让一件小事完整完成

BotPsy 为本地自然语言工具接口提供了新的开放权重选项。正在做低中难度助手原型的开发者，可以先接一个公开资料搜索工具，开启官方要求的推理设置，并记录从请求到结果的完整过程。今天先准备一组中文表达和异常输入，看看工具名、参数与回答能否同时符合预期。你的应用里，哪项已有功能最值得增加一句话操作入口？

[配图建议：一份完整任务记录连接用户指令、调用参数和实际结果，突出首个可重复的小任务 + 梅紫与浅绿极简编辑插画]

资料核查于 2026 年 11 月 12 日。本文依据官方博客、模型卡、文件目录、模板和运行文档编写，完成资料与配置阅读，尚未进行模型推理或设备性能实测。手册搜索与测试情境为编辑自拟。封面由内置图像工具原创生成，为概念插画。