本地模型
本地模型在自己的电脑上完成推理。Lexora 提供两种接入方式,它们的安装与维护责任不同。
| 方式 | 谁管理模型与引擎 | 在哪里配置 |
|---|---|---|
| 本地模型插件 | 插件提供发现、下载、资源准备与运行管理 | 插件页面;可用模型进入相应用途的选择器 |
| 外部兼容 API | 你使用的外部模型服务 | 「设置 → 模型服务 → 自定义 API」 |
通过插件准备模型
- 按插件指南安装可信的本地模型插件,检查其版本、权限与平台说明。
- 在插件页面按对话、识图、语音或生图用途查找模型,核对来源、许可、文件体积与硬件需求。
- 分别准备模型文件和所需推理引擎。插件安装完成不等于模型已下载,引擎准备完成也不等于模型已加载。
- 确认模型可用并启用,再在任务、图像或语音设置中选择;先用一个小请求验证。
模型文件、加载参数与引擎由插件管理。插件停用、卸载或暂不可用时,相关模型也可能不可用,不会因此自动改用在线模型。
一个对话与生图实例
例如用 Qwen3.5-9B + Z-Image 完成一次本地生图:前者理解需求并调用工具,后者在本机生成图片,结果在任务旁预览。
这是一个实例,不是所有设备的推荐配置,也不表示 Qwen3.5-9B 自身负责生图。其他模型组合能否工作,取决于工具调用能力、插件绑定与实际引擎支持。
平台与资源限制
- 先看所装插件支持的操作系统、架构与后端,再看模型所需的内存、显存和磁盘空间;模型大小并不等于运行时内存占用。
- 引擎、模型格式、量化版本、驱动与加速后端必须匹配。列表中能看到模型不代表当前设备能加载。
- 不同平台的原生插件执行边界不同。Windows 与 macOS 的受监督原生推理以当前用户权限运行,进程监督不等于文件或网络沙箱。留意插件标注的实验性状态与支持范围,只启用可信插件。
- 某个平台有实现或入口,不代表全部硬件、模型和加速方式都经过验证。以插件当前说明和本机测试为准。
外部服务的兼容 API
已有独立模型服务器时,由你按其说明安装、启动和加载模型:
- 确认服务已开放兼容 API。
- 添加「自定义 API」,填写实际协议、基础地址与所需认证。
- 同步或手动添加模型,检查启用状态并试发简短消息。
localhost 指运行 Lexora 的电脑;另一台电脑上的服务需使用可访问地址。不要为了连通而把无认证接口随意暴露到公网。完整连接步骤见连接模型。
数据与备份
下载模型和引擎通常需要网络;对应本地推理在本机进行,但搜索、远程 MCP、在线模型与云备份仍可能联网。
插件管理的推理资源与普通插件设置分开保存。选择备份“插件”不包含托管推理资源中的模型权重和引擎;外部模型服务的数据也不在 Lexora 备份内。迁移前单独保存模型来源、版本、设置和必要文件,详见数据与备份。
加载失败时先查看具体错误,不要直接清空模型库。排查顺序见本地引擎问题。