Skip to content

本地模型 ​

本地模型在自己的电脑上完成推理。Lexora 提供两种接入方式,它们的安装与维护责任不同。

方式谁管理模型与引擎在哪里配置
本地模型插件插件提供发现、下载、资源准备与运行管理插件页面;可用模型进入相应用途的选择器
外部兼容 API你使用的外部模型服务「设置 → 模型服务 → 自定义 API」

通过插件准备模型 ​

  1. 按插件指南安装可信的本地模型插件,检查其版本、权限与平台说明。
  2. 在插件页面按对话、识图、语音或生图用途查找模型,核对来源、许可、文件体积与硬件需求。
  3. 分别准备模型文件和所需推理引擎。插件安装完成不等于模型已下载,引擎准备完成也不等于模型已加载。
  4. 确认模型可用并启用,再在任务、图像或语音设置中选择;先用一个小请求验证。
按用途查找模型;下载前核对插件、引擎与设备要求。查看原图
本地模型插件的发现页,可按对话、图片、语音与生图用途筛选模型
按用途查找模型;下载前核对插件、引擎与设备要求。

模型文件、加载参数与引擎由插件管理。插件停用、卸载或暂不可用时,相关模型也可能不可用,不会因此自动改用在线模型。

一个对话与生图实例 ​

例如用 Qwen3.5-9B + Z-Image 完成一次本地生图:前者理解需求并调用工具,后者在本机生成图片,结果在任务旁预览。

一次实际的本地对话与生图任务,生成文件在任务旁打开。查看原图
Qwen3.5-9B 的生图任务与右侧由 Z-Image 生成的小猫插画
一次实际的本地对话与生图任务,生成文件在任务旁打开。

这是一个实例,不是所有设备的推荐配置,也不表示 Qwen3.5-9B 自身负责生图。其他模型组合能否工作,取决于工具调用能力、插件绑定与实际引擎支持。

平台与资源限制 ​

  • 先看所装插件支持的操作系统、架构与后端,再看模型所需的内存、显存和磁盘空间;模型大小并不等于运行时内存占用。
  • 引擎、模型格式、量化版本、驱动与加速后端必须匹配。列表中能看到模型不代表当前设备能加载。
  • 不同平台的原生插件执行边界不同。Windows 与 macOS 的受监督原生推理以当前用户权限运行,进程监督不等于文件或网络沙箱。留意插件标注的实验性状态与支持范围,只启用可信插件。
  • 某个平台有实现或入口,不代表全部硬件、模型和加速方式都经过验证。以插件当前说明和本机测试为准。

外部服务的兼容 API ​

已有独立模型服务器时,由你按其说明安装、启动和加载模型:

  1. 确认服务已开放兼容 API。
  2. 添加「自定义 API」,填写实际协议、基础地址与所需认证。
  3. 同步或手动添加模型,检查启用状态并试发简短消息。

localhost 指运行 Lexora 的电脑;另一台电脑上的服务需使用可访问地址。不要为了连通而把无认证接口随意暴露到公网。完整连接步骤见连接模型。

数据与备份 ​

下载模型和引擎通常需要网络;对应本地推理在本机进行,但搜索、远程 MCP、在线模型与云备份仍可能联网。

插件管理的推理资源与普通插件设置分开保存。选择备份“插件”不包含托管推理资源中的模型权重和引擎;外部模型服务的数据也不在 Lexora 备份内。迁移前单独保存模型来源、版本、设置和必要文件,详见数据与备份。

加载失败时先查看具体错误,不要直接清空模型库。排查顺序见本地引擎问题。