人工智能 / ARTICLE

PeerCompute:浏览器里的对等模型托管与推理

PeerCompute 在浏览器中组合 libp2p、WebGPU 与 IPFS,支持模型存储、对等推理、持久化代理和多人世界。已有多款 GGUF 与 ONNX 模型通过实际生成测试,部分大型模型的全浏览器传输仍未验证。

浏览器成为模型宿主

PeerCompute 在浏览器内组合 libp2p、WebGPU 和 JavaScript worker。NodeKernel 协调 NetworkManager 的传输、StateManager 的持久化与 ComputeManager 拥有的 JS/WASM/WebGPU worker。模型工件以 IPFS/UnixFS 内容寻址,校验后存入 IndexedDB。一个浏览器可以保留模型文件、向对等端提供文件,并为另一个玩家运行推理,对方无需下载模型。模型窗口同时提供已保存模型库、Hugging Face 搜索、过滤和兼容性检查;中断的导入会复用已完成文件与部分下载检查点。

聊天、代理与世界

聊天界面支持文本输入、粘贴或拖放图片,按住 Talk 并松开即可提交语音。默认 Mixed 路由优先选择已加载的本地模型,否则使用可用对等端;Local only 可阻止远程分发。共享存储文件与托管推理是分开的控制项。控制台是可安装 PWA,带离线应用外壳。持久化通用代理把身份、指令、目标、上下文和有界对话历史保存在私有 IndexedDB 记录中,支持暂停/恢复、取消、导出和删除。CubeChat 与 EarthGrid 复用同一代理、模型和语音基础。

已通过测试的模型

内置 worker 覆盖 Transformers.js ONNX 文本/视觉、wllama/llama.cpp GGUF 文本、ONNX 扩散和独立语音专家。在 Chrome155/RTX5060Ti 上,Qwen3-0.6B q4、SmolVLM 256M/500M q4 和多模态 Qwen3.5-2B q4 均通过生成、取消、卸载以及外部模型请求被阻止时的浏览器重启测试。精确的 Tsotchke-Corporation/Qwen3.8-27B-GeoRefine-D14-abl-GGUF 已编目用于存储、共享和 GGUF 文本推理;其 CLI 导入验证并固定全部 11 个文件(14.20 GB)。该 27B 模型在 RTX5060Ti16GB 上通过文本生成、算术和热重用,使用 56 GPU 层、512 上下文和 64 batch,加载耗时 143.3 秒。完整 14GB 浏览器对等传输和浏览器持久化仍属未验证门槛。DreamShaper 8 LCM 与 SD-Turbo 通过托管 worker 生成测试;无 GPU 浏览器通过加密 WebRTC 接收匹配的 512×512 像素,无需下载权重或启动 worker。测试机器上热远程请求约为 DreamShaper 1.7 秒、SD-Turbo 2.1 秒。

边界与计划中的工作

模型路由目前为每个请求选择一个有能力的主机,不会把单个模型的张量拆分到多个对等端。学习式路由、经同意的代理迁移与克隆、自主训练、神经运动和可进化 3D 身体仍处于计划阶段。2026年11月8日的聊天控制发布通过 193 个聚焦用例、完整的 15 个演示构建,以及公开的模型控制台/CubeChat/EarthGrid/概览检查。这些检查限定该版本 UI 与集成范围,不代表每台设备上的每个模型。内存数字是规划估计,不是可用 VRAM 测量。浏览器存储限定在精确 origin,包括端口。

END
反馈