过去一年半,边缘 AI 从营销概念变成了工程现实。
三个趋势同时到位:量化技术成熟(4-bit 模型和全精度几乎没差别)、小模型质量飞跃(2026 年 8B 超过 2024 年 70B)、专用硬件上架(Pi AI HAT+ 2 的 40 TOPS 只要 130 美元)。
结果是 10 美元的树莓派 4 配合 ZeroClaw 就能跑有用的 AI 智能体。Pi 5 + HAT+ 2 跑 8B 模型 12-15 tok/s 过了对话门槛。4B 模型 22-28 tok/s 响应几乎无感。
运行时在边缘设备上比你想象的更重要。OpenClaw 光启动就要 200-400MB 内存,在 4GB Pi 上直接吃掉十分之一。Node.js 的 GC 停顿造成可见卡顿。ZeroClaw 二进制 3.4MB、空闲 5MB、冷启动 10ms、没有 GC——在边缘硬件上这是流畅和卡顿的分界线。
语音到行动的管道是边缘 AI 的杀手级应用:麦克风→Whisper 转写→小模型意图理解→TTS 播放。全程本地、延迟不到 2 秒、语音不发给任何服务器。
到 2027 年初,量化 8B 将匹配今天的量化 30B。Pi 6 大概率出厂带 NPU。边缘 AI 是正经部署目标,不是退而求其次。