Google 发布 LiteRT.js：通过 WebGPU 在浏览器中运行 .tflite 模型，性能提升最高 60 倍

一句话看懂

Google 发布 LiteRT.js，将 .tflite 模型直接跑在浏览器中，利用 WebGPU 实现最高 60 倍加速，且推理数据不出设备。

详细发生了什么

2026 年 7 月 9 日，Google 正式发布 LiteRT.js，这是 LiteRT（原 TensorFlow Lite）的 JavaScript 绑定。它将 Google 的端侧推理引擎编译为 WebAssembly，让 .tflite 模型直接在浏览器中运行，无需服务器。推理完全在本地完成，带来隐私保护、零服务器成本和超低延迟。

LiteRT.js 并非新模型格式，而是将原生运行时编译为 WebAssembly 并暴露 JavaScript API。它支持三个后端：CPU 使用 XNNPACK（多线程、SIMD 优化），GPU 通过 WebGPU 运行 ML Drift，NPU 使用实验性的 WebNN API。注意：不支持部分委派，即一个模型不能同时使用 CPU 和 GPU；如果模型无法完全委派给所选加速器，则回退到 wasm 执行。

性能方面，Google 报告称 LiteRT.js 比其他 Web 运行时快 3 倍（针对经典视觉和音频模型），GPU/NPU 路径比自身 CPU 路径快 5–60 倍（针对实时对象跟踪、音频转录等任务）。测试环境为 2024 款 MacBook Pro M4。

一个被官方公告忽略的细节：LiteRT.js 采用手动内存管理，每个 Tensor 必须显式调用 .delete()，否则会泄漏设备内存。

中文圈视角

LiteRT.js 对中文开发者意味着几个关键点：

隐私合规优势：数据完全在本地处理，无需上传服务器，符合国内日益严格的数据安全法规（如《个人信息保护法》）。对于医疗影像、金融文档等敏感场景，浏览器端推理是理想方案。
国产替代对比：目前国内类似方案包括 WebLLM（基于 WebGPU 的 LLM 推理）和 Transformers.js（Hugging Face 的浏览器推理库）。LiteRT.js 的优势在于与 TensorFlow Lite 生态无缝衔接，已有大量 .tflite 模型可直接复用。但国产方案在中文 NLP 模型（如 ChatGLM、Qwen）的适配可能更及时。
实际应用场景：
- 在线教育：实时美颜、背景分割、语音识别全部在浏览器完成
- 电商：商品图片超分辨率、AR 试穿无需上传图片
- 办公：文档 OCR、表格识别本地化处理
门槛与限制：WebGPU 需要 Chrome 113+ 或 Edge 113+，国内用户需注意浏览器兼容性。WebNN 仍为实验性功能，实际可用加速器只有 GPU。手动内存管理对 JavaScript 开发者不友好，容易引发内存泄漏。
中文社区盲点：目前国内讨论多集中在服务端推理，浏览器端推理关注度低。LiteRT.js 可能推动“边缘 AI”在 Web 场景的普及，尤其是与 PWA 结合，实现离线 AI 应用。

几条值得记住的细节

性能数据：GPU/NPU 路径比 CPU 快 5–60 倍，但结果因设备而异（GPU、散热、驱动）。
模型转换：PyTorch 模型需通过 LiteRT Torch 导出，要求 torch.export.export 兼容，不支持动态维度。
内存管理：每个 Tensor 必须手动 .delete()，官方示例代码遗漏了这一步。
兼容性：WebGPU 是当前实用加速目标，WebNN 仍实验性，需启用 JSPI。
与 TensorFlow.js 共存：LiteRT.js 替代的是 TF.js Graph Models，预处理/后处理仍推荐使用 TensorFlow.js，两者可通过 @litertjs/tfjs-interop 互传 tensor。

一句话总结

LiteRT.js 让浏览器也能跑高性能 AI 模型，隐私好、成本低，但手动内存管理需要开发者格外小心。