TensorFlow Lite 是什么：移动端推理框架的定位、边界与核心术语

TensorFlow Lite 是什么：移动端推理框架的定位、边界与核心术语

TensorFlow Lite（下文简称 TFLite）是 Google 面向移动端与嵌入式设备提供的轻量推理运行时。它把服务器上训练好的 TensorFlow / Keras 模型，转换成紧凑的 FlatBuffer 二进制（文件后缀 .tflite），再交给体积只有数百 KB 的解释器（Interpreter）在手机、开发板、嵌入式网关上执行。整条链路分成两半：训练仍然在服务器侧完成，端侧只保留推理——这是它与 TensorFlow 本体最本质的分工差别，也是选型时第一个要想清楚的问题。

它要解决的问题很具体：手机内存小、CPU 弱、没有独立显卡，而一个普通卷积网络若以原始格式加载，权重体积与运行时依赖会直接撑爆安装包。TFLite 用三件事把成本压下来：权重量化（FP32 压到 FP16 或 INT8）、算子裁剪（只保留推理必需的实现）、格式扁平化（FlatBuffer 可以直接映射内存读取，不必反序列化整张计算图）。

与相邻方案的差别

• TensorFlow 本体：训练推理齐全，依赖庞大、动态分配多，不适合端侧长期驻留；
• ONNX Runtime：跨框架的通用运行时，桌面与服务器端覆盖好，移动端也有包，但对极小的内存预算不如 TFLite 激进；
• NCNN：纯 C++ 无第三方依赖，Vulkan 路径更直接，模型转换走 ONNX 或 pnnx；
• PyTorch Mobile / ExecuTorch：PyTorch 生态的端侧方案，与 TorchScript 绑定紧密，量化工具链与 TFLite 不通用。

结论不是谁替代谁：训练栈是 TensorFlow / Keras，TFLite 阻力最小；训练栈是 PyTorch 且目标是 ARM Linux，或者需要更直接的 Vulkan 接入，NCNN 往往更顺手。

核心术语表