端侧AI

端侧AI（On-device AI）是指人工智能技术能够直接在移动设备上处理数据，而无需连接到服务器或云。这种技术带来的好处包括低延迟、高安全性和高灵活性，即使设备没有连接到网络，也可以随时使用。

端侧AI的应用场景

视觉类应用：如AR应用、游戏，通过AI提供理解视觉信息的能力，实现虚实结合的交互，带来更沉浸式的购物、互动体验。

互动游戏：例如通过摄像头实时捕捉图片，调用分类模型进行分类，实现游戏互动。

端侧重排：通过实时的用户意识识别，对服务器推荐算法下发的feeds流进行重新排列，做出更精准的内容推荐。

智能Push：通过端侧感知用户状态，决策是否需要向用户实施干预，推送Push，选取合适的时机主动触达用户。

端侧AI的最新进展

模型动态：例如SD 3.5 Medium开源发布，拥有25亿个参数，能够在大多数消费级GPU上运行；Meta开源MobileLLM，包括不同规模的模型检查点，在零样本任务中表现优异；Hugging Face开源SmolLM2，进一步推动了端侧AI模型的发展。

技术爆发：端侧AI的软硬件基础逐步夯实，软件层面已实现对大模型进行量化、剪枝、蒸馏，轻量化、小型化以适应移动端场景；硬件层面，端侧AI芯片性能快速提升。

产业链推动：端侧AI芯片厂商、中游模组及软件厂商、下游终端厂商的产业链上下游正积极推动AI在端侧部署落地。