跳到主内容
快讯直播
AI智模界
AI 词典

Foundation Models Framework:系统自带的小模型,App 直接调用

一句话定义:Foundation Models Framework 是苹果把系统内置的端侧基础模型(Foundation Model)封装成的一套开发者接口,App 只要调用这套接口,就能在没有网络、也没有自带模型文件的情况下做摘要、信息抽取和轻量对话。

它解决了什么问题

过去想在 App 里加个 AI 功能,通常只有两条路。一条是把数据发到云端大模型 API:效果最好,但要联网、要按调用量付费,而且用户的文字会离开这台设备。另一条是自己带一个模型:把几亿甚至几十亿参数的开源模型塞进安装包,于是包体积涨几百兆,内存和耗电也难以控制,还要自己处理加载和调度。

这套框架相当于在两者之间开辟第三条路:系统里已经预置了一个十亿参数级别的小模型,常驻在设备上,开发者通过 Swift 接口直接调用,异步返回结果。可以把它理解成小区通了自来水:以前要么叫外卖(云端),要么自己在家挖井(自带模型),现在拧开水龙头就有水,而且水不会流出你家。

具体能力

  • 文本处理:总结长文、改写语气、分类打标、抽取姓名、日期、金额等字段。
  • 结构化输出:用声明式的方式描述你想要的数据结构,模型按这个结构返回,而不是一段需要再用正则去解析的自由文本。这一点对工程实现最关键。
  • 工具调用:模型判断需要外部信息时,可以回调你写的函数,比如查通讯录,再把结果融进回答。
  • 流式输出与多轮对话:结果可以逐字吐出来,也可以维护一段会话状态。

它的定位是“够用的小模型”,并非“什么都能干”。复杂推理、长文档深度分析、需要大量世界知识的问答,它都不擅长。产品的常见做法是:简单的、涉及隐私的任务留在端侧,困难的再交给云端。

与相邻概念的区别

Foundation Models Framework云端大模型 API自带开源小模型
是否联网不需要必须不需要
数据去向不出设备上传到服务商不出设备
安装包体积几乎不增加几乎不增加增加几百兆
能力上限中等,受端侧算力约束高取决于所选模型
工程成本调系统接口调 HTTP 接口 + 密钥管理自己做量化、推理、内存管理

还要和 Core ML 区分开:Core ML 是“把你自己训练或转换的模型跑在设备上”的通用推理框架,模型是你的;而 Foundation Models Framework 用的是苹果自己的模型,你只是调用方。

对两类人的意义

对从业者,这是一个新的产品设计约束条件:它把“隐私敏感但逻辑简单”的功能从“不敢做”变成“可以做”,比如在本地处理会议记录、邮件、体检报告摘要,因为这些场景用户最在意的就是数据不外传。同时它也逼着团队想清楚哪些任务值得上云,哪些留在端上就够了。

对普通职场人,最直接的体感是:飞行模式下,某些 App 的总结和整理功能依然能用;而且你可以合理地期待,那些贴身的文字没有被传到某台服务器上。具体的机型支持范围、接口能力和使用条款,以苹果官方开发者文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。