Thinking Machines发布Inkling Small:小模型高效推理,性能超越大模型
前OpenAI CTO Mira Murati创立的Thinking Machines推出开源权重推理模型Inkling Small,体积不到Inkling三分之一,却在多项编程和推理基准上表现更优。本文解析其技术亮点、对中文开发者的实用价值及国产模型对比。
一句话看懂
前OpenAI CTO Mira Murati创立的Thinking Machines发布开源权重推理模型Inkling Small,体积不足Inkling三分之一,却在编程和推理基准上超越前者。
详细发生了什么
Thinking Machines是前OpenAI CTO Mira Murati创立的AI实验室,最近发布了第二款模型Inkling Small。跟首款模型Inkling相比,Inkling Small的参数量不到前者的三分之一,但在多项coding和reasoning基准测试中表现更优。这个结果再次印证了AI行业“小模型高效化”的趋势——通过优化训练数据和架构设计,较小的模型也能在特定任务上达到甚至超越大模型的表现。
Inkling Small采用open-weights策略,也就是公开模型权重,允许开发者自由下载、微调和商用。这延续了Thinking Machines推动AI民主化的理念,也让中小团队和个人开发者能基于该模型构建应用,不用依赖昂贵的API服务。目前,Inkling Small的具体参数规模和训练细节还没完全公开,但官方强调它在效率上的提升明显,意味着更低的推理成本和更快的响应速度。
中文圈视角
对中文开发者来说,Inkling Small的发布有多重意义。首先,open-weights模式意味着可以本地部署,规避数据出境和合规风险,特别适合对数据安全敏感的政企和金融场景。其次,跟国产模型如DeepSeek、Kimi相比,Inkling Small在编程和推理能力上的表现提供了新选择——国内开发者可以在Hugging Face或ModelScope上找到这个模型,结合vLLM等推理框架进行部署。
值得注意的是,Inkling Small的体积优势让它更适合边缘设备和实时应用,比如代码补全、智能客服等场景。中文用户想体验的话,得注意模型对中文的支持程度,目前官方没明确中文优化细节,但基于它的通用推理能力,预计可以通过fine-tuning适配中文任务。另外,国内已经有类似思路的模型(比如Qwen系列的小尺寸版本),Inkling Small的加入会加剧这个赛道的竞争,最终受益的是开发者。
几条值得记住的细节
- Inkling Small的参数量不到Inkling的三分之一,但基准测试表现更优。
- 模型采用open-weights许可,允许自由下载、微调和商用。
- 在coding和reasoning基准上超越Inkling,具体榜单未完全披露。
- 由前OpenAI CTO Mira Murati创立,团队背景深厚。
- 适合本地部署,推理成本更低,响应更快。
一句话总结
Inkling Small证明小模型也能高效能,中文开发者可低成本本地部署,值得关注。