本地推理
-
MacBook本地跑284B大模型！Redis之父开源神器，KV缓存磁盘化颠覆传统
01 让你的 MacBook 也能本地运行 DeepSeek V4 作为 Redis 的缔造者，antirez 在开源社区堪称传奇。 最近，他带来了一个新项目——ds4。上线仅仅 4 天，便收获了超过 7000 个 Star。 ds4 是一个专为 DeepSeek V4 Flash 打造的本地推理引擎，采用 C 语言编写，并针对 Apple Metal 进行…
-
Redis之父antirez专为DeepSeek V4 Flash打造Mac本地推理引擎，速度惊人
DeepSeek V4发布仅两周，开源社区已经涌现出首批原生基础设施项目。 这不是那种在现有框架上“套壳”的小修小补——不是通用的GGUF加载器，不是llama.cpp的封装，甚至不支持其他任何模型。 它只做一件事： 让DeepSeek V4 Flash在Mac上跑到极致。 这条“专属高速公路”名叫ds4.c。而打造它的人，分量非同寻常—— Salvator…
-
谷歌Gemma 4引爆手机AI革命：口袋里的Gemini平替，40 token/秒的魔法速度
谷歌近期开源的全新模型 Gemma 4，为行业带来了显著影响。 该模型采用了与 Gemini 3 同源的技术架构，支持原生全模态处理，并在 Arena AI 排行榜上位列全球第三。其提供了多个型号，其中较小的 E2B（有效参数 2.3B）和 E4B（有效参数 4.5B）版本可直接部署于手机端本地运行，并具备 128K 的上下文窗口，堪称“口袋中的 Gemin…
-
突破硬件限制：ONNX Runtime GenAI实现LLM本地CPU推理新范式
有时小模型就足够了，而且你并不总是需要 GPU。将一些“工具型”任务直接跑在 CPU 上有很多理由：有时你就是没有 GPU；或者你希望数据留在本地；又或者你只是想保持架构简单。 这就是 ONNX Runtime GenAI 的用武之地。它让你可以在想要的地方运行模型：有 GPU 就用 GPU，没有就跑 CPU，而且无需改一行代码。本文将展示它如何工作。所有示…
-
RunAnywhere：让大模型在手机端实现完全本地化推理，隐私与性能兼得
今天介绍一个可以在手机本地运行的大模型项目。基于它，开发者成功在iPhone 16 Pro Max上部署了Llama 3.2 3B模型，实现了端到端的本地工具调用。 完全本地化的AI处理 这个项目最大的亮点是所有AI处理都在设备本地完成。LLM推理、工具调用决策、响应解析全部在iPhone上进行，只有在需要外部数据时才调用Foursquare API获取餐厅…
-
从AI作曲到智能创作中心：酷睿Ultra如何重塑PC的AI生产力边界
在数字内容创作日益普及的今天，AI技术正以前所未有的深度渗透到创意生产的各个环节。近期，QQ音乐推出的“AI作歌”功能，凭借其简洁的操作流程和本地化推理能力，引发了广泛关注。用户只需点击界面中的AI作歌按钮，输入创作灵感并选择曲风，系统便能在几分钟内生成包含完整结构的歌词与旋律。这一功能不仅降低了音乐创作的门槛，更揭示了AI PC作为新一代计算平台在重塑个人…
