端侧推理引擎
自研图执行器与算子融合,KV Cache 分块复用;ARM CPU / GPU / NPU 多后端统一调度。
戽(hù),古时引水灌田的器具。以戽斗接力,把低处的水一斗一斗戽向高处。
云端的大模型像一条大河,能力丰沛,却隔着一道堤坝:网络延迟、流量成本、数据出境与隐私合规。 我们做的事,正是做那只戽斗 —— 把模型的智能,从云端的河里,戽进每一台握在掌心的设备。
名字里的「鱼」是水中的生灵,也是端侧设备:小、快、灵活,在自己的水域里游动。 戽鱼,即为掌上设备引来模型之水。
从算子、权重、内存到调度,逐层压缩「大模型」与「手机」之间的距离。
自研图执行器与算子融合,KV Cache 分块复用;ARM CPU / GPU / NPU 多后端统一调度。
2/3/4 bit 混合精度与分组量化,权重离线打包、运行时反量化,兼顾体积、速度与精度。
权重按需分页加载、内存峰值预算控制;结合温度与电量的动态降档策略,长时间对话不烫手。
文本、视觉与语音编码器在端侧协同运行,支持拍照问答、截图理解与离线语音交互。
本地工具调用、结构化输出与设备能力编排;结合端侧向量检索,构建私有知识库问答。
模型包分片与断点续传、按机型灰度、热更新与版本回滚,App 内即可完成模型交付。
面向 Android / iOS 的端侧推理 SDK,提供流式生成、多轮对话、结构化输出与多模态接口,几行代码接入。
从原始权重到可分发模型包的完整流水线:量化校准、算子适配、体积评估与机型兼容测试。
在设备内运行的 Agent 框架:意图路由、工具调用、本地知识库与记忆,全链路离线。
系统级 AI 助手在飞行模式、弱网与地下车库等场景持续可用。
医疗问诊记录、法律与金融材料不出设备,满足数据合规与最小化要求。
眼镜、耳机、车机、机器人等以低功耗方式获得语言与视觉理解能力。
无网络环境下的巡检手册问答、设备故障判断与语音记录。
广州戽鱼科技有限公司(HUYU)成立于广州,专注手机侧端大模型部署与移动 AI 应用开发。 我们相信:下一代智能应用的默认形态不在云端,而在用户的口袋里。
团队聚焦推理引擎、模型压缩与端侧 Agent 三条技术主线,为手机厂商、行业客户与开发者提供从模型适配到应用落地的完整能力。
| 公司名称 | 广州戽鱼科技有限公司 |
|---|---|
| 英文名称 | GUANGZHOU HUYU TECHNOLOGY CO., LTD. |
| 主营业务 | 手机侧端大模型部署 / 移动 AI 应用开发 |
| 品牌 | HUYU |
| 所在地 | 中国 · 广州 |
| 官网 | localai.mobi |