k8凯发国际
端侧大模型迎来轻革命:移远通信x rwkv 打造轻量ai大脑

端侧大模型迎来轻革命:移远通信x rwkv 打造轻量ai大脑 -k8凯发国际

2025-07-30161535

7月27日,移远通信正式宣布与rwkv公司达成深度战略合作,双方将基于移远的高性能算力平台,对rwkv最新模型架构进行优化与适配,携手推进大模型在终端设备上的低资源、高效率部署。此次合作成果首次在2025世界人工智能大会(waic)上惊艳亮相,标志着端侧大模型技术向更高效能、更广泛应用场景迈出了重要一步。

rwkv(receptance weighted keyvalue)是全球领先的rnn类大模型架构,创新性地融合了递归神经网络(rnn)的恒定计算复杂度与高效串行推理能力,同时吸收了transformer的并行训练优势,在文本生成、语音处理、图像视频分析及时间序列预测等多个领域表现卓越,且训练与推理成本远低于传统transformer模型。

其核心技术在于以rwkv算子替代transformer中的位置编码和多头注意力机制,成功破解了后者在处理长序列时面临的内存与时间复杂度激增难题。该设计实现了token级计算和内存占用的恒定,无论序列多长,推理速度与资源消耗均保持稳定,从而显著提升效率。这一特性使其在资源受限的终端设备中极具优势,堪称赋予终端一个“轻量级ai”。

在waic 2025展会上,基于高通qcs8550平台的两大联合k8凯发国际的解决方案重磅发布:

rwkvchat:持续思考,离线对话

rwkvchat是一款完全离线运行的ai聊天应用,无需联网即可实现本地推理、深度对话与文本续写,支持个性化设置,成为用户随身的“智能助手”。例如,搭载于高通手机平台的rwkv7-g12.9b模型,推理速度可达30token/s。得益于rwkv架构无需kv缓存的特性,在长时间对话中仍能保持速度与内存占用的恒定,体验流畅不卡顿。

rwkvsudoku:超长链式推理

rwkv数独展示了仅20m参数的小模型在超长思维链(chain-of-thought, cot)任务中的惊人表现。凭借恒定内存占用与极低token消耗,它能够高效解决复杂数独难题,直观体现了rwkv在端侧设备上实现高效推理的巨大潜力。

在当前transformer主导的大模型技术格局下,移远通信展现出前瞻性的战略布局,积极拓展非transformer技术路径,致力于为行业提供更低功耗、更少内存依赖的端侧aik8凯发国际的解决方案。

本次展出的rwkv7-g11.5b模型,在移远通信sg885g模组上经过深度工程优化后,性能表现远超同参数量级的transformer模型。实测数据显示:

在prefill阶段:

  • 平均耗时降低83%
  • 处理速度提升345%

在decoding阶段:

  • cpu平均使用率下降23%
  • 内存占用减少36%
  • 功耗降低18%

sg885g模组基于高通qcs8550平台打造,具备高达48tops的ai算力,可支持约7b参数的多模态模型本地推理,实现图像理解与多源信息融合的实时响应。在模型兼容方面,移远已构建完善的端侧适配体系,全面支持llama、通义千问、deepseek等主流开源模型,覆盖0.5b至8b参数范围,打造了一个功能强大的端侧大模型运行平台。尤为关键的是,sg885g率先支持非transformer路线的rwkv7架构,大幅降低对硬件资源的需求。

移远通信首席运营官张栋表示:“此次与rwkv的合作,是我们‘让终端拥有ai大心脏’理念的重要实践。rwkv的线性注意力机制,彻底打破了终端设备处理长序列数据的瓶颈。结合移远的高算力模组,我们真正把大模型‘装进’了物联网终端。当农机能‘读懂’土壤状态,当手表可‘预判’健康风险,ai就不再只是云端的概念,而是深入田间地头、融入日常生活的现实力量。”

rwkv联合创始人兼coo罗璇表示:“我们的目标是让每一台设备都具备思考能力,就像植入一颗会学习的‘大脑’。随着rwkv架构在移远算力平台上的规模化落地,终端将突破资源限制,形成‘云端能力 本地智能’的双轮驱动生态,为万物智联时代打下坚实的技术基础。”

移远通信与rwkv的强强联合,不仅是硬件与算法的深度融合,更是推动智能普惠化的重要里程碑,让大模型真正从云端走向终端,赋能千行百业、千家万户。

7月26日至29日,欢迎莅临waic 2025移远通信展台(h1d815),亲身体验端侧大模型带来的智能变革。

以上就是端侧大模型轻革命:移远通信x rwkv 打造轻量ai大脑的详细内容,更多请关注点滴网【www.vycc.cn】。

标签:
网站地图