RISC-V 张量单元声称可增强人工智能应用
出处:维库电子市场网 发布于:2023-10-25 14:02:29
机器学习模型(例如 LLaMa-2 或 ChatGPT)包含数十亿个参数,需要每秒数万亿次操作的大量计算能力。这是因为大型语言模型 (LLM) 中的大部分计算都是构建为完全连接的层,可以通过矩阵乘法有效地实现。
Semidynamics 推出的张量单元提供了专门为矩阵乘法工作负载量身定制的硬件。它通过利用矢量单元功能以及该公司的 Gazzillion 技术从内存中快速获取所需的数据来实现这一点。矢量单元通过 Gazzillion 技术不断馈送数据,确保没有数据丢失。
向量单元包含多个向量(大致相当于 GPU ),它们并行执行多个计算。每个矢量都具有能够执行加法、减法、融合乘加、除法、平方根和逻辑运算的运算单元。
图 1 张量单元针对 64 位 RISC-V 内核进行了优化。资料半动力学
张量单元构建在公司的矢量处理单元之上,利用现有的矢量寄存器来存储矩阵(见图1)。因此,它可用于需要矩阵乘法功能的层。此外,Tensor Unit 可以将 Vector Unit 用于激活函数层,这相对于通常难以处理激活层的独立 NPU 来说是一个显着的改进。
Semidynamics 创始人兼执行官 Roger Espasa 表示,虽然其他解决方案依靠难以编程的直接内存访问 (DMA) 来解决这个问题,但他公司的解决方案将 Tensor Unit 无缝集成到其缓存一致性子系统中,开辟了一个新的解决方案。人工智能软件编程简单的时代。
此外,张量单元使用向量寄存器来存储其数据,并且不包含新的、架构上可见的状态。因此,它可以在任何支持 RISC-V 矢量的 Linux 下无缝工作,无需任何更改。
图 2这是包含 Atrevido-423 RISC-V 内核、Gazzillion 单元、向量单元和张量单元的整体整体。资料半动力学上一篇:平板电视机的应用
下一篇:电机逆变器:降低电器功耗
版权与免责声明
凡本网注明“出处:维库电子市场网”的所有作品,版权均属于维库电子市场网,转载请必须注明维库电子市场网,https://www.dzsc.com,违反者本网将追究相关法律责任。
本网转载并注明自其它出处的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品出处,并自负版权等法律责任。
如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。
- HMI的基本类型是什么?2024/3/2 17:15:46
- GaN FET 如何成为音响发烧友的首选技术2023/12/28 17:29:50
- TI - 利用升压转换器延长电池使用寿命2023/11/10 11:17:11
- 电机逆变器:降低电器功耗2023/10/27 16:45:56
- 平板电视机的应用2023/10/18 16:28:14
- 英特尔数据存储如何操作和实现
- 什么是微动开关_微动开关有什么用_微动开关使用方法
- VCC,VDD,VEE,VSS在电源原理图中有什么区别?
- 低压配电系统设计规范_低压配电系统设计注意事项
- xEV 主逆变器电源模块中第四代 SiC MOSFET 的短路测试
- 光耦详细应用教程
- 定义绝缘耐久性评估的电压脉冲测试要求
- 采用沟槽MOS结构,使存在权衡关系的VF和IR相比以往产品得到显著改善 ROHM推出实现业界超快trr的100V耐压SBD“YQ系列”
- NOVOSENSE - 纳芯微推出车规级温湿度传感器NSHT30-Q1,助力汽车智能化发展
- Keysight - EV 电池设计创新:扩大续航里程、延长电池寿命