6月13日开yun体育网，2024上海国际镶嵌式伸开幕，在这次展会时间芯原股份召开了主题为“从云到端，AI简之如走”的“芯原AI专题时间探究会”。芯原股份先容了其AI居品线布局及面向AIGC的芯片贪图平台和软件处分决策。

连年来，东说念主工智能（AI）可谓黑白常的火爆，迥殊是跟着生成式AI在云霄的发展并参加终局侧，鞭策了关于各种AI芯片需求的爆发。算作国产半导体IP大厂，芯原领有丰富的与AI干系的NPU、GPU、ISP、VPU IP居品线，况且获得了极为凡俗应用。

据芯原股份实行副总裁、IP业绩部总司理戴伟先容，在往常七年里，芯原在镶嵌式AI/NPU范畴群众最初，其NPU IP已被72家客户用于128款AI芯片当中，主要应用于物联网、可穿着建筑、智谋电视、智谋家居、安防监控、处事器、汽车电子、智妙手机、平板电脑、智谋医疗等10个阛阓范畴。当今，集成了芯原NPU IP的AI类芯片已在群众界限内出货越过1亿颗。

除了专用的AI加快的NPU IP以外，在当今被凡俗应用于通用AI加快的GPU方面，芯原也领有一系列自研的GPU IP。芯原在GPU范畴也依然种植了20多年，领有70项海外专利，集成了其GPU IP的芯片已在群众累计出货近20亿颗，并参加了近千万辆汽车。

在当今生成式东说念主工智能大模子在云霄及边际端茂盛发展的趋势之下，芯原凭证当今阛阓的需求，基于本人NPU IP可伸缩可膨胀的特色，已发展了障翳从高性能云计算到低功耗边际计算的生成式AI处分决策，包括特意面向边际端大模子的NPU IP——VIP9X00以及AI-GPU IP，以及面向云霄大模子的Tensor Core GPU IP——CCTC-MP。

芯原股份NPU IP研发总监查凯南暗示，端侧AI性能很要紧，然则功耗、面积关于端侧的IP更要紧，一定要有比拟好的PPA。因为端侧主如果要作念推理，也要有一些浮点运算的才略，更关心的是低比特的量化及压缩才略。而在云霄一定是高性能、迥殊高的TOPS，它要八成去作念西席和推理。而且不光是单卡的西席推理，还要作念分别式的推理西席，需要多卡多机的才略，是以它需要的更多是通用的GPGPU的编程模子，需要比拟高的浮点跟定点算力的配比，关于高精度是比拟要紧的，然后还要八成去接入到大的生态当中去。

在往常两年当中，Transformer基本依然造成一个主导的模子架构，不单是是在大言语模子上头，在视觉、语音、Pixel等，齐有比拟好的施展。联系于传统的卷积神经网络，Transformer扫数这个词的成果进步是比拟领会的。因此，在芯原最新的NPU架构里面也特意对Transformer作念了定制优化，包括4bit、8bit、16×4、16×8等。八成去把权重作念4bit和8bit的量化压缩，八成大大减少带宽的浮滥。关于通用的矩阵运算，GEMM/GEMV，大模子需要的Transformer里面需要的大宗卷积运算，以及在Transformer里面有不同的Vector径直构建到里面的带宽。芯原针对Transformer干系的网络性能进步了10倍。

据查凯南先容，芯原的端侧NPU八成好意思满48TOPS的算力，八成赞助在终局侧的大模子运转。比如在Stable Diffusion 1.5模子下，芯原的NPU不错在2秒内进行20步推理；在LLaMA2 7B模子下，芯原的NPU八成在1秒内生生成20个Token。

当今，芯原股份的端侧NPU IP依然不错赞助智妙手机、AI PC、智能汽车等边际建筑上的大模子的运转。

同期芯原基于自研的NPU IP和ISP IP等其他丰富的处理器IP储备，还推出了一系列立异的AI-ISP、AI-GPU等子系统，以应付东说念主工智能不停发展的应用需求。

据先容，芯原最新的面向边际和云霄大模子提供优化的图像数据的AI ISP芯片在9个月内就完成了从开案到流片，软件SDK在流片前就完成了扫数功能考证。该芯片基于台积电N6制程，集成了高性能的RISC-V内核，领有邃密的PPA，模拟待机功耗低于4mW，AI增强拍照功耗也低于3.5W。

另外，在视频处理方面，基于芯原AI VPU（视频处理器）IP的第一代视频转码加快处分决策，在提供传统高端CPU 6倍转码才略的同期，功耗仅为其1/13。这一立异时间已成效应用于群众头部芯片公司定制的基于5nm工艺的媒体加快器芯片，并已参加量产阶段。

为便于开垦者关于多样大模子的部署以及多样AI应用软件的开垦，芯原也基于我方的AI-Computing IP居品线推出了配套的AI-Computing软件框架。

“无论是端侧照旧云侧，扫数这个词芯原AI-Computing软件齐是通用的软件栈。应用层有框架上头比拟赞助PyTorch、Transformer。特意针对大模子的，咱们会选拔去赞助VLLM的框架。再往下走有通用的算子加快库及运算图加快库、以及多核间通讯库，底层会赞助有按序的OpenCL、OpenVX，编译器及驱动。扫数这个词芯原的推理器具链，是芯原自研不错通过器具链径直导入扫数类型框架的，里面自嵌一些量化的功能、不错去径直生成一个迥殊易于部署的Generate Binary。不错赞助微软的ONNX Runtime，本年10月还会接入OpenAI的Triton。”查凯南先容说念。

除了前边说起的与AI干系的NPU、GPU IP、VPU IP、ISP IP以外，芯原还领有视频/语音DSP IP、线路处理器IP，以及1,500多个数模搀杂IP和射频IP，依然处事了近400家IP授权客户，不错赞助客户的各种的AI SoC的贪图。

此外，芯原还领有一站式的贪图处事平台，每年流片30-50颗芯片，累计出货了10000片14nm FinFET晶圆，近30000片10nm FinFET晶圆。芯原在2018年就完成了群众首批7nm EUV芯片流片一次成效，况且已有5nm SoC一次流片成效，多个一站式处事名目正在实行。

据芯原股份高等副总裁、定制芯片平台业绩部总司理汪志伟先容，芯原的SiPaaS系统级芯片贪图平台既不错自恃数据中心条款的高性能AIGC芯片的贪图需求，基于Chiplet构建云霄高性能AIGC决策；也八成自恃基于Chiplet时间的下一代可膨胀高性能自动驾驶芯片贪图需求，期骗超高算力在边际端运转大模子。

同期，芯原还提供了完满的软件处分决策，不错自恃推理、西席和数据通讯需求。

在这次的2024上海国际镶嵌式展上，芯原也展示了集成芯原神经网络处理器（NPU）IP的新一代8K电视及最初的智能相机；集成芯原视频处理器（VPU）IP的新一代无东说念主机；内嵌芯原图形处理器（GPU）IP和线路处理器IP的智妙腕表及AR眼镜；内嵌芯原IP的智谋家居建筑等；基于芯原GPGPU IP和NPU IP的蓝洋智加快卡的高性能AI PC居品；基于芯原双通说念图像信号处理器（ISP）IP的银牛视觉AI处理器等；芯原第二代数据中心视频转码平台处分决策等。

剪辑：芯智讯-浪客剑开yun体育网