Cerebras发布WSE-3：采用5nm工艺，4万亿个晶体管，90万个AI核心

Cerebras宣布，推出Wafer Scale Engine 3（WSE-3），这是世界上尺寸最大的单颗裸片，几乎等于一块12英寸晶圆。其专为训练业界最大的AI模型而打造，在相同的功耗和价格下，性能是现有最快AI芯片WSE-2的两倍。WSE-3将用于Cerebras CS-3 AI超级计算机，通过2048个节点提供高达256 exaFLOPs的计算性能。

WSE-3的主要规格：

• 4万亿个晶体管

• 900,000个AI核心

• 44GB的片上SRAM缓存

• 台积电5nm工艺制造

• 可选1.5TB / 12TB / 1.2PB三种内存容量

• 125 petaflops的峰值AI算力

• 可训练多达24万亿个参数的人工智能模型

• 可达2048个CS-3系统的集群规模

Cerebras表示，WSE-3专为满足企业和超大规模需求而构建，旨在训练比GPT-4和Gemini大10倍的下一代前沿模型，24万亿个参数模型可以存储在单个逻辑内存空间中，无需分区或重构，从而大大简化了训练工作流程，提高了开发人员的工作效率。

最新的Cerebras软件框架为PyTorch 2.0和最新的AI模型和技术提供原生支持，比如多模态模型、视觉转换器、专家混合和扩散等，仍然是唯一一个为动态和非结构化稀疏性提供原生硬件加速的平台，可以将训练速度提高8倍。