贴子标题/内容
能不能通过模拟脑细胞来制造人工智能?
<p>猫头鹰的大脑约有<strong>11.5亿个神经元</strong>、<strong>1280亿个突触</strong>。</p><p>全部塞进一个微波炉大小的机箱——就成了<strong>世界上最大的神经拟态系统</strong>,<strong>英特尔Hala Point</strong>。</p><p><img src="https://pic3.zhimg.com/v2-7a90da3112d54a762dfbaa93100b198c_1440w.jpg" alt="" data-href="" style=""/></p><p>不过别担心,期间没有任何猫头鹰受到伤害,是用的<strong>硅芯片模拟生物神经元</strong>。</p><p>这种芯片效果如何?一系列数据说话:</p><ul><li>执行AI推理负载和处理优化问题时,速度比常规CPU和GPU架构<strong>快50倍</strong>,同时<strong>能耗降低了100倍</strong>。</li><li>运行传统深度神经网络时,INT8精度运算的能效比达到了<strong>15 TOPS/W</strong>。<br>(英伟达尚未发货的最新GB200 NVL72在INT8精度只有6 TOPS/W,当前的DGX H100系统约为3.1 TOPS/W)</li><li>用于仿生脉冲神经网络模型时,能够以<strong>比人脑快20倍的实时速度</strong>运行其全部11.5亿个神经元。</li><li>在运行神经元数量较低的情况下,速度可<strong>比人脑快200倍</strong>。</li></ul><p>……</p><p>总之,这不是传统意义上拼峰值算力的那种AI芯片,<strong>能效比高</strong>才是Hala Point系统最大的优势。</p><p>据统计,仅训练GPT-3就耗电10GWh,相当于欧洲6000人一年的用电量,而随着AI应用的普及,推理能耗更是难以估量。</p><p>反观人脑,功耗不到20W。</p><p>那么,如何让芯片模拟生物大脑的运作方式,正是<strong>神经拟态计算</strong>的核心理念。</p><p>来自英特尔实验室的Hala Point规模已接近人脑的1/80,让这一构想离现实更近了一步。</p><p><img src="https://pic3.zhimg.com/v2-c2c4971a96f0d3f216e41cf994c72a10_1440w.jpg" alt="" data-href="" style=""/></p><p>那么究竟什么是神经拟态芯片,如何做到高能效比,最终又能用于哪些应用?</p><h2>存算一体、异步稀疏计算</h2><p>先来看Hala Point系统具体配置:</p><p>由<strong>1152个Loihi 2处理器</strong>组成,封装在一个六机架的数据中心机箱中。</p><p>整个系统支持分布在140544个神经形态处理内核上的多达11.5亿个神经元和1280亿个突触,最大功耗为2600瓦。</p><p>Hala Point还包括2300多个嵌入式x86处理器,用于辅助计算。</p><p><img src="https://pic4.zhimg.com/v2-5b30eee95cfa675444ec36e4c0064e75_1440w.jpg" alt="" data-href="" style=""/></p><p>Loihi 2芯片采用Intel 4工艺制造,每个芯片有128个核心。每个芯片包含多达100万个数字神经元和1.2亿个突触,采用存算一体设计,打破了冯诺依曼架构的瓶颈。</p><p>Loihi 2还应用了众多类脑计算原理,如异步(asynchronous)、基于事件的脉冲神经网络(SNNs),以及不断变化的稀疏连接,以实现能效比和性能的数量级提升。</p><p>对于这些独特的技术,我们联系到<strong>英特尔研究院副总裁、英特尔中国研究院院长宋继强</strong>,询问了更多细节。</p><p><img src="https://pic2.zhimg.com/v2-845c7275a67bf0a4920332c7a5e79cf3_1440w.jpg" alt="" data-href="" style=""/></p><p><strong>异步</strong>,是一种摒弃了传统芯片的全局时钟,采用事件驱动的架构。</p><p>宋继强借用人类大脑分区来解释,<strong>相当于一个人的嗅觉、视觉、触觉等可以同时工作,但并不需要同步</strong>。</p><p>如此一来Hala Point系统工作时是<strong>稀疏计算</strong>,又有点像现在主流大模型都会用的MoE专家混合架构。</p><p>所以Hala Point系统追求的不是极致性能,它<strong>更大的价值在于,以一种前所未有的规模,验证了神经拟态计算的可行性和优势</strong>。</p><p>在算法和应用层面,<strong>Hala Point不是专门为当前主流的深度学习模型设计的</strong>(但经过修改也能跑)。它更适合去探索一些全新的,受生物学启发的学习范式。</p><p>比如基于时序脉冲编码的<strong>SNN脉冲神经网络</strong>,就是一个很有前景的方向。SNN能更好地捕捉时空信息的动态变化,有望在语音、视觉等时序数据的处理上取得突破。</p><p>此外,神经拟态系统天然适合进行<strong>持续学习和片上学习</strong>,这也是当前深度学习系统的一大短板。</p><p>宋继强还介绍了英特尔的<strong>神经拟态研究社区INRC</strong>,已有包括全球学校、企业和研究机构的200多成员加入。</p><p>社区中大约一半的应用探索是用于<strong>机器人、无人机</strong>。而且这类应用并不需要Hala Point这么大的系统,只需要几块芯片就能搞定了。</p><p>那么Hala Point这样的大杀器又是应用在哪呢?</p><p>一个潜在的应用场景是<strong>组合优化</strong>。宋继强透露,他们发现用神经拟态计算去求解一些大规模规划等特定问题时,相比传统方案,能耗可以降低约3000倍。</p><p>这得益于其稀疏计算的特性,避免了大量的无效能耗。从这个角度看,神经拟态系统或许能在<strong>物流、智慧交通</strong>等领域”另辟蹊径”。</p><h2>One More Thing</h2><p>在Loihi芯片和Hala Point系统的介绍中,很少出现其他芯片强调的“频率”、“主频”这样的参数。</p><p>宋继强解释,神经拟态系统确实不会追求高频率,还开了一个小玩笑:</p><blockquote>人脑就不会以很高的频率工作,不然会发热冒烟。</blockquote>