神威太湖之光加速计算在脑神经网络模拟中的应用栗学磊１），２）　朱效民３）　魏彦杰１）　冯圣中１），２）１）（中国科学院深圳先进技术研究院高性能计算研究中心　广东深圳　５１８０５５）２）（国家超级计算深圳中心（深圳云计算中心）　广东深圳　５１８０５５）３）（高效能服务器和存储技术国家重点实验室　济南　２５０１０１）摘　要　脑神经网络模拟是脑科学研究和理论验证的重要方法．为提高脑模拟速度，异构加速已开始应用于脑模拟．然而现有异构加速脑模拟软件均存在明显的访存性能和计算精度问题．为此，本文基于神威太湖之光研发了脑模拟软件ＳＷｓｎｎ，确保了随机访存多发生在高速缓存中．为避免主存访问的随机性，将频繁出现随机访存且数据量较小的神经元信息长时间停留在局部存储（ＬＤＭ），同时将数据量很大的突触连接数据存储在主存，且尽可能连续访问主存．为避免可塑性导致的对突触连接的随机搜索，对脉冲时间依赖可塑性（ＳＴＤＰ）算法采用需要前再更新的方法，以确保主存访问的连续性．为了提高脑模拟精度，设计环形缓冲和延迟传送联合应用方法，以支持高精度时间步长的脑模拟．在此基础上，对ＳＷｓｎｎ进行向量化、访存隐藏等优化操作，计算性能进一步提高约５０％．ＳＷｓｎｎ对１０４神经元全连接网络实现了生物实时模拟，比同等规模浮点计算能力ＧＰＵ上运行的ＣＡＲＬｓｉｍ快１０倍左右．关键词　脉冲神经网络（ＳＮＮ）；脑模拟；ＳＷ２６０１０；随机访存；环形缓冲；神威太湖之光中图法分类号ＴＰ３９１．９　　　ＤＯＩ号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０２０．０１０２５Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　Ｓｕｎｗａｙ　ＴａｉｈｕＬｉｇｈｔ　Ａｃｃｅｌｅｒａｔｉｎｇ　ｉｎ　Ｂｒａｉｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　ＳｉｍｕｌａｔｉｏｎＬＩ　Ｘｕｅ－Ｌｅｉ　１），２）　ＺＨＵ　Ｘｉａｏ－Ｍｉｎ３）　ＷＥＩ　Ｙａｎ－Ｊｉｅ１）　ＦＥＮＧ　Ｓｈｅｎｇ－Ｚｈｏｎｇ１），２）１）（Ｓｈｅｎｚｈｅｎ　Ｉｎｓｔｉｔｕｔｅｓ　ｏｆ　Ａｄｖａｎｃｅｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ　５１８０５５）２）（Ｎａｔｉｏｎａｌ　Ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ　Ｃｅｎｔｅｒ　ｉｎ　Ｓｈｅｎｚｈｅｎ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ　５１８０５５）３）（Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｈｉｇｈ－ｅｎｄ　Ｓｅｒｖｅｒ　＆Ｓｔｏｒａｇｅ　Ｔｅｃｈｎｏｌｏｇｙ，Ｊｉｎａｎ　２５０１０１）Ａｂｓｔｒａｃｔ　Ｂｒａｉｎ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｓｉｍｕｌａｔｉｏｎ　ｉｓ　ａｎ　ｉｍｐｏｒｔａｎｔ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｂｒａｉｎ　ｓｃｉｅｎｃｅ　ｒｅｓｅａｒｃｈ．Ｄｕｅ　ｔｏ　ｔｈｅ　ｒｅｑｕｉｒｅｍｅｎｔ　ｏｆ　ｃｕｒｒｅｎｔ　ｂｒａｉｎ　ｅｘｐｅｒｉｍｅｎｔ　ｃｏｎｄｉｔｉｏｎ，ｔｈｅ　ｒｅａｌ－ｔｉｍｅ　ｂｒａｉｎ　ｓｉｍｕｌａｔｉｏｎ　ｉｓｂｅｃｏｍｉｎｇ　ｍｏｒｅ　ａｎｄ　ｍｏｒｅ　ｉｍｐｏｒｔａｎｔ，ｌｅａｄｉｎｇ　ｔｏ　ｔｈｅ　ｃｈａｌｌｅｎｇｅ　ｏｆ　ｈｉｇｈ　ｐｅｒｆｏｒｍａｎｃｅ　ｓｉｍｕｌａｔｉｎｇ．Ｔｏｉｍｐｒｏｖｅ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　ｂｒａｉｎ　ｓｉｍｕｌａｔｉｏｎ，ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ａｒｃｈｉｔｅｃｔｕｒｅ　ｂａｓｅｄ　ａｌｇｏｒｉｔｈｍｓａｎｄ　ｓｏｆｔｗａｒｅ　ｈａｖｅ　ｂｅｅｎ　ｄｅｖｅｌｏｐｅｄ，ｓｕｃｈ　ａｓ　ＮｅＭｏ，ＣＡＲＬｓｉｍ　ａｎｄ　ＧｅＮＮ．Ｈｏｗｅｖｅｒ　ｔｈｅｓｅａｃｃｅｌｅｒａｔｉｎｇ　ｒｅｓｕｌｔｓ　ａｒｅ　ｎｏｔ　ｏｂｖｉｏｕｓ．Ｔｈｅｒｅ　ａｒｅ　ｔｗｏ　ｃｏｍｍｏｎ　ｐｒｏｂｌｅｍｓ　ｆｏｒ　ｍｏｓｔ　ｂｒａｉｎ　ｓｉｍｕｌａｔｉｏｎｓｏｆｔｗａｒｅｓ　ｂａｓｅｄ　ｏｎ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ａｒｃｈｉｔｅｃｔｕｒｅ，ｉ．ｅ．ｍｅｍｏｒｙ　ａｃｃｅｓｓ　ｐｅｒｆｏｒｍａｎｃｅ　ａｎｄ　ｓｉｍｕｌａｔｉｏｎａｃｃｕｒａｃｙ．Ｔｈｅｒｅｆｏｒｅ，ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｗｅ　ｄｅｖｅｌｏｐ　ａ　ｂｒａｉｎ　ｓｉｍｕｌａｔｉｏｎ　ｓｏｆｔｗａｒｅ，ｎａｍｅｄ　ＳＷｓｎｎ，ｗｉｔｈｈｉｇｈ　ｍｅｍｏｒｙ　ｐｅｒｆｏｒｍａｎｃｅ　ａｎｄ　ａｃｃｕｒａｃｙ　ｕｓｉｎｇ　ＳＷ２６０１０，ｔｈｅ　ｐｒｏｃｅｓｓｏｒｓ　ｏｆ　Ｓｕｎｗａｙ　ＴａｉｈｕＬｉｇｈｔｓｕｐｅｒｃｏｍｐｕｔｅｒ．ＳＷｓｎｎ　ｍａｋｅｓ　ｍｏｓｔ　ｏｆ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｏｐｅｒａｔｉｏｎｓ　ａｌｗａｙｓ　ｏｃｃｕｒ　ｉｎ　ｈｉｇｈ－ｓｐｅｅｄｃａｃｈｅ，ａｎｄ　ｓｕｐｐｏｒｔ　ｈｉｇｈ　ａｃｃｕｒａｃｙ　ｔｉｍｅ　ｓｔｅｐ　ｓｉｚｅｓ．Ｓｉｎｃｅ　ｎｅｕｒｏｎｓ　ｃａｎ　ｂｅ　ｒｅｐｒｅｓｅｎｔｅｄ　ｂｙ　ａ　ｓｍａｌｌ　ｄａｔａｓｔｒｕｃｔｕｒｅ　ａｎｄ　ｏｆｔｅｎ　ａｒｅ　ａｃｃｅｓｓｅｄ　ｒａｎｄｏｍｌｙ　ｉｎ　ｇｅｎｅｒａｌ，ｗｅ　ｋｅｅｐ　ｎｅｕｒｏｎ　ｄａｔａ　ｉｎ　ｔｈｅ　ｌｏｃａｌ　ｄｙｎａｍｉｃｍｅｍｏｒｙ（ＬＤＭ）ｆｏｒ　ｌｏｎｇ　ｔｉｍｅ．Ｔｈｅ　ｌａｒｇｅ－ｓｃａｌｅ　ｓｙｎａｐｔｉｃ　ｃｏｎｎｅｃｔｉｏｎ　ｄａｔａ　ｉｓ　ｓｔｏｒｅｄ　ｉｎ　ｔｈｅ　ｍａｉｎｍｅｍｏｒｙ，ａｎｄ　ｄｏ　ｔｈｅ　ｂｅｓｔ　ｔｏ　ｋｅｅｐ　ｉｔ　ａｃｃｅｓｓｅｄ　ｃｏｎｔｉｎｕｏｕｓｌｙ．Ｉｎ　ｏｒｄｅｒ　ｔｏ　ａｖｏｉｄ　ｔｈｅ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｏｆｔｈｅ　ｓｙｎａｐｔｉｃ　ｃｏｎｎｅｃｔｉｏｎ　ｄｕｅ　ｔｏ　ｔｈｅ　ｒａｎｄｏｍ　ｓｅａｒｃｈ　ｆｏｒ　ｔｈｅ　ｐｌａｓｔｉｃｉｔｙ　ｏｆ　ｓｙｎａｐｓｅｓ，ｗｅ　ｕｓｅ　ｔｈｅ　ｍｅｔｈｏｄ　ｏｆｕｐｄａｔｉｎｇ　ｂｅｆｏｒｅ　ｎｅｅｄｅｄ　ｏｆ　ｓｙｎａｐｓｅ　ｗｅｉｇｈｔｓ．Ｉｔ　ｍｅａｎｓ　ｔｈａｔ　ｗｅ　ｏｎｌｙ　ｕｐｄａｔｅ　ｔｈｅ　ｗｅｉｇｈｔｓ　ｏｆ　ｓｐｉｋｉｎｇｔｉｍｅ　ｄｅｐｅｎｄｅｎｔ　ｐｌａｓｔｉｃｉｔｙ（ＳＴＤＰ）ａｌｇｏｒｉｔｈｍ　ｂｅｆｏｒｅ　ｉｔ　ｉｓ　ｎｅｅｄｅｄ，ａｎｄ　ｗｅ　ｏｎｌｙ　ｓｔｏｒｅ　ｔｈｅ　ｓｙｎａｐｔｉｃｃｏｎｎｅｃｔｉｏｎ　ｄａｔａ　ｏｎ　ｔｈｅ　ｓｉｄｅ　ｏｆ　ｐｒｅ－ｎｅｕｒｏｎｓ．Ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ａｃｃｕｒａｃｙ　ｏｆ　ｔｈｅ　ｂｒａｉｎ　ｓｉｍｕｌａｔｉｏｎ，ＳＷｓｎｎ　ｓｕｐｐｏｒｔ　ｄｉｆｆｅｒｅｎｔ　ｔｉｍｅ　ｓｔｅｐｓ　ｉｎ　ｔｈｅ　ｍｏｄｅｌ　ｂｙ　ｕｓｉｎｇ　ｒｉｎｇ　ｂｕｆｆｅｒ　ａｎｄ　ｄｅｌａｙｅｄ　ｍｅｓｓａｇｅ　ｐａｓｓｉｎｇｓｉｍｕｌｔａｎｅｏｕｓｌｙ．Ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｍｅｔｈｏｄｓ　ａｂｏｖｅ，ｗｅ　ｏｐｔｉｍｉｚｅ　ＳＷｓｎｎ　ｕｓｉｎｇ　ｄｉｆｆｅｒｅｎｔ　ｔｅｃｈｎｉｑｕｅｓ，ｓｕｃｈ　ａｓ　ｖｅｃｔｏｒｉｚａｔｉｏｎ　ａｎｄ　ａｃｃｅｓｓ　ｈｉｄｉｎｇ，ａｎｄ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｉｓ　ｆｕｒｔｈｅｒ　ｉｍｐｒｏｖｅｄ　ｂｙ　ａｂｏｕｔ　５０％．ＳＷｓｎｎ　ｃａｎ　ｓｉｍｕｌａｔｅ　ｂｉｏｌｏｇｉｃａｌ　ｒｅａｌ－ｔｉｍｅ　ｂｒａｉｎ　ａｃｔｉｖｉｔｙ　ｆｏｒ　ｆｕｌｌ－ｃｏｎｎｅｃｔｅｄ　ｎｅｔｗｏｒｋｓ　ｗｉｔｈ　１０４ｎｅｕｒｏｎｓ　ｏｎ　ａ　ｓｉｎｇｌｅ　ＳＷ２６０１０．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ＣＡＲＬｓｉｍ　ｒｕｎｎｉｎｇ　ｏｎ　ａ　ＧＰＵ　ｗｉｔｈ　ｓｉｍｉｌａｒ　ＦＬＯＰＳｔｏ　ＳＷ２６０１０，ＳＷｓｎｎ　ｉｓ　ａｂｏｕｔ　１０ｔｉｍｅｓ　ｆａｓｔｅｒ　ｔｈａｎ　ＣＡＲＬｓｉｍ．Ｋｅｙｗｏｒｄｓ　Ｓｐｉｋｉｎｇ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＳＮＮ）；ｂｒａｉｎ　ｓｉｍｕｌａｔｉｏｎ；ＳＷ２６０１０；ｍｅｍｏｒｙ　ｒａｎｄｏｍａｃｃｅｓｓ；ｒｉｎｇ　ｂｕｆｆｅｒ；Ｓｕｎｗａｙ　Ｔａｉｈｕｌｉｇｈｔ１　引　言脑神经网络模拟（简称脑模拟）是脑科学研究方法的有效途径之一，是对脑科学理论验证的重要方法．脉冲神经网络（Ｓｐｉｋｉｎｇ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ，ＳＮＮ）是现有脑神经网络模拟的主要方法，也是连接脑科学与人工智能的重要工具．当前，已有多套脉冲神经网络模拟软件获得开发，并且成熟应用于脑科学研究，比如ＮＥＵＲＯＮ、ＮＥＳＴ、ＧＥＮＥＳＩＳ等．脑神经网络非常复杂且规模巨大，人脑大约有１０１０个神经元和１０１４个突触组成．现有的脑模拟研究多用于小区块模拟，规模约１０５个神经元．随着大规模超算的快速发展，大规模多脑区脑模拟已经实现［１］．然而，常规模拟软件面临明显计算慢的问题，模拟的墙钟耗时比生物真实时间高约２～３个数量级，远不能实现实时模拟［１－３］．ＳＮＮ实时模拟对适应真实环境交互，探索真实生物智能机制具有重要意义［４］．为了提高模拟速度，异构设备（如ＧＰＵ、Ｘｅｏｎ　Ｐｈｉ等）加速计算已经开始用于ＳＮＮ 模拟算法，比如ＮｅＭｏ［５］、ＣＡＲＬｓｉｍ［６］、ＧｅＮＮ［７］、ＨＲＬＳｉｍ［８］等．异构计算对脑模拟具有一定的加速效果，但是这些研究尚处于测试阶段，还面临多个问题有待研究．现有的异构加速计算脑模拟软件多数有明显的访存性能和计算精度问题．由于神经元之间的连接具有随机性、非连续性和非局部性等特征，导致ＳＮＮ算法实现存在较强的随机访存问题．对于单节点ＣＰＵ脑模拟实现，随机访存是影响计算性能的主要因素，而对异构设备则影响更大．因此，如何解决随机访存问题，提高异构众核利用率，是实现ＳＮＮ算法异构加速的关键问题．有关计算精度问题，现有的多数开源异构加速ＳＮＮ软件（如ＮｅＭｏ、ＣＡＲＬｓｉｍ）仅支持１ｍｓ量级的离散时间步长、脉冲计时精度、突触延时精度等，这些离散取值与常规ＣＰＵ 成熟软件（如ＮＥＳＴ）存在明显差异．ＮＥＳＴ支持０．１ｍｓ量级或更小量级的脑模拟离散时间步长．由于时间步长等离散设计对脑模拟误差影响很大［９］，有必要设计高精度的ＳＮＮ异构加速计算．为解决异构加速计算面临的性能和精度问题，同时推广国产处理器应用范围，本文依托神威太湖之光超算，研发了基于申威加速器的脑模拟软件ＳＷｓｎｎ，详细研究了脑模拟面临的随机访存和计算精度问题，实现高精度高性能的脑模拟计算．ＳＷｓｎｎ通过确保随机访存发生在高速缓存中，实现了大幅度性能提升．ＳＷｓｎｎ结合申威加速器的局部存储（ＬＤＭ）和寄存器通信属性，将可能出现随机访存且数据量较小的神经元数据长时间停留在ＬＤＭ，将数据量很大的突触连接数据存储在主存，且尽可能避免非连续访问．为避免可塑性导致的对突触连接的随机搜索，将相关的突触连接信息只在前神经元一侧存储排序，并采用需要前再更新的方法实现脉冲时间依赖可塑性计算（Ｓｐｉｋｉｎｇ－ＴｉｍｅＤｅｐｅｎｄｅｎｔ　Ｐｌａｓｔｉｃｉｔｙ，ＳＴＤＰ），有效避免突触连接随机访存，同时支持ＳＴＤＰ即时更新．为提高脑模拟１０２６ 计　　算　　机　　学　　报 ２０２０年精度且节约ＬＤＭ 空间，设计了环形缓冲和延迟传送联合应用方法，以支持高精度ＳＮＮ模拟．本文首先分析ＳＮＮ模拟在异构设备实现中面临的问题，并提出相应的解决方案，实现高精度高性能ＳＮＮ模拟；第２节将简述ＳＮＮ神经元和突触模型基本原理，以及申威加速器（ＳＷ２６０１０）基本框架；第３节主要描述ＳＮＮ实现流程，分析随机访存形成原因和解决方案，并设计数据存储及其合理性分析；第４节将进行ＳＷｓｎｎ的数值实验，并对计算精度和计算性能加以分析；第５节将基于性能分析对ＳＷｓｎｎ进行进一步性能优化；第６节对当前还面临的问题进行讨论；最后，第７节是本文的总结，并指出进一步的工作方向．２　基本原理２．１　Ｉｚｈｉｋｅｖｉｃｈ神经元模型脑神经网络模型由大量神经元和突触组成，图１显示了神经元示意图［１０］．神经元由细胞体、轴突和树突组成．前神经元（或源神经元）轴突连接到后神经元（或目标神经元）树突或细胞体可形成突触．当源神经元膜电位受外部影响逐渐增加到一定阈值，将激发一个脉冲，通过突触上的多种单向传输的离子通道传到目标神经元，传输电流大小用突触权重衡量，传到所需的时间用突触延时表示．一个神经元可连接约１０４个突触，因此突触数量远大于神经元数量．下面部分将介绍相关的神经元和突触模型．图１　神经元细胞和突触［１０］当前已有许多神经元模型被提出［１１］，其中具有代表性的模型有三种：Ｈｏｄｇｋｉｎ－Ｈｕｘｌｅｙ（Ｈ－Ｈ）模型、Ｌｅａｋｙ　Ｉｎｔｅｇｒａｔｅ－Ｆｉｒｅ（ＬＩＦ）模型、Ｉｚｈｉｋｅｖｉｃｈ模型．Ｈ－Ｈ模型比较复杂，参数多且计算量大，可模拟多种类型神经元，是ＮＥＵＲＯＮ 软件的主要支持模型．ＬＩＦ模型比较简单，计算量小，只可模拟简单神经元，是ＮＥＳＴ的主要支持模型．Ｉｚｈｉｋｅｖｉｃｈ模型是较新的模型，是Ｈ－Ｈ 和ＬＩＦ的折衷．Ｉｚｈｉｋｅｖｉｃｈ模型较简单且可模拟多种神经元，也是新型ＳＮＮ 软件主流支持模型．因此，本文选择Ｉｚｈｉｋｅｖｉｃｈ模型用于模拟．Ｉｚｈｉｋｅｖｉｃｈ模型满足以下常微分方程组［１２］ｄｖｄｔ＝０．０４ｖ２＋５ｖ＋１４０－ｕ＋Ｉｄｕｄｔ＝ａ（ｂｖ－ｕ烅烄烆）（１ａ）ｉｆ　ｖ３０ｍＶ，ｒｅｓｅｔｖ←ｃ｛ｕ←ｕ＋ｄ（１ｂ）其中，ｖ为膜电位，ｕ为膜恢复变量，ａ、ｂ、ｃ、ｄ 为四个模型参数．Ｉ为与树突连接相关的输入电流，是许多突触电流的叠加．通过调整参数，Ｉｚｈｉｋｅｖｉｃｈ可模拟２０多种神经元行为，且模拟精度很高．方程（１）常用的数值求解方法为Ｅｕｌｅｒ方法和Ｒｕｎｇｅ－Ｋｕｔｔａ方法．我们同时开发两种数值算法，以方便与其他软件对比．２．２　突触电流模型与可塑性模型与突触相关的模型主要包括两部分，即突触电流模型和可塑性模型［１３－１４］，两者均与突触权重有关，前者描述突触权重的累加方法，后者描述突触权重的更新算法．突触电流模型主要基于两种模式：电流模式（Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ，ＣＵＢＡ）和电导模式（ＣｏｎｄｕｃｔａｎｃｅＢａｓｅｄ，ＣＯＢＡ）［８］．电流模式较简单，电流只与权重有关，是激发脉冲传送到目标神经元时的加权求和．电导模式较复杂，电流除了与权重有关外，还与神经元膜电位和电导参数有关．此处仅列出电流和电导模式的基本关系式Ｉｓｙｎｊ ＝ΣＮｉ＝１ｆｉｊｗｉｊ （２）其中，Ｉｓｙｎｊ表示第ｊ 个目标神经元的突触电流，ｗｉｊ为第ｉ个源神经元到第ｊ 个目标神经元的突触连接权重，ｆｉｊ为电流因子．突触电流模型的详细描述可参考文献［８］．突触可塑性是突触属性随时间的改变，是实现脑神经的学习和记忆的理论基础．其中，脉冲时间依赖可塑性（Ｓｐｉｋｅ－Ｔｉｍｉｎｇ　Ｄｅｐｅｎｄｅｎｔ　Ｐｌａｓｔｉｃｉｔｙ，ＳＴＤＰ）是常用的脑模拟突触可塑性模型，也是ＳＮＮ 常用的非监督学习方法［１５］．ＳＴＤＰ模型认为突触权重的改变与前后神经元相对脉冲时间差有关，图２显示了统计获得的６０对脉冲时间差与突触权重改变量的关系［１３］．６期 栗学磊等：神威太湖之光加速计算在脑神经网络模拟中的应用 １０２７图２　ＳＴＤＰ函数［１３］常规的权重改变量可以表示为［１３］Δｗｉｊ＝Σｎ ΣｆＷ （ｔ　ｎｉ－ｔ　ｆｊ） （３）其中，Δｗｉｊ为ｗｉｊ的改变量，ｔ　ｎｉ表示前神经元ｉ 第ｎ个脉冲传送到突触的时间，ｔ　ｆｊ表示后神经元ｊ 第ｆ个脉冲传送到突触的时间．因此，ｔ　ｎｉ和ｔ　ｆｊ是脉冲激发时间分别加上各自传到突触的延时ｄＡ和ｄＤ．突触延时满足关系ｄｉｊ＝ｄＡ＋ｄＤ，其中ｄｉｊ为脉冲传送的总延时，如图３所示．Ｗ （ｘ）为ＳＴＤＰ函数，常用的ＳＴＤＰ函数可表示为Ｗ （ｘ）＝Ａ＋ｅｘｐ（－ｘ／τ＋），ｆｏｒ　ｘ＞０Ｗ （ｘ）＝－Ａ－ｅｘｐ（ｘ／τ－），ｆｏｒ　ｘ＜０（４）其中，Ａ＋和Ａ－与权重有关，τ＋和τ－为时间常数，一般在１０ｍｓ量级．图３　脉冲传送延时２．３　ＳＷ２６０１０异构众核处理器基本架构神威太湖之光超算系统采用４０　９６０块ＳＷ２６０１０异构众核处理器，通过计算插件板、计算超节点和计算机仓等模式进行系统扩展［１６］．本论文侧重开发单核组模拟软件，因此仅关注ＳＷ２６０１０单核组架构与性能．如图４所示，ＳＷ２６０１０众核芯片包括四个核组，每个核组由１个主核和６４个从核组成．每个核组连接８ＧＢ主存，其中从核可利用ＤＭＡ直接访问主存．每个从核配置６４ＫＢ 局部存储（ＬＤＭ），且ＬＤＭ 分配由程序员手动控制．图４　ＳＷ２６０１０芯片架构ＳＷ２６０１０芯片主频为１．４５ＧＨｚ，每时钟周期主核完成１６次浮点操作，从核完成８次浮点操作，浮点运算理论峰值分别为２３．２ＧＦｌｏｐｓ和１１．６ＧＦｌｏｐｓ，单个核组总计算能力为７６５．５ＧＦｌｏｐｓ．ＳＷ２６０１０在实现ＳＮＮ计算中具有两点明显优势：（１）局部存储（ＬＤＭ）．每个从核有６４ＫＢ　ＬＤＭ，６４个从核共有４ＭＢ　ＬＤＭ，且由编程人员手动控制．这与常用的ＧＰＵ 相比，具有明显优势．一般每个流多处理器（ＳＭ）具有共享存储６４ＫＢ，且由许多流处理器（ＳＰ）和多个线程块（ｂｌｏｃｋ）共享；（２）寄存器通信．支持从核之间的快速通信，相当于局部存储的共享．每次寄存器通信，点对点实测耗时约２０时钟周期，行／列广播实测耗时约２７时钟周期，每次传输２５６位数据．１０２８ 计　　算　　机　　学　　报 ２０２０年但是ＳＷ２６０１０在实现ＳＮＮ中也存在明显的访存问题．从核访问主存通过ＤＭＡ访存通道进行，访存延迟在１０００时钟周期量级．ＤＭＡ 由６４从核共享通道，因此从核并行的ＤＭＡ访存压力较大．并且ＤＭＡ访存粒度对带宽影响很大，只有访存粒度足够高时（约１ＫＢ），才能获得较好的访存带宽．另外，ＳＷ２６０１０当前可用的编程和编译环境有限，仅支持Ｃ、Ｃ＋＋、Ｆｏｒｔｒａｎ语言．３　ＳＮＮ随机访存与存储结构分析３．１　ＳＮＮ模拟基本流程图５显示了ＳＮＮ模拟实现的基本流程，是多数ＳＮＮ模拟软件共同使用的基本框架．图５　ＳＮＮ模拟流程图ＳＮＮ模拟计算任务主要包括两部分：神经元更新（Ｎｅｕｒｏｎ　ｕｐｄａｔｅ）和脉冲传送（Ｓｐｉｋｅ　ｄｅｌｉｖｅｒｉｎｇ）．神经元更新以求解常微分方程（１）为主，为计算密集型．各神经元之间的更新相互独立，因此计算量与神经元数量接近线性相关．脉冲传送是ＳＮＮ 模拟的复杂部分，为访存密集型．当某前神经元发生脉冲时，脉冲传送过程中需要对前神经元连接的突触信息进行访问和权重累加等操作．突触连接数据的存储排序和计算算法直接影响访存性能．ＳＮＮ模拟存储数据主要包括两类：神经元数据和突触连接数据．神经元数据较少，一般在ＭＢ量级，与ＬＤＭ 空间为同等规模．而突触连接数据规模很大，一般在ＧＢ量级，比神经元高三个数量级．同时，在计算过程中随机访存主要出现在ＭＢ量级的神经元数据读写中，而主要的突触连接数据一般可实现连续访问．基于以上特征分析，并结合ＳＷ２６０１０处理器架构状况，我们设计合适的存储和计算安排．即如果将神经元数据长时间保留在ＬＤＭ，将突触数据存储在主存，且避免其非连续访问，可以解决主要访存问题，大幅提升计算性能．然而，ＳＮＮ的具体实现比较复杂，有多个问题需要考虑．为了达到以上目的，下面对面临的访存问题和存储架构等主要问题进行详细分析．３．２　随机访存形成原因分析随机访存是当前影响现有ＳＮＮ 软件计算性能的主要因素，因此有必要对其进行详细分析．导致ＳＮＮ随机访存的原因主要有两种：（１）连接的随机性和非局部性；（２）突触可塑性（ＳＴＤＰ）的双向相关性．这也是导致ＳＮＮ 实现复杂的两种主要因素．（１）连接的随机性和非局部性对于第一种原因，如图６所示，当某前神经元发生脉冲时，需要将其连接的大量突触信息传送给许多后神经元．在此过程中，相关突触连接信息一般可进行连续访问，而相关的后神经元信息分布具有随机性和非局部性．这时，处理器需要在ＭＢ量级空间内搜索这些神经元．但是，对于已有的ＣＰＵ／ＧＰＵ 软件，ＭＢ量级空间的直接搜索存在严重的随机访存．现有的ＣＰＵ成熟软件ＮＥＳＴ尚未进行随机访存问图６　神经元与连接的存储情况６期 栗学磊等：神威太湖之光加速计算在脑神经网络模拟中的应用 １０２９题的相关分析与优化，也存在明显的随机访存问题．而对ＧＰＵ 软件，随机访存是其明显弱点，还不能有效解决．为了解决这个问题，并结合ＳＷ２６０１０局部存储ＬＤＭ 属性，我们将频繁出现随机访存的神经元数据长时间停留在ＬＤＭ，使随机访存只出现在高速的ＬＤＭ．这样可有效解决由于该原因导致的随机访存问题．（２）突触可塑性（ＳＴＤＰ）的双向相关性虽然脉冲的网络传输是单向的，但是可塑性（ＳＴＤＰ）算法中的权重更新同时与前神经元和后神经元相关，即双向相关性．如图６所示，当某神经元发生脉冲时，需结合所连接的后神经元的脉冲序列更新后连接的突触权重，同时也需结合所连接的前神经元的脉冲序列更新前连接的突触权重．对于前者，可连续访问突触信息，并且可在脉冲传送过程中同时进行．而对于后者，需要对其他神经元的突触连接数组进行非连续性的搜索与访问，导致可塑性计算存在严重的随机访存问题．现有的ＳＴＤＰ权重更新有两种方式，即发生后即更新和需要前再更新．对于发生后即更新，即当神经元激发脉冲后，就对相关的前后连接突触进行更新．该更新分为前神经元和后神经元的突触更新两部分．然而无论突触按前神经元还是按后神经元排序，两部分至少有一部分需要随机搜索和访存．该随机访存对计算性能影响很大．ＮｅＭｏ和ＣＡＲＬｓｉｍ 只计算权重改变量，而不进行即时更新，以避免搜索的复杂性．这也导致两种软件均不支持ＳＴＤＰ即时更新．需要前再更新是ＳＴＤＰ应用的另一种有效方法．ＮＥＳＴ利用该方法实现了权重即时更新［１４］．如图６所示，我们研究发现，在实际情况中，虽然后神经元激发脉冲后，就应该更新其前连接突触的权重，但是此权重值不会即刻用于计算，直到前神经元的脉冲再次激发．因此，可以等到前神经元脉冲再次激发时，即此权重值再次用于计算时，再将其进行更新．该方法避免了后神经元对突触的随机搜索．该方法的主要局限在于限制了轴突延时的取值范围，有关局限性详细信息可参考文献［１４］．因此，本文对可塑性计算设计了需要前再更新的方法，以避免对主存突触信息的随机搜索，解决可塑性导致的随机访存问题．基于以上分析与处理，本文可实现随机访存只发生在局部缓存ＬＤＭ中，以明显提高ＳＮＮ计算性能．３．３　突触延时突触延时的存在进一步加剧了神经元数据访问的随机性和非局部性．当神经元脉冲发生时，其所连接的突触信息并不能即刻传送至目标神经元，即存在突触延时．并且，不同突触的延时各不相同，延时分布具有随机性．突触延时的存在使ＳＮＮ 明显变得更加复杂．现有异构加速脑模拟软件对此的支持均不是很好．ＮｅＭｏ和ＣＡＲＬｓｉｍ 只支持１ｍｓ时间步长的延时和脉冲计时，计时精度均较低，明显影响模拟计算结果．ＨＲＬＳｉｍ 只能支持几个特殊的延时值［８］，延时计时精度较低．突触延时一般有两种处理方法：环形缓冲法和延迟传送法．环形缓冲法较简单，以ＮＥＳＴ 为代表．该方法为各神经元配置一个环形缓冲区，缓冲区大小与时间步长和最大延时有关．当前神经元激发脉冲时，将其连接的突触信息传送到目标神经元，并依据突触延时值在缓冲区中向后偏移一定距离再累加电流信息．当偏移后的地址超出缓冲区，则依据缓冲区大小对累加地址进行一个周期的前移．然而该方法需对单个神经元配置较多的缓冲存储空间，而ＬＤＭ存储空间有限，这就会导致一般情况下的ＬＤＭ 不足以长时间保存该缓冲区．因此，该方法不适用于ＳＷ２６０１０的ＬＤＭ 存储．延迟传送法是指在脉冲激发时，不是即刻发送到后神经元，而是推迟到后神经元需要时再发送．ＮｅＭｏ和ＣＡＲＬｓｉｍ 均使用该方法处理突触延时．该方法需要将突触信息依照延时进行重新排序，以便判断哪些突触需要传送．该方法需要将脉冲信息保存到最大延时的时间才能释放，因此脉冲信息占据空间比环形缓冲法要大．然而，该方法要求延时和脉冲计时均以最小延时值为时间步长间隔，导致ＳＮＮ算法计时精度只能在１ｍｓ量级，这明显影响ＳＮＮ模拟计算精度．对于以上延时的分析，并结合ＳＷ２６０１０实际情况，本文设计了环形脉冲和延迟传送的联合应用，以同时解决ＬＤＭ 空间不足和ＳＮＮ 计算精度过低问题．这样就能实现对高精度时间步长ＳＮＮ 模拟的支持．３．４　数据存储结构设计结合以上问题的具体分析以及解决方案设计，该部分基于环形缓冲和延迟传送联合应用方法，列出了本文设计的实际存储结构模式．１０３０ 计　　算　　机　　学　　报 ２０２０年首先，以１０４个神经元全连接网络为例，分析两部分数据的空间需求情况．神经元基本组成包括ｖ、ｕ、ａ、ｂ、ｃ、ｄ、Ｉ 这７个浮点型数据，占据２８个字节．对于复杂模型和高精度模拟，神经元还会增加电导属性、电流缓冲、脉冲信息等空间，一般约１００字节．这样，１０４个神经元约需１ＭＢ存储空间，明显小于单核组ＬＤＭ 空间总大小．突触信息基本组成包括权重、延时、目标神经元编号，其中后两者可合并存储，因此每个突触最少需要８字节存储．１０４个神经元连接的突触数可达到１０８个，因此突触信息需要至少８００ＭＢ存储空间．所以神经元和突触存储空间数据量相差约３个数量级．因此，神经元数据空间很小，并且在脉冲信息传送计算中需要随机搜索访存．为此，可将神经元数据长时间停留在ＬＤＭ．神经元数据在ＬＤＭ 存储具有明显优势，可能出现的随机访存主要是神经元数据的电流累加缓冲区，将其停留在ＬＤＭ 即可确保主要随机访存发生在ＬＤＭ，而ＬＤＭ 数据的随机访存对计算性能影响较小．而突触数据量明显较大，因此将其存储在主存空间，且尽可能减少非连续访问．为实现环形缓冲和延迟传送的联合应用方法，提高计算精度同时节省ＬＤＭ 空间，我们将延时分为两部分存储：突触连接存储和缓冲区存储．图７显示了突触连接数据的存储格式．对于突触延时ｄｉｊ与最小延时ｄｍｉｎ的比值分为两部分，其中整数部分通过延迟传送方法表述，如图７（ａ）所示；小数部分通过环形缓冲算法表述，如图７（ｂ）所示．图７（ａ）为突触连接信息的三维列表排序情况（以ｄｍｉｎ＝１ｍｓ为例），其中第一维为前神经元编号（ｐｒｅ－ｎｉｄ），第二维为突触延时（整数部分），第三维为突触信息（包含突触延时小数部分）．第三维的每个突触连接元素为一个８字节结构体，如图７（ｂ）所示，其中４个字节存储浮点型权重值，３字节存储目标神经元编号（ｐｏｓｔ－ｎｉｄ），１字节存储延时小数部分．由此可知，小数部分可支持延时的最高精度为１／２５６ｍｓ．图７　环形缓冲和延迟传送的联合应用图７（ｃ）为环形缓冲区，每个神经元配置一个，用于统计突触电流．该缓冲区长时间存储在ＬＤＭ，是脉冲传送过程中权重累加计算的主要访存变量．环形缓冲区长度为ｄｍｉｎ／ｄｔ，其中ｄｔ为时间步长．本文支持的时间步长取值包括ｄｍｉｎ、１／２ｄｍｉｎ、１／４ｄｍｉｎ、１／８ｄｍｉｎ、１／１６ｄｍｉｎ，对应的环形缓冲区长度分别为１、２、４、８、１６．环形缓冲和延迟传送的联合应用是对两种算法优点的发挥与缺点的折衷，适用于ＳＷ２６０１０众核加速计算．基于以上的计算和存储设计，我们开发了ＳＮＮ异构加速软件ＳＷｓｎｎ，实现了有效的高性能高精度脑神经网络模拟计算．图８显示了ＳＷｓｎｎ脑网络模拟计算中脉冲事件分布情况的计算结果．图８　脉冲事件分布图４　ＳＷｓｎｎ数值实验和精度／性能分析４．１　不同软件数值实验结果对比下面测试ＳＷｓｎｎ 计算结果，并与开源软件ＣＡＲＬｓｉｍ、ＧｅＮＮ 对比．ＳＷｓｎｎ和ＣＡＲＬｓｉｍ、ＧｅＮＮ使用完全相同的模型参数和输入脉冲序列．网络模型配置１０４神经元，其中兴奋性和抑制性神经元占比分别为８０％和２０％．每个神经元连接１０４个突触，即全连接．由于网络规模偏大，现有的Ｑｕａｄｒｏ　Ｋ６２０ＧＰＵ显存难以支持，因此该模型选择ＣＡＲＬｓｉｍ和ＧｅＮＮ的ＣＰＵ 模式计算．为方便对比，网络模型不使用随机设置和输入．我们将神经元参数统一设定为ａ＝０．０２，ｂ＝０．２，ｃ＝－６５，ｄ＝８．０，膜电位和膜恢复分别使用－６５和－１３进行初始化，脉冲激发频率控制在１０Ｈｚ左右．首先，对比ＳＷｓｎｎ和ＣＡＲＬｓｉｍ 的计算结果．由于ＣＡＲＬｓｉｍ只支持１ｍｓ时间步长，因此ＳＷｓｎｎ和ＣＡＲＬｓｉｍ均采用１ｍｓ时间步长精度．最小延时６期 栗学磊等：神威太湖之光加速计算在脑神经网络模拟中的应用 １０３１和最大延时均设为１ｍｓ．图９为两种计算结果对比，由图可知，两种软件计算结果完全一致．图９　ＳＷｓｎｎ和ＣＡＲＬｓｉｍ神经元膜电位对比其次，对比ＳＷｓｎｎ和ＧｅＮＮ的计算结果．ＧｅＮＮ通过代码生成模式产生模拟源代码，通过检查源代码确保了神经元和突触模型参数完全一致．ＳＷｓｎｎ和ＧｅＮＮ均支持高精度时间步长，时间步长均采用１／８ｍｓ．最小延时均设为１ｍｓ，最大延时均设为１０ｍｓ．图１０为两种计算结果对比，由图可知，两种软件计算结果完全一致．图１０　ＳＷｓｎｎ和ＧｅＮＮ神经元膜电位对比本次实验ＳＷｓｎｎ与两种软件设计的神经元更新算法和突触电流算法是一致的，但是数据结构、数据排序等相互之间有很大差别．因此，这三种软件结果一致，但计算性能不同．另外，图１０比图９脉冲激发频率偏高，这与时间步长精度的差别有关．４．２　ＳＷｓｎｎ计算精度分析ＳＮＮ模拟的离散误差主要包括两部分：微分方程计算误差、脉冲时间传输误差［９］．现有的多数ＳＮＮ模拟精度研究主要针对前者［１７－１９］，而对后者研究较少［９］．然而，脉冲时间传输误差对ＳＮＮ 模拟影响比微分方程计算误差明显更大，同时影响因素更多且复杂．本文不过多讨论离散计算误差，仅比较ＳＷｓｎｎ不同时间步长计算精度的差别．图１１显示了不同时间步长设置下的ＳＮＮ模拟神经元膜电位分布情况．由图可知，当时间步长足够小时（１／１６ｍｓ），膜电位离散更新足够密集，微分方程计算和脉冲时间传输均比较精准，这时具有较高的模拟精度．随着时间步长的逐步增大，微分方程计算误差逐步增大．并且受脉冲和延时计时精度以及时间步长精度的影响，脉冲传输到目标神经元的时间逐步后移，导致脉冲时间传输误差也逐渐增大．因此，时间步长的设置对ＳＮＮ模拟精度影响明显．同时，时间步长设置对脉冲激发频率也有一定影响，当时间步长设置较大时，平均脉冲激发频率偏低．另外，当时间步长为１ｍｓ时，模拟计算误差过大．因此，１ｍｓ时间步长不适用于ＳＮＮ模拟．鉴于模拟精度与计算需求考虑，１／８ｍｓ或１／４ｍｓ时间步长是折衷的有效设置．图１１　不同时间步长ＳＷｓｎｎ模拟神经元膜电位４．３　ＳＷｓｎｎ计算性能分析ＳＮＮ模拟的神经元更新和脉冲传送两部分的计算框架有明显差别．神经元更新为计算密集型，各神经元相互独立更新．脉冲传送为访存密集型，算法复杂多变．为方便性能分析，将脉冲传送分为两部分：ＤＭＡ访存、权重累加．因此，神经元更新、ＤＭＡ访存、权重累加是ＳＮＮ模拟的三个主要任务，也是需要重点分析与优化的主要部分．对于确定规模的网络模型，影响ＳＷｓｎｎ计算耗时的因素主要有三种：时间步长（ｔｉｍｅ　ｓｔｅｐ）、激发频率（ｆｉｒｉｎｇ　ｒａｔｅ）、最大延时（ｍａｘ　ｄｅｌａｙ）．图１２显示了三种影响因素对不同计算任务耗时的影响．在默认情况下，三个因素设置为：时间步长１／８ｍｓ、激发频率１２Ｈｚ、最大延时１０ｍｓ．另外，激发频率还受输入信息和计算精度影响，可能会有小的变动．图１２（ａ）为计算耗时随时间步长的变化．由此可知，时间步长与神经元更新耗时成反比，而对ＤＭＡ访存和权重累加影响很小．但是，由于其影响计算精度，导致其对激发频率有影响．对于１／１６ｍｓ、１／８ｍｓ、１０３２ 计　　算　　机　　学　　报 ２０２０年１／４ｍｓ情况，激发频率均为１２Ｈｚ；对于１／２ｍｓ和１ｍｓ，激发频率分别为１１Ｈｚ和１０Ｈｚ．因此，后两种情况的ＤＭＡ访存和权重累加耗时有所降低．图１２　三种因素对三部分计算耗时的影响图１２（ｂ）为计算耗时随激发频率的变化．由此可知，激发频率与ＤＭＡ 访存和权重累加耗时均线性相关，而对神经元更新影响很小．图１２（ｃ）为计算耗时随最大延时的变化．由此可知，最大延时主要影响ＤＭＡ访存耗时，而对神经元更新和权重累加影响很小．这是由于最大延时与ＤＭＡ访存次数线性相关．随着最大延时的增加，ＤＭＡ访存次数逐渐加大，而访存粒度逐渐减小，这对ＤＭＡ访存带宽影响甚大．另外，图１２立方图的深灰色部分代表模拟计算的全部耗时，它比三个任务耗时总和多出的部分是其他辅助计算，如脉冲事件信息广播传输等．综上所述，时间步长主要影响神经元更新耗时，激发频率与ＤＭＡ 访存和权重累加耗时均线性相关，最大延时主要影响ＤＭＡ访存耗时．基于该性能分析，我们将对ＳＷｓｎｎ进行性能优化．５　ＳＷｓｎｎ性能优化５．１　适用于ＳＷｓｎｎ的主要优化方法基于神经元更新、ＤＭＡ访存、权重累加的性能分析，同时结合ＳＷ２６０１０处理器所支持的优化技术，我们对三部分进行各自的性能优化．ＳＷ２６０１０处理器支持常用的计算优化技术，然而，现用的ＳＷ２６０１０编译器ｓｗ５ｃｃ自动优化不成熟，多数需要手动编程优化．ＳＷ２６０１０常用的优化技术主要包括ＳＩＭＤ 向量化、ＤＭＡ访存隐藏等［２０－２２］，也是ＳＷｓｎｎ优化中主要采取的优化方法．ＳＷ２６０１０处理器支持２５６位ＳＩＭＤ向量化．ＳＩＭＤ向量化操作指令主要包括两类：浮点向量化和定点向量化．浮点向量化支持４个单精度或双精度浮点的并行运算操作，定点向量化支持８个４字节或１个２５６位定点运算．ＤＭＡ访存由从核控制，且为非阻塞访存．通过重叠ＤＭＡ访存传输和从核计算时间，可实现ＤＭＡ访存隐藏．（１）ＳＩＭＤ向量化优化神经元更新是计算密集型，对神经元信息按序更新，且期间神经元之间相互独立，没有依赖．因此该计算易于并行与扩展，ＳＩＭＤ向量化技术非常适用于神经元更新．神经元更新优化主要利用浮点向量化进行，可实现４个神经元浮点数据向量化操作．为方便向量化优化，我们对ＳＷｓｎｎ神经元数据进行整理，减少结构体使用，确保可向量化变量的连续访问．表１显示了ＳＩＭＤ向量化优化方法和加速情况．由表１可知，ＳＩＭＤ向量化在神经元更新的优化最明显，最高可加速约３倍．在神经元更新阶段，由于存在电流／电导更新和脉冲事件提取等串行计算，导６期 栗学磊等：神威太湖之光加速计算在脑神经网络模拟中的应用 １０３３致向量化未达到接近４倍的加速效果．表１　向量化优化方法与加速情况优化方法加速情况神经元更新浮点向量化２．０～３．０倍权重累加　定点向量化１．３～１．４倍权重累加也可利用ＳＩＭＤ向量化优化，但是权重累加是访存密集型，对局部存储（ＬＤＭ）的环形缓冲区进行随机搜索和访问，因此可向量化程度不够明显．我们主要将定点向量化用于权重累加的地址定位计算，实现加速不是特别明显．由表１可知，ＳＩＭＤ向量化对权重累加有一定加速，平均加速约１．３８倍．（２）ＤＭＡ访存隐藏优化ＤＭＡ访存隐藏的优化情况与可重叠的计算耗时有关，即权重累加计算耗时．在权重累加计算不做优化的情况下，可隐藏大部分ＤＭＡ 访存耗时．然而，权重累加进行向量化优化后，可隐藏的ＤＭＡ访存耗时明显变小．即使如此，ＤＭＡ访存隐藏优化仍在一定程度上提高了整体性能，具有实际优化意义．ＤＭＡ访存隐藏不够明显，最多可隐藏约０．２ｓ耗时．这主要有两点原因：（１）多线程并行本身隐含访存隐藏效果，在某一线程访问期间，许多其他线程仍在计算；（２）ＤＭＡ访存次数过多，访存粒度较小．随着延时增大、神经元增多等，访存稀疏性会进一步加剧，这会导致ＤＭＡ 访存次数的增加和粒度的减小．针对这个问题，ＳＷ２６０１０的主要优化方案是主核协助整理ＤＭＡ访存数据，以增加访存粒度，减少访存次数．但是实验表明，该方法当前尚不适合ＳＷｓｎｎ优化．在脉冲传送阶段，计算任务主要是权重累加，简单且快速．而该优化方法中主核需要对众核线程的计算数据承担整理连接任务，但是主核整理速度远不如众核并行计算速度，即使在主核使用向量化、循环展开等优化操作后．实验表明，主核整理数据速度比从核权重累加速度慢８～１０倍，不适用于ＳＷｓｎｎ优化．因此，ＤＭＡ 访存仍是我们需要进一步研究的重点．（３）其他优化另外，我们还通过减少分支等操作进一步提升了加速效果．现有的ＳＮＮ软件在计算热点（即权重累加）阶段均存在多项可优化分支语句．我们尽可能减少计算热点分支操作次数，计算速度比其他ＳＮＮ软件要快得多．５．２　优化后的性能分析图１３为优化操作后的各部分计算耗时情况，与图１２的优化前耗时情况相对应．由图１３可知，当前在１０４神经元全连接网络、时间步长１／８ｍｓ、最大延时１０ｍｓ、激发频率１２Ｈｚ情况下，优化后的ＳＷｓｎｎ可实现实时模拟．图１３　优化操作后三部分计算耗时情况５．３　优化后的ＳＷｓｎｎ大规模计算实验下面，我们利用优化后的ＳＷｓｎｎ进行几种的测１０３４ 计　　算　　机　　学　　报 ２０２０年试与比较．首先，对不同规模神经元网络进行测试．如图１４所示，该图显示的是每神经元均连接１０　０００突触，时间步长均为１／８ｍｓ，激发频率均为１２Ｈｚ，最大突触延时均为１０ｍｓ的不同神经元规模网络模拟计算耗时，由此可见，随着神经元规模的增大，神经元更新、权重累加均接近线性分布．而ＤＭＡ访存耗时不具有线性属性．这是由于受ＬＤＭ 存储空间限制，当神经元增至４０　０００以后，神经元数据不能再常驻在ＬＤＭ，需要进行更替，增加了ＤＭＡ压力．同时随着神经元的增多，突触连接的稀疏性也加强．图１４　不同规模网络计算耗时（每神经元连接１０　０００突触）受主存空间（８ＧＢ）影响，当每神经元连接１０　０００突触时，ＳＷｓｎｎ最多可模拟６０　０００神经元规模网络．为增加可模拟的神经元规模，我们对每神经元连接５０００突触的网络进行了模拟，如图１５所示．由此图１５　不同规模网络计算耗时（每神经元连接５０００突触）可知，神经元更新、权重累加仍具有线性耗时属性，而ＤＭＡ访存耗时与神经元数量接近抛物关系．并且规模较大时，ＤＭＡ访存耗时已超过计算耗时．５．４　ＳＷｓｎｎ与其他ＧＰＵ软件的性能对比该部分将ＳＷｓｎｎ与开源ＧＰＵ 软件ＣＡＲＬｓｉｍ和ＧｅＮＮ分别进行计算性能对比．首先，我们对ＳＷｓｎｎ和开源的ＣＡＲＬｓｉｍ进行计算性能对比．ＳＷｓｎｎ在ＳＷ２６０１０的单核组上运行，浮点计算能力７６５．５ＧＦｌｏｐｓ；ＣＡＲＬｓｉｍ 在ＱｕａｄｒｏＫ６２０ＧＰＵ上运行，单精度浮点计算能力８１３ＧＦｌｏｐｓ．ＳＷｓｎｎ和ＣＡＲＬｓｉｍ 均为单精度计算．由于Ｋ６２０显存较小（２ＧＢ），本次比较的网络规模为６０００神经元全连接网络．表２和表３分别显示了最大延时为１ｍｓ和１０ｍｓ情况下的耗时对比．由此可见，ＳＷｓｎｎ比ＣＡＲＬｓｉｍ计算速度快１０倍左右．如果考虑ＳＷｓｎｎ在高精度情况下的激发频率偏高情况，则其实际计算速度比ＣＡＲＬｓｉｍ快１０倍以上．表２　最大延时为１ｍｓ时ＳＷｓｎｎ和ＣＡＲＬｓｉｍ性能对比Ｓｏｆｔｗａｒｅ　Ｔｉｍｅ　Ｓｔｅｐ／ｍｓ　Ｆｉｒｉｎｇ　Ｒａｔｅ／Ｈｚ　Ｃｏｓｔ／ｓ　ＳｐｅｅｄｕｐＣＡＲＬｓｉｍ　１　１０　２．８０６６９１　１．０ＳＷｓｎｎ　１　１０　０．２６２４５１　１０．７ＳＷｓｎｎ　１／８　１２　０．３５３５３４　７．９表３　最大延时为１０ｍｓ时ＳＷｓｎｎ和ＣＡＲＬｓｉｍ性能对比Ｓｏｆｔｗａｒｅ　Ｔｉｍｅ　Ｓｔｅｐ／ｍｓ　Ｆｉｒｉｎｇ　Ｒａｔｅ／Ｈｚ　Ｃｏｓｔ／ｓ　ＳｐｅｅｄｕｐＣＡＲＬｓｉｍ　１　１０　５．８７５４５２　１．０ＳＷｓｎｎ　１　１０　０．４３６８９３　１３．４ＳＷｓｎｎ　１／８　１２　０．５８２９３４　１０．１然后，我们与ＧｅＮＮ 软件性能进行简单对比．除了与ＣＡＲＬｓｉｍ 对比外，我们还比较了近几年发布的ＧＰＵ软件ＧｅＮＮ．文献［７］列出了ＧｅＮＮ针对两个ＳＮＮ模型计算耗时信息，本文选择与我们规模相近的模型进行对比．我们提取文献［７］计算性能较好的几种情况进行估测与对比，表４列出了其中可对比的相关信息．由此可知，ＳＷｓｎｎ与ＧｅＮＮ 的计算模型规模相近，但运行ＧｅＮＮ 的ＧＰＵ 计算能力比ＳＷ２６０１０单核组计算能力明显要高．并且，ＳＷｓｎｎ模拟的激发频率明显高于ＧｅＮＮ．综合计算能力、计算规模等各方面影响的估测，对于权重累加计算速度，优化后的ＳＷｓｎｎ比ＧｅＮＮ 要高４倍以上，而对于总耗时，则约快８倍．表４　ＳＷｓｎｎ和ＧｅＮＮ性能对比Ｓｏｆｔｗａｒｅ　Ｎｅｕｒｏｎｓ　Ｓｙｎａｐｓｅｓ　ＧＰＵ　Ｍａｘ　ＧＦＬＯＰＳ　Ｔｉｍｅ　ｓｔｅｐ／ｍｓ　Ｆｉｒｉｎｇ　ｒａｔｅ／Ｈｚ　Ｎｅｕｒｏｎ　ｕｐｄａｔｅ／ｓ　Ｗｅｉｇｈｔ　ａｃｃｕｍｕｌａｔｅ／ｓ　Ａｌｌ　ｃｏｓｔ／ｓＧｅＮＮ　７７１６９　０．３×１０９　１０５０Ｔｉ　２１００．０　０．１ ＜１０　２．０　２．０　１４．０ＧｅＮＮ　７７１６９　０．３×１０９　Ｋ４０ｃ ４２９０．０　０．１ ＜１０　１．２　１．２　４．０ＧｅＮＮ　７７１６９　０．３×１０９　Ｖ１００　１４０００．０　０．１ ＜１０　０．４　０．４　１．８ＳＷｓｎｎ　４００００　０．４×１０９ － ７６５．５　１／８ 　１２　０．６３　１．６４　４．０６期 栗学磊等：神威太湖之光加速计算在脑神经网络模拟中的应用 １０３５６　讨　论本文以随机访存对计算性能的影响为主要研究路线，详细分析了ＳＮＮ 中随机访存问题的形成原因．结合ＳＷ２６０１０结构特征，设计了合适的计算和存储方法，确保随机访存只发生在高速的局部存储中，同时解决了异构面临的计算精度问题．有关ＳＮＮ面临的随机访存问题，据我们所知，已有ＳＮＮ软件与文献未曾进行详细分析与优化，而随机访存是影响其计算性能的最主要因素之一．因此，本文通过解决随机访存问题开发我们自己的高性能高精度软件ＳＷｓｎｎ具有重要意义．当前我们开发的ＳＷｓｎｎ尚处于初始阶段，还存在几个主要问题正在进一步研究：（１）ＤＭＡ访存问题．与ＤＭＡ访存对应的计算任务为权重累加，简单且快速，导致很难全部隐藏ＤＭＡ访存耗时．并且随着模拟规模的增大，访存稀疏性加强，致使ＤＭＡ访存耗时超过计算任务耗时．因此，我们正在搜寻适用的访存优化方法．（２）计算规模．当前ＳＷｓｎｎ最多支持８ＧＢ主存的单核组神经元模拟，模拟规模有限．因此，我们正在进行分布式计算研究，以支持更大规模ＳＮＮ模拟．（３）存储和计算均衡问题．ＳＷｓｎｎ初始版本以三维数组存储网络连接数据，这在实际应用中可能面临存储不均匀以及计算规模不均衡问题．对此我们正在利用变尺度一维存储方式改进ＳＷｓｎｎ，并尽可能减少同步限制，以解决均衡问题．（４）向量化问题．本文设计的方法仅确保了随机访存在ＬＤＭ 发生，但并未消除随机访存．随机访存的存在依然导致向量化难以实现，难以进一步提高实际计算能力．对此我们正在进行算法研究与探索，以进一步提高ＳＮＮ计算性能．７　结束语本文开发了神威太湖之光单核组的高精度高性能脑模拟软件ＳＷｓｎｎ，解决ＳＮＮ 模拟的随机访存问题，支持１ｍｓ、１／２ｍｓ、１／４ｍｓ、１／８ｍｓ、１／１６ｍｓ时间步长，确保脑模拟计算精度．本文的ＳＷｓｎｎ比同等规模计算能力的ＧＰＵ上运行的ＣＡＲＬｓｉｍ快１０倍，而时间步长精度要高１个数量级．在此基础上，我们下一步将发展多核组和分布式并行的ＳＷｓｎｎ版本，以充分发挥ＳＷｓｎｎ和神威超算的应用价值．参考文献［１］ Ｊｏｒｄａｎ　Ｊ，Ｉｐｐｅｎ　Ｔ，Ｈｅｌｉａｓ　Ｍ，ｅｔ　ａｌ．Ｅｘｔｒｅｍｅｌｙ　ｓｃａｌａｂｌｅｓｐｉｋｉｎｇ　ｎｅｕｒｏｎａｌ　ｎｅｔｗｏｒｋ　ｓｉｍｕｌａｔｉｏｎ　ｃｏｄｅ：Ｆｒｏｍ　ｌａｐｔｏｐｓ　ｔｏｅｘａｓｃａｌｅ　ｃｏｍｐｕｔｅｒｓ．Ｆｒｏｎｔｉｅｒｓ　ｉｎ　Ｎｅｕｒｏｉｎｆｏｒｍａｔｉｃｓ，２０１８，１２：Ａｒｔｉｃｌｅ　２［２］ Ｋｕｎｋｅｌ　Ｓ，Ｓｃｈｍｉｄｔ　Ｍ，Ｅｐｐｌｅｒ　Ｊ　Ｍ，ｅｔ　ａｌ．Ｓｐｉｋｉｎｇ　ｎｅｔｗｏｒｋｓｉｍｕｌａｔｉｏｎ　ｃｏｄｅ　ｆｏｒ　ｐｅｔａｓｃａｌｅ　ｃｏｍｐｕｔｅｒｓ． Ｆｒｏｎｔｉｅｒｓ　ｉｎＮｅｕｒｏｉｎｆｏｒｍａｔｉｃｓ，２０１４，８：Ａｒｔｉｃｌｅ　７８［３］ Ｋｕｎｋｅｌ　Ｓ，Ｐｏｔｊａｎｓ　Ｔ　Ｃ，Ｅｐｐｌｅｒ　Ｊ　Ｍ，ｅｔ　ａｌ．Ｍｅｅｔｉｎｇ　ｔｈｅｍｅｍｏｒｙ　ｃｈａｌｌｅｎｇｅｓ　ｏｆ　ｂｒａｉｎ－ｓｃａｌｅ　ｎｅｔｗｏｒｋ　ｓｉｍｕｌａｔｉｏｎ．Ｆｒｏｎｔｉｅｒｓｉｎ　Ｎｅｕｒｏｉｎｆｏｒｍａｔｉｃｓ，２０１２，５：Ａｒｔｉｃｌｅ　３５［４］ Ｉｇａｒａｓｈｉ　Ｊ，Ｓｈｏｕｎｏ　Ｏ，Ｆｕｋａｉ　Ｔ，ｅｔ　ａｌ．Ｒｅａｌ－ｔｉｍｅ　ｓｉｍｕｌａｔｉｏｎ　ｏｆａ　ｓｐｉｋｉｎｇ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ｏｆ　ｔｈｅ　ｂａｓａｌ　ｇａｎｇｌｉａ　ｃｉｒｃｕｉｔｒｙｕｓｉｎｇ　ｇｅｎｅｒａｌ　ｐｕｒｐｏｓｅ　ｃｏｍｐｕｔｉｎｇ　ｏｎ　ｇｒａｐｈｉｃｓ　ｐｒｏｃｅｓｓｉｎｇｕｎｉｔｓ．Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，２０１１，２４：９５０－９６０［５］ Ｆｉｄｊｅｌａｎｄ　Ａ　Ｋ，Ｒｏｅｓｃｈ　Ｅ　Ｂ，Ｓｈａｎａｈａｎ　Ｍ　Ｐ，ｅｔ　ａｌ．ＮｅＭｏ：Ａｐｌａｔｆｏｒｍ　ｆｏｒ　ｎｅｕｒａｌ　ｍｏｄｅｌｌｉｎｇ　ｏｆ　ｓｐｉｋｉｎｇ　ｎｅｕｒｏｎｓ　ｕｓｉｎｇ　ＧＰＵｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０ｔｈ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎＡｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ　Ｓｙｓｔｅｍｓ，Ａｒｃｈｉｔｅｃｔｕｒｅｓ　ａｎｄ　Ｐｒｏｃｅｓｓｏｒｓ．Ｗａｓｈｉｎｇｔｏｎ，ＵＳＡ，２００９：１３７－１４４［６］ Ｂｅｙｅｌｅｒ　Ｍ，Ｃａｒｌｓｏｎ　Ｋ　Ｄ，Ｃｈｏｕ　Ｔ　Ｓ，ｅｔ　ａｌ．ＣＡＲＬｓｉｍ３：Ａｕｓｅｒ－ｆｒｉｅｎｄｌｙ　ａｎｄ　ｈｉｇｈｌｙ　ｏｐｔｉｍｉｚｅｄ　ｌｉｂｒａｒｙ　ｆｏｒ　ｔｈｅ　ｃｒｅａｔｉｏｎ　ｏｆｎｅｕｒｏｂｉｏｌｏｇｉｃａｌｌｙ　ｄｅｔａｉｌｅｄ　ｓｐｉｋｉｎｇ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ　ｔｈｅ　ＩＥＥＥ　２０１５Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ＮｅｕｒａｌＮｅｔｗｏｒｋｓ．Ｋｉｌｌａｒｎｅｙ，Ｉｒｅｌａｎｄ，２０１５：２１－２９［７］ Ｋｎｉｇｈｔ　Ｊ　Ｃ，Ｎｏｗｏｔｎｙ　Ｔ．ＧＰＵｓ　ｏｕｔｐｅｒｆｏｒｍ　ｃｕｒｒｅｎｔ　ＨＰＣ　ａｎｄｎｅｕｒｏｍｏｒｐｈｉｃ　ｓｏｌｕｔｉｏｎｓ　ｉｎ　ｔｅｒｍｓ　ｏｆ　ｓｐｅｅｄ　ａｎｄ　ｅｎｅｒｇｙ　ｗｈｅｎｓｉｍｕｌａｔｉｎｇ　ａ　ｈｉｇｈｌｙ－ｃｏｎｎｅｃｔｅｄ　ｃｏｒｔｉｃａｌ　ｍｏｄｅｌ．Ｆｒｏｎｔｉｅｒｓ　ｉｎＮｅｕｒｏｓｃｉｅｎｃｅ，２０１８，１２：Ａｒｔｉｃｌｅ　９４１［８］ Ｍｉｎｋｏｖｉｃｈ　Ｋ，Ｔｈｉｂｅａｕｌｔ　Ｃ　Ｍ，Ｏ’Ｂｒｉｅｎ　Ｍ　Ｊ，ｅｔ　ａｌ．ＨＲＬＳｉｍ：Ａ　ｈｉｇｈ　ｐｅｒｆｏｒｍａｎｃｅ　ｓｐｉｋｉｎｇ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｓｉｍｕｌａｔｏｒ　ｆｏｒＧＰＧＰＵ　ｃｌｕｓｔｅｒｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓａｎｄ　Ｌｅａｒｎｉｎｇ　Ｓｙｓｔｅｍｓ，２０１４，２５（２）：３１６－３３１［９］ Ｈｅｎｋｅｒ　Ｓ，Ｐａｒｔｚｓｃｈ　Ｊ，Ｓｃｈüｆｆｎｙ　Ｒ．Ａｃｃｕｒａｃｙ　ｅｖａｌｕａｔｉｏｎ　ｏｆｎｕｍｅｒｉｃａｌ　ｍｅｔｈｏｄｓ　ｕｓｅｄ　ｉｎ　ｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔ　ｓｉｍｕｌａｔｏｒｓ　ｆｏｒｓｐｉｋｉｎｇ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ．Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｎｅｕｒｏｓｃｉｅｎｃｅ