引言

大规模计算机系统的性能测评与体系结构系统软件与语言以及并行算法一起构成了高性能计算技术研究的 四 大 分 支 目的是研究能反映大规模计算机系统性能的性能分析预测衡量指标和相应的基准测试分 析 预 测 方 法 及 程 序 客 观公 正 地评估大规模计算机系统的性能 为大规模计算机系统设计提供依据 提高应用问题在大规模计算机系统上的使用水平

国 内 外 对 大 规 模 计 算 机 系 统 的 性 能 分 析 预 测衡量指标还缺乏统一的有效标准 针 对 研 制 者 和用户的不同需求和不同目的 已有的系统宏观衡量指标 包 括 执 行 时 间 处 理 速 度吞 吐 率利 用 率性能价格比单位功耗浮点性能等 执行时间是在目标机上运行用户程序的墙上时间在一些实时性很强的应用中用户关心的是能否在规定的时间里完成任务但执行时间并不能真正反映一个系统的实际性能 处理速度通常是指单位 时间内完成的浮点运算次 数包括峰值速度和应用问题的持续速度持续速度和系统的特点 问题的特点密切相关当前国内外大规模计算机系统研究中普遍存在过分强调 得到 的 持 续 速 度 甚 至 将 其 作 为唯一指标的现象 但 不能保证 用 户 所 需 的高持续速度 与速度相关的指标是吞吐率 吞吐率定义为单位时间内所处理的作业数常用于多个作业同时执行的情形 吞吐率和大规模计算机系统作业的分配加载和处理速度密切相关 利用率定义为应用问题可达到的持续速度与峰值速度之比 通常快的持续速度具有高的利用率 性 能 价 格 比 定义为速度与购 买 价 格 之 比 速度可以是峰值速度也可以是持续速度 用系统的峰值速度价格比来比较系统常会造 成 误 导 微观的衡量指标还包括时钟频率指令执行速度数据处理速率存储器的带宽互连网 络 的 延 迟 与 带 宽 速度和功耗等指标用来评估大规模计算机系统某个方面的性能特征

由于大规模计算机系统是均衡设计的产物但是不同用户关注的主要指标和需求存在差异因此任何单一的指标都不能反映大规模计算机系统的全部特点需要建立一套完整的测评体系来评估大规模计算机系 统 的 性 能 本文给出了大规模计算机系统用户适用性的概念 根据用户适用性的概念建立了大规模计算机系统性能测评体系

相关工作

长期以来大规模计算机系统界一直以 速度作为超级计算机技术水平的最重要的衡量指标为实现足够高的峰值性能 业界不断推出物理上可扩展性较好的 堆积了越来越多通用微处理器的系统 但是这些 系统的实际应用性能与其峰值速度往往相差甚远 而且系统规模也越来越大耗 电 越 来 越 多 编 程 困 难 应 用 效 率 低 因此大规模计算机 系 统 的 测 试 衡 量 指 标 应 该 从 高性 能 走 向 高 效 能的 综 合 含义是指提 高 超 级 计 算 机 系 统 的 计 算 性 能可 编 程性可移植性和坚固性 同时努力降低系统的开发运 行 及 维 护 成 本计划 表 明超 级 计 算 机 要 想 保持快速发展势头 必须要有本质的变化 即 必 须 采用先进技术平衡各项设计指标 实 现 系 统 的 高 可靠性高可用性高可维性高安全性和低功耗而 面临的技术挑战之一就是高效能大规模计算机系统的性能分析预测技术对于强调高效能的大规模计算机系统 其评价标准应该综合考虑开发时间和执行时间的因素 而如何实现一个标准的与体系结构无关的 作为衡量 高效能计算 机 系 统 的 评 价 标 准 成 为 一 个 巨 大 的 挑战 正 如 测试对目前的高性能计算所起的重大作用一样 一个公正有效的高效能计算基准的出现必将对高效能计算机系统的发展产生巨大的推动作用大 规 模 计 算 机 系 统 的 发 展 离 不 开 基 准 程 序 测试 按照 应 用 类 型 基 准 测 试 程 序 可 分 为 科 学 计算商 业 应 用 网 络 服 务 多 媒 体 应 用 和 信 号 处 理等 按照测试关注的对象 分为宏基准测试程序和微基准测试程 序 两 类 宏基准测试程序测量一个计算机系统的总体性能 微基准程序测量一个计算机系统某 个 特 定 方 面 的 性 能 如 速 度存 储器速度 速度操作系统性 能 和 网 络 性 能 等 目前已提出和正在使用的基准程序组已超过 多个比较常用的基准程序有 侧 重 于系统浮点峰值运算能力的测试 由 多 组 测 试 程序组成的 包括 测 试 程 序 测 试程序 测 试 程 序 测 试 程 序 和 功 耗 测试程 序 等 由 研 究 中 心 开 发 的包含五个核心程序和三个 应用程 序用来 测 试 大 规 模 计 算 机 系 统 的 性 能 包 含 和两 个 版 本 基 于和 来测试共享或分布共享计算机结构的性能 是由 研究开发 的 一 套 综合的 基准测 试 程 序 集 是 一 套 测 试大规模计算机系统基本性能的正交基准测试程序集 与 一 样 是 受 资 助的项目其目的是研究适用于高效能计算机系统的性能测试方法综合考虑了计算 访存通信与输入输 出 性 能 指 标 试图取代传统的成为 排序的依据计算机工程与科学文献 认 为 应 该 能 够 真 正 反 映用户的最终目标 由 此 出 发 提 出 了 一 个的 目 标 直 接 与 用 户的利益相关 例 如 准确预测美国三天内的天气状况就可以作为一个 测 试 当 然实 际 的 测试应该有更精确 的 定 义 说明要做什么事 给 出 对任务的文字上和数学上的定义说明和具体的数字精度的要求 但是 并不指出怎样完成任务的测试者 可 以 自 由 地 采 用 任 何 方 式 来完 成 任 务 然 而不 论 采 取 何 种 技 术 必 须 将 该 测试方 法 公 开 以 使 其 他 的 测 试 者 同 样可以使用 这 种 技 术 否则该测试结果将被视为无效由于大规模计算机系统用户的应用千差万别对系统的要求也是各种各样 为了更好地评价大规模计算机系统性能 通常用户用自己的应用程序去进行实际的测试 或找到相似应用的商业软件的标准测试结果这 样 的 评 价 会 更 有 针 对 性也 比 较 客观 比如将 要 投 入 使 用 的 基 准 测 试程序包含了 和 等 八 个 核 模拟核心算法程序文献 认 为 是 考 察 计 算 系统生产率的必要标准 应该平衡考虑开发时间和执行时间的重要性 以此为出发点基于经济学上对生产率的定义以及 理 论提 出 了 一个测量高端计算系统生产率的框架模型文献 认 为应该用一台计算机整个生命周期中的生产能力考察它的生产率并且认为生产率与峰 值 运 算 速 度 运 算 效 率可 编 程 性可 移 植 性可维护性可靠 性 和 可 访 问 性 等 因 素 相 关并 用 一个概念性的方程式定量地表达了生产率与这些因素的关系在大规模计算机系统的发展中 应用需求将是主导因素高性 能 将 是 追 求 的 目 标应 用 的 多 样 性和新技术的涌现 导致了大规模计算机系统实现形式的多样性 性能分析预测技术应该适应这些新的变化开 发 新 的 度 量 准 则 和 来 测 量和预测系统体系结构和应用软件的性能 关 注 高效能大规模计算机系统的可靠性可用性好用性功耗总体拥有成本可编程性和可移植性大规模计算机系统用户适用性用 户 购 买 大 规 模 计 算 机 系 统 时 最 关 心 的 是 系统是否满足使用要求 使用要求包括软硬件的功能和性能 将用户的使用要求定义为大规模计算机系统用户适用性 针对当前大规模计算机系统的特点用 户 适 用 性 包 括 稳 定 性 计 算 性 能通 信 性 能并行性能吞吐 量功耗和用户特殊需求七个分项适用性稳 定 性 体 现 了 大 规 模 计 算 机 系 统 的 可 用 性 和可维性涉及平 均 无 故 障 时 间 平 均 故 障 间 隔 时 间和故障恢复时间计算性能反映了大规模计算机系统的浮点 定点和高精度计算能力 用户采用优化库和优化程序得到的最高计算性能通 信 性 能 反 映 了 大 规 模 计 算 机 系 统 的 互 连 网络的功能和性能 包括点点带宽延迟随机环的带宽延迟和全交换通信带宽并 行 性 能 是 指 大 规 模 计 算 机 系 统 提 供 的 并 行环境与工具的支持能力 体现了系统的可编程性和并行可扩展性吞 吐 量 是 指 大 规 模 计 算 机 系 统 的 存 储 访 问 能力包括内存和 系统的访问带宽和延迟功耗反映了大规模计算机系统的耗电能力 单位功耗下获得尽可能高的计算性能和系统的体系结构工艺水平和冷却方式密切相关用 户 特 殊 需 求 是 只 和 用 户 使 用 特 点 密 切 相 关的特殊需 求可 以 是 特 定 用 户 程 序 的 计 算 时 间 需求或是第三方软件的支持程度或其他需求大规模计算机系统性能测评体系利用适用性概念 建立了大规模系统性能测评体系包括总体适用性 分项适用性分项适用性概念准则和 程序五 层大 规 模 系 统 性 能测评体系如图 所示分 项 适 用 性 定 义 为 各 分 项 的 实 测 性 能 除 以 期望性 能假 设 稳 定 性 计 算 性 能通 信 性 能并 行 性能吞吐量功耗和用户特殊需求七个分项适用性分别为 分别表示七个分项适用性在 总 体 适 用 性 中 所 占 的 权 重 满 足大规模计算机系统总体适用性定义为各分项适用性的加权平均整个测评体系尽量消除主观因素做到客观定量 利用测评 体 系 借助性能数据分析获取技术最终给出表 中的测试数据根据总体适用性的大小来判断不同大规模计算机系统是否满足用户的需求刘 杰 等大规模并行计算机系统性能测评体系图 大规模系统性能测评体系表 大规模计算机系统适用性测试结果实 测性 能期 望性 能分 项 适用 性权 重总 体适 用 性稳 定 性计 算 性 能万 亿 次通 信性 能带 宽延 迟并 行 性 能吞 吐 量功 耗特 殊 需 求个稳定性采用多用户多作业模拟实际使用模式连续长时间运行和人为制造故障等测试方法记录系统的平均无故障时间 平均故障间隔时间和故障恢 复 时 间 测 试 程 序 要 考 虑 多 规 模 全 覆 盖全 系统的压力测试 程 序 这里压力测试程序指发挥大规模计算机系统最大性能和功能的大规模测试程序例如把内存用到极限 考虑到操作系统 资源管理系统和并行计算环境要占用部分内存一般内存极限是系统内存总容量的计算性能采用基准程序测试方法或用户抽取典型应用的核心程序来完成计算能力测试 计 算性能包括每秒浮 点 或 定 点 数以 及 计 算 精 度 计 算精度满足用户 的 使 用 要 求 计算结果才是正确的基准测试程 序 可 以 选 择 矩 阵 乘 和 等 测试程序用户核心程序需要用户研制与优化通信性能采用不同消息长度的点点局部和全局通信模式的测试方法 系统测试机柜内和机柜间的通信性能测试两点之间通信的最小和最大延迟和带宽随 机 环 的 带 宽 延迟和全交换通信带宽可以采用 和 等基准测试程序并行性能的测试需要事先定义好性能模型 例如可以采用并行计算时间 加速比并行效率可扩展性等性能模型 根据性能模型确定测试方法 测试程序可以是基准测试程序或用户程序测试程序要有对并行计算环境的全覆盖性即要测试系统提供的 和 等 所 有 的测试环境吞 吐 量 采 用 小 数 据 量 频 繁 读 或 写 和 大 数 据 量连续读或写不 同 或 相 同 数 据 的 方 式 进 行 测 试 测试程序可以采用基准测试程序和用户程序测试 基准程序包括 等功耗采用空 载 轻 载 和 重 载 的 测 试 方 法分 别得到系统的最小 适中和最大功耗 测试程序可以采用 基 准 程 序 取 最 大 和 适 中 的 计 算 规 模全系统循环加载的条件下记录系统功耗用户特殊需求可以是用户业务程序的性能 实计算机工程与科学时性安全性等要求 测试方法和测试程序由用户指定性能测评结果根据上述评价体系 表 和表 分别给出了机器 和机器 的实际测试结果 期望值根据某用户单 位 的 需 求 估 计 给 出 最 终 的 总 体 适 用 性 达 到和表 机 器 系统适用性测试结果实 测性 能期 望性 能分 项 适用 性权 重总 体适 用 性稳 定 性计 算 性 能万 亿 次通 信性 能带宽延 迟并 行 性 能吞 吐 量功 耗特 殊 需 求个表 机 器 系统适用性测试结果实 测性 能期 望性 能分 项 适用 性权 重总 体适 用 性稳 定 性计 算 性 能万 亿 次通 信性 能带宽延 迟并 行 性 能吞 吐 量功 耗特 殊 需 求个表 和表 中的稳定性为连续无故障运行时间计 算 性 能 取 为 的 测 试 性 能 通 信 性 能包括点点通信带宽和延迟 通信性能适用性取为两者的加权平均表 中并行性能取为二维中子输运问题在机器 全系统上的并行计算效率 表 中并行性能取为计算流 体 力 学 问 题 在 机 器 全 系 统 上的并行计 算 效 率 吞 吐 量 取 为 聚 合 带 宽功 耗为计算系统重载情况下的总功耗表 中的特殊需求为完成多流体等一套计算问题中每个问题的最快计算时间 的 累 加 和 表 中 的 特 殊 需 求 为 对等第三方软件支持的有效性通过表 和表 中给出的测试数据 可以量化地完成对大规模计算机系统的性能测评方便地比较多台大规模计算机系统的优缺点给出用户总体适用性 同时系统研制者可以对比表中的测试数据找到系统的瓶颈 进行针对性的优化设计

结束语

大 规 模 高 性 能 计 算 机 系 统 性 能 评 价 是 指 通 过建立性能分析与 预 测 方 法 构 建 测 评 体 系 研 制 基准测试程序完成对高性能计算机系统的评测 主要作用包括发 现 大 规 模 高 性 能 计 算 机 系 统 的 性 能 瓶颈给系统研制者提供优化指导探索充分发挥系统性能的并行算法 程 序使用模式和优化方法 给用户提供使用指导回答大规模高性能计算机系统是否满足用户或合同要求的问题预测新一代系统的性能和构建方式本文从用户需求出发 给出了大规模并行计算机系统用户适用 性 概 念 利用适用性概念 建 立 了大规模系统性能 测 评 体 系 包括总体适用性 分 项适用 性分 项 适 用 性 概 念准 则 和 程序 总体适用性包括稳定性 计算性能通信性能并行性能吞吐 量功耗和用户特殊需求七个分项适用性涵盖了当前用户关心的主要系统性能和功能整个测评体系尽量消除主观因素做到客观定量利用测评体系借助性能分析数据获取工具 在得到量化的分项适用性的基础上通过权重公式可以求出总体适用性 根据总体适用性的大小来判断不同大规模计算机系统是否满足用户的需求 方便地比较多台大规模计算机系统的优缺点下一步我们将使用适用性测评体系对更多的新型大规模计算机系统进行测评同时研制适用性测评标准需要的基准测试程序

参考文献刘 杰 等大规模并行计算机系统性能测评体系作者简介刘 杰 男江 苏 赣 榆 人 博 士副 研 究 员 会 员 研究方向为并行算法和性能评测迟 利 华 女山 东 威 海 人 博 士副研 究 员 研究方向为并行算法蒋杰 男重 庆 人博 士副 研 究员研究方向为高性能计算徐 涵 男江 苏 宜 兴 人 博 士副 研 究 员研 究 方 向 为 并 行 算 法晏 益 慧 女湖 南 湘 潭 人 副 研究 员研究方向为并行算法胡 庆 丰 男湖 南 双 峰 人 教授研究方向为并行算法计算机工程与科学