机器学习系统的技术就绪程度

 

机器学习系统的开发和部署可以使用现代工具轻松执行，但该过程通常很匆忙，并且不计其数。缺乏勤奋会导致技术债务、范围蔓延和目标错位、模型误用和失败，以及代价高昂的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化开发流程，获得高质量、可靠的结果。极端的是航天器系统，在整个过程中采用关键任务措施和稳健性。借鉴航天器工程和机器学习（通过跨领域产品进行研究）的经验，我们为机器学习和人工智能开发了一种经过验证的系统工程方法：机器学习技术就绪级别框架定义了一个原则性流程，以确保系统稳健、可靠和负责任，同时简化机器学习工作流程，包括与传统软件工程的关键区别， 以及跨团队和组织的人们在机器学习和人工智能技术方面协同工作的通用语言。在这里，我们描述了该框架，并阐明了从物理研究到计算机视觉应用程序再到医疗诊断的用例。

 

其他人正在查看类似内容

 

如何设置您的第一个天文学机器学习项目

报道 2024-08-08

 

在人类和机器学习比较研究中对人类表现进行严格评估的框架

文章 开放获取 31 三月 2022

 

在创建复杂数据系统时应对开发挑战

报道 01 June 2023

介绍

人工智能 （AI） 和机器学习 （ML） 技术在软件、硬件、数据和人员系统中的加速使用，由于动态和不可靠的行为，带来了漏洞和风险;从根本上说，ML 系统从数据中学习，在这些系统的行为方式以及与环境交互方面引入了已知和未知的挑战。目前，构建 AI 技术的方法是孤立的：模型和算法是在与真实环境隔离的测试台中开发的，并且没有更大的系统或更广泛的产品，它们将被集成到其中进行部署。主要问题是，模型通常只在少数几个精选数据集上进行训练和测试，没有针对未来场景的措施和保护措施，并且忽略了下游任务和用户。更重要的是，模型和算法通常被集成到软件堆栈中，而不考虑隐藏的 ML 组件固有的随机性和故障模式。考虑随机种子对深度强化学习模型性能的巨大影响1例如。

 

其他工程领域（如土木和航空航天）遵循明确定义的流程和测试标准，以简化开发以获得高质量、可靠的结果。技术成熟度 （TRL） 是针对深科技的系统工程协议2以及大规模的科学努力，非常适合集成许多相互依赖的组件和跨职能的团队。TRL 是 NASA 的标准流程和用语也就不足为奇了3和 DARPA4.

 

对于航天项目，有几个定义的阶段，从前期概念到原型设计，从部署操作到生命周期结束，每个阶段都有一系列严格的开发周期和审查。这与常见的机器学习和软件工作流程形成鲜明对比，后者促进快速迭代、快速部署和简单的线性进展。然而，NASA 对航天器系统的技术准备过程是矫枉过正的;我们需要强大的 ML 技术与更大的软件、硬件、数据和人类系统集成，但不一定用于火星任务。我们的目标是通过定义并实施精益机器学习技术就绪水平 （MLTRL） 框架，将系统工程引入 AI 和 ML。我们借鉴了数十年的 AI 和 ML 开发经验，从研究到生产，跨越各个领域和不同的数据场景：例如，医疗诊断和消费者应用程序中的计算机视觉、自动驾驶汽车和工厂机器人中的自动化、科学发现和因果推理的工具、预测性维护和财务中的流式时间序列。

 

在本文中，我们定义了开发和部署健壮、可靠和负责任的 ML 和数据系统的框架，并提供了几个从研发到产品化和部署的模型和算法的真实测试用例，包括基本的数据注意事项。图 1 说明了整个 MLTRL 过程。此外，MLTRL 优先考虑 AI 道德和公平的作用，我们的系统 AI 方法可以帮助遏制因 AI 和 ML 技术部署和维护不善而导致的重大社会问题，例如系统性人类偏见的自动化、否认个人自主权和不合理的结果（参见艾伦图灵研究所关于道德 AI 的报告5).MLTRL 的采用和普及为团队和行业提供了通用的命名法和指标。整个 AI 行业的 MLTRL 标准化应该有助于团队和组织开发有原则、安全和值得信赖的技术。

 

图 1：MLTRL 涵盖研究（红色）到原型设计（橙色）、产品化（黄色）和部署（绿色）。

图 1

大多数 ML 工作流都规定了数据处理、训练、测试和提供模型的孤立线性过程37.这些工作流程未能定义 ML 开发必须如何迭代该基本流程以变得更加成熟和强大，以及如何与更大的软件、硬件、数据和人员系统集成。更不用说 MLTRL 在部署之后继续存在：监控和反馈周期对于产品生命周期内的持续可靠性和改进非常重要。

 

全尺寸图像

结果

MLTRL 定义了技术就绪级别 （TRL），以指导和交流机器学习和人工智能 （ML/AI） 的开发和部署。TRL 表示模型或算法、数据管道、软件模块或其组合的成熟度;典型的 ML 系统由许多互连的子系统和组件组成，系统的 TRL 是其组成部分的最低级别6.请注意，在提到正在开发的技术时，我们稍微互换使用“模型”和“算法”。例如，相同的 MLTRL 流程和方法适用于机器翻译模型和 A/B 测试算法。一个级别的剖析以门控审查、不断发展的工作组、带有风险计算的需求文档、渐进式代码和测试标准以及 TRL 卡等可交付成果为标志（图 D）。2） 和道德检查表。MLTRL 可交付成果的模板和示例将在 ai-infrastructure.org/mltrl 发布时开源。这些组件（对于以系统方式实现级别至关重要）以及 MLTRL 指标和方法在示例和“方法”部分中进行了具体描述。最后，为了强调数据任务在 ML 中的重要性，从数据管理7前往 数据治理8，我们列出了每个 MLTRL 级别的几个重要数据注意事项。