摘 要 受人类认知环境方式的启发，将人类记忆机制引入到视觉信息处理过程，提出一种基于记忆机制的视觉信息处理认知模型，用于模拟人脑的一些认知过程该模型主要包括 个部分: 信息粒记忆空间认知行为信息传递规则和决策过程根据人脑三阶段记忆模型定义 个记忆空间: 瞬时记忆空间短时记忆空间和长时记忆空间，分别用于存储当前的临时的和永久的视觉信息该模型可记住或遗忘曾经出现过的场景，从而使其能快速适应场景变化将其应用于计算机视觉研究中的两个关键问题: 背景建模与运动目标跟踪 实验结果表明，该模型能较好解决复杂场景下背景或目标姿态突变以及目标被严重遮挡等问题
关键词 人脑记忆模型，视觉信息处理，认知建模，背景建模，目标跟踪
　　引 言
　　人脑作为一个具有信息储存功能的器官，其记忆机制在认知心理学认知神经科学及认知信息学等领域得到广泛研究［ ］自 世纪末以来，科学家们提出多种记忆模型 年［］将人类记忆分 为 三 部 分: 后 像 记 忆初级记忆和次级记忆年 和［］提 出 的模型( 又称为多存储模型) 是描述记忆结构的心理学模型该模型将人类记忆分为三个阶段: 感觉记忆短时记忆和长时记忆 和［］认为单一短时记忆并不能解释在短时间内能对信息的维持和加工，世纪 年代，他们提出一个具有三成份的工作记忆系统 一个中央执行系统以及两个参与不同类型信息复述的子系统( 语音和视觉) 近年来， 等［，］提出一种记忆的逻辑结构，他 们认为在上述记忆信息三级加工模型中感觉贮存仅仅是一个面向输入的贮存，缺少一个面向输出的贮存因此在上述模型的基础上增加一个面向输出的贮存，即行为记忆( ， ) ，表示面向输出行为的记忆功能
　　近年来基于上述记忆机制的认知建模受到多个研究领 域 的 重 视，如 机 器 学 习［］问 题 求 解［］对话系统建 模［］虚 拟 现 实［ ］人 工 生 命［］机器人［］交通流量预测［］等然而，如何利用人类记忆机制来处理视觉信息，相关研究报 道 还 很 少众所周知，不论场景怎么变化，人类都能 毫 不 费 力的对其中的目标进行感知和识别，对 场 景 进 行 解释和理解根据神经生理学心理学及认 知 科 学 的研究成果，人类之所以能轻而易举的做到这一点与人类拥有一套功能强大和完善的视觉感知注意和记忆机制密切相关视觉注意与人 脑 记 忆 学习推理等功能协同工作，完成将特定目 标 从 背 景中分离在多个目标间转移注意焦点 将 可 能 发 生形变或有遮挡以及残缺的注意目标与记忆模式的匹配等任务［］记忆对人类来说是非常重要的，正因为有记 忆，人们所看到的和所经历的事物才会被记住，而这些经验有助于人类快速辨别所记忆的物体认 知 新 的 事 物 适 应 新 的 环 境 等 作 者 在前期工作中将三阶段人脑记忆机制［］引入运动目标分割以及运动目标跟踪，分 别 提 出 基 于 记 忆 的混合高斯背景建模方法［］和基于人类记忆机制的粒子滤波运动目标跟踪方法［］，取得较好效果本文将在前期研究基础上建立一个统一的基于记忆机制的视觉信息处理认知模型，用 于 模 拟 人 类 在遇到过去经历过的相似场景事件模式 时 的 人 脑信息处理 机 制，并讨论如何将其应用于运动目标分割与跟 踪 中，以解决复杂场景下背景或目标姿态突变以及目标被严重遮挡等问题
　　基于记忆 机 制 的 视 觉 信 息 处 理建模
　　基于记忆机制的视觉信息处理建模的基本思路: 给定输入的条件下，在记忆空间中的经验知识中寻求当前输入的匹配，并依据匹配的结果进行决策，得到相应的输出基于记忆机制的视觉信息处理认知模型(， ) 如图 所示图 基于记忆机制的视觉信息处理认知模型可定义为如下形式定义( ) 定义为一个 元组 ，， ， ， 中 各 元 素 含义发吓 表示视觉输 入 的 信 息 粒［］，它 是处理的基本单元例如，可代表像素的高斯分布目标的模板或是目标特征描述等{ ， ， }是用于存储信息粒的记忆空间，其中，和 分别表示瞬时记忆空间 短时记忆空间和长时记忆空间{ ， ， ， ，， ， ， }是用于寻找匹配和更新记忆空间的一组认知行为，其中， 和 分别表示直接记忆和竞争记忆，这些行为将在 节介绍{ ， ， }是用于更新记忆空间的一组行为规则，其 中，期 王延江 等: 基于记忆机制的视觉信息处理认知建模和 分别表示在 和寻找到匹配后的行为规则， 表示在上述两个空间都不存在匹配时的行为规则，这些行为规则将在 节进行介绍{ ， ， }是 的一组认知决策过程，也就是说能对视觉输入进行分类 识别和预测信息粒设 { ，，，} 表示当前原视觉输入，其中为输入空间的维数那 么 信 息 粒() 定义如下定义( 信息粒) 信息粒 是一个二元组 ，，其中，是的特征描述，它表示被处理并被记忆的知识，即{ ，，，} ( ) ，( ) 是特征提取方程，是特征空间的维数例如，若图像的像素 { ，，} 满足单高斯分布，则 ( ) { ，} 是的一种描述，其中和 分别是高斯分布的均值和方差{ ，，，} 表示 的当前状态，其中 是对 的一个标记根据认知心理学理论，只有经过反复刺激的信息才可能存储到 因此定义参数 对 中的每个 进行标记从而决定该 能 否 被 存 储 到是一个标记成功匹配次数的计数器 取值越大，与之相对应的 存储到 的几率也就越大具体来 说，对 ， ，，，，若，为预先定义的阈值，则 可记忆，其中，是 中 的个数，也即 的容量［，］为权重，表示 对问题解的贡献程度; ［，］是 学 习 率，用 于 控 制 或中 的更新过程; ［，］是遗忘因子，可根据具体应用而进行定义记忆空间定义( 瞬时记忆空间) 瞬时记忆空间( )是当前输入的静态或动态属性，是创建记忆的第一步，即 { } ， ( )定义( 短时记忆空间) 短时记忆空间( )是临时储存信息粒的集合，用于模拟人类的短时记忆，即 { ， ，，，}存储在 信息包含由 而来的新信息 中原有的并经过更新的信息或从 提取的信息定义( 长时记忆空间) 长时记忆空间( )是可记忆信息粒的集合，用于模拟人类长时记忆，即， { }，其 中，是 中可存储信息粒的最大数目， ， [ ] 是当前中信息粒的数目; 表示存储在 的第个信息粒 是动态分配的认知行为的认知行为定义如下定义( 排序) 为了节省搜索匹配的时间，或 中的信息粒按照它们的状态参数( 或) 有序排列的过程就是排序( ) 中的按照 从大到小排序，取值越大，表示该信息粒对解的贡献也越大; 而 中的 按照遗忘因子 从小到大排序，也就是说 取值越大意味着该信息粒越容易被遗忘定义( 匹配) 匹配( ) 定义为输入与存储在 或 先验信息满足某特定条件，用表示匹配信息粒，即若 ( ) ( ， ) ，则 ，其中，匹配方程 ( ) 随具体应用而变化，是阈值定义( 学习) 学习( ) 是根据匹配结果更新所有 信 息 粒 的 过 程 在 学 习 阶 段，学 习 率的设定是非常重要的一般地，的值越大，学习速度越快可视具体问题在不同的学习阶段设置不同的学习率此外，利用 个过程表达学习后不同记忆空间中信息粒的变化:) ( ) 表示按照某学习率 更 新 某 记忆空间中的所有信息粒，表示记忆空间;) ( ， ) 表示用信息粒 来代替 ;) ( ， ) 表示互换两个记忆空间的两个信息粒;) ( ) 表示从某记忆空间中删除信息粒定义( 注意) 如果 和 中都不存在匹配信息粒， 中的信息粒将会被注意() 并取代 中的最后一个信息粒 ，即若( ( ) ( ， ) ) ，则 ( ， )定义 ( 直接记忆) 在学习过程中，如果中的最后一个信息粒 是可记忆的，且 未满，那么， 从 存储到 的过程就称之为直接记忆( ， ) ， 即若 ，则 ( ， )模式识别与人工智能 卷定义 ( 竞 争 记 忆) 竞 争 记 忆(， ) 是对直接记忆行为的补充 当需要被存储到 而此时 已达到最大容量，那么竞争就会在 中的 和 中的( 该信息粒具有最大的遗忘因子或最小的权重)之间展开以决定哪一个信息粒能够保存在中，即若 ，则 ( ( ， ) ， )定义 ( 提取) 若在 中找到匹配 ，则 将取代 中的最后一个信息粒，这个过程就是提取( ) ， 即若 ，则 ( ， )定义 ( 遗忘) 信息粒被从任一个记忆空间移除的行为就是遗忘( ) 遗忘可在任一个记忆空间中发生，即，( )值得注意 的 是，当 为 每 个 新 的 输 入 对 在和 中现存的信息粒进行匹配检查时，可同时发生上述两个或三个行为，而 和 中的信息粒也将同时得到更新决策定义 ( 分类) 分类( ) 是将输入区分为不同类型的决策过程，例如将图像像素划分为前景和背景定义 ( 识别) 识别( ) 是标 识 输入的过程，例如识别人脸定义 ( 预测) 预测( ) 是预报输入变化的决策过程，例如目标跟踪过程中为下一帧图像输出更新的目标外观模板记忆空间更新规则根据匹配结果，制定信息更新规则如下定义 为 中找到匹配时的更新规则:如果在 中找到匹配，则 ( )定义 为 中找到匹配时的更新规则) 遗忘提取如果在 中找到匹配 且是不可记忆的，则{( ) ;( ， ) ;( ) ;( ) ;}) 记忆提取如果在 中找到匹配 且是可记忆的，则{( ， ) ;( ) ;( ) ;}定义 为 和 都不存在匹配时的更新规则) 遗忘注意如果在 和 中都不存在匹配且 不可记忆，则{( ) ;( ， ) ;}) 记忆遗忘注意如果在 和 中都不存在匹配， 是可记忆的且 未满，则{( ， ) ;( ) ;( ， ) ;( ) ;}) 竞争遗忘注意如果在 和 中都不存在匹配， 是可记忆的且 已满，则{( ( ， ) ， ) ;( ) ;( ， ) ;( ) ;}的实现根据上述模型元素定义， 的实现过程如下初始化 ，起始时 置为空将 中的 按权重参数 排序而中的 根据遗忘因子 排序或按照时间顺序存储对于时刻任一新的输入 ，首先依次与 中的信息粒进行匹配检查，如果找到匹配期 王延江 等: 基于记忆机制的视觉信息处理认知建模信息 粒，根据决策方程确定输出，并 根 据更新记忆空间，否则转向将新的输入 依次与 中的信息粒进行匹配检查，如果找到匹配的信息粒，确定输出，并按照 更新记忆空间，否则转向如果 和 中都没有与输入相匹配的信息粒，确定输出，并根据 更新相应参数，然后转到在视觉信息处理中的应用在背景建模中的应用将 与混合高斯模型相结合提出基于记忆的混合高斯背景模型(， )［］在该具体应用中，瞬时记忆空间中存储的信息粒是 颜色空间的像素值设当 时对模型进行初始化( 假设场景中无感兴趣目标) : 将存储在瞬时记忆空间中的每个像素用 个高斯分布进行描述，用这 个高斯分布对短时记忆空间进行初始化; 而长时记忆空间初始为空随着背景不断更新，长时记忆空间逐渐被可记忆高斯分布填满模型的输入为当前帧像素，输出为二值化前景图若输出为，表示当前像素为前景像素; 若为，则表示该像素为背景像素基于记忆的混合高斯背景建模过程可简要概括如下首先对短时记忆空间的高斯分布按照 的值由大到小进行排序，为高斯分布的权重，并从首端选取前(，)个高斯分布作为背景模型，并标记为可记忆的，而长时记忆空间中的高斯分布按照遗忘因子 由小到大进行排序然后对瞬时记忆空间中的新的像素值，依次与短时记忆空间和长时记忆空间中的分布进行匹配，并根据匹配结果确定该像素是否属于背景像素，同时由记忆提取遗忘及竞争等行为按照 及规则对记忆空间进行更新算法框图及详细描述可参考文献［］为验证 方法的有效性，在 的机上， 编程环境下，用实拍序列进行测试，并与传统 方法以及 方法［］进行对比在目标提取过程中，为去除噪声，采用 高斯滤波器及连通域分析算法，但未采用任何阴影去除算法序列 中开始时门是开着的，然后关闭，如图 所示( 第 帧和第 帧) 经过背景的学习更新后，门关闭着的场景被存储到短时记忆空间，而门开着的场景被记忆到长时记忆空间 图 给 出当 人 打 开 门 时( 序 列 的 第 ， ，， ， ， 帧) 采用 种方法的分割结果结果显示当门在打开时，采用 方法在门打开后只检测到人; 而 采 用 方 法 和 方 法却将门外的背景区域也作为前景目标检测出来图 背景发生变化的 序列( ) 原序列( )( ) 分割结果( )( ) 分割结果( )( ) 分割结果( )图 序列分割结果模式识别与人工智能 卷在目标跟踪中的应用记忆可帮助个体快速适应环境，因而记忆对于未知环境中的个体而言是非常必要的 如果模板更新过程也具有记忆能力，当出现过的模板再次出现时，就能较快适应目标姿态的变化基于这一思路，将本文模型引入到目标模板更新过程，提出基于记忆的目标模板更新算法(， )在该具体应用中，瞬时记忆空间中的信息粒是当前估计模板 设 时利用目标分割结果对模型进行初始化: 目标模板 存储于短时记忆空间中的第一个位置，而短时记忆空间剩余位置及长时记忆空间初始化为空值得一提的是，随着后续跟踪，短时记忆空间和长时记忆空间将逐渐被出现过的模板填满模型输入为当前估计模板 ，模型输出为用于下一帧估计的目标模板目标模板更新过程可简述如下 估计模型首先与当前目标模板进行匹配检查，若二者匹配，则利用子模型［］更新策略更新当前目标模板; 否则依次与短时记忆空间和长时记忆空间中的模板进行匹配检查，根据设定阈值选择更新，获得新的目标模板，同时由 记 忆提 取遗忘等行为按照以及 规则对记忆空间进行更新将 与粒子滤波相结合进行实验验证，算法方框图及算法的具体描述可参看文献［］为了验证 的有效性，用标准视频( :)在主频为 内存为 的计算机上进行测试，并给出本文的基于记忆的模板更新粒子滤波算法( ) 与无模板更新的基本粒子滤波算法( ， ) 及目标模板整体更新的粒子滤波( ，) 的测试结果第一个实验跟踪 序列中的人脸，其中是由标准视频 通过视频的截取和合并得到该视频中人的姿态由于运动而不断发生改变，当背对镜头时该人突然转过身 图( )( ) ( ) 分别给出基本粒子滤波器及 跟踪人脸的结果( 序列第 ，，，，， 帧) 实验结果显示: 姿态变化不大时，种算法都能较好跟踪目标; 但当人的姿态较初始化模板变化较大时，本文算法依然能跟踪运动目标，而和 渐渐偏离运动目标; 第 帧时目标突然转身， 能较快适应目标姿态的突变( 第 帧) 尽管 和 能捕捉到目标部分信息，但是后继帧并没有恢复，反而渐渐脱离运动目标( )( )( )图 种算法跟踪姿态突然变化的目标( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( ) ( ) ( )图 跟踪被严重遮挡的目标的结果第二个实验所用的视频为 ，该实验跟踪一个姿态不断变化并被其它运动目标多次遮挡的运动目标图 给出本文算法跟踪结果( 序列第 ，，，，，， ， ， ， ， ， 帧)实验结果显示: 虽然运动目标的姿态发生多次改变，期 王延江 等: 基于记忆机制的视觉信息处理认知建模并且两次被其它运动目标遮挡，本文算法自始至终都能鲁棒跟踪运动目标即使被跟踪目标被完全遮挡( 第 帧)
　　结 束 语
　　受人脑三阶段记忆机制启发，本文提出一种基于记忆的视觉信息处理认知模型模型能模拟人脑的一些认知行为，如，记忆提取遗忘及学习模型中各部分如信息粒记忆空间记忆行为记忆空间信息更新规则及决策过程等的定义都在文中进行详细描述模型可应用于计算机视觉中的分类识别及预测等三个重要方面本文主要介绍 在背景建模与运动目标跟踪中的应用将其与混合高斯背景 建 模 相 结 合，提 出 方 法，并 与 传 统 的方法进行室内实拍序列对比实验，结 果 显 示方法能更快地适应场景的局部突变并取得较好的运动目标分割结果在运动目标跟踪方面，提出基于记忆的目标模板更新方法( ) ，将其与粒子滤波器相结合进行实验验证，实验结果显示能较好处理目标姿态突变及目标被严重遮挡问题这两方面的实验说明 在计算机视觉信息处理过程中的有效性在后续研究中，将进一步完善模型并将其应用于计算机视觉领域的其它方面，如视频索引实时目标识别等
    参 考 文 献 ( 罗四维视觉信息认知计算理论北京: 科学出版社， ) ( 齐玉娟，王延江，李永平基于记忆的混合高斯背景建模自动化学报，   齐玉娟，王延江基于人类记忆模型的粒子滤波鲁棒目标跟踪算法模式识别与人工智能， ( 沈志熙，杨 欣，黄席樾均值漂移算法中的目标模型更新方法研究自动化学报