摘 要 针对目前单眼盲点模拟效果与人眼感知不符的缺陷 提出一种新的基于人眼视觉特性的单眼盲点视觉模拟算法首先基于人眼盲点产生的生理机制和相关的实验数据确定出视图上盲点区域的位置及形状 然后根据人眼视觉对视图纹理与结构敏感度不同的特点 将含盲点区域的场景图像分解成纹理和结构 个 子 图对于人眼敏感的纹理子 图提出一种结合马尔可夫随机场的基于块的图像修补算法对盲点区域进行填补 对结构子图则采用能量最优化方法进行迭代填补 将修复后的纹理和结构子图叠加再采用非线性的 方法对场景图像进行凝视处理最终得到单眼盲点场景效果的模拟图像 大量的用户调查测试结果表明文中提出的填补算法效果更加符合人类的生理与心理感知特性

关 键 词 人眼视觉特性模拟 单 眼 盲 点 效 果 图 像 修 补

近年来随着计算机软硬件技术的快速发展计算机图形学真实感建模与绘制技术取得了长足的进步但目前的真实感图形学算法及虚拟现实系统中仍普遍存在着与 人 眼 实 际 感 知 不 符 的 现 象 比 如 久戴立体镜或头盔进行虚拟场景快速漫游时易使人产生头晕恶心甚至呕吐等不良生理反应 不能实时地模拟人眼视野边缘的余光模糊效果以及没有考虑人眼的盲点机制等 这些缺陷阻碍了计算机图形学及虚拟现实技术成 果 的 进 一 步 应 用 和 推 广 因 此 若 能有效地解决这些 问 题 必将大大推广计算机图形学的应用领域本文主要讨论人眼单盲点效果的真实感模拟

单 眼 盲 点 效 果 的 真 实 感 视 觉 模 拟 在 残 疾 人 助残事业军事训练及目标识别等领域都有重要的应用价值据统计目前我国单眼失明或单眼低视力者高达 万人其成 因 主 要 是 由 于 遗 传 部 分 地 区缺医少药的医疗 条 件 工伤事故及日益增多的交通事故等这种眼残疾病给这类人群的生活求职等方面带来诸多不便 不像西方发达国家 我国的交通部门至今尚不许单 眼 盲 人 报 考 汽 车 驾 照 等 因 此 若 能真实感地模拟单 眼 盲 人 的 视 觉 盲 点 效 果 可 唤 起 整个社会对这类残 疾 人 群 的 关 注在安全的前提下为他们提供驾车等 各 种 便 利 进而可为研制助视产品打好基础在军事方面士兵或狙击手们若用单眼来瞄准也易因盲点效果而丢失重要的目标

人 眼 的 视 神 经 位 于 视 网 膜 的 前 面 它 们 汇 集 到一个部位上穿过 视 网 膜 与 大 脑 相 连 此 部 位 上 面 无感光细胞称 为 盲 点 因 此若 物 体 经 眼 球 所 成 的像刚好落在这个部位上就会看不到即视而不见这就是盲点效果

正 常 人 平 时 感 觉 不 到 盲 点 效 果 的 存 在 这 是 由于人的双眼虽各 自 存 在 盲 点但因双眼的立体视觉机制它们能自动扫描探测消除各自盲区的效应但是对于单眼盲人来说盲点效果则始终存在！因此可能会引起单眼盲人所看到的重要信息的丢失 甚 至会引起安全方面的隐患！但即便是单眼盲人也感觉不到有一个黑乎乎 的 盲 点 因为大脑在处理影像的时候会自觉填 补 了 盲 点 区 域有关大脑是如何进行盲区填补的至今尚无定论

本文综合了心理学 生理学计算机图形学及图像处理等多学科 的 知 识 提出一种基于人眼视觉特性的人眼盲区效果模拟新方法来真实感地模拟人眼单眼盲点效果产生的过程

相关工作

现有的计算机真实感图形学及虚拟现实场景绘制时所采用的光照明显示模型如 模型模型 模型 等大 都 是 基 于 针 孔 成像的几何光学模型没有充分考虑人眼结构和视觉特性因而不能有效地模拟诸如凝视明适应和 暗 适 应等人眼感知效果 为了模拟人眼的凝视效果等 基 于 人 眼 视 敏 度 不 均 匀 分 布 的 特 性 采 用 非 线性 线性插值法来实 时 绘 制 出 凝 视 的 过 程王章野等 提出了一种基于人眼感光细胞亮度响应机制的增强显示算法来模拟人眼的明暗适应过程人眼视网膜将外部世界的光信息通过视网膜上的感光细胞转化为脉 冲 信 息 通过神经传入大脑产生视觉影像但视网膜上并非所有地方都含有感光细胞视网膜连接视神经处就没有感光细胞 这 即 是 盲 点所在位置然而即便是在这一区域没有任何输入信息人眼也不会觉得该区域有什么异样 关于这一现象神经心理学家 认 为 其 原 因 在 于 大 脑 皮层会通过感知性 填 充 利用盲点周围的信息来填补盲点所缺失的信息 并 使 得 填 充 的 区 域 与 周 围 的信息在颜色模式亮度上具有一致性在心理学界对盲点现象的研究已有约 多年的历史 等 对 醒 着 的 猕 猴 盲 区 及 相对应 的 大 脑 皮 层 的 神经元进行量子化研究研究表明 的神经元细胞具有主动填充和朝向检测的能力 等 对视 网 膜 盲 区 的 填 充 机 制 进 行 了研究发现盲区周围图像的空间频率高低直接决定填充效果的强弱 还指出信息排列越规律 其填充效果则越 好 等 在 年 提 出 基 于 偏 微分方程的图像修补方法 并在此后被广泛引用 但该方法只适合少数像素的缺失情况对于较大的区域会产生模糊的效果 周廷 方 等 提 出 了 一 种 基 于 径向基函数的图像 修 补 方 法 利用未知区域周围的像素值插值得到未知区域的像素值该算法计算速度快并能产生平滑 的 图 像 效 果但是不适合像素大范围缺失的情况 等 提出了基于最优化的数学模型来模拟盲 点 的 填 充 效 果该模型根据盲点的填充特性提出能 量 方 程 通过变量分离的方法计算出最终的填充效 果 其缺点在于迭代时只利用了被填充区域周围很 少 像 素 的 信 息因此大部分情况下被用于测试盲点的经典图示都不能很好地进行填充等 提出 了 基 于 样 例 或 块的 图 像 修 补第 期 王 章 野等基于人眼视觉特性的单眼盲点效果模拟方法能较好地保持图像的局部和全局结构但是启发式的搜索方法 使 得 计 算 时 间 过 长 且 结 果 不 是 很稳定综 上 所 述已 有 的 这 些 工 作 往 往 不 能 充 分 利 用盲点区域周围足够大区域的信息进行图像填补 其填补效果与人眼 实 际 感 知 相 差 甚 大 或 其 结 果 不 够稳定如基于样例或块的方法 为此本文提出了一种新的基于人眼视觉特性的盲点效果模拟算法 其中充分考虑了盲 点 形 成 的 生 理 机 制 能 真 实 感 地 生成人眼所感知的盲点区域的填补效果基于人眼视觉特性的盲点效果模拟算法本节将基于人眼视觉的处理过程来模拟盲点区域的填充效果首先根据生理学实验和数据来确定盲点区域的位置 和 大 小 针对盲点区域的视敏度较低不能分辨该区域的结构细节的特点将图像分解为纹理和结构 个 子 图纹理子图采用基于块的纹理合成方法进行 修 补 结构子图则采用符合人眼生理特性的数学模型对相应的盲点区域进行修补 并利用非线 性 的 方 法 对 图 像 进 行 凝 视 效 果模拟得到最终的盲点效果图像确定盲点区域要 模 拟 盲 点 的 填 充 效 果 首 先 要 确 定 一 幅 人 眼视觉图像中盲点 所 对 应 的 区 域根据观察者与图像的距离和相应的离心率便可确定视网膜上区域与图像区域的对 应 关 系 如 图 所 示其 中 为 离 心 角文献 通过大量的生理学实验得出了盲点的大体轮廓如图 所示为 了 便 于 计 算 可假设盲点区域为椭圆形状图 盲 点 成 像 模 型要 确 定 盲 点 在 图 像 上 的 区 域只 需 要 确 定 椭 圆的中心点 和 长 轴 及 短 轴 的 长 度根 据＿ 提 供 的 数图 盲点区域的大体轮廓据盲点中心位 于 偏 离 中 心 凹 向 外 偏 离 中 心 凹向内为鼻侧方向 本文取平均角度 平 行 向下 大概 高 宽另外假设显示器像素相对点距为 凝视点的位置为 观 察 者距离屏幕为 便 可 以 得 出 盲 点 的 大 概 位 置 假设观察者闭上左眼 用右眼凝视为分解图像由 于 人 眼 视 网 膜 上 的 感 光 细 胞 分 布 不 均 会 导致对图像感知的 分 辨 率 不 一 样因此本文有必要对感光细胞进行简 要 的 阐 述 视网膜上的感光细胞分为视锥和视杆细胞 类其中视锥细胞主管明视觉对颜色和细节敏感 而视杆细胞主管暗视觉 对光线亮度敏感这就是为什么在明亮处能看到物体的颜色和细节但是在灰暗处却只能看到物体的大体轮廓且几乎都没有颜色 视锥细胞在视网膜上不是均匀分布的在中心凹与 凝 视 点 所 对 应 区 域 分 布 最多两侧分布量迅速减少 这就是为什么在视域中心的凝视点最清晰 而越到两侧越模糊的原因从图 可 以 看 出从 中 心 凹 区 域 到 眼 睛 两 侧 视锥细胞密度迅速 减 小 并且中心凹区域的视锥细胞密度几乎是盲点区域周边视锥细胞密度的 倍所以人对于盲点区域的图像细节是很难分辨的 若 要填充盲点区域的 内 容 只需要对这一区域的纹理进行处理因此本文将图像分解成纹理和结构 张图进而对纹理图和结构分别进行处理假设原图为 则有 图 像 分 解 的 目 的是将 分 解 为 和 个 分 量 其 中 代 表 纹 理计算机辅助设计与图形学学报 第 卷图 视锥和视杆细胞的分布图图 代表结构细节图 文 献 中 将 此 问 题 视 为 有界变分函数空间的最小化问题 最终得到如下欧拉拉格朗日等式图 图 像 分 解 序 列其中 和 是 控 制 参 数 最 后 通 过半隐式有限差分和迭代方法求解图 所 示 为 图 像分解结果其 中 图 的 像 素 值 扩 大 了 倍以 便观察图 中左右两幅 图 的 参 数 分 别 为迭代次数为 和 迭 代 次 数为 得到了纹理图和结构细节图后下 面 就 可 以对这 张子图进行填补处理基于块的纹理合成由于人眼几乎无法区分盲点区域图像的结构细节所以本文重点对图像的纹理图分量 进 行 处理盲点区域的一系列心理生理学实验都表明 盲点区域的填补效果具有与周边环境的同一性 即 填 补出的像素值在整体结构上与相邻的像素块相似 故本文采用纹理合成的方法来模拟盲点区域填充的效果文献 所阐述的基于马尔可夫随机场方法能取得较好的纹理合成效果 且具有一定的随机性 使得合成结果显得 自 然 但其逐个像素的合成方法使得计算速度较慢 基于块 的 图 像 修 补 方 法 则 能 改善这一效果但弱点在于其启发式搜索不是很稳定而且无一定的随 机 性 所以本文结合这二者的优点来完成对盲点区 域 的 填 充 下面通过边缘像素优先值计算相似集寻找区域填 补 及 结 构 子 图 修 补 这个步骤进行论述边缘像素优先值计算如图 所 示若闭上左眼而以右眼凝视红色十字架时则右边的绿色椭圆大致为盲点区域可调整眼睛到屏幕的距离及角度 即可验证 图 所示为整个盲点填充 的 输 入 图 其中黑色椭圆区域即为待填补区域本文参 照 文 献 方法的大体框架对整个待填补区域 从 外 向 里 填 充对于那些重要的像素优先填充即对于 像 素 其 优 先 度 为 由个因子来决定因子 为 置 信 度 项 因 子为数据项 分别定义为其中 为 以 为中心的窗口区域 为 像 素 已 知区域 为单 位 化 因 子 通 常 是 是 等 值线方向向量 为 在 点垂直于边界的向量因 为乘积对极值很敏感以及 在迭代的过程中会迅速变小对整个优先值的影响太大故采用文献的方法当迭代次数增加时极不稳定很容易产生较差的结果下面结合文献 的方法对其进行改进第 期 王 章 野等基于人眼视觉特性的单眼盲点效果模拟其中 为改 进 的 置 信 度 项 为 改 进 的 优先值项图 所 示 为 得 到 的 最 终 单 眼 盲 点 区 域 纹理合成图像从本例可以说明 军事上在狙击手训练时若用单眼注视瞄 准 红 十 字 处 时易丢失重要目标如例中的狐狼 这也说明了他们在训练时须睁开双眼图 纹理子图的盲点区域修补相似集寻找根 据 上 述 优 先 值 计 算 方 法优 先 值 最 大 的 像 素会最先被填充结合 文 献 的方法则能做到既准确又能保持纹理的随机性和结构性该 算 法 的 基 本 处 理 单 元 为 像 素 块 或 者 叫 窗 口假设 为 以 像 素 为 中 心 的 像 素 块 其 中文献 的算法框架是基于马尔可夫模型的即认为在已知像素的邻 域像素值的情况下该像素的概率分布与图像的其他像素的概率分布是 相 互 独 立 的 在 这 个 条 件 下 寻 找 与 相 似 的像素块由这些像素块来构成相似集先采用高斯带权重的平方和定义 个像素块的相似度其中 是 控 制 相 似 集 大 小 的 常 数 其 越 大 相 似 集就越大区域填补下面介 绍 如 何 利 用 相 似 集 来 填 补 像 素 块利用在相似集中每个像素块各自与 的 相 似 度来对相似集 中 像 素 块 进 行 带 权 随 机 取 样 随 机 取样出来的像素块 即为填补 的参考像素块然后 用 来 对 中 的 未 知 像 素 一 一 进 行 填补 填补结果如图 所示结构子图修补由 于 人 眼 盲 点 区 域 所 处 的 特 殊 位 置 前 面 本 文只对图像的纹理分量进行了详细地填补 对 于 结 构分量则采用文献 的能量最优化方法 该 方 法 不仅计算效 率 高 而 且 符 合 人 眼 的 生 理 感 知 特 性 文献 中加入了大脑皮层的朝向检测能力 在 此 基础上建立能量方程其中 为梯度的 方 向 为梯度的垂直方向即为图像 的拉普拉斯算子的平方由 于 利用最速下降法对式 进 行 计 算 其 迭 代 项 由 多个子项组成计算烦琐且效率极低 等 便 利用大脑皮层视觉信号传播速度不同的特性对式进行变量分离和绝热估计来简化计算 最 终 得 到 迭代方程其中 是 为 了 消 除 变 量 分 离 和 绝 热 估 计带来的影响的平衡项 为 平 衡 因 子 采 用 此 迭 代 方程得出 结 构 图 修 补 后 的 效 果 图 如 图 所 示其 中图 即为图 图 的像素值都扩大了倍此步骤完成后将纹理和结构分量相加便得到了基于人眼视觉特性的盲点填充效果模拟 在 此 基 础上只需要对结果图进行凝视效果模拟 便能准确地模拟单眼盲人的凝视效果图 结构子图的盲点区域修补凝视效果模拟下面根据人眼视敏度的非均匀分布来对已修补好的图像进行单眼凝视效果模拟本文采用文献 的金字塔的方法 根 据 人 眼视敏度分布的不均匀来对修补好的图像进行处理具体步骤如下首 先 对 图 像 进 行 高 斯 金 字 塔 向 下 采计算机辅助设计与图形学学报 第 卷样生成分辨率不同的图像序列 然后对每个子图像进行向上采样以生成凝视效果图 金字塔序列中不同的图像所对应的视敏度不一样视敏度 是对比度阈值 的倒数 其表示为式 中 是空间频率 是视网膜偏心角 是 最小阈值 是空间频率下降 常 量 为当前视敏度是最大视敏度一半时的偏心角 所以由式 可根据离心角来计算相应的临界空间频率 并 将 临 界 空间频率与图像金字塔中模糊程度不同的图像关联起来这样便可以得到最后的单眼凝视效果图 本文采用文献 的计算框架临界频率计算公式为其中 是凝视点的坐标 是 待 求 像 素坐标 为人眼距屏幕的距离 则为屏幕点距对 图像上的像素根据式 计算出其所对应的临界频率通过临界频率 计算相应的高斯核再将高斯核与金字塔相应的层数关联起来其中 是高 斯 核 大 小 为 金 字 塔 的 层 数 通 过 对相应的 金 字 塔 进 行 采 样 和 插 值最 终 结 果 如 图所示图 凝 视 效 果 模 拟模拟结果根 据 本 文 算 法 我 们 设 计 了 更 多 单 眼 盲 点 效 果的场景例子并通过了大量的用户调查研究测试所有例子都是在内 存 显 卡 的机上实 现 的并 与 等 的最优化数学模型填补算法及周 廷 方 等 的 径 向 基 函 数 图 像 修 复 算 法进行了比较经 用 户 调 查 研 究 表 明 本 文 算 法 的 填 补 效 果 更符合人眼 的 生 理 与 心 理 感 知 特 性 如 图 所 示图 所 示 为 心 理 学 上 测 试 盲 点 常 用 的 一 组 图 像 共例注视点皆为右边的小 红 点 即 需 闭 上 右 眼 用 左眼注视 第 行是 输 入 原 图 第 行中黑色椭圆即为盲点 区 域 第 行 为 等 算 法 结 果 第行为周廷方等 算法结果第 行 为 本 文 算 法 的 结果图 所示为在现实生活中抽取的一组图像 共图 单眼盲点效果场景模拟例例其中图 需用右 眼闭 左 眼注 视 红 色 十 字 架图 需用 左 眼闭 右 眼注视红色十字架 即 为 人行道红绿灯位置 同 样图 中 第 行 是 原 场 景 输入 图第 行 中 黑 色 椭 圆 为 盲 点 区 域 第 行 为等 算 法 结 果第 行 为 周 廷 方 等 算 法 结果第 行为本文算法的结果图 表 示 当 单 眼 盲人左眼失明过马路盯着人行道红绿灯时在 其 视域中很难发现右边的汽 车 直 到 靠 近 为 止 图 表示当左眼健康的单眼盲人注视着图像中右边的人时如果位置恰当的话 就很难发现图像中右边的人以及高速飞过来的篮球图 皆揭示了单眼盲人在现实生活中可能第 期 王 章 野等基于人眼视觉特性的单眼盲点效果模拟会遇到的危险情形 与图 类似对图 直观的观测结果可调节单眼与屏幕之间的观测距离角度及图像的大小及用户调查研究都表明 本文算法的填补效果优于 等 及周廷方等 算法 的 结 果更加符合用户的生理与心理感知特性图 单眼盲点效果场景模拟例本文目标在于模拟出符合人眼感知的盲点填充效果而不是算法本身的效率 由于算法框架本身比较复杂所以时间效率上不是很高 表 所示为实验结果的时间对比表 可以看出图像分解所花时间和凝视效果模拟所 花 时 间 与 图 像 大 小 成 正 比 而 纹 理及结构图的修补所花时间则与盲点所对应区域大小成正比总的来讲算法效率还有待提高表 实验结果的效率对比图 序 号算 法 步 骤图 像 分 解纹 理 图修 补结 构 图修 补凝 视 效 果模 拟总 时 间我们对本文算法做了用户调查并 对 文 中 实 现的效果进行检验 参 与 调 查 的 用 户 共 人大 多 数为在校大学生或研究生 身体健康无与眼部或大脑相关的疾病每位用户可自动调整人眼至离屏幕的距离当其单眼刚好 看 不 到 图 各例中黑色区域时保持 然 后 让 其 睁 开 双 眼 选 择 之 前 用 户 所 见的景象与上述 种算法分 别 对 应 图 中 第行图最接近的 一 幅 图 像 进而统计人数及百分比确定算法的优劣性 从表 中可以看出对统一纹理的图像 种算法的实现效 果 都 差 不 多 而 对 于 结 构特征比较明显甚至自然场景中的图像 本文算法优于其他算法更加接近于人眼的视觉感知特性表 用 户 调 查 数 据图 序 号 等 算 法 周 廷 方 等 算 法 本 文 算 法

总结与讨论

本文针对计算机图形学现有成像模型不能真实感地模拟盲点效 应 的 不 足 提出了一种基于人眼视觉特性的单眼盲点场景效果模拟的新方法 首 先 基于心理学盲点产生机理及生理学的实验和数据来确定出盲点区域的 位 置 及 其 形 状基于人眼对盲点区域的纹理敏感而对结构细节不敏感的视觉特性将场景图像分解成纹理子图和结构子图 纹 理 子 图 采用基于块的图像修补结合马尔可夫随机场方法进行盲点区域填补既保证了填补的稳定性 又保证了合成结果的自然随 机 性 结构子图则采用能量最优化方法进行迭代填补 将纹理和结构分量叠加后 采用非线性的 方法对修补好的图像进行凝视效果模拟最终得到单眼盲点场景效果的模拟图像大 量 的 用 户 调 查 测 试 结 果 表 明本 文 算 法 的 填补效果优于 等盲点区域填补算法的结果更加符合用户的生理与心理感知特性我 们 通 过 一 些实例还揭示了单眼盲人在现实生活中可能会遇到的危险情形为全社会对单盲残疾人所需的关注及照顾提供了依据 此 外对 于 军 事 训 练

本 文 工 作 更是生动形象地揭示了狙击手训练时必须用双眼的必要性计算机辅助设计与图形学学报 第 卷本文的主要贡献如下综 合 心 理 学 生 理 学计算机图形学及图像处理等多领域的 知 识 提出并实现了一种基于人眼视觉特性的单眼盲点场景效果模拟的新方法 用 户调查测试表明本 文 算 法 的 结 果 优 于 等 盲 点区域填补算法结 果 更加符合人的生理和心理感知特性针对人眼对盲点区域不同的视觉感知特性提出了将场景图像分解为纹理子图和结构子图并分别处理再最终合 成 的 策 略 使得最终模拟结果更具真实感对于人眼感知敏感的 纹 理 子 图采 用 了 基 于块的图像修补加马尔可夫随机场方法的混合方法进行盲点区域填补 保证了最终的模拟效果既稳定又自然提高了模拟结果的可信度今后本文将对现有模型进一步完善 适当地对模型进 行 合 理 简 化 并 采 用 等 加 速 技 术 以 满足实时性交互的需求 基于单眼盲点形成的机制 争取研制成功单眼 盲 点 助 视 器以达到为中国及全世界众多单眼失明者及单眼低视力者造福的目的

    参考文献心 理 学 黄 希 庭 译 版北 京人 民 邮 电出 版 社王 章 野 张 繁王 作 省 等 基于人眼视觉感知的场景明暗适应动态过程模拟 软 件 学 报 增 刊周 廷 方 汤 锋王 进等 基于径向基函数的图像修复技 术 中 国 图 象 图 形 学 报 版第 期 王 章 野等基于人眼视觉特性的单眼盲点效果模拟