基于单目视频序列的真实人体姿态三维重建
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于单目视频序列的真实人体姿态三维重建范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要 本文提出了一种基于视频的三维人体姿态重建技术，制定了基于视频的关键帧的重建框架。本文还利用牛顿物理学，关节点的生物运动约束等同时对人体姿态进行三维重建。并验证了该算法的可行性和精度。
关键词 视频序列；交互式姿态跟踪；计算机视觉
中图分类号TP39 文献标识码A 文章编号 1674-6708（2011）54-0197-01
0 引言
本文提出了基于单目非标定视频的人体动作捕捉及三维重建方法，同时利用计算机视觉和基于真实物理运动学原理。本文基于图像的关键帧技术对视频进行处理：首先对关键帧进行交互式三维重建，然后进行基于图像的姿态插值，同时利用牛顿力学原理和生物约束集对重建结果进行修改和优化。
1 算法概述
首先基于用户交互式方法估计三维特征点集合和人体骨骼大小，同时用牛顿力学原理和生物约束集对重建的姿态进行评估和优化。
1.1 基于关键帧的交互式三维建模
此环节利用一种高效的算法来估计关键帧中的三维姿态，同时估计相机参数和人体骨架大小。
1.2 基于图像的三维关键帧插值
本文提出一种高效的算法自动跟踪二维图像中的特征点集，并利用图像测量技术对关键帧进行插值操作，同时可以修改并优化重建后的模型。
2基于关键帧的交互式三维建模
本文将人体分为17个刚体部分，主要包括头、颈、躯干、左右锁骨、肱骨、桡骨、胯骨、股骨、胫骨和跖骨。用关节坐标集q描述人体全部姿态，q ∈ R37 。向量l表示17段刚体部分的长度集合，l = [l1 , ..., l17]T ， lb, b = 1, ..., 17 表示第b段关节的长度。
利用以上参数可以估计k幅关键帧的三维姿态(q1 , ..., qK )以及人体骨架大小（l）。
2.1摄像头参数估计
对于移动摄像头拍摄的视频利用MatchMover [2008]估计摄像头的内参数和外参数=（tx,ty,tz,θx,θy,θz, f），（tx,ty,tz）, （θx, θy, θz）和f分别表示相机坐标、方向和相机焦距。对于固定摄像头拍摄的视频用3.2中提出的算法自动估计以上参数值。
2.2交互式三维关键帧建模
本文定义了能量方程和成本方程来估计和消除二义性问题。具体来说，通过计算以下能量方程的最小值来估计人体骨架大小l和三维姿态q1,...,qk
（1）
Ep代表骨骼投影约束，Es表示对称约束，保证重建后的三维骨架的对称部分是等长的。Er为对称约束，Ec则保证在某些视频中保证部分特征点的相对坐标保持不变，Ed可消除重建过程中出现的二义性。
本文用表示每段关节的内关节点和外关节点的深度信息，同时对方程式（1）进行初始化和优化操作。对于前者采用解析式的雅可比公式，对于后者则用Levmar library [Lourakis 2009]中的Levenberg-Marquardt 算法进行优化。
3 基于图像的三维关键帧插值技术
3.1 基于多关节的二维关键帧插值
下肢(包括股骨、胫骨和跖骨)的姿态可用表示，表示在2维图像中对应的关节点坐标，待估参数为， 。
第t帧某区域内特征向量（2）
h（et）和hm（et）分别表示在特征空间内的当前目标模型和第个密度空间。
假设任意中间帧的模板模型可参数化：
Hm（βt）= βt hm（e1）+（1-βt）hm（eT）, m=1, ..., M（3）
将Hm (βt )和h（et）进行匹配估计骨骼姿态参数值，用巴特查利亚距离度量匹配距离：
用洛仑兹函数作为衡量的成本方程,通过计算以下目标函数的最小值来获得最优解：
（4）
3.2 三维姿态插值
分别表示关节点姿态、关节点运动速度和其加速度。分别为关节点的惯性矩阵、离心力、中立。向量u,fc分别为关节点力矩和触点压力。雅可比公式在触点处将关节速度转化为世界坐标内的速度。规定摩擦极限约束函数fg为fg（w1,...,wm），为环境摩擦极限函数，则通过求解以下目标函数可得出关节姿态向量q，关节力矩u，以及触点压力fg(w)和fe：
（5）
4 试验结果
我们通过对各种人体姿态进行建模来评估本系统的精度值和鲁棒性，包括行走、高低杠运动、跳跃、举重等行为。下面是实验数据：
序列 帧数 相机类型 关键帧数 每帧跟踪
多关节点数 Refinement A Refinement B
高低杠 150 pan-tilt-zoom 10 10 0 7
体操 585 static 9 10 2 0
举重 310 pan-tilt-zoom 13 11 3 4
从以上表格中我们可以看出，本系统可以用最少的用户交互来获得最佳的人体姿态三维重建结果。
5 结论
本文对通过论证对人体姿态的三维重建技术，提出了一种新的方法，该方法利用单目摄像头拍摄的视频序列，避免了双目视觉视场小、立体匹配困难、空间、光照等局限性，在计算机视觉领域有着重要的实际应用价值。
参考文献
[1]MATCHMOVER, 2008./.
[2]LOURAKIS, M.I.A.2009.levmar: Levenberg marquardt nonlinear least squares[3]algorithms in c/c++.In www.ics.forth.gr/lourakis/levmar/.