国产游戏一般都用哪个光学动捕传感器技术

先不论国产游戏的“动作”如何

光是说国产游戏的“本身”,又能够找出多少个优秀的作品

本来国产游戏的佳作就很少,那愿意去提升质量而使用动作捕捉的作品肯萣就更少了

电影《魔戒》里的咕噜姆、《泰迪熊》里的毛绒熊、《阿凡达》里的部落公主……电影里那些经典虚拟形象生动的表演总能深深打动观众而它们被赋予生命的背后都源於一项重要的科技技术——动作捕捉。

动作捕捉(Motion capture)简称光学动捕传感器(Mocap),是指记录并处理人或其他物体动作的技术多个摄影机捕捉真实演员的动作后,将这些动作还原并渲染至相应的虚拟形象身上这个过程的技术运用即动作捕捉,英文表述为Motion Capture

动作捕捉技术涉忣尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。在运动物体的关键部位设置跟踪器由Motion capture系统捕捉跟踪器位置,再经过计算机处理后得到三维空间坐标的数据当数据被计算机识别后,可以应用在动画制作步态分析,生物力学人機工程等领域。

动作捕捉的起源普遍被认为是费舍尔(Fleischer)在1915年发明的影像描摹(rotoscope)这是一个在动画片制作中产生出的一种技术。艺术家通过精细的描绘播放给他们的真人录影片段当中的每一帧静态画面来模拟出动画人物在虚拟世界中的具备真实感的表演

这个过程本身是枯燥乏味的。但是对于这些动画师来说幸运且具有纪念意义的是,1983年麻省理工学院(MIT)研发出了一套图形牵线木偶

这套系统使用了早期的光学动作捕捉系统,叫做“Op-Eye”它依赖于一系列的发光二极管,通过制定动 作来生成动画脚本(Sturman,1999)。本质上这个牵线木偶充当了苐一套“动作捕捉服装”。它自带非常有限数量的感应球,这些球能粗略的定位人体结构的关键骨骼点的位置

这套技术的产生,迅速的奠萣了动作捕捉在之后迅速发展的基础为后续各种动作捕捉提供了追寻的方向,也引领了之后动作捕捉技术的风潮包括今天的动作捕捉技术在内。

动作捕捉系统是指用来实现动作捕捉的专业技术设备不同的动作捕捉系统依照的原理不同,系统组成也不尽相同

总体来讲,动作捕捉系统通常由硬件和软件两大部分构成硬件一般包含信号发射与接收传感器、信号传输设备以及数据处理设备等;软件一般包含系统设置、空间定位定标、运光学动捕传感器捉以及数据处理等功能模块。

信号发射传感器通常位于运动物体的关键部位例如人体的關节处,持续发出的信号由定位传感器接收后通过传输设备进入数据处理工作站,在软件中进行运动解算得到连贯的三维运动数据包括运动目标的三维空间坐标、人体关节的6自由度运动参数等,并生成三维骨骼动作数据可用于驱动骨骼动画,这就是动作捕捉系统普遍嘚工作流程

所谓传感器是固定在运动物体特定部位的跟踪装置,它将向 motion capture 系统提供运动物体运动的位置信息一般会随着捕捉的细致程度確定跟踪器的数目。

这种设备会因 motion capture 系统的类型不同而有所区别它们负责位置信号的捕捉。对于机械系统来说是一块捕捉电信号的线路板对于光学 motion capture 系统则是高分辨率红外摄像机。

motion capture 系统特别是需要实时效果的 motion capture 系统需要将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理,而数据传输设备就是用来完成此项工作的

系统捕捉到的数据需要修正、处理后还要有三维模型向结合才能完成计算機动画制作的工作,这就需要我们应用数据处理软件或硬件来完成此项工作软件也好硬件也罢它们都是借助计算机对数据高速的运算能仂来完成数据的处理,使三维模型真正、自然地运动起来剧中汤姆汉克斯穿着一套布满150个感应器的黑色紧身衣,这样电脑就能把他的眼瞼、嘴唇、眉毛、乃至每个身体的表情和动作捕捉到

动作捕捉系统种类较多,一般地按照技术原理可分为:机械式、声学式、电磁式、慣性传感器式、光学式等五大类其中光学式根据目标特征类型不同又可分为标记点式光学和无标记点式光学两类。近期市场上出现所谓嘚热能式动作捕捉系统本质上属于无标记点式光学动作捕捉范畴,只是光学成像传感器主要工作在近红外或红外波段

机械式动作捕捉系统依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成在可转动的关节中装有角度传感器,可以测得关节转動角度的变化情况装置运动时,根据角度传感器所测得的角度变化和连杆的长度可以得出杆件末端点在空间中的位置和运动轨迹。X-1st是這类产品的代表其优点是成本低,精度高采样频率高,但最大的缺点是动作表演不方便连杆式结构和传感器线缆对表演者动作约束囷限制很大,特别是连贯的运动受到阻碍难以实现真实的动态还原。

声学式动作捕捉系统一般由发送装置、接收系统和处理系统组成發送装置一般是指超声波发生器,接收系统一般由三个以上的超声探头阵列组成通过测量声波从一个发送装置到传感器的时间或者相位差,确定到接受传感器的距离由三个呈三角排列的接收传感器得到的距离信息解算出超声发生器到接收器的位置和方向。其最大优点是荿本低但缺点是精度较差,实时性不高受噪声和多次反射等因素影响较大。

电磁式动作捕捉系统一般由发射源、接收传感器和数据处悝单元组成发射源在空间产生按一定时空规律分布的电磁场;接收传感器安置在表演者身体的关键位置,随着表演者的动作在电磁场中運动,接收传感器将接收到的信号通过电缆或无线方式传送给处理单元根据这些信号可以解算出每个传感器的空间位置和方向。Polhemus和Ascension公司是這类产品生产商的代表其最大特点是使用简单、鲁棒性和实时性好,缺点是对金属物体敏感金属物引起的电磁场畸变对精度影响大,采样率较低不利于快速动作的捕捉,线缆式的传感器连接同样对动作表演形成束缚和障碍不利于复杂动作的表演。

惯性传感器式动作捕捉系统由姿态传感器、信号接收器和数据处理系统组成姿态传感器固定于人体各主要肢体部位,通过蓝牙等无线传输方式将姿态信号傳送至数据处理系统进行运动解算。其中姿态传感器集成了惯性传感器、重力传感器、加速度计、磁感应计、微陀螺仪等元素得到各蔀分肢体的姿态信息,再结合骨骼的长度信息和骨骼层级连接关系计算出关节点的空间位置信息。代表性的产品有Xsens、3D Suit等这类产品主要嘚优点是便携性强,操作简单表演空间几乎不受限制,便于进行户外使用但由于技术原理的局限,缺点也比较明显一方面传感器本身不能进行空间绝对定位,通过各部分肢体姿态信息进行积分运算得到的空间位置信息造成不同程度的积分漂移空间定位不准确;另一方面原理本身基于单脚支撑和地面约束假设,系统无法进行双脚离地的运动定位解算;此外传感器的自身重量以及线缆连接也会对动作表演形成一定的约束,并且设备成本随捕捉对象数量的增加成倍增长有些传感器还会受周围环境铁磁体影响精度。

光学式动作捕捉系统基于计算机视觉原理[2][3]由多个高速相机从不同角度对目标特征点的监视和跟踪来完成运光学动捕传感器捉的任务。理论上对于空间中的任意一个点只要它能同时为两部相机所见,就可以确定这一时刻该点在空间中的位置当相机以足够高的速率连续拍摄时,从图像序列中僦可以得到该点的运动轨迹

这类系统采集传感器通常都是光学相机,不同的是目标传感器类型不一一种是在物体上不额外添加标记,基于二维图像特征或三维形状特征提取的关节信息作为探测目标这类系统可统称为无标记点式光学动作捕捉系统,另一种是在物体上粘貼标记点作为目标传感器这类系统称为标记点式光学动作捕捉。

无标记点式光学动作捕捉原理大致有三种:第一种是基于普通视频图像嘚运光学动捕传感器捉通过二维图像人形检测提取关节点在二维图像中的坐标,再根据多相机视觉三维测量计算关节的三维空间坐标甴于普通图像信息冗杂,这种计算通常鲁棒性较差速度很慢,实时性不好且关节缺乏定量信息参照,计算误差较大这类技术目前多處于实验室研究阶段;第二种是基于主动热源照射分离前后景信息的红外相机图像的运光学动捕传感器捉,即所谓的热能式动作捕捉原悝与第一种类似,只是经过热光源照射后图像前景和背景分离使得人形检测速度大幅提升,提升了三维重建的鲁棒性和计算速率但热源从固定方向照射,导致动作捕捉时人体运动方向受限难以进行360度全方位的动作捕捉,例如转身、俯仰等动作并不适用且同样无法突破因缺乏明确的关节参照信息导致计算误差大的技术壁垒;第三种是三维深度信息的运光学动捕传感器捉,系统基于结构光编码投射实时獲取视场内物体的三维深度信息根据三维形貌进行人形检测,提取关节运动轨迹这类技术的代表产品是微软公司的kinect传感器[5],其动作识別鲁棒性较好采样速率高,价格非常低廉有不少爱好者尝试使用kinect进行动作捕捉,效果并不尽如人意这是因为kinect的应用定位是一款动作識别传感器,而不是精确捕捉同样存在关节位置计算误差大,层级骨骼运动累积变形等问题总体来讲,无标记点式动作捕捉普遍存在嘚问题是动作捕捉精度低并且由于原理固有的局限导致运动自由度解算缺失(如骨骼的自旋信息等)造成动作变形等问题。

标记点式光學动作捕捉系统一般由光学标识点(Markers)、动作捕捉相机、信号传输设备以及数据处理工作站组***们常称的光学式动作捕捉系统通常是指这类标记点式动作捕捉系统。在运动物体关键部位(如人体的关节处等)粘贴Marker点多个动作捕捉相机从不同角度实时探测Marker点,数据实时傳输至数据处理工作站根据三角测量原理精确计算Marker点的空间坐标,再从生物运动学原理出发解算出骨骼的6自由度运动

这里根据标记点發光技术不同还分为主动式和被动式光学动作捕捉系统:

主动式光学动作捕捉系统的Marker点由LED组成,LED粘贴于人体各个主要关节部位LED之间通过線缆连接,由绑在人体表面的电源装置供电

其主要优点是采用高亮LED作为光学标识,可在一定程度上进行室外动作捕捉LED受脉冲信号控制奣暗,以此对LED进行时域编码识别识别鲁棒性好,有较高的跟踪准确率;

第一时序编码的LED识别原理本质上是依靠相机在不同时刻对不同嘚Marker采集成像来进行ID标识,相当于在同一个动作帧中分别针对每个Marker进行逐次曝光,破坏了动作捕捉的Markers检测的同步性导致运动变形,不利于快速动作的捕捉;

第二由于相机帧率很大部分用于单帧内对不同Marker点的识别,因此有效动作帧采样率较低这点上也不利于快速运动的捕捉囷数据分析;

第三,LED Marker可视角度小(发射角120度左右)一个捕捉镜头内部通常集成了两个相机近距离采集,这种窄基线结构导致视觉三维测量精喥较低并且在运动过程中由于动作遮挡等问题仍然不可避免地导致频繁的数据缺失,如果为尽量避免遮挡造成的数据缺失需要成倍增加动作捕捉镜头的数量弥补遮挡盲区问题,设备成本也随之成倍增加;

第四由于时序编码的原理局限,系统可支持的Marker总数有严格限制茬保证足够的采样率前提下,同时采集人数一般不宜超过2人且Marker点数量越多,单帧逐点曝光时间越长运动变形越严重。

被动式光学动作捕捉系统也称反射式光学动作捕捉系统,其Marker点通常是一种高亮回归式反光球粘贴于人体各主要关节部位,由动作捕捉镜头上发出的LED照射光经反光球反射至光学动捕传感器相机进行Marker的检测和空间定位。

其主要优点是技术成熟精度高、采样率高、动作捕捉准确,表演和使用灵活快捷Marker点可以很低成本地随意增加和布置,适用范围很广;

第一对捕捉视场内的阳光敏感,阳光在地面形成的光斑可能被误识別为Marker点造成目标干扰,因此系统一般需要在室内环境下正常工作;

第二Marker点识别容易出错,由于反光式Marker点没有唯一对应的ID信息在运动過程中出现遮挡等问题容易造成目标跟踪出错,导致Marker点ID混淆这种情况通常导致运光学动捕传感器捉现场实时动画演示效果不好,动作容噫错位并且需要在后处理过程中通过人工干预进行数据修复,工作量大幅增加不过新一代的技术都植入了先进的智能捕捉技术,具有佷强的Marker点自动识别和纠错能力很大程度上满足了现场实时动画演示的需要,并且大大降低了人工干预的工作量从本质上进一步提升了系统的实用性。

运光学动捕传感器捉的优点是表演者活动范围大无电缆、机械装置的限制,使用方便采样速率较高,可以满足多数体育运动测量的需要Marker价格便宜,便于扩充更实际地讲,就是便于实现电影、游戏里面的各种炫酷特效      

系统价格昂贵,虽然它可以捕捉實时运动但后处理(包括Marker的识别、跟踪、空间坐标的计算)时间长。这类系统对于表演场地的光照、反射情况敏感装置定标也较为繁琐,特别是当运动复杂的时候不同部位的Marker很容易混淆、遮挡,产生错误的结果经常需要人工干预后处理过程。由于这样那样的各种限制所以几乎所有的光学跟踪系统都还需要依靠后序处理程序对捕捉的数据进行分析,加工和整理然后才能把这些数据应用到动画角色模型上詓

动作捕捉技术主要应用领域

将运光学动捕传感器捉技术用于动画制作,可极大地提高动画制作的水平它极大地提高了动画制作的效率,降低了成本而且使动画制作过程更为直观,效果更为生动

为实现人与虚拟环境及系统的交互,必须确定参与者的头部、手、身体等的位置与方向准确地跟踪测量参与者的动作,将这些动作实时检测出来以便将这些数据反馈给显示和控制系统。这些工作对虚拟现實系统是必不可少的这也正是运光学动捕传感器捉技术的研究内容。

机器人将危险环境的信息传送给控制者控制者根据信息做出各种動作,运光学动捕传感器捉系统将动作捕捉下来实时传送给机器人并控制其完成同样的动作。与传统的遥控方式相比这种系统可以实現更为直观、细致、复杂、灵活而快速的动作控制,大大提高机器人应付复杂情况的能力在当前机器人全自主控制尚未成熟的情况下,這一技术有着特别重要的意义

可利用运光学动捕传感器捉技术捕捉游戏者的各种动作,用以驱动游戏环境中角色的动作给游戏者以一種全新的参与感受,加强游戏的真实感和互动性

运光学动捕传感器捉技术可以捕捉运动员的动作,便于进行量化分析结合人体生理学、物理学原理,研究改进的方法使体育训练摆脱纯粹的依靠经验的状态,进入理论化、数字化的时代还可以把成绩差的运动员的动作捕捉下来,将其与优秀运动员的动作进行对比分析从而帮助其训练。

另外在人体工程学研究、模拟训练、生物力学研究等领域,动作捕捉技术同样大有可为可以预计,随着技术本身的发展和相关应用领域技术水平的提高动作捕捉技术将会得到越来越广泛的应用。


本篇文章为传感器技术平台原创文章转载需联系我们授权!未经允许转载我们将进行投诉!


总体上光学式的动作捕捉精度最高但价格相对惯性式高,而惯性式的的系统相对资金投入较小

你对这个回答的评价是?

本回答由北京欧雷新宇动画科技有限公司提供


精度的摄像头及框架需要大幅度动作的话至少24个以上的摄像头,而且后期处理数据超大超复杂耗费的时间很长,身上的捕捉点有遮挡嘚话动作效果不好,还需要从新录制操作场地只限于搭景的框架中惯性光学动捕传感器首先价格优势要便宜很多,其次不受场地限制随时随地都可以,不受环境和空间限制传输距离50-150米能够保证数据完整性,身体动作不会有遮挡的限制传感器定位在身体各个关节,後期处理简单方面惯性动作捕捉设备可以说现在的势头蒸蒸日上

你对这个回答的评价是?

下载百度知道APP抢鲜体验

使用百度知道APP,立即搶鲜体验你的手机镜头里或许有别人想知道的***。

参考资料

 

随机推荐