基于化身的视频编码

当前位置:首页long8cc客户端电脑版 >

long8cc客户端电脑版

基于化身的视频编码

时间:2019-11-26本站浏览次数:328

       

基于化身的视频编码

公开用于执行基于化身的视频编码的技术。在一些实施例中,个人的视频记录可利用化身(其通过个人的(一个或多个)脸部表情来驱动)来编码。在一些这类情况下,所产生化身动画可准确地模仿所记录个人的(一个或多个)脸部表情。一些实施例能够用于例如经由社交媒体和连网网站的视频共享中。一些实施例能够用于例如基于视频的通信(例如,对等视频呼叫、电视会议)中。在一些情况下,例如,所公开技术的使用可帮助降低通信带宽使用,保存个人的匿名性,和/或为个人提供增强娱乐价值(例如兴趣)。

示例30包括示例23-29和31-32中的任一项的主题,其中视频装置包括麦克风。

示例5包括示例2-4和6-21中的任一项的主题,其中提取屏幕截图图像使用glReadPixels来执行。

其他示例实施例以下示例涉及其他实施例,通过其中,许多置换和配置将是显而易见的。

示例31包括示例23-30和32中的任一项的主题,并且还包括音频输出装置。

装置102还可包括化身选择模块208,其配置成允许选择(例如由用户)供通信会话期间使用的化身。化身选择模块208可包括定制、专有、已知和/或以后开发的用户界面(UI)构造代码(或指令集),其是一般明确定义的,并且可操作以呈现不同化身供选择。在一些实施例中,化身选择模块203可配置成允许:(1)从装置102中存储的一个或多个化身进行选择;(2)从数据库(例如化身数据库500,以下所述)或者由装置102通过有线和/或无线通信可访问的其他内容提供商所托管的一个或多个化身进行选择;和/或(3)基于用户的所检测脸部特性206(例如来自用户的正面图片)来生成化身。在一些情况下,所生成的化身可存储在装置102中,供将来通信期间使用。在一些情况下,化身可在建立通信之前来选择,但是本公开并不局限于此,因为在一些其他情况下,化身选择可在通信过程期间来执行和/或改变。

如所示,化身控制模块210可包括化身生成模块502,其配置成例如响应指示从化身选择模块208生成化身的用户选择而生成化身。化身生成模块502可包括定制、专有、已知和/或以后开发的化身生成处理代码(或指令集),其是一般明确定义的,并且可操作以基于脸部检测模块204所检测的脸部特性206来生成化身。更具体来说,化身生成模块502可基于所识别脸部标志和脸部参数(包括关键点404和边缘406)来生成化身408a和/或408b(例如,在图3D和图3E的上下文中分别论述的那些化身)。在生成化身时,化身控制模块210还可配置成向化身选择模块208传送所生成化身的副本,以便存储在化身数据库500中。

示例13包括示例10的主题,其中化身的选择基于用户输入。

装置102还可包括化身选择模块208,其配置成允许选择(例如由用户)供通信会话期间使用的化身。化身选择模块208可包括定制、专有、已知和/或以后开发的用户界面(UI)构造代码(或指令集),其是一般明确定义的,并且可操作以呈现不同化身供选择。在一些实施例中,化身选择模块203可配置成允许:(1)从装置102中存储的一个或多个化身进行选择;(2)从数据库(例如化身数据库500,以下所述)或者由装置102通过有线和/或无线通信可访问的其他内容提供商所托管的一个或多个化身进行选择;和/或(3)基于用户的所检测脸部特性206(例如来自用户的正面图片)来生成化身。在一些情况下,所生成的化身可存储在装置102中,供将来通信期间使用。在一些情况下,化身可在建立通信之前来选择,但是本公开并不局限于此,因为在一些其他情况下,化身选择可在通信过程期间来执行和/或改变。

例如,在一个实施例中,关键点404和关联边缘406可在二维笛卡尔坐标系中定义。更具体来说,关键点404可定义(例如编码)为{point,id,X,y},其中"point"表示节点名称,"id"表示索引,以及"x"和"y"是坐标。边缘406可定义(例如编码)为{edge,id,n,pl,p2,…,pn},其中"edge"表示节点名称,"id"表示边缘索引,"η"表示边缘406所包含(例如所连接)的关键点的数量,以及pl-pn表示边缘406的点索引。例如,代码集{edge,0,5,0,2,1,3,0}可被理解为表示边缘0包括(连接)5个关键点,其中关键点的连接顺序是关键点0到关键点2到关键点1到关键点3到关键点0。

在各个实施例中,系统600可实现为无线系统、有线系统或者两者的组合。当实现为无线系统时,系统600可包括适合于通过无线共享介质(例如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等)进行通信的组件和接口。无线共享介质的示例可包括无线谱的部分,例如射频(RF)谱等。当实现为有线系统时,系统600可包括适合于通过有线通信介质(例如输入/输出(I/O)适配器、将I/O适配器与对应有线通信介质连接的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可包括电线、电缆、金属引线、印刷电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。

示例34包括示例33和35-36中的任一项的主题,其中计算装置包括膝上型/笔记本计算机、平板计算机、移动电话、智能电话、个人数字助理(PDA)、蜂窝手机、手持游戏装置、游戏平台、台式计算机和/或电视会议系统中的至少一个。

回到图6,该过程能够如在框46继续显示非屏幕帧缓冲器中的动画化身,并且对视频帧流的各视频帧提取其屏幕截图图像。化身视频帧能够使用任何适当引擎来创建,如根据本公开将会显而易见。例如,在一些实施例中,化身视频帧创建能够例如使用例如下列项进行:(1)OpenGL应用编程接口(API)或者其移动版本、即嵌入式系统的OpenGUOpenGLES),以渲染双帧缓冲器其中之一(在图形处理单元存在时通过硬件或者在GPU不可用但是安装了OpenGL驱动程序时通过软件)上的动画化身;以及(2)glReadPixels(例如,其从帧缓冲器中读取像素块),从帧缓冲器中读取屏幕截图图像。在一些情况下,当帧缓冲器能够编程为提供屏幕上显示(例如在装置102上或者在以其他方式与装置102关联的显示器上时,化身视频帧创建能够例如在后端服务中处理。图9A-9C示出按照本公开的一实施例的各种示例化身表情的若干示例屏幕截图图像。

示例35包括示例33-34和36中的任一项的主题,其中计算装置配置用于与网络的有线和/或无线通信的至少一个。

标志检测模块304可包括定制、专有、已知和/或以后开发的标志检测代码(或指令集),其是一般明确定义的,并且可操作以至少在某种程度上检测和识别图像中的脸部的各种脸部特征。标志检测中隐含的是,至少在某种程度上已经检测脸部。可选地,可以执行了某种程度的定位(例如由脸部归一化模块302),以识别/聚焦于标志潜在地可能存在的图像的区域/面积。例如,标志检测模块304可基于试探分析,并且可配置成识别和/或分析前额、眼睛(和/或眼角)、鼻子(例如鼻尖)、下巴(例如下巴尖)、眉毛、颊骨、颚和/或脸部轮廓的相对位置、大小和/或形状。眼角和嘴角还可例如使用基于Viola-Jones的分类器来检测。

下一篇:

个性化娱乐系统




公司地址:西安市未央区北辰大道任家寨南村2号
联系人:樊友星 13904436318
余定海 15804081654
电话:18584809029 传真:vd9ox6npdf@162.com
邮箱:lfgy0uxnu@163.com

粤公网安备 44030702001579号

long8是什么娱乐@