泛娱乐行业新玩法：在线KTV、线上电影配音

周三，即构泛娱乐行业活动第二期开讲，即构售前架构师张靖雨分享了泛娱乐社交行业两大新玩法：在线KTV、线上电影配音。下面我们准备了活动回放视频、演讲PPT资料和文字稿，错过直播的小伙伴可以进行回看。

活动演讲资料

活动回放视频地址

https://v.qq.com/x/page/a0975qfa13g.html?pcsharecode=fZw7HXFh&sf=uri

活动文字稿

在上期活动中，我们了解到在2016年之前，泛娱乐直播主要是基于熟人的实时社交，包括实时视频社交和1V1私密视频社交。在2018年后，陌生人视频社交渐渐逐渐涌现，以秀场连麦PK、语聊房、短视频社交为主的陌生人视频社交玩法广受用户喜爱。

今天我们要分享的也是基于陌生人社交的两种泛娱乐新玩法：在线KTV和线上电影配音

在线KTV大家都不陌生，今年初，某K歌平台推出了一系列全民抗“疫”的营销策略，包含了加油歌单、短视频、音频电台、在线K歌等形式，鼓励大家发布抗击疫情的正能量短视频，呼吁用“同唱一首歌”等方式响应防疫号召，用歌声给一线的医务人员加油打气。我们今天介绍的线上KTV，比目前的主流玩法更突出实时性和互动性。

另一个是线上影视配音，《声临其境》应该很多人都非常熟悉，这是芒果台推出的一款热门综艺，选取经典的影视片段，邀请明星嘉宾进行同台竞技，通过明星嘉宾的台词功底、配音实力来进行配音竞演。线上电影配音把《声临其境》搬到了线上，让更多用户也能进行配音PK。

下面我们先来看看在线KTV如何增加实时性和互动性，以及在技术实现上有哪些难点要攻克。

一、在线KTV

目前主流的KTV玩法，大部分是基于录制点播实现的。单人K歌，是通过下载好的本地伴奏，再配上自己的演唱声音，录制后上传到平台的。合唱则是用户下载已有的演唱片段，与自己的演唱声音进行合唱录制，最后再上传平台分享给其他用户。无论是单人还是合唱，观众看到主播们分享的其实都是录制上传的，都不是实时的。

那么在线的KTV是什么样的场景呢？

在线KTV以双人合唱为主，主唱和副唱进行实时的线上合唱，观众可以实时的收听到主唱和副唱的美妙歌声，趣味性和互动性更强。下面这个是即构在线KTV的演示Demo，大家可以下载体验：

在线KTV按角色来分，有主唱、副唱和观众，这个是在线KTV的业务架构图，从图上我们可以看下在线KTV的流程：

主唱先把伴奏下载到本地，然后通过媒体播放器播放伴奏，再通过麦克风采集自己的演唱声音，同时要把歌词注入到多媒体流中，用以后面的歌词跟伴奏的同步。

副唱拉主唱的流，里面包含了主播的清唱以及伴奏音乐，还有歌词等媒体次要信息。副唱要把自己的音频混入到主唱的声音以及伴奏音乐里面，推送给观众。

观众其实是拉的副唱推出的流，这里面包含了主唱声音、副唱声音和伴奏，实现观众看到听到的主唱声音都是跟歌词同步的。

这里需要注意的是，为了让主唱和副唱之间可以互动，主唱也需要拉副唱的清唱声音，副唱要把清唱的声音推送给主唱，实现主唱和副唱之间的互动，并且伴奏仅存在一次，那就是主唱这边为主。

那么，要实现这样实时互动的在线KTV场景，有哪些技术重点呢？

合唱同步

我们看下面这张图，伴奏的来源是从本地下载，然后通过媒体播放器播放的。人声是歌唱者，从麦克风采集的，那就需要我们的产品能够支持把伴奏的声音和主唱的声音混合再推流出去，并且要保证二者混合是实时的。

即构SDK支持把媒体播放器播放的伴奏进行混音，录麦克风采集的声音再推流出去，达到人声和伴奏的实时同步。

歌词同步

LRC文件是目前使用最广的一种歌词文件，这种歌词的文件很小很容易解析。在这张图片里，大家可以看到每一行歌词前都有一个时间。我们能将歌词的进度控制到每一行，比如说在第2秒的时候，可能显示的是歌曲名称。

即构SDK支持将非媒体信息注入媒体流中，非媒体信息就包含上面我们说的歌词时间。通过音视频中的SEI帧技术生成媒体次要信息接口sideinfo，让非媒体信息按照指定的时间节点插入到视频帧数据中，在拉流解析时解析到这个视频帧，就可以拉取对应的非媒体信息。

需要注意的是，前面提到的每一行歌词前面有个时间戳，实际上如果要做到精确到每一个字，也是可以实现的，那就需要把每个字都打上时间戳，然后和伴奏进行对齐。

这个是歌词同步的架构图，大家可以看到客户端A（主唱），通过媒体播放器播放伴奏，从媒体播放器获取当前播放的时间进度，然后再把时间进度塞到视频帧里推流出去，客户端B（观众）去拉主唱的流，里面就包含伴奏声、人声以及包含歌词播放进度时间戳的媒体次要信息，客户端B从拉的流里接收到媒体次要信息，把时间戳提取出来，再根据这个时间戳显示对应的歌词。

原声和伴奏切换

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!