新华教育集团
新华校训

当前位置:主页 _行业资讯 _Deming Zhang:如何用AI技术让我们在移动互联网获得极致体验的声音?

Deming Zhang:如何用AI技术让我们在移动互联网获得极致体验的声音?
时间:2018-07-24 11:03:23   来源:武汉新华电脑学校   阅读量:2848

      Deming Zhang为我们展示了移动互联网时代通信声音的采集和传递和呈现。他介绍了如何用AI技术让人在移动互联网中获得最佳极致体验的声音,并把这种技术应用在各种形式的声音制作之中。

这是Deming Zhang的演讲

如何用AI技术让我们在移动互联网获得极致体验的声音?

Deming Zhang

在移动互联网环境下,我们能够企及什么样的极致的声音体验?

100多年的电话通信和30多年接近40年的现代通信,声音实际上一直没有发生什么变化.

虽然我们刚才看到在VR视觉影视特效等等方面发生了翻天覆地的变化,我们在声音方面依然停留在100多年前的状态。

原因在于说,一个是声学IO的问题,一个是当前我们通信网络的问题。

电影从开始是无声的,到后来有独立的一个声音的配合,最后把这个模拟音频数字音频打到影片的胶片上来进行同步的一个播放。

而他们的采集往往是这种挑杆还有一些小蜜蜂无线麦克风等等的一些采集的方式方法。

这样的采集方法,背后实际上是隐含了声音的ADC、DAC、声学处理编解码、数字音效传输等等的一个传统的各专业的模式。

这种专业的模式在于,传统的系统庞大昂贵复杂,以及需要专业的人才以及团队还有门槛,还有繁杂的一个步骤时间。

塞宾这个名字来源于美国的一个建筑声学的奠基者,他奠定了我们目前全球所有的音乐厅、教堂等等的这种建筑声学的一个基础。

塞宾科技的成立缘起于我们几个在声学、音频通信领域的博士对于当前移动通信声音体验极度的不满。

我们希望能够做出极致的体验,带给教育、会议以及人机交互一个更好的未来。

现在在移动互联网层面,我们通过我们的核心在一个片上系统,SOC的系统里面以及在移动互联网手机里面的SDK,进行配合可以实现声源的更好的采集、声场更好的采集和传递和呈现。

我们在一些典型场景的应用,比如说话剧,交响乐,一些弦乐四重奏。比如北京去年的国际音乐节,还有这个乐队的一个现场的演绎,都能够实现千里之外身临其境的一种极致体验。

这个我们是做了一些小小的东西,把这个SOC的芯片,植入到各种乐器上,实现这些所有乐器的互联网化。

2016年我们在巴塞罗那做了第一个网络时时在线的实景传输系统。

当然我们这个塞宾科技的一些核心技术第一可以应用在一些UGC场景,比如说在拉斯维加斯的大街上,用手机配合我们核心的搭载SOC芯片的这样的一些终端,可以实时地采集当时的一个视频。

这个视频是什么呢?

这个里面有一个二维码,大家现在带着手机扫码然后戴上耳机来体验一下,就像站在拉斯维加斯的街头一样,可以体验当时的车水马龙,这是当时的一个呼啸的跑车,这是个百万级Hifi的一个音响的场馆。

这个是中国号称最后一片原生态的独龙江流域的现场的实录。

这些操作可以借助于UGC的手段,或者说这种门槛就能够实现传统PGC的一些体验和内容。

现在一个比较火的是PUGC,实际上是一些主播在以UGC的方式实现了以前准PGC的一些内容的直播和分享。这个比如抖音、快手等等的直播短视频的内容里面有。

基本上这几种方式,一种大脸模式,一种近距模式,还有远距离的自由模式。

但是这样的模式都有一些相应的问题,比如说快手跟抖音在目前没有办法实现背景音乐和前景录音的一个完好的时时混音。

这个事情对于我们来说非常的简单,我们可以一键实现高品质的音乐和人声的混音,并且时时分享给网络的用户。

当我们是IOP和IOPP的模式,它有非常多的应用方式,可以和一个手机的前后来的应用,或者两个手机的音乐源和直播源的一个应用。

以前在移动互联网上手机端是没有办法制作音乐视频的,现在基于我们的产品可以非常容易来制作一个音乐视频。

这个比如说我们以前在YouTube看到那么好的音乐视频,他们都需要专业的团队专业设备和一个很强的制作中心来制作,现在在我们的手机上我们可以几分钟就可以实时地一键操作进行音乐视频,而且我们在这里面的音质是达到CD级的。

精彩视频
预约报名
  • * 姓名:
  • * 电话:
  • 微信“武汉新华电脑学校”公众号,免费获取线上直播课程