logo
登录 新用户?去 注册

 

忘记密码?

第三方登录
logo
注册 已有帐户?去 登录

 

注册即视为同意 用户协议

您的帐号还未绑定手机,应国家法规对帐号实名的要求,请立即绑定手机
logo
创建新帐号 绑定已有帐号

 

注册即视为同意 用户协议

忘记密码?

logo
找回密码 记起密码?去 登录

 

修改密码
 
登录成功,欢迎回来
从“拍摄”到“计算”,移动平台让智能手机影像走向未来
烫头孙师傅 15268 2020.09.21

想必达盖尔发明实用摄影术的时候,既不会想到一百多年后每个人口袋里都揣着一台相机,更不会想到未来的照片是经过数字处理的数码影像吧。

事实上,从银盐胶片到数码感光元件之间的变化,并非仅仅是让成像的过程由化学反应变为数据的采集与处理。伴随着数码时代的来临,数码影像本身也逐渐有能力在一定程度上通过算法跳脱硬件本身的桎梏。在智能手机扛起移动摄影大旗的现在,诸位手中的安卓智能手机几乎能够完成相机所能完成的绝大部分功能,这也是智能手机本身影像能够带来的最大的作用。

image.png

仅仅在短短数年之前,智能手机只拥有一颗相机,并且许多都是依靠简单的HDR算法来成像。受制于有限的性能与算法本身的原始性,让智能手机只能够满足基本的记录需求,并且在大光比场景与低照度场景之下画质与色彩的可用性都非常糟糕。

并且忽略少数特例之后,单摄智能手机本身只配备仅拥有单一焦距的定焦镜头,并且其中大多为28mm等效焦距附近的广角定焦镜头,这也意味着其拍摄题材也将受限于单一的焦距影响。而对于绝大多数智能手机用户而言,更加丰富的焦距也显然能够为他们带来更多的拍摄可能性。

不过这就遇到了一个问题:在智能手机上配备光学变焦镜头,必然会面临包括体积与素质的平衡无法控制与光圈较小之类的问题,而考虑到智能手机对于便携性的追求,过大的体积显然是目前的用户所难以忍受的。

44.png

为了兼顾焦段、画质与光圈,如今的智能手机的后置相机逐渐由单摄变为多摄模组,尽管这其中有不少探索性十足的设计,不过通过多摄为智能手机提供更加丰富的焦段本身,成为了多摄的主要潮流。主摄之外的超广角相机、人像相机、长焦相机都是如此,而在这些不同焦距的定焦相机之间则通过所谓的混合变焦衔接,以达到类似光学变焦的使用体验。

想要实现更加平滑的混合变焦表现,其实也需要通过AI的助力。采用不同感光元件与不同镜头的多摄模组本就难以在色彩与视角上做到相对同步,如果仅仅通过数码变焦至定焦硬件后直接切换的形式来完成混合变焦过程,就会出现画面跳跃的现象,而高通骁龙865移动平台在结合AI技术之后就能够带来更加顺滑的混合变焦效果。

1600337081(1).png

而在多摄模组的基础上,采用广角焦段的主摄则成为了画质提升的主战场,硬件本身的提升与算法的进步,成为了智能手机在有限硬件基础上提升拍照表现的唯一方式。更大尺寸、更高像素的感光元件成为了其中最直接的硬件提升方式,当然不论感光元件的尺寸本身带来的画质提升,高像素的图像处理本身就对移动平台的算力本身提出了更高的要求。

而另一个问题也同样对算力提出了实际的需求,毕竟无论智能手机本身相机的硬件如何提升,终究是无法违反物理规则在如此狭小的内部结构中容纳足以越级的硬件。既然单张照片本身能够实现的画质本身是很有限的,因而计算摄影也得以介入智能手机本身的成像过程,而诸如HDR或降噪之类的计算摄影需求也同样需要足够的算力去保证。

在讨论完上面这些问题之后不难看出,无论是主摄大底高像素化的趋势还是以多帧合成为代表的计算摄影,亦或是分辨率与帧数更高的视频以及多摄混合变焦的需求,都提出一个同样的需求:

那就是算力。

1585558116(1).png

1600336969(1).png

首先,超高像素本身对于算力的需求极为巨大,此前小米CC9 Pro尊享版的ISP性能便难以满足1亿800万像素的数据处理需求,从而导致机内处理的速度的不足。并且对于用户来说,这颗ISP性能的不足能够以图片在相册中转圈圈的形式被用户感知。

而为了实现更高的算力,移动平台——或者说是移动平台中ISP的算力成为提升速度的最大法宝。作为一款官方口中拥有每秒十亿级像素处理速度的移动平台,高通骁龙865移动平台搭载的Spectra 480 ISP对于高像素的数据处理能力有非常明显的提升,甚至足以满足2亿像素图像的机内处理需求。

需要强调的是,高通骁龙865移动平台在面对小米10 Pro这类能够在高像素模式下输出1亿像素图片机型时,所需要的处理的并不仅仅是1亿像素而已。事实上在HDR的合成过程中,多帧合成需要处理的像素数量远超1亿像素,而这也从侧面印证了Spectra 480 ISP本身高达20亿像素每秒的算力足以应对超高清拍摄。

而如今智能手机上的高像素基本都是以Quad Bayer技术来实现的,除了更高的像素之外,全新的像素阵列也增加了处理难度。而Spectra 480 ISP加强了处理逻辑,能够通过硬件加速的形式来处理相关数据,从而提升高像素模式下的出片效果。

从本质上来说,像素数量与移动平台算力之间的关系,在最近几年中显然有些面多了加水,水多了加面的意味。可与此同时,像素数量本身也能够带来积极的影响,通过ISP算力满足智能手机激进的像素增长也势在必行。

1600336993(1).png

Image

搭载高通高效率865移动平台的智能手机,理论上能够拍摄最高2亿像素的静态图片,并在拍摄4K HDR视频的同时拍摄6400万像素的照片,这意味着目前高通骁龙865移动平台的算力能够充分满足高像素的需求。

Spectra 480 ISP并不仅仅能够处理高像素图片,其对于整体成像效果也有着极为显著的提升。得益于这个影像处理的专用核心的全新噪点过滤内核,Spectra 480 ISP的降噪表现相较于前代Spectra 380 ISP也有大幅提升,这也就意味着在低照度场景之下,搭载高通骁龙865移动平台的机型能够在保证细节的前提下,拍摄出噪点更少、画面纯净度更高的照片。

要知道的是,对于智能手机上尺寸相较于相机较小的感光元件而言,控噪的重要性不言而喻。小尺寸感光元件的噪点本身就相对较多,而在多帧合成之后只有通过合理的算法才能够保证最终的画面质量,尤其是HDR合成后的画面暗部纯净度。

千万别觉得这是小事情,以传统摄影技术的观点来看,智能手机这个规格的硬件在以高ISO拍摄低照度场景时噪点无法控制才是常态,而移动平台的性能提升——尤其是全新噪点过滤内核的优异性能,让夜景拍摄成为了智能手机在体验上缩小与专业相机之间差距的最大保证。

66.png

高通骁龙865移动平台的另一个特性,在于这是一款搭载计算机视觉ISPCV-ISP)的移动平台,这也就意味着算法在拥有充分算力的支撑后,将会更加深入地参与智能手机成像的过程。稍有摄影作品后期技术的人都会知道,只有针对画面不同的区域进行分区调整,才能够获得相对更好的后期调整效果。可传统的分区调整需要通过人工选择选区或蒙版的方式来进行调整,曾经的智能手机无论在算法还是算力上,显然都是无法满足这个需求的。

别担心,既然是一款支持计算机视觉的ISP,那么Spectra 480 ISP在这个过程当中就能够充分的发挥其性能,并结合高通骁龙865移动平台本身的AI Engine能力来满足语义分割的需求。而以CPUGPUDSPISP等硬件与神经处理SDKTensorFlow Lite、安卓神经网络API等软件组成的第五代Qualcomm人工智能引擎AI Engine也成为了满足计算摄影需求的硬件基础。

image.png

通俗而言,所谓的语义分割就是将画面中不同的主体区分开来,同时还要搞清楚画面不同部分的物体究竟是什么,然后再针对不同的区域的需求进行针对性调整。换句话说,算机视觉以及AI Engine的介入,使得智能手机如今可以如专业摄影师般对照片进行精细的分区调整,并且在高通骁龙865移动平台的强大算力支持下,这个过程得以在后台快速进行,仅向用户呈现最终效果。

同样得益于高通骁龙865移动平台的强大算力以及计算机视觉能力,各大厂商在机内后期软件中也玩出了更多新花样,例如小米的魔法换天或是vivo的一键去路人,这些以往需要通过专业后期软件进行操作如今可在手机内一键完成。并且语义分割不仅仅能够完成分区调整,同时也能够提升最终的图像质量。

事实上,在高通骁龙移动平台的算力保证之下,未来的计算摄影显然不仅仅能够做到诸如一键换天和月亮模式之类的功能,也不会局限于基本的语义分割上。尽管目前还不能看到未来计算摄影发展的具体方向,但可以看出的是,日渐提升的移动平台算力将成为计算摄影未来方向的硬件基础。

1600337196(1).png

当然,高像素的风潮本身也对智能手机的存储空间造成了巨大的压力,压缩效率相对落后的JPG格式显然难以满足需求,而高通骁龙865移动平台支持的HEIF格式则能够以小体积储存画质相对较高的图片。

HEIF格式的作用远不仅于此,例如将多张图像储存在同一文件内,或是保存景深数据,亦或是支持用户编辑EXIF数据。这些新功能的实际意义,在于以相对较小的文件体积,为用户保留了更大的后期处理空间,并且在未来算法进步后也能够通过机内后期软件进行编辑。

这也就意味着,HEIF格式再RAW格式与JPG格式之间找到了相对的平衡,尽可能同时满足了后期空间与存储空间之间的平衡。而面对未来以高通骁龙移动平台为算力制程的计算摄影潮流,HEIF格式显然能够更好地满足未来前后期影像处理的需求。

image.png

如果说以前的摄影最重要的在于"",那么未来摄影最重要的则是在于"",计算摄影的加入显然能够弥补硬件本身有限的能力,与此同时也能够做到以往传统摄影技术无法企及的功能便利性。为计算摄影的新时代打下基础的,正是来自当下高通骁龙865移动平台的强大影像算力,正是因为端侧影像处理算力与AI算力的大幅提升,才让算法有了属于自己的用武之地。

所以,千万别觉得如今的手机摄影还停留在镜头与感光元件之上,在你看不到的移动平台中,算力发展带来的计算摄影进步未来还将体现在手机摄影的方方面面。

文章仅代表作者:烫头孙师傅 个人观点,与本站立场无关

评论(0)

暂时没有评论