星斗姬种子早在 2000 年 11 月,日本消费者在商店橱窗里看到了一台此前从未见过的、全新的多媒体手机。它的 正脸 看似比较常规,顶多只能说是迎合了当时刚刚开始流行的彩屏风潮,但在机身背部,一个巨大的、前所未见的结构,却代表着其与众不同的身份。
src=没错,这就是世界上第一款配备了内置摄像头的机型夏普 J-SH04。对于彼时的消费者来说, 给手机加上相机功能 显然是一个非常引人注目的技术创新。但真要说它是否就意味着 手机摄影 时代的到来呢?还真不一定。
原因很简单,因为夏普 J-SH04 所使用的相关技术实在是太过 原始 ,11 万像素的 CCD 不要说放在今天,就算是在当年也不足以拍出令人满意的照片。事实上,它顶多只能拍摄模糊的、娱乐性质的 大头贴 ,但即便如此,也已经足够让当时的消费者为之 疯狂 了。
很显然,对于早期的、配备有摄像头的机型来说, 低像素 是阻碍用户体验的最大短板。也正因如此,在当时那个年代, 堆像素 并非只是噱头,而是确实能够提升手机影像品质、最简单粗暴的解决方案。从 2000 到 2003 年,手机厂商用了三年时间将摄像头的像素从 11 万提升到了 100 万。紧接着在一年之内,这个数字就从 100 万变成了 500 万。
src=此后发生的事情,想必大家就很清楚了。随着 iOS 与 Android 生态在 2007、2008 年的崛起,基于移动互联网的社交需求爆炸性增长。而这一需求,也推动了手机摄像头像素规格的再一次 突飞猛进 。也正是在这一过程中,智能手机 AP/SoC 里集成的 ISP,开始逐渐引起各大厂商、乃至消费者的重视。
比如说,2008 年的初代骁龙(QSD8250)移动平台,其所集成的 ISP 足以支撑 1200 万像素的 CMOS,这已经远远超过了当时旗舰机型的平均水准(320 万 ~500 万像素)。2010 年的骁龙 S3 双核平台(MSM8x60)则将 ISP 规格提升到了 1600 万像素,同样完全足够 喂饱 同期主流的 800 万 -1300 万像素方案。
src=当时间来到 2013 年,智能手机的影像设计再次迎来了大幅度的提升。一方面,各种 2030 万、2070 万像素 CMOS 的出现,代表着智能手机 高像素 的发展来到了一个阶段的巅峰。另一方面,就在这一年我们迎来了智能手机行业首款配备 双 ISP 的移动平台,也就是大家熟悉的骁龙 800。
不过值得注意的是,骁龙 800 的 双 ISP 与我们现在所说的、可以同时驱动多枚摄像头的多 ISP 架构,在思路上是完全不同的。因为它并非是为 多摄 而生,而是一颗 ISP 专门用于拍照、另一颗 ISP 用于摄像,也正依托于这种设计,在骁龙 800 时代几乎所有的旗舰智能手机在摄像性能上都迎来了巨大的进步。它们不只是普遍实现了 边摄像边拍照 ,同时也将视频分辨率从此前的最高 1080P,一下子提升到了 4K 级别。
如果此前有关注过我们三易生活的相关内容,大家可能还记得,在高通的产品史上有那么一款规格非常强大,但搭载机型却极少的旗舰平台,它的名字叫做骁龙 805。平心而论,骁龙 805 虽然搭载机型的数量并不多,但其对于整个智能手机影像技术的影响,却很可能是极大、而且相当深远的。
src=首先,骁龙 805 的 ISP 不再是骁龙 800 那样的 主副核 设计,而是对称的双核心架构。这使得它成为了业界第一款真正支持同时驱动两枚主摄,实现 对称双摄 成像的旗舰移动平台。其次,骁龙 805 的 ISP 具备前所未有的 14bit 色彩深度,这大幅提升了 ISP 在处理图像时的信息量,特别是大幅增强了大光比场景时的拍照动态范围。最后,骁龙 805 的这两颗 ISP 核心还可以同时运作、使得算力叠加为两倍,此时它便具备了惊人的、对 5500 万像素的处理能力。
或许当时的消费者对此并没有感觉到有什么特别,但站在如今来看,骁龙 805 这样的 ISP 设计却相当于为后来的 双摄旗舰 、HDR 拍照 ,乃至基于多帧合成的降噪算法铺平了道路。
src=在这之后,随着智能手机的逐年换代,以高通骁龙 8 系为代表的顶级 SoC 平台在 ISP 算力、吞吐量继续稳步提升。在它们的驱动下,旗舰机型也 理所当然 地跨越了 1 亿像素大关、实现了 8K 摄像功能,甚至于出现了同时使用两颗大底 CMOS 的 双主摄 设计。
2020 年 12 月 1 日,高通方面正式发布骁龙 888 移动平台。而这款 SoC 的诞生,在某种程度上也宣告着旗舰机型在 像素规模 与 主摄数量 上的又一次跨越。
src=原因很简单,因为骁龙 888 首次在行业中实现了三 ISP 的并行处理架构。它的每一个 ISP 核心都拥有 27 亿像素 / 秒的处理能力,可以独立驱动一颗顶级的主摄 CMOS。而落实到产品上,也就意味着基于骁龙 888 的旗舰机型可以在相机启动的一瞬间,同时让 超广角、广角、长焦 三枚摄像头进入拍摄状态。
src=简单来说,这就意味着首先无论消费者如何进行 变焦 操作,基于骁龙 888 的旗舰机型都能提供极为流畅、完全没有黑屏、中断的摄像头切换体验。其次由于三颗摄像头可以同时工作,因此它们可以在各焦段实现影像的融合计算,进一步提高变焦过程中的清晰度。最后,也正是因为这样的 ISP 设计,使得部分手机厂商开始使用多达三枚大底 CMOS 的 三主摄 设计,将顶级影像机型的硬件配置推向了一个更高的高度。
有了大底、超高像素的 CMOS,有了 双主摄 乃至 三主摄 的堆料变焦、融合变焦设计,对于智能手机的影像技术来说,就算到头了吗?当然没有,因为高通再一次站出来,成为了推动手机影像革命的重要动力。
src=2021 年年底,第一代骁龙 8 移动平台正式发布。除了采用了全新的命名、新的处理器架构外,它的 ISP 设计同样也变化颇大,甚至可以说是在 基础设计思路 上都发生了巨大的转变。
src=首先与上代产品相比,第一代骁龙 8 的 ISP 基础图像处理规格得到了进一步的增长。它所能捕捉的色彩深度从 14bit 增加到 18bit、暴涨了 4096 倍,它的单个 ISP 核心像素吞吐量从 27 亿像素每秒增加到 32 亿像素每秒、从而支持 1.08 亿像素的 30FPS 无延迟连拍,并且视频捕捉能力也进一步上升、达到了 8K HDR 级别。
但这些,都还不是重点。在第一代骁龙 8 的 ISP 里,首次迎来了官方 成套的 、深度优化过的,丰富的计算摄影功能。它们包括但不限于优化超广角成像效果的 超广角引擎 ,优化夜拍效果的 超多帧引擎 ,基于神经网络的 AI 对焦、AI 白平衡、AI 面部侦测算法,还有专用于视频拍摄的超级变焦算法、视频人像虚化引擎,以及针对手机光学镜头缺陷进行补偿,可显著优化边缘成像质量的算法引擎等等。
src=可能很多朋友都知道,早在骁龙 820 时代,高通就已率先在 SoC 中引入了神经网络处理器、实现了 AI 加速计算能力。但可能不少朋友直到现在才意识到,原来整个 2022 年,各手机厂商着重强调 计算摄影 的背后,是因为有着第一代骁龙 8 所具备的大量现成 引擎 方案作为支撑。
src=大家以为这就结束吗?当然没有。因为就在不久前,我们又迎来了全新的、可能是近年来变化最大的旗舰移动平台第二代骁龙 8。它不只是在 CPU 架构、GPU 硬件光追能力、内存与存储子系统上进行了全方位的升级,更是再一次重新定义了顶级智能手机的影像技术方向,带来了全新的 认知 ISP(Cognitive-ISP) 设计理念。
src=何谓 认知 ISP?简单来说,以往 AI 拍照、计算摄影技术的最大缺憾,在于它们每一次在处理、认知画面的时候,只能辨识出其中的单一对象或场景。比如说当你拍摄人像照片时,相机会自动切换到 人像模式 ,会自动启动人像虚化算法。虽然这看起来似乎很好,但实际上在绝大多数的拍摄场景中,画面的元素和对象都不可能是单一的。比如在拍摄人像时,背景里会有蓝天、会有绿草;比如在拍建筑物时房子当然是主体,但画面的细节处也可能会有人物、宠物、道路;又比如说在常见的 城市夜景 中,黑暗的天空、闪亮的霓虹灯,以及街面上高速移动的车水马龙,这一切是理所当然会同时出现的。
面对这种复杂、但是常见的场景,过往的 AI 相机 只能识别出整个大致的环境、或是识别出画面里的 主体 ,并对其套用固有的优化策略。但这就会造成画面里的其他元素得不到适当的处理,最终使得拍出的照片不够自然、生动。
src=而 认知 ISP 在处理逻辑上则更接近人脑,它会同时识别、认知画面里的不同元素,例如近处是什么、远处是什么,中心和边缘分别有哪些物体,而这些也会同步被一次性 认出来 。之后第二代骁龙 8 便能够针对于画面里的不同对象、不同距离,在一张照片里调用多个不同的算法进行针对性处理。如此一来,它便可以在一张照片里实现清晰的人像、美丽的天空、细致的建筑纹理、生动的花朵和绿叶。而且得益于 Hexagon 处理器新设计的、具备独立供电的 AI 单元以及其 直连 ISP 的架构,整个处理过程不仅比过去快了数倍,甚至还可以更加节能。
回首整个手机影像的发展里程,从最初的 唯像素论 、到后来的 AI 相机 ,再到如今的 认知 ISP,其实并不能说早期的设计思路就不对、现在的才正确,因为整个发展过程是与技术水准,以及与消费者的需求水平深度挂钩的。说白了,在每一个阶段各大厂商都在尽自己最大的努力,让消费者获得尽可能高品质、尽可能易得的移动影像体验。
src=在这个过程当中,基于高通自研技术、基于骁龙移动平台所实现的创新,很显然地成为了近年来智能手机影像技术进步最重要的驱动因素之一。
src=当然,这并不是说其他的移动平台对此就没有贡献。但当我们在高通方面公布的信息中看到徕卡的算法合作方案,看到索尼、三星纷纷推出为最新骁龙移动平台优化的 CMOS,看到无数的主流手机厂商 站台 时,显然是足以说明一些问题的。
|