3月29日晚间,小米举办春季新品发布会,当晚最具话题性的技术莫过于与三星ISOCELL合作18个月研发的5000万像素大底传感器GN2,感光面积达到1/1.12英寸,是iPhone12 Pro的近5倍大,超越索尼为华为定制的IMX700(1/1.28英寸)。至于之前呼声很高的自研澎湃芯片,则留到今晚揭晓,有爆料者称小米这次将发布的自研芯片是ISP……

3月29日晚间,小米举办春季新品发布会,正式发布小米11 Pro、小米11 Ultra和小米11青春版,一同发布的还有小米路由器AX9000和小米手环6共五大新品。

其中小米11 Pro起售价4999元,搭载骁龙888芯片,搭载了新型硅氧负极电池,支持67W有线快充+67W无线充电,也是小米首次搭载IP68防水级别的手机。小米11 Ultra则在小米11 Pro的基础上,成为了全球首款“三主摄”手机。

当晚最具话题性的技术,莫过于这两款机型的主摄模组都采用了与三星ISOCELL合作18个月研发的5000万像素大底传感器GN2,感光面积达到1/1.12英寸,是iPhone12 Pro的近5倍大,超越索尼为华为定制的IMX700(1/1.28英寸),并已经十分接近索尼黑卡相机RX100M7的一英寸大底。

三星GN2(下)和索尼IMX 689的对比

“像素再高,也不如大底大像素传感器”——余承东

近年来,手机拍照的需求见长,带动了移动图像传感器像素和面积的爆炸式增长。

知名数码博主maomaobear在撰文中提到,手机拍照进化从11万开始,像素数不断提升,但是有过几个台阶。第一个台阶是200万像素,功能手机拍照进化到200万后停滞了很久,因为200万已经可以完成记录生活的需要。

智能手机兴起让手机拍照一路进化到了1200万又停滞了很久,至今苹果还是1200万像素。Maomaobear分析原因是手机进化到1200万时,配合现在的镜头和IPS,测试分辨率已经超过了3000线。这个水平已经超越了DC数码相机,甚至超越了早期残幅的单反。

期间,还有诺基亚用大CMOS和高像素去解决变焦画质的问题,同时把全像素画质推到了新高度,但也随着诺基亚手机的失败而停滞。直到华为重新接过诺基亚的衣钵,再度提升像素数与CMOS面积,开启了智能手机像素大跃进,从1200万跳到4800万,6400万,1.08亿。

不过武功再高,也怕菜刀。“像素再高,也不如大底大像素传感器”,这是华为余承东的原话。去年7月23日,余承东在其微博上发表了对于手机上搭载1亿像素CMOS传感器的分析,他表示:“一亿像素实际拍照效果不如大底大像素的Sensor。即便一亿像素通过多个小像素合成大像素,效果也还是有折扣与差距。拍照的效果并不是与像素数简单相关的,这是一个系统性工程。”

的确,对摄影感兴趣的朋友都知道,传感器面积越大,进光量越高,物理层面收集的图像信息越好,越有利于最终成像效果的呈现,2020年,智能手机CMOS面积也开始进化,IMX700已经进化到了1/1.28寸。

 

曾经的单反CMOS传感器(上)和手机CMOS传感器(下)比起来,尺寸是秒杀,就算手机的算法再厉害,画质也一样被秒杀。而GN2的恐怖参数,令它成为市售移动传感器面积第一。

GN2的参数有多恐怖?

根据官方公布信息,GN2单像素面积达到1.4μm,这个尺寸本就难觅敌手,这个参数在一定程度上决定了传感器夜景表现力。再加上支持像素四合一技术,可将四个像素合成当做一个像素使用,等效像素尺寸高达2.8μm,令感光性能更突出。

 

三星方面在今年2月底发布了这款传感器时表示,GN2的像素排列,还是三星传统的四合一拜尔排列。可以通过四合一做1250万的输出,也可以直接出5000万的图还通过使用“智能重新镶嵌算法”重新排列彩色像素来支持1亿像素的输出。当然,实际的照片并非是一一对应的1亿像素,而是通过红绿蓝三个5000万像素的图层进行叠加后,进行放大与合成最终通过算法形成的1亿像素照片。

在强光下,5000万出图的品质是有保证的,因为单位像素1.4微米已经非常大,实际上强光下,三星ISOCELL 技术用0.8微米已经可以保证单位画质了。

另外,三星GN2也是首款采用双像素增强技术(Dual Pixel Pro)的传感器,配合全像素全向8核对焦,与多点 dToF 激光对焦系统,通过最多 64 点测距极暗光下也能对焦。雷军在发布会上也表示,搭配小米自研的“夜枭算法”,在接近无光的环境下也能拍出画面明亮的照片。

与此前的技术相比,GN2的绿色像素是对角拆分,红色与蓝色像素则继续保持垂直拆分,这让其像素顶部和底部、左侧和右侧均可以读取相位差。新的检测方式可以应对弱光环境或快速移动物体的快速准确自动对焦。

关于Dual Pixel Pro,三星半导体官方在微博贴出一张技术解析图:

根据三星官方的意思,双像素增强技术是由双像素技术升级而来。双像素技术是模拟双眼对焦,实现左右相位差对焦;双像素增强技术,除了每个像素分为左右两半,还可以对一些像素进行对角线隔离,不仅可以左右相位差对焦,还根据图像传感器特点,实现上下相位差,提升对焦效果。藉由大底+对焦升级,提高弱光下,运动中的成片率,减少废片。这个技术最早在OPPO的手机中使用,效果非常不错。。

三星ISOCELL GN2还支持Smart ISO Pro,能够智能的调节两种不同的感光度,这在三星目前的传感器中已经进行了支持。视频拍摄上支持1080P分辨率的480帧慢动作拍摄,在4K分辨率上则能提供120帧录制支持。

手机CMOS传感器的两条技术路线

小米为用好这款“底大一级压死人”的传感器,也是煞费苦心。为其搭配了双原生ISO Fusion和Stagger HDR技术,配合 12bit RAW可以带来18级高动态范围表现。同时搭配8P镜头、OIS光学防抖,支持1920fps超级慢动作,以确保全场景下的成像能力。

“三主摄”中的另外两位分别是主摄级IMX586传感器,4800万像素输出配合1/2英寸大底,提供超广角128°视野范围,;长焦端同样采用IMX586传感器,潜望式变焦号称实现了全球最高的120倍超远变焦。

视频方面,得益于三主摄相机系统,小米11 Ultra首次支持全焦段8K视频拍摄,不论是广角、超广角还是长焦均可实现8K超清视频录制,并新增双机联录功能,取景框可接入另一部小米11 Ultra/Pro的相机画面,以不同视角分屏拍摄。

显然三星GN2传感器的使用,有助于小米11 Pro/Ultra的拍照能力提升。单从规格上来说,GN2比小米11使用的HMX就要强一些,毕竟这是最新款的顶级产品。其次也是两种不同的技术路线。

三星图像传感器当前有两条旗舰级生产线,一条是主攻大底高像素的三星HM系列传感器(产品有三星HMX、三星HM1和三星HM2);一条是主攻大底的三星GN系列传感器(产品主要有三星GN1、三星GN2)。《中关村在线》整理了一张三星旗舰传感器参数表格:

三星旗舰传感器部分参数一览(图自:ZOL中关村在线)

可以看出在三星一系列的旗舰传感器中,GN2除了最大像素不占优势,在传感器尺寸和单像素面积上都是傲视群雄。尽管三星品牌市售手机未有搭载三星GN系列传感器,但不能否认三星GN系列重要参数上的恐怖。

上文也提到在CMOS图像传感器的道路上,发展出了两条路线——其中一条是锁定4800万-5000万,增加单位像素面积,一条是锁定0.7微米-0.8微米单位面积,增加像素数。4800万的逻辑,是四合一后1200万,正好满足4K拍摄3840*2160的需求;而4800万或者5000万,可以满足8K拍摄的需求。整个CMOS的面积利用可以最大化。

Maomaobear认为,锁定0.7微米-0.8微米单位面积的逻辑,是强光下0.8微米足够了,再大画质也没有突破,而弱光可以四合一。这种逻辑可以实现强光下画质的最大化。“GN2显然是第一种逻辑下的结果,在最高分辨率下的画质,5000万也许不及1亿,但是在视频上,5000万会有比较大的优势。”

从之前的“一亿像素”,到现在的“大底”、“双像素增强技术”,三星带来了不少传感器技术的新玩法。也让手机厂商们除了索尼,多了另一个选择,那么除了小米,还有哪些智能手机厂商搭载了这枚传感器呢?

此前,vivo X50 Pro+和vivo X60 Pro+两款机型上采用了三星GN1,因此预计除了小米11 Pro和Ultra,vivo新旗舰机型也大概率会采用GN2传感器。此外realme众多机型都青睐三星传感器,也不排除2021年的realme旗舰采用新款传感器。但根据网上爆料来看,大概率将小米会拥有一段时间的独占期。

传小米自研芯片是ISP

但有了大底传感器,拍照就能超越单反了吗?目前来看还是不可能,因为拍出好照片还有两个重要因素:镜头和图像信号处理器(ISP)。

镜头在手机上目前是无解的,因为它对体积有刚性物理要求的,拍摄特定场景时用的 镜片可能就有手机那么厚了。

ISP是Image Signal Processor的缩写,主要用来对前端图像传感器输出信号处理的单元,以匹配不同厂商的图像传感器。通俗来理解就是,ISP 所要做到的就是将“数字眼睛”的视力水平提高到“人类眼睛”的水平,让人眼看到数字图像时的效果尽可能接近人眼看到实景时的效果。ISP除了负责图片锐化、降噪、优化色彩等工作,还肩负着实现相位、激光、反差等混合对焦运算以及提供对多摄像头支持等重任,是手机拍照中必不可少的关键一环。

网上传言,小米这次将发布的自研的芯片就是ISP,数码博主 @数码闲聊站 等 也“实锤”小米全新自研澎湃芯片是独立 ISP 芯片,不是 SOC 芯片

 

但昨晚(3月29日)的发布会小米还是卖了个关子,把自研芯片留到了今晚发布。

2020年9月,小米曾公开招聘ISP工程师,打造自研ISP的意图非常明显。联系到和三星共同研发CMOS传感器一年多,期间搭配着ISP的研发也十分合理。

@数码闲聊站 曾表示,高通 ISP 芯片一年一更新,跟不上小米影像进步的速度,于是小米自己做起了 ISP 芯片。这次芯片与小米近些年进步神速的影像技术有关。

不过,小米不是国内第一家自研ISP的手机厂商,华为从海思麒麟950开始就集成了自研的ISP,以美颜拍摄见长的美图手机也采用了富士通的独立ISP芯片。

以高通骁龙 888 移动平台为例,搭载了 Spectra 580,这是首个支持三 ISP 的 Qualcomm Spectra 图像信号处理器,三 ISP 支持摄像头进行三重并发和三重并行处理。如果小米的自研芯片真的是ISP,那么搭载的手机将拥有小米自研的影像技术,独立于高通 SoC 上集成的 ISP 运行。

一个ISP其实是一个SoC核心,内部包含CPU、SUP IP、IF 等单元,可以运行各种算法程序,实时处理图像信号。ISP的控制结构由ISP逻辑和运行在上面的Firmware两个部分组成,逻辑单元除了完成一部分算法处理外,还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息进行重新计算,反馈控制Lens、Sensor和ISP逻辑,以达到自动调节图像质量的目的。

责编:Luffy Liu

本文综合自小米官网、中关村在线、Techweb、PChome、CNMO、maomaobear、IT之家报道

阅读全文,请先
您可能感兴趣
2021年是激光雷达“上车”元年。随着智能驾驶技术不断演进,未来几年激光雷达将被各大车企采用。这家具备领先的激光雷达技术优势的德国企业,将要在激光雷达装配率极速上升的“黎明前夜”落幕吗?
在AI算力突破传统成像系统天花板的计算革命下,AI ISP技术也将不断发展,其算力也将越来越强,其产品成本将不可避免的越来越低,拍摄距离也将越来越远,效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术,或许不久将成为现实。
本文将介绍 USB 3.1 以及第一代与第二代 USB 3.1 之间的差异及两者能给机器视觉开发人员带来的实际益处。 USB Implementers Forum 还针对 USB 3.2 标准发布了相关规范,该标准使 USB 3.1 吞吐量加倍。
机器人已经融入到了我们生活的方方面面,现在酒店、餐饮、娱乐、工业、汽车自动驾驶等各个领域都有机器人在为我们服务。机器人越来越智能,应用场景也越来越多。 6月29日,由Aspencore与深圳市新一代信息通信产业集群联合主办的AIOT 2022国际生态发展大会-智慧机器人分论坛上,毕业于中山大学和荷兰代尔夫特理工大学,曾是光刻巨头ASML光刻过程控制算法的创始团队成员,现任深圳阜时科技有限公司CTO王李冬子先生分享了SPAD芯片在机器人LiDAR领域的应用。
瞄准智能摄像头和边缘人工智能(AI)视觉市场,Arm日前宣布推出全新Arm Mali-C55图像信号处理器(ISP),这是Arm迄今为止面积最小且可配置性最高的ISP产品,瑞萨电子成为了首家公开授权许可客户。
带有高性能深度学习推理加速器芯片或与云数据中心宽带连接的高清摄像头,可以显著增强和改进传统的安全和监控方法。事实上,这样的深度学习系统已经展示了非凡的能力:面部识别、手势解释——例如检测入店行窃,甚至情绪估计——检测入店行窃的企图。或许这些能力已经变得令人刮目相看了。
• 得益于西欧、关键亚洲市场和拉丁美洲市场的增长,以及中国品牌的持续领先,全球折叠屏手机出货量在2024年第二季度同比增长了48%。 • 荣耀凭借其在西欧特别强劲的表现,成为最大的贡献者,成为该地区排名第一的品牌。 • 摩托罗拉的Razr 40系列在北美和拉丁美洲表现良好,为其手机厂商的出货量贡献了三位数的同比增长。 • 我们预计,头部中国手机品牌厂商的不断增加将至少在短期内抑制三星Z6系列在第三季度的发布。
AI技术的发展极大地推动了对先进封装技术的需求,在高密度,高速度,高带宽这“三高”方面提出了严苛的要求。
奕斯伟计算2024首届开发者伙伴大会以“绿色、开放、融合”为主题,从技术创新、产品应用、生态建设等方面,向开发者、行业伙伴等相关方发出开放合作倡议,加速RISC-V在各行各业的深度融合和应用落地,共同推动RISC-V新一代数字基础设施生态创新和产业发展。
2024年 Canalys 中国云计算渠道领导力矩阵冠军厂商分别是:阿里云、华为云和亚马逊云科技(AWS)
点击蓝字 关注我们德州仪器全球团队坚持克服挑战,为电源模块开发新的 MagPack™ 封装技术,这是一项将帮助推动电源设计未来的突破性技术。  ■ ■ ■作为一名经验丰富的马拉松运动员,Kenji K
文|萝吉今年下半年开始,国内新能源市场正式跨过50%历史性节点,且份额依然在快速增长——7月渗透率破50%,8月份破55%……在这一片勃勃生机万物竞发的景象下,新能源市场占比最高的纯电车型,却在下半年
周二,捷普科技(Jabil)官员与印度泰米尔纳德邦代表团在泰米尔纳德邦首席部长MK Stalin的见证下,签署了一份备忘录。MK Stalin正在美国进行为期17天的访问,旨在吸引新的投资。MK St
据市场调查机构Allied Market Research的《单晶硅晶圆市场》报告指出,2022年单晶硅晶圆市场价值为109亿美元,预计到2032年将达到201亿美元,2023年~2032年的复合年均
在德国柏林举行的IFA 2024上,AMD计算和图形业务集团高级副总裁兼总经理Jack Huynh宣布,公司将把以消费者为中心的RDNA和以数据中心为中心CDNA架构统一为UDNA架构,这将为公司更有
‍‍‍‍上市PCB厂商竞国(6108)日前出售泰国厂给予陆资厂胜宏科技后,近日惊传台湾厂惊传12月前关厂,并对客户发布通知预告客户转移生產,最后出货日期2024年12月25日。至於后续台湾厂400名员
近日A股上市公司陆续完成2024年上半年业绩披露,其中24家SiC概念股上半年合计营收同比增长14.58%至1148.65亿元,研发费用同步增长7.22%至69.16亿元。尤为值得注意的是,天岳先进、
展位信息深圳跨境电商展览会(CCBEC)时间:2024年9月11-13日 9:30-17:30地点:深圳国际会展中心(宝安)展馆:16号馆 16D73/16D75 展位报名注册准备好“观众注册”入场二
随着汽车智能化升级进入深水区,车载ECU(域)以及软件复杂度呈现指数级上升趋势。尤其是多域、跨域和未来的中央电子架构的普及,以及5G/V2X等车云通信的增强,如何保障整车的信息与网络安全,以及防范外部