首页
关于我们
晶圆库存
新闻中心
联系我们
本文作者:Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek, Arka Majumdar & Felix Heide
作者单位:Princeton University, Department of Computer Science, Princeton, NJ, USA
能够在亚波长尺度上调制光的纳米光学成像仪可能会在从机器人技术到医学等多个领域开启新的应用。尽管超表面光学为这种超小型成像仪提供了一条路径,现有方法的成像质量远不如笨重的折射式替代品,根本上受限于大孔径和低f数下的像差。在这项工作中,我们通过引入神经纳米光学成像仪来缩小这一性能差距。我们设计了一个完全可微分的学习框架,结合神经特征的图像重建算法学习超表面的物理结构。通过实验验证我们提出的方法,我们实现了比现有方法低一个数量级的重建误差。因此,我们展示了一种高质量的纳米光学成像仪,它结合了超表面操作的最宽视场,并同时在f数为2时实现了最大的已演示孔径0.5毫米。
近年来,强度传感器的小型化使得今天的相机在许多应用领域变得无处不在,包括医学成像、消费类智能手机、安全、机器人和自动驾驶。然而,若能实现更小一个数量级的成像器件,将能在纳米机器人技术、体内成像、AR/VR以及健康监测等领域推动众多新应用。虽然存在亚微米像素的传感器,但由于传统光学的固有局限性,进一步的小型化一直未能实现。传统的成像系统由一系列折射元件组成,这些元件用于校正像差,而这些笨重的镜头限制了相机的最小尺寸。另一个根本性的障碍是焦距的缩短问题,因为这会引起更大的色差。
为了弥补这一差距,我们转向了计算设计的超表面光学(元光学)技术,从而实现超小型相机,这些相机可以为内窥镜、脑成像或作为分布式的“光学尘埃”协作设备提供新的能力。超薄元光学利用亚波长纳米天线调制入射光,与传统的衍射光学元件(DOE)相比,具有更大的设计自由度和空间带宽积。此外,元光学散射体的丰富模态特性可以支持超出传统DOE的多功能能力(如偏振、频率和角度复用)。元光学可以使用广泛可用的集成电路代工技术制造,例如深紫外光刻(DUV),无需像聚合物基DOE或二进制光学中那样使用多次刻蚀步骤、钻石切割或灰度光刻。
由于这些优势,研究人员已经利用元光学的潜力构建了用于成像的平面光学器件、偏振控制和全息技术。然而,现有的超表面成像方法由于来自施加相位的不连续性所引起的严重的波长相关像差,重建误差比折射复合透镜可实现的误差高出一个数量级。色散工程旨在通过利用群延迟和群延迟色散来聚焦宽带光,然而,这一技术在~10微米的孔径设计上有固有的限制。因此,现有的方法无法在不显著减少数值孔径或支持的波长范围的情况下增加可实现的孔径大小。其他尝试的解决方案仅适用于离散波长或窄带照明。
超表面还表现出强烈的几何像差,限制了它们在宽视场(FOV)成像中的应用。支持宽视场的方法通常依赖于小的输入孔径,这限制了光的收集,或使用多个超表面,这大大增加了制造复杂性。此外,这些多个超表面之间有一个间隙,其大小与孔径成线性比例关系,因此随着孔径增大,元光学的尺寸优势会消失。
最近,研究人员利用计算成像将像差校正卸载到后处理软件中。尽管这些方法能够实现无需严格孔径限制的全色成像超表面,但它们的视场限制在20°以下,并且重建的空间分辨率比传统折射光学低一个数量级。此外,现有的学习反卷积方法已局限于标准编码-解码架构的变体,如U-Net,并且通常无法泛化到实验测量中或处理宽带超表面成像仪中出现的大量像差。
研究人员已经提出了利用单光学元件而不是复合堆叠的相机设计,但由于衍射效率低,这些系统未能达到消费级成像仪的性能。此外,最成功的方法由于其超过10毫米的长后焦距,限制了小型化。无透镜相机则通过用振幅掩模替代光学元件来减小尺寸,但这严重限制了空间分辨率,并需要较长的采集时间。
最近,已经提出了多种用于元光学的逆向设计技术。现有的端到端优化框架[7, 33, 34]由于需要大量内存,无法扩展到大孔径尺寸,并且没有针对最终的全彩图像质量进行优化,通常依赖于中间度量,如焦点强度。
在这项工作中,我们提出了神经纳米光学,一种高质量的、偏振不敏感的纳米光学成像仪,用于全彩(400到700纳米)、宽视场(40°)成像,f数为2。与依赖手工设计和重建的先前工作不同,我们联合优化了超表面和去卷积算法,采用了端到端可微分的图像形成模型。可微分性使我们能够使用深度学习所推广的一阶求解器,进行管道中所有参数的联合优化,从元光学设计到重建算法。图像形成模型利用了内存高效的可微分纳米散射器模拟器,以及基于神经特征的重建架构。我们在实验捕获中,在名义波长范围外的重建误差方面,超越了现有方法一个数量级。
结果
图1 神经纳米光学端到端设计。我们所学到的超薄元光学,如图(a)所示,厚度和直径为500微米,允许设计迷你相机。制造的光学器件如图(b)所示。图(c)展示了放大图,图(d)展示了纳米柱的尺寸。我们展示的端到端成像流程如图(e)所示,由我们提出的高效超表面图像形成模型和基于特征的去卷积算法组成。从可优化的相位轮廓出发,我们的可微分模型生成空间变化的PSF,然后将其按块与输入图像卷积,形成传感器测量值。接着,使用我们的算法对传感器读数进行去卷积,产生最终图像。图(e)中“Meta-Optic”和“Sensor”上方的插图由作者使用Adobe Illustrator创建。
*电子束光刻加工超透镜
*大面积超结构及其他微纳结构加工解决方案
背景:
目前在市场上大家加工超结构的加工方式主要为ebl+干法刻蚀。这种加工方式的优点是,精度高,金属类结构可以达到50nm线宽,氧化物和氮化物可以达到80-100nm的最小线宽。
但是由于采用的方式为电子束光刻的方式,因此成本是巨大的,举例,一个1mm*1mm的图案差不多2-3万元,而一个20*20mm的图案,差不多就要20万元左右。
雪上加霜的是,我们付出了如此大的代价,最后只能得到一个样品,这个样品的宝贝程度不亚于金子,这样我们在做实验的时候,就像拿着宝贝疙瘩一样谨慎、生怕弄坏了。
紫外光刻技术相对于电子束光刻技术,具有较好的量产效率和较低的量产成本。
国内有很多超结构企业,目前遇到的一个核心困境就是国内缺足够的高精度的光刻机 比如几十nm线宽的12寸量产型光刻机,因此国内很多超结构企业的流片都在国外fab厂进行。
针对国内的科研工作者的超结构及其他微纳结构加工难题;
小编正式推出
6寸最小线宽150nm 超结构及微纳结构 镀膜+光刻+刻蚀 一站式服务
采用佳能krf紫外光刻机,最小线宽150nm,比例5:1,成本主要包含 掩模版 镀膜 光刻 刻蚀这4套基本工艺流程,其中最贵的掩模版为一次性投入,其余为做单片时的投入。性价比超高,每次加工可得一整个晶圆 。
当然 ,本方案的缺点在于,设备的最小线宽仅为150nm,更高精度可能还是需要寻求更高精度的光刻机或者ebl加工。
设备:佳能150nmDUV光刻机
尺寸:6英寸
最高可加工精度:150nm
6寸超结构整版加工预计成本:3-6万(单片),
其中掩膜版为一次性投入,后续增加片数仅收取光刻,刻蚀费用。
最大单元尺寸:22*22mm
对准精度:40nm
材料:非晶硅,TiO2,SiO2,LiNbO3,Si3N4 GaN,Ta2O5,Al,Au,GaAs...更多材料体系
应用领域:超结构,光栅,mems,光子集成线路,,,,,,
请联系小编免费获取原文,也欢迎交流半导体行业,工艺,技术,市场发展!
可微分超表面代理模型。所提出的可微分超表面图像形成模型(图1e)由三个连续的阶段组成,利用可微分张量操作:超表面相位确定、PSF模拟与卷积以及传感器噪声。在我们的模型中,决定超表面相位的多项式系数是可优化的变量,而表征传感器读出和传感器-超表面距离的实验校准参数是固定的。可优化的超表面相位函数ϕ作为距离r(从光轴的距离)的函数给出。
其中 {a0, …an} 是可优化的系数,R 是相位掩模的半径,n 是多项式项的数量。我们在这个相位函数的基础上优化超表面,而不是逐像素方式进行优化,以避免局部极小值。项数 n 是用户定义的,可以增加以更精细地控制相位轮廓,在实验中我们使用了 n = 8。我们在多项式中使用偶次幂,以赋予空间对称的PSF,从而减少计算负担,因为这允许我们通过仅沿一个轴进行仿真来模拟完整的视场(FOV)。然而,这个相位仅对单一的名义设计波长定义,在我们的优化中,设定为452 nm的固定超参数。虽然仅此掩模足以模拟单色光传播,但为了设计宽带成像场景,我们需要在所有目标波长上定义相位。
为此,在我们的超表面中每个散射体位置,我们依次应用两个操作。第一个操作是一个逆相位到结构的映射,它根据名义设计波长下所需的相位计算散射体的几何形状。确定了散射体的几何形状后,我们可以应用一个正向的结构到相位的映射,计算剩余目标波长下的相位。通过利用有效折射率近似,确保每个相位变化在0到2π范围内具有唯一的几何形状,我们保证了可微分性,并可以通过调整散射体尺寸并计算不同目标波长下的响应来直接优化相位系数。有关详细信息,请参见补充说明4。
这些从纳米散射体中可微分地确定的相位分布使我们能够进一步计算PSF,作为波长和场角的函数,从而有效地模拟整个视场内的全色图像形成,见补充图3。最后,我们通过使用重参数化和梯度评分技术来模拟实验校准的高斯和泊松噪声的传感和读出,以便启用反向传播,代码示例见补充说明4。
虽然研究人员已通过将超表面视为相位掩模来设计超表面[5, 35],但我们方法与以往方法的关键区别在于,我们制定了一个代理函数,模仿散射体在局部相位近似下的相位响应,使我们能够使用自动微分进行逆向设计。
与其他计算前向仿真方法(如有限差分时域(FDTD)仿真[33])直接比较时,我们的方法是近似的,但速度快了三个数量级以上,且内存效率更高。对于与我们设计相同的孔径,FDTD仿真仅准确网格化就需要约30TB的存储空间。而我们的方法则仅随长度的平方变化。这使得我们的整个端到端流程在内存上减少了超过3000倍,超表面仿真和图像重建都能在几GB的GPU内存中完成。
仿真和实验的相位轮廓分别如图1b和图3所示。注意,相位变化足够快,以至于在相位函数中会引起混叠效应;然而,由于整个相位轮廓在我们的框架中直接建模,这些效应都被纳入了超表面结构的仿真中,并且在优化过程中得到了考虑。
神经特征传播和学习的纳米光学设计。我们提出了一种神经去卷积方法,该方法在推广到未见过的测试数据时,能够结合学习到的先验。具体而言,我们设计了一个神经网络架构,在学习到的特征空间上执行去卷积,而不是在原始图像强度上进行去卷积。这种技术结合了基于模型的去卷积的泛化能力和神经网络的有效特征学习,使我们能够解决超光学的图像去卷积问题,尤其是在存在严重像差和大范围PSF的情况下。即使仅在仿真中进行训练,这种方法也能很好地推广到实验捕获数据。
所提的重建网络架构包括三个阶段:多尺度特征提取器fFE、传播阶段fZ→W(去卷积这些特征,即将特征Z传播到其去卷积后的空间位置W),以及解码器阶段fDE,它将传播的特征组合成最终的图像。正式来说,我们的特征传播网络执行以下操作:
其中I是原始传感器测量值,O是输出图像。
特征提取器和解码器都构建为完全卷积的神经网络。特征提取器在本地分辨率和多个尺度上识别特征,以促进低级和高级特征的学习,使我们能够编码并传播超越原始强度的高级信息。随后的特征传播阶段fZ→W是一种去卷积方法,通过可微分映射将特征Z传播到其逆滤波位置W,从而使W对Z可微分。最后,解码器阶段将传播的特征转换回图像空间,架构的详细信息见补充说明5。
与现有的最先进去卷积方法相比,我们在去卷曲因超表面引起的像差时,实现了超过4 dB的峰值信噪比(PSNR)改善(均方误差减少超过2.5倍),具体数据见补充表11。
我们所提出的超表面图像形成模型和去卷积算法被纳入到一个完全可微分的端到端成像链中。我们的超表面成像流程允许我们应用一阶随机优化方法来学习超表面相位参数PMETA和去卷积网络fDECONV的参数PDECONV,以最小化我们的最终损失函数L,在我们的案例中,L是感知质量度量。因此,我们的图像形成模型定义为
其中I是RGB训练图像,fMETA根据PMETA生成超表面PSF,*表示卷积,fSENSOR模拟包括传感器噪声在内的传感过程。由于我们的去卷积方法是非盲的,fDECONV接受fMETA(PMETA)作为输入。我们接着求解以下优化问题:
最终学到的参数P_META用于制造元光学,P_DECONV决定去卷积算法,更多细节见补充说明4。
成像演示
使用我们的神经纳米光学进行的高质量全彩图像重建如图2和补充图19、20、21、22、23所示。我们与传统的设计为511纳米的双曲线元光学以及Colburn等人提出的最先进的立方元光学[10]进行了比较。额外的与替代单光学和元光学设计的实验比较见补充说明11。真实图像是通过一个六元素复合光学器件获取的,其体积比元光学大550,000倍。我们的完整计算重建流程以实时速度运行,只需58毫秒即可处理一个720 px × 720 px的RGB捕获。
图2 实验成像结果。与现有的最先进设计相比,所提出的神经纳米光学能够生成高质量、宽视场的重建图像,并修正了像差。示例重建图像展示了静物水果(a)、绿色蜥蜴(b)和蓝色花朵(c)。每行下方显示了插图。我们将我们的重建结果与使用高质量六元素复合折射光学器件获取的真实图像进行了比较,并展示了即使我们的元光学体积是复合光学器件的550,000倍小,我们仍能获得准确的重建。
传统的双曲线元光学在较大和较短波长下会遇到严重的色差。在图2a中可以看到严重的红色模糊,在图2c中看到洗掉的蓝色。立方元光学在颜色通道间保持更好的一致性,但由于其大的、不对称的PSF,仍然受到伪影的影响。相比之下,我们展示了没有这些像差的高质量图像,这些像差可以在图2a中水果的细节、图2b中蜥蜴身上的图案以及图2c中花瓣的细节中观察到。我们通过在一个未见过的自然图像测试集上测量重建误差来定量验证了所提出的神经纳米光学,在此测试集上,我们获得了比现有方法低10倍的均方误差,见补充表12。除了自然图像重建,我们还使用标准测试图测量了空间分辨率,见补充说明10。我们的纳米光学成像仪在120毫米物距下,所有颜色通道的空间分辨率为214 lp/mm。我们在空间分辨率上比Colburn等人[10]提出的之前的最先进方法提高了一个数量级,后者的空间分辨率为30 lp/mm。
表征纳米光学性能
通过我们的优化过程,我们的元光学学会生成紧凑的PSF,最小化整个视场(FOV)和所有颜色通道中的色差。与那些在单一波长下表现出锐利焦点但在其他波长下有显著像差的设计不同,我们的优化设计在不同波长之间取得了平衡,以促进全彩图像成像。此外,学习到的元光学避免了Colburn等人[10]在计算成像中使用的较大PSF。
图3 元光学表征。所提出的学习型元光学通过电子束光刻和干法刻蚀制造,显示了相应的测量PSF、仿真PSF和仿真MTF。在捕获图像之前,我们首先测量了制造的元光学的PSF,以考虑与仿真结果的偏差。然而,仿真PSF与测量PSF之间的匹配验证了我们超表面代理模型的准确性。所提出的学习型设计在整个可见光谱范围内以及整个视场的所有场角上保持一致的PSF形状,促进了后续的图像重建。相比之下,传统元光学和Colburn等人[10]提出的立方体设计的PSF均表现出严重的色差。传统元光学的红色(606 nm)和蓝色(462 nm)PSF焦点模糊,并在视场内发生显著变化。立方体设计的PSF展示了长尾巴,留下了去卷积后的伪影。
优化后,我们制造了我们的神经纳米光学(图3),并进行了几种启发式设计的比较。请注意,元光学的商业大规模生产可以使用基于DUV光刻的高通量工艺进行,这是成熟行业如半导体集成电路的标准,详细信息见补充说明3。模拟和实验的PSF如图3所示,并且结果高度一致,验证了代理超表面模型的物理准确性。为了考虑制造不完美,我们执行了一个PSF校准步骤,通过使用制造的元光学捕获PSF。然后,我们通过用捕获的PSF替换基于代理的超表面模拟器来微调我们的去卷积网络。微调后的网络被部署在使用补充图7所示设置的实验捕获中。这个微调校准步骤不会在实验捕获数据上进行训练,我们只需要测量的PSF。因此,我们不需要收集大量的实验图像数据集。
我们观察到,优化后的元光学的PSF展现了紧凑的形状和在场角之间最小的方差,这正是我们设计的预期效果。相比之下,传统的双曲线元光学(511 nm)的PSF在场角之间具有显著的空间变化,并且存在严重的色差,这些色差无法通过去卷积进行补偿。虽然Colburn等人[10]的立方体设计确实表现出了空间不变性,但其不对称性和较大的空间范围引入了严重的伪影,降低了图像质量。请参见图3和补充说明8,以对比传统元光学、Colburn等人的设计[10]和我们的设计。我们还在图3中展示了我们设计的相应调制传递函数(MTF)。MTF几乎不随入射角变化,并且在可见光谱范围内保持了广泛的空间频率。
讨论
在本研究中,我们提出了一种利用神经纳米光学实现高质量全彩宽视场成像的方法。具体而言,所提出的学习型成像方法在实验数据上的重建误差比现有方法低一个数量级。实现这一结果的关键因素是我们的可微分元光学图像形成模型和新型去卷积算法。将两者结合为一个可微分的端到端模型,我们联合优化完整的计算成像流程,唯一的目标度量是去卷积RGB图像的质量——这与现有方法明显不同,后者在重建方法中单独惩罚焦点大小。
我们已经展示了元光学在全彩、宽视场高质量成像中的可行性。迄今为止,尚未有任何现有的元光学能够提供与我们的图像质量、大孔径尺寸、低f数、宽频带、宽视场和偏振不敏感性相媲美的组合(见补充说明1和2),并且所提出的方法可以扩展到大规模生产。此外,我们展示了与一个笨重的六元素商用复合透镜相当的图像质量,尽管我们的设计体积比其低550,000倍,并且只使用了单一的超表面。
我们为专用的、无像差的成像任务设计了神经纳米光学,但我们设想将我们的工作扩展到灵活的成像,利用可重构的纳米光子学来处理各种任务,从扩展的景深到分类或物体检测任务。我们相信,所提出的方法为实现超小型相机迈出了重要一步,这些相机可能在内窥镜、脑成像或作为分布式设备在物体表面上启用新的应用。
方法
优化
我们使用TensorFlow 2设计并评估了我们的神经纳米光学。有关训练过程、超参数和损失函数的详细信息,请参见补充说明6。我们使用INRIA Holiday数据集进行训练[36]。
样品制造
从双面抛光的熔融石英晶圆开始,我们通过等离子增强化学气相沉积(PECVD)沉积705纳米的氮化硅,形成我们的器件层。然后,我们旋涂ZEP 520A光刻胶,并溅射8纳米金电荷耗散层,随后使用JEOL JBX6300FS电子束光刻系统在100 kV和8 nA下曝光。去除金层后,我们用醋酸戊酯显影,接着浸泡在异丙醇中。为了定义蚀刻掩模,我们蒸发50纳米铝,并通过在二氯甲烷、丙酮和异丙醇中超声振动去除。然后,我们使用CHF3和SF6化学气体以及感应耦合等离子体蚀刻机蚀刻氮化硅层。在去除铝蚀刻掩模后,我们在芯片上涂覆并图案化AZ 1512光刻胶,接着蒸发铝并通过去除蒸发层定义一个硬孔径来阻挡杂散光。
实验设置
在制造超表面光学器件后,我们通过执行PSF校准步骤来考虑制造误差。这是通过使用光学传递系统成像一个由光纤耦合LED照明的针孔来实现的。然后,我们通过用OLED显示器替换针孔进行成像实验。OLED显示器用于显示将由我们的纳米光学成像仪捕获的图像。详细信息请参见补充说明7。
关于我们:
OMeda成立于2021年,由3名在微纳加工行业拥有超过7年经验的工艺,项目人员创立。目前拥有员工15人,在微纳加工(涂层、光刻、蚀刻、双光子印刷、键合)等领域拥有丰富的经验。 同时,我们支持4/6/8英寸晶圆的纳米加工。 部分设备和工艺支持12英寸晶圆工艺。针对MEMS传感器、柔性传感器、微流控、微纳光学等行业。 我们将凭借先进的设备、仪器和经验,为您带来可靠性、性能优良的产品和高效的服务
中国(上海)自由贸易试验区临港新片区业盛路188号450室 电话:+86 188 233 40140 邮箱:jing.chen@omeda-optics.com
来源:OMeda
OMeda(上海奥麦达微)成立于2021年,由3名在微纳加工行业拥有超过7年经验的工艺,项目人员创立。目前拥有员工15人,在微纳加工(镀膜、光刻、蚀刻、双光子打印、键合,键合)等工艺拥有丰富的经验。 同时,我们支持4/6/8英寸晶圆的纳米加工。部分设备和工艺支持12英寸晶圆工艺。针对MEMS传感器、柔性传感器、微流控、微纳光学,激光器,光子集成电路,Micro LED,功率器件等行业。 我们将凭借先进的设备、仪器和经验,为您带来可靠性、性能优良的产品和高效的服务。