网络知识 娱乐 作为隐性神经表征的元学习者的变形器

作为隐性神经表征的元学习者的变形器

近年来,隐性神经表征(INRs)已经出现,并显示出其比离散表征更多的优势。.然而,将INR与给定的观测值进行拟合,通常需要从头开始用梯度下降法进行优化,这种方法效率很低,而且对于稀疏的观测值没有很好的通用性。.为了解决这个问题,大多数先前的工作都是训练一个超网络,生成一个单一的矢量来调节INR的权重,而这个单一的矢量成为一个信息瓶颈,限制了输出INR的构建精度。.最近的工作表明,通过基于梯度的元学习,可以精确推断出INR中的全部权重,而不会出现单向瓶颈。.在基于梯度的元学习的广义公式的激励下,我们提出了一个使用变形金刚作为INR的超网络的公式,它可以直接建立INR权重的全集,变形金刚专门作为集与集的映射。.我们展示了我们的方法在不同任务和领域中建立INR的有效性,包括二维图像回归和三维物体的视图合成。.我们的工作在Transformer超网络和基于梯度的元学习算法之间建立了联系,并且我们提供了进一步的分析来理解所产生的INRs。.带有代码的项目页面是:aturl{https://yinboc.github.io/trans-inr/}.

《Transformers as Meta-Learners for Implicit Neural Representations》

论文地址:http://arxiv.org/abs/2208.02801v1