yabo登陆,yabo手机版登陆,官方网站

官方网站-英特尔用ViT做密集预测效果超越卷积,性能提高28%,mIoU直达SOTA

用全卷积网络做

但现在,你能够试试

英特尔最近用它搞了一个密布猜测模型,成果是比较全卷积,该模型在单目深度估量运用使命上,

其间,它的成果更具

在语义切割使命上,该模型更是在ADE20K数据集上

这次,Transformer又在CV界秀了一波操作。

此模型名叫

总的来说,DPT沿用了在卷积网络中常用的编码器-解码器结构,主要是在编码器的根底核算构建块用了transformer。

它经过运用ViT为骨干,将ViT供给的词包(bag-of-words)从头组合成不同分辨率的图画特征表明,然后运用卷积解码器将该表明逐渐组合到终究的密布猜测成果。

模型架构图如下:

具体来说便是先将输入图片转换为tokens(上图橙色块部分),有两种办法:

(1)经过打开图画表征的线性投影提取非堆叠的图画块(由此发生的模型为DPT-Base与DPT-Large);

(2)或许直接经过ResNet-50的特征提取器来搞定(由此发生的模型为DPT-Hybrid)。

然后在得到的token中增加方位embedding,以及与图画块独立的读出token(上图赤色块部分)。

接着将这些token经过transformer进行处理。

再yabo手机版登陆接着将每个阶段经过transformer得到的token从头组合成多种分辨率的图画表明(绿色部分)。留意,此刻还仅仅类图画(image-like)。

下图为重组进程,token被组装成具有输入图画空间分辨率1/s的特征图。

终究,经过交融模块(紫色)将这些图画表明逐渐“拼接”并经过上采样,生成咱们终究想要的密布猜测成果。

ps.该模块运用残差卷积单元组合特征,对特征图进行上采样。

以上便是DPT的大致生成进程,

此外,它在每阶段都有一个大局感触野。

不同对密布猜测使命特别有利,让DPT模型的成果更具细粒度和大局官方网站一致性。

用两种使命来查验作用

研究人员将DPT运用于两种密布猜测使命。

因为transformer只要在大练习集上才干展现其悉数潜能,因而

他们将DPT与该使命上的SOTA模型进行比照,选用的数据集包括约140万张图画,是迄今为止最大的单目深度估量练习集。

成果是,两种DPT变体的功能均明显优于最新模型(以上目标越低越好)。

其间,与SOTA架构MiDaS比较,

为了保证该成果不仅是因为扩展了练习集,研究人员也在更大的数据集上从头练习了MiDaS,成果依然是DPT胜出。

经过视觉比较图还能够看出,DPT能够更好地重建细节,能够在对卷积结构具有应战的区域(比方较大的均匀区域)中进步大局一致性。

别的,经过微调yabo登陆,研究人员发现DPT也能够有效地运用于较小的数据集。

在具有竞争力的

成果发现,DPT-Hybrid优于现有的一切全卷积结构,以49.02yabo登陆的mIoU达到了SOTA(其更明晰、更细粒度的鸿沟作用如最初所展现)。

而DPT-Large的功能稍差,研究人员剖析或许是因为与之前的试验比较,选用的数据集要小得多。

一起,他们在小数据集(Pascal)上对体现优异的DPT-Hybrid微调了50个epoch后发现,DPT的功能依然强壮。

终究,“百闻不如一见”,假如你想体会DPT的实在作用,能够到Huggingface官网。

论文地址:

模型地址:

Hugging Face体会地址:

https://huggingface.co/spaces/akhaliq/DPT-Large

Katen Doe

Katen Doe

Hello, I’m a content writer who is fascinated by content fashion, celebrity and lifestyle. She helps clients bring the right content to the right people.

Comments (3)

wave
  • John Doe

    John Doe

    Jan 08, 2021 14:41 pm

    Lorem ipsum dolor sit amet, consectetur adipiscing elit. Etiam vitae odio ut tortor fringilla cursus sed quis odio.

    Reply
  • John Doe

    Helen Doe

    Jan 08, 2021 14:41 pm

    Maecenas tempus, tellus eget condimentum rhoncus, sem quam semper libero, sit amet adipiscing sem neque sed ipsum.

    Reply
  • John Doe

    Anna Doe

    Jan 08, 2021 14:41 pm

    Cras ultricies mi eu turpis hendrerit fringilla. Vestibulum ante ipsum primis in faucibus orci luctus et ultrices posuere cubilia.

    Reply

Leave Comment

wave

Press ESC to close

Baidu
sogou
友情链接:
  360  |  百度  |  搜狗  |  神马