语义分割算法复习 | Phillweston Blog

type

status

date

slug

summary

语义分割网络剖析

语义分割是图像分割中的基本任务，是指对于图像将每个像素都标注上对应的类别，不区分个体。

1.UNet系列

1.1 UNet

编码器-解码器架构，四次下采样（maxpooling），四次上采样（转置卷积），形成了U型结构。

网络首先对输入图片进行了4组卷积和下采样操作来获取图像的高阶特征，之后同样通过4组反卷积将图像放大回接近输入图像的大小。

Unet最核心的一个思想: 特征图的拼接

Unet一个重要的创新是在相同深度的block之间加入了跳转连接。

UNet网络有几个主要的特点：

① 网络可以从中间分为左右两部分，左边是收缩路径，利用降采样和卷积模块提取不同尺度的特征；右边是扩展路径，利用上采样和卷积模块恢复尺度并融合先前特征，逐渐恢复图像；

② 卷积模块由两层连续的卷积层组成，它可以实现更大尺寸和更高深度的特征提取；降采样实现图像尺度的缩小；上采样(或反卷积层)实现图像尺度的变大；

③ 图中灰色的箭头线表示跳连，作用是在同一尺度下，将收缩路径上的特征合并到扩展路径上的特征，这样可以在扩展路径上提供更好的约束，网络也更容易输出我们期望的结果。

从UNet结构图可以知道，收敛路径主要的过程为

(1) 首先定义重复使用的卷积模块(函数)

重复两次“卷积层 -> 标准化层 -> 激活函数”，即创建了两个串联的卷积层，这是一种常用的特征提取器，最后输出X。

(2) 收敛路径

输入图片 -> ①(卷积模块 -> 下采样 -> dropout层) -> ②(卷积模块 ->下采样 -> dropout层) -> ③(卷积模块 ->下采样 -> dropout层) -> ④(卷积模块 ->下采样 -> dropout层)

img = Input(shape=self.shape) # self.shape是图片维度大小

c1 = conv2d_block(img, n_filters=n_filters * 1, kernel_size=3, batchnorm=batchnorm, padding=padding)

p1 = MaxPooling2D((2, 2))(c1)

p1 = Dropout(dropout * 0.5)(p1)

......

(3) 扩展路径

输入上一层的输出 -> ⑥(上采样 -> 特征合并 -> dropout层 -> 卷积模块) -> ⑦(上采样 -> 特征合并 -> dropout层 -> 卷积模块) -> ⑧(上采样 -> 特征合并 -> dropout层 -> 卷积模块) -> ⑨(上采样 -> 特征合并 -> dropout层 -> 卷积模块)。

u6 = Conv2DTranspose(n_filters * 8, (3, 3), strides=(2, 2), padding='same')(c5)

u6 = concatenate([u6, c4])

u6 = Dropout(dropout)(u6)

c6 = conv2d_block(u6, n_filters=n_filters * 8, kernel_size=3, batchnorm=batchnorm, padding=padding)

......

(4) 输出层

根据输出图片的数据格式，可以定义我们的输出层：

output = Conv2D(1, (1, 1), activation='sigmoid')(c9)

return Model(img, output)

简要总结：

首先进行Conv+Pooling下采样；

然后反卷积进行上采样，crop之前的低层feature map，进行融合；

再次上采样。

重复这个过程，直到获得输出388x388x2的feature map，

最后经过softmax获得output segment map。总体来说与FCN思路非常类似。

FCN、Unet、Unet++：医学图像分割网络一览

1.2 UNet++

UNet++是在UNet的基础上添加嵌套和密集跳过连接的CNN.

借鉴了DenceNet的密集连接，对Unet改进的点主要是skip connection，下图所示，其中黑色部分代表的就是原始Unet结构,绿色代表添加的卷积层，蓝色代表改进的skip connection，每一个水平层就是非常标准的DenseNet的结构。

引入了深度监督的思路。网络的loss函数是由不同层得到的分割图的loss的平均，每层的loss函数为 Dice loss 和 Binary cross-entropy loss 之和，引入DSN(deep supervision net)后，通过model pruning（模型剪枝）能够实现模型的两种模式：高精度模式和高速模式。

UNet++性能的提升和参数量无直接关系，和网络结构有关。

为什么UNet++可以被剪枝?

测试时，剪掉部分对剩余结构不做影响；训练时，剪掉的分支对剩余部分有影响。

如何剪枝? 根据子网络在验证集的结果来决定剪多少。

剪枝好处在哪里? 模型的内存可以节省18倍 (移动端使用)。