CNNモデル”ResNet”の解説

#とりあえずTensorFlowの呼出し
import tensorflow as tf
from tensorflow import keras
import tensorflow.keras.layers as layers


#Residual Blockの定義
def residual_block(inputs, ch, strides):
    # main path
    #（Batch Normalization ⇒　ReLU　⇒　畳み込み）×２セット
    x = layers.BatchNormalization()(inputs) 
    x = layers.ReLU()(x)
    x = layers.Conv2D(ch, 3, strides=strides, padding="same", 
                      kernel_regularizer=tf.keras.regularizers.l2(1e-4))(x) # Conv2Dに1e-4のL2正則化を入れます（論文より）
    x = layers.BatchNormalization()(x)
    x = layers.ReLU()(x)
    x = layers.Conv2D(ch, 3, padding="same", kernel_regularizer=tf.keras.regularizers.l2(1e-4))(x)
    
    # shortcut path
    # inputデータ（2層畳み込む前のデータ）を呼び出す
    if inputs.shape[-1] != ch or strides > 1:
        s = layers.Conv2D(ch, 3, strides=strides, padding="same", 
                          kernel_regularizer=tf.keras.regularizers.l2(1e-4))(inputs)
　　else:
        s = inputs

    # add
    # inputデータと2層畳み込んだデータを足す
    x = layers.Add()([x, s])
    return x


#ResNetモデルの作成
def create_resnet():
    # inputは（縦pixel, 横pixel, チャンネル数)なので入力画像へあった形へ調整
    inputs = layers.Input((32, 32, 3))
    # ResNet論文に合わせ畳み込みカーネル（フィルタ）数を16, 32, 64に設定。最初の層で16に設定
    x = layers.Conv2D(16, 3, padding="same")(inputs)
    # フィルタ数を増やしながらモデルを作成する。リストの中身がフィルタ数。
    for ch in [16, 32, 64]:
    # SkipConnectionを何回入れるか設定。今回は7回に設定。
        for i in range(7):
            # stridesの設定
            strides = 2 if i == 0 else 1
            if ch == 16:
                strides = 1
            # 上で定義したresidual blockの呼出し
            x = residual_block(x, ch, strides)
    # 最後にBatch Normalization ⇒　ReLU　⇒　プーリング層　⇒　全結合層を設定しモデル完成
    x = layers.BatchNormalization()(x)
    x = layers.ReLU()(x)
    # pooling層を追加。
    x = layers.GlobalAveragePooling2D()(x)
    # 全結合層を追加。活性化関数は分類問題の場合softmax
    x = layers.Dense(10, activation="softmax")(x)
    
    return tf.keras.models.Model(inputs, x)

model = create_resnet()
model.summary()