トマトの画像をマルチクラス分類してみた【Segmentation models】

# segmentation_modelsをデスクトップへ置いた場合の例
cd desktop
tf_upgrade_v2 --intree segmentation_models --outtree segmentation_models_tf2 --reportfile report.txt

cd Desktop/labelme/examples/semantic_segmentation #labelmeをデスクトップへ保存した場合
python labelme2voc.py train data_dataset --labels labels.txt

import segmentation_models as sm
sm.set_framework('tf.keras')
sm.framework()

dir ="./data/data_dataset/SegmentationClassPNG"
files = glob.glob(dir+"/*.png")
for i, file in enumerate(files): 
    image = Image.open(file) #画像の読み込み
    image = image.convert("P") #パレットモード（インデックスカラー）へ変換

def visualize(**images):
    n = len(images)
    plt.figure(figsize=(32, 16))
    for i, (name, image) in enumerate(images.items()):
        plt.subplot(1, n, i + 1)
        plt.xticks([])
        plt.yticks([])
        plt.title(' '.join(name.split('_')).title())
        plt.imshow(image)
    plt.show()

i = 0 #何枚目の画像を確認するか変更できます

mask = Y_train[i] # get some sample
visualize(
    image=X_train[i], 
    background_mask_mask=mask[..., 0].squeeze(),
    A_mask=mask[..., 1].squeeze(),
    B_mask=mask[..., 2].squeeze(),
    C_mask=mask[..., 3].squeeze(),
)

dice_loss = sm.losses.DiceLoss()
metrics = [sm.metrics.IOUScore(threshold=0.5)]
model.compile(optimizer=opt, loss=dice_loss, metrics=metrics) 

#ライブラリインポート
import tensorflow as tf
import segmentation_models as sm
sm.set_framework('tf.keras')
sm.framework()
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
import numpy as np
import matplotlib.pyplot as plt
import glob
from PIL import Image
from tensorflow.python.keras.utils import np_utils
from sklearn.model_selection import train_test_split
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

#データセット
x_image_size = 224 #インプット画像のサイズ
y_image_size = 320 #インプット画像のサイズ
X = []
Y = []
#画像データ
dir ="./data/data_dataset/JPEGImages"
files = glob.glob(dir+"/*.jpg")
for i, file in enumerate(files): 
    image = Image.open(file) #画像の読み込み
    image = image.convert("RGB") #RGBに変換
    image = image.resize((x_image_size, y_image_size)) #サイズ変更
    data = np.asarray(image) #画像データを配列へ変更
    X.append(data) #画像データを繰返し追加
X = np.array(X)
#アノテーションデータ（マスクデータ）
dir ="./data/data_dataset/SegmentationClassPNG"
files = glob.glob(dir+"/*.png")
for i, file in enumerate(files): 
    image = Image.open(file) #画像の読み込み
    image = image.convert("P") #パレットモード（インデックスカラー）へ変換
    image = image.resize((x_image_size, y_image_size)) #サイズ変更
    data = np.asarray(image) #画像データを配列へ変更
    Y.append(data) #画像データを繰返し追加
Y= np_utils.to_categorical(Y,4)
X_train, X_valid, Y_train, Y_valid = train_test_split(X, Y , test_size=0.2)

def visualize(**images):
    n = len(images)
    plt.figure(figsize=(32, 16))
    for i, (name, image) in enumerate(images.items()):
        plt.subplot(1, n, i + 1)
        plt.xticks([])
        plt.yticks([])
        plt.title(' '.join(name.split('_')).title())
        plt.imshow(image)
    plt.show()

i = 0 #何枚目の画像を確認するか変更できます

mask = Y_train[i] # get some sample
visualize(
    image=X_train[i], 
    background_mask_mask=mask[..., 0].squeeze(),
    A_mask=mask[..., 1].squeeze(),
    B_mask=mask[..., 2].squeeze(),
    C_mask=mask[..., 3].squeeze(),
)

BACKBORN = 'efficientnetb7'
preprocess_input = sm.get_preprocessing(BACKBORN)
model = sm.Unet(BACKBORN, 
                encoder_weights='imagenet', 
                classes = 4, 
                encoder_freeze = True,
                input_shape=(320, 224, 3))

#Dice係数／IoU
opt = tf.keras.optimizers.Adam(learning_rate=1e-3)
dice_loss = sm.losses.DiceLoss()
metrics = [sm.metrics.IOUScore(threshold=0.5)]
model.compile(optimizer=opt, loss=dice_loss, metrics=metrics) 

#チェックポイント作成
checkpoint_filepath = './tmp/checkpoint'
model_checkpoint_callback = tf.keras.callbacks.ModelCheckpoint(
    filepath=checkpoint_filepath,
    save_weights_only=True,
    monitor='val_iou_score',
    mode='max',
    save_best_only=True)

#学習
history =model.fit(X_train, Y_train, batch_size=1, epochs=100, 
                   validation_data=(X_valid, Y_valid),
                   callbacks=[model_checkpoint_callback])

#学習曲線
score = model.evaluate(X, Y, verbose=0)
print("evaluate loss: {0[0]}\nevaluate acc: {0[1]}".format(score))
fig, ax = plt.subplots(1, 2, figsize=(12, 6))
ax[0].set_title('Training performance (Loss)')
ax[0].plot(history.epoch, history.history['loss'], label='loss')
ax[0].plot(history.epoch, history.history['val_loss'], label='val_loss')
ax[0].set(xlabel='Epoch', ylabel='Loss')
ax[0].legend()

ax[1].set_title('Training performance (iou_score)')
ax[1].plot(history.epoch, history.history['iou_score'], label='iou_score')
ax[1].plot(history.epoch, history.history['val_iou_score'], label='val_iou_csore')
ax[1].set(xlabel='Epoch', ylabel='iou_score')
ax[1].legend(loc='best')

#予測結果の可視化
n = 3 #結果の表示数
ids = np.random.choice(np.arange(len(X_valid)), size=n)
for i in ids:   
    image = X_valid[i]
    gt_mask = Y_valid[i]
    image = np.expand_dims(image, axis=0)
    pr_mask = model.predict(image)  
    
    visualize(
        image=image.squeeze(),
        A_Ground_Truth=gt_mask[..., 1].squeeze(),
        B_Ground_Truth=gt_mask[..., 2].squeeze(),
        C_Ground_Truth=gt_mask[..., 3].squeeze(),
        #background_mask=pr_mask[..., 0].squeeze(),
        A_Prediction=pr_mask[..., 1].squeeze(),
        B_Prediction=pr_mask[..., 2].squeeze(),
        C_Prediction=pr_mask[..., 3].squeeze(),
    )