Augmentation

Enhancement 학습 시 사용 가능한 augmentation 종류는 다음과 같습니다 (총 9종류)

[
    "vertical_flip",
    "horizontal_flip",
    "rotate",
    "adjust_brightness",
    "adjust_contrast",
    "gauss_noise",
    "advanced_blur",
    "elastic_transform",
]

이를 위한 image augmentation API는 Preview API와 Trainer Config의 2가지로 구성됩니다.

Preview API: 유저가 세팅한 파라미터에 대해 이미지 미리보기 제공
Trainer Config: 유저가 세팅한 파라미터를 학습에 사용하기 위해 Trainer.build()에 넣어주는 config

`enhancement.ImageProcessor`

Bases: _APIDecorator

Image Augmentation Preview를 위한 API 입니다. 각 augmentation들이 특정 파라미터 값에 대해 이미지를 어떻게 변형 시키는지 확인할 수 있습니다.

Note1

일반적으로 학습 시에는 파라미터를 특정 값이 아닌 범위로 설정하여 해당 범위에서 매번 랜덤한 값을 선택해 이미지에 적용합니다. 따라서 preview API의 입력 파라미터와 학습 시 넘겨주는 파라미터는 대부분 값 vs 범위의 차이를 가지게 됩니다. 예를 들어 preview API에서 rotate의 경우 angle (float) 값을 받지만, 학습 config에서는 angle_limit (List[float]) 범위를 받게됩니다. 각 augmentation을 학습에 사용시 필요한 config는 각 함수 설명의 Trainer Config 섹션을 참고하세요.

Note2

API 기획상, augmentation의 실제 자유도보다, 유저가 설정할 수 있는 파라미터가 적은 경우가 있습니다. (모든 픽셀에 독립적으로 적용되는 gauss_noise의 경우) 이러한 augmentation들은 api 호출 시, '값'을 입력 받아서, 이 '값'으로 부터 정의된 '범위'에서 필요한 값들을 랜덤하게 샘플링하게 됩니다. 이러한 augmentation들의 preview 함수를 정의할 때는, 인풋에 fixed_aug_params를 받을 수 있도록 해주어야합니다. (ImageProcessor.gauss_noise 참고)

Note3

augmentation중 일부는 SaigeVision V2 IEN 제품에 맞게 수정되었습니다. 따라서 다른 기능에서 사용하는 augmentation과 다른 유형의 파라미터를 사용할 수 있으며, 동일한 유형의 파라미터를 사용하더라도 다른 결과를 얻을 수 있습니다.

Usage

rotate augmentation preview 예제입니다. 상세 설명은 각 함수 설명 참고.

image = np.zeros((100, 100, 3), dtype=np.unit8)
error, augmented_result = ImageProcessor.rotate(image=image, angle=15)
augmented_image, augmentation_parameters = augmented_result

# In the case of 'rotate' augmentation, `augmentation_parameters` is None

`vertical_flip(image)`

image를 상하로 뒤집습니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.vertical_flip(image=image)

Trainer Config

{
    "_target_": "vertical_flip",
}

`horizontal_flip(image)`

image를 좌우로 뒤집습니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.horizontal_flip(image=image)

Trainer Config

{
    "_target_": "horizontal_flip",
}

`rotate(image, angle=0.0)`

image를 angle만큼 회전시킵니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required
`angle`	`float`	회전하는 각도 입니다. 유효 범위는 다음과 같습니다. [-360.0, 360.0]. Defaults to 0.0.	`0.0`

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.rotate(image=image, angle=60.0)

Trainer Config

{
    "_target_": "rotate",
    "angle_limit": List[float],  # angle 최소 최대 범위
}

`adjust_brightness(image, brightness=0.0)`

image의 밝기 (brightness)를 변경합니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required
`brightness`	`float`	밝기를 변화 강도입니다. 유효 범위는 다음과 같습니다. [-1.00, 1.00]. Defaults to 0.0.	`0.0`

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.adjust_brightness(image=image, brightness=0.3)

Trainer Config

{
    "_target_": "adjust_brightness",
    "brightness_limit": List[float],  # brightness 최소 최대 범위
}

`adjust_contrast(image, contrast=0.0)`

image의 대비 (contrast)를 변경합니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required
`contrast`	`float`	대비 변화 강도입니다. 유효 범위는 다음과 같습니다. [-1.00, 1.00]. Defaults to 0.0.	`0.0`

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.adjust_contrast(image=image, contrast=0.7)

Trainer Config

{
    "_target_": "adjust_contrast",
    "contrast_limit": List[float],  # contrast 최소 최대 범위
}

`gauss_noise(image, intensity=0.0)`

image에 가우시안 노이즈를 추가합니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required
`intensity`	`float`	노이즈 강도입니다. 유효 범위는 다음과 같습니다. [0.0, 1.0]. Defaults to 0.0.	`0.0`

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.gauss_noise(image=image, intensity=0.3)

Trainer Config

{
    "_target_": "gauss_noise",
    "intensity_limit": List[float],  # noise intensity 최소 최대 범위
}

`advanced_blur(image, ksize=1)`

image에 advanced blur를 적용합니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required
`ksize`	`int`	blur kernel의 크기 입니다. 유효 범위는 다음과 같습니다. [1, 100]. Defaults to 1.	`1`

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.advanced_blur(image=image, ksize=3)

Trainer Config

{
    "_target_": "advanced_blur",
    "ksize_limit": List[int],  # ksize 최소 최대 범위
}

`elastic_transform(image, intensity=0.0)`

image에 elastic transform을 적용합니다. 곡선 형태의 변형을 적용합니다.

Parameters:

Name	Type	Description	Default
`image`	`np.ndarray`	augmentation을 적용할 image 입니다. `data type: uint8 shape: H x W / H x W x 1 - Gray`	required
`intensity`	`float`	변형 강도입니다. 유효 범위는 다음과 같습니다. [0.0, 1.0]. Defaults to 0.0.	`0.0`

Returns:

Name	Type	Description
	`np.ndarray`	np.ndarray: augmentation이 적용된 image 입니다.
`NoneType`	`None`	None

Example

error, augmented_image = ImageProcessor.elastic_transform(image=image, intensity=0.3)

Trainer Config

{
    "_target_": "elastic_transform",
    "intensity_limit": List[float],
}

Trainer Config

Trainer에 넘겨주는 augmentation config는 List[Dict] 형태이며, 적용할 augmentation들의 파라미터(Dict)를 리스트로 모은 것입니다. 해당 리스트를 Trainer.build() config의 augmentation 섹션에 넣어주면 학습 시 augmentation이 적용됩니다.

Augmentation config 예시 (9가지 augmentation 모두 사용하는 경우,
```
                              
```
파라미터는 유저가 선택한 값) name="__codelineno-1-1" href="#__codelineno-1-1">augmentation_config = [ { "_target_": "vertical_flip", }, { "_target_": "horizontal_flip", }, { "_target_": "rotate", "angle_limit": [-30, 30], }, { "_target_": "adjust_brightness", "brightness_limit": [-0.2, 0.2], }, { "_target_": "adjust_contrast", "contrast_limit": [-0.2, 0.2], }, { "_target_": "gauss_noise", "intensity_limit": [0.0, 0.1], }, { "_target_": "advanced_blur", "ksize_limit": [3, 7], }, { "_target_": "elastic_transform", "intensity_limit": [0.0, 0.1], }, class="p">]



Augmentation config 예시2 ("vertical_flip"만 사용하는 경우)
    
augmentation_config = [
    {
        "_target_": "vertical_flip",
    },
]



Trainer build config 예시
    
augmentation_config = [
    {
        "_target_": "vertical_flip",
    },
    {
        "_target_": "rotate",
        "angle_limit": [-30, 30],
    },
]

trainer_config = {
    "network_type": "v2_fast",
    ...
    "augmentation": augmentation_config,  # augmentation section에 삽입
    ...
}

error, trainer = PairedTrainer.build(config=trainer_config, data)