A Study on the Optimization of Fine-tuning and Dataset for Defect Detection Models in Photovoltaic Modules Images

Taeyun Kim; Byung Chul Yeo

doi:10.7836/kses.2025.45.4.067

Preview

Research Article

Journal of the Korean Solar Energy Society. 30 August 2025. 67-79
https://doi.org/10.7836/kses.2025.45.4.067

A Study on the Optimization of Fine-tuning and Dataset for Defect Detection Models in Photovoltaic Modules Images

태양광 모듈 이미지 결함 검출 모델의 미세 조정 및 데이터셋 최적화에 관한 연구

Taeyun Kim¹

Byung Chul Yeo²^*

김 태윤¹

여 병철²^*

¹B&M Student, Department of Energy Resources Engineering, Pukyong National University

²Associate Professor, Department of Energy Resources Engineering, Pukyong National University

¹국립부경대학교 에너지자원공학과, 학석사통합과정

²국립부경대학교 에너지자원공학과, 부교수

^{*Corresponding Author}

License (open-access, http://creativecommons.org/licenses/by-nc/4.0/):

This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial License which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

ABSTRACT

Fault diagnosis of photovoltaic (PV) modules is essential for reliable solar energy generation. Previously, defects in solar modules were identified through manual inspection of PV module images; however, these methods are inefficient and prone to errors. To address this issue, deep-learning-based approaches have been explored to automate defect diagnosis in solar modules. Nevertheless, there remains a lack of systematic analysis on how model structure optimization and dataset composition affect classification performance. This study investigates the effectiveness of layer-wise fine-tuning and dataset integration using image classification models retrained on infrared (IR) and electroluminescence (EL) images. Specifically, we compared three AlexNet-based training strategies: (1) retraining AlexNet from scratch using only IR images, (2) fine-tuning a model pretrained on general image datasets with IR images, and (3) fine-tuning a model pretrained on general image datasets using both IR and EL images. The results indicated that the best performance was achieved by freezing the first three convolutional layers during fine-tuning, with the AlexNet model fine-tuned on the IR dataset achieving the highest classification accuracy. These findings suggest that combining fine-tuned models with selective layer freezing and tailored datasets can effectively enhance the design of defect detection systems for photovoltaic module diagnostics.

Keywords

Photovoltaic module

Fault diagnosis

Fine-tuning

Thermal image

Electroluminescence image

키워드

태양광 모듈

결함 진단

미세 조정

열화상 이미지

전계발광 이미지

MAIN

1. 서 론
2. 연구방법
2.1 미세 조정
2.2 데이터셋
2.3 모델 설정
3. 결 과
3.1 미세 조정의 최적화
3.2 미세조정과 단일/복합 데이터셋의 효과
4. 결 론

1. 서 론

우리나라를 포함한 전 세계 많은 국가들이 온실가스 배출 저감을 위한 대응 전략의 일환으로 신재생에너지 도입을 적극적으로 추진하고 있다. 이 중 태양광발전(Photovoltaics, PV)은 친환경성과 기후 변화 대응 측면에서 핵심적인 에너지원으로 주목받으며 빠른 성장을 이어가고 있다¹⁾. 그러나 태양광 시스템의 보급 확대와 함께, 안정적이고 고효율의 발전 성능을 확보하기 위해 태양광 모듈의 품질 관리와 결함 진단의 중요성이 더욱 강조되고 있다. 특히, 모듈 내 미세 결함은 출력 저하와 수명 단축의 주요 원인으로 작용할 수 있어, 이를 정밀하게 검출할 수 있는 기술의 필요성이 지속적으로 제기되고 있다²⁾. 기존에는 열화상 이미징(Thermal imaging)^3,4) 및 전계발광 이미징(Electroluminescence imaging, EL)⁴⁾ 등 시각 기반의 진단 기법을 통해 전문가가 육안이나 경험을 바탕으로 결함을 판별해왔으나, 이러한 방식은 진단 결과의 일관성과 객관성이 떨어질 수 있으며, 시스템 대형화에 따라 진단에 소요되는 시간과 비용이 증가하는 한계를 지닌다.

최근 딥러닝 기술의 발전에 따라, 기존의 결함 진단 분야에서 합성곱 신경망(Convolutional neural network, CNN)을 적용하려는 시도가 이루어지고 있다^5,6,7). 일반적으로 CNN 모델의 일반화 성능을 높이기 위해서는 대규모의 훈련 데이터와 고도화된 모델 설계가 필요하지만, 태양광 모듈 결함 진단의 경우 실제 현장에서 다양한 형태의 결함이 낮은 빈도로 발생하기 때문에 충분한 학습 데이터를 확보하는 데 한계가 존재한다⁸⁾. 이러한 문제를 극복하기 위한 방법 중 하나로 전이 학습(Transfer Learning)이 주목받고 있다. 전이 학습은 ImageNet과 같은 대규모 이미지 데이터를 통해 사전 학습된 모델의 표현 능력을 새로운 도메인에 적용함으로써, 제한된 데이터 환경에서도 우수한 성능을 낼 수 있다는 장점을 갖는다⁹⁾.

기존 연구에서는 이러한 전이 학습 기법을 활용하여 태양광 모듈의 결함 진단 성능을 향상시키기 위한 다양한 시도가 이루어져 왔다. 예를 들어, Korkmaz et al.은 열화상 이미지를 활용하여 AlexNet을 비롯한 여러 사전 학습된 CNN 모델의 결함 분류 성능을 비교하였고¹⁰⁾, Xie et al.은 전계발광 이미지 기반 데이터를 이용해 전이 학습 기반의 결함 검출 모델을 개발하였다¹¹⁾. 또한, Shou et al.은 Generative Adversarial Networks(GAN)을 통해 생성한 가상의 전계발광 이미지와 실제 이미지를 결합하여 결함 분류 성능을 향상시켰으며¹²⁾, Song et al.은 DenseNet 기반 모델을 활용해 태양광 패널 결함 탐지 성능을 개선하였다¹³⁾. 그러나 대부분의 선행 연구는 모델의 효율성보다는 분류 성능 향상에 초점을 맞추어 복잡한 네트워크 구조를 채택하거나, 단일 유형의 데이터셋(예: 열화상 또는 전계발광 이미지)에서 학습 데이터를 확장하는 방식에 주력하고 있다. 반면, 전이 학습 구조 내 세부 요소(예: 계층별 학습 범위 조정)나 입력 데이터셋 구성 방식 및 데이터셋 사이의 불균형 문제가 결함 분류 성능에 미치는 영향을 정량적으로 분석한 연구는 부족한 실정이다.

본 연구는 태양광 모듈 이미지에 포함된 셀 단위 결함의 존재 여부를 자동으로 분류하는 이진 분류 문제를 다루며, 결함 유무를 판단하는 데 초점을 맞춘다. 이를 위해, 단일 CNN 모델 구조를 고정한 상태에서 층수의 조절이 결함 분류 성능에 미치는 영향을 분석하고, 이를 통해 전이 학습 모델의 최적 구성을 도출하고자 하였다. 또한, 서로 다른 특성을 지닌 열화상 이미지와 전기발광 이미지 데이터셋을 조합하여 학습 데이터의 양과 다양성을 확장하고, 이로 인한 성능 향상 가능성을 평가하였다. 이를 위해 세 가지 모델을 구성하여 분석을 진행하였다. 첫째, 열화상 이미지 데이터셋을 활용한 기본 AlexNet 모델, 둘째, 동일한 데이터셋에 대해 일부 계층을 미세 조정(Fine-tuning)한 AlexNet 모델, 셋째, 열화상 이미지와 전기발광 이미지 데이터셋을 함께 사용하여 전이 학습을 적용한 복합 전이 학습 모델이다. 각 모델의 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score와 같은 대표적인 평가 지표를 기반으로 비교 분석하였다.

2. 연구방법

2.1 미세 조정

전이 학습은 사전 학습된 심층 신경망의 특정 계층에 대해 학습 여부를 선택적으로 조정함으로써, 제한된 데이터 환경에서도 모델의 성능을 효과적으로 향상시킬 수 있는 접근 방식이다. 이러한 미세 조정 전략은 전이 대상 데이터의 양과 원본 데이터와의 유사도에 따라 달리 적용된다. 일반적으로 전이 대상 데이터의 양이 적을 경우에는 많은 수의 계층을 고정하여 과적합(Overfitting)을 방지하며, 반대로 데이터의 양이 충분한 경우에는 더 많은 계층을 학습시켜 복잡한 패턴을 보다 정밀하게 학습할 수 있도록 한다. 그러나 어떤 계층을 고정하고, 어떤 계층을 학습시킬 것인지에 대한 명확한 기준은 아직 정립되어 있지 않으며, 대부분의 경우 실험을 통해 최적의 조합을 경험적으로 도출하는 방식이 활용된다.

본 연구에서는 전이 학습 기반의 태양광 모듈 결함 진단 모델로 AlexNet을 채택하였다. 그 이유는 AlexNet이 ResNet, GoogLeNet, SqueezeNet 등 최근의 다양한 사전 학습 기반 신경망에 비해 구조가 비교적 단순하여, 층별 미세 조정 실험과 전이 학습 설정에서 실험 통제가 용이하다는 장점을 갖기 때문이다^14,15,16). 또한, 모델의 복잡도가 낮고, 연산 효율성 측면에서도 우수하여 본 연구의 기본 모델로 선택하였다.

AlexNet은 5개의 합성곱 계층(Convolutional layers)과 3개의 완전 연결 계층(Fully connected layers)으로 구성되어 있으며(Fig. 1), 전이 학습 시 계층별 학습 범위를 조절하여 모델 성능에 미치는 영향을 분석하고자 하였다. 이를 위해 총 8개의 조건을 설정하였으며(Fig. 2), 이는 모든 계층을 학습시키는 경우부터 시작하여, 합성곱 계층과 완전 연결 계층을 단계적으로 고정(Freeze)하고 나머지 계층만 학습시키는 방식까지 포함되었다. 이러한 실험 설계는 AlexNet 구조 내 각 계층이 수행하는 시각 정보 처리 역할이 상이하다는 점, 즉 초기 합성곱 계층은 저수준 특성을, 후반부 계층은 고수준 특성을 학습한다는 기존 연구에 기반한다. 또한, 실험의 복잡성을 통제하고 계층별 미세 조정 전략의 효과를 보다 명확히 분석하기 위해, padding, stride, kernel 수와 같은 세부 합성곱 파라미터는 모두 고정된 상태로 설정하였다.

https://cdn.apub.kr/journalsite/sites/kses/2025-045-04/N0600450406/images/Figure_KSES_45_04_06_F1.jpg

Fig. 1

AlexNet architecture for binary classification of PV module defects

https://cdn.apub.kr/journalsite/sites/kses/2025-045-04/N0600450406/images/Figure_KSES_45_04_06_F2.jpg

Fig. 2

Fine-tuning configurations indicating trainable and frozen layers

첫 번째 조건은 모든 계층의 가중치를 학습 가능한 상태로 두고 전 계층을 재학습하는 방식이며, 이후 조건에서는 Conv-1부터 FC-8까지 순차적으로 한 계층씩 고정하면서 나머지 계층만 학습하도록 설정하였다. 마지막 조건에서는 모든 합성곱 계층과 완전 연결 계층을 고정하여, 사전 학습된 가중치를 그대로 사용하는 방식으로 실험을 구성하였다. Fig. 2에 제시된 바와 같이, 각 조건에서 ‘Fine-tuned layer’는 해당 계층의 가중치가 훈련 데이터에 따라 업데이트되었음을 의미하고, ‘Frozen layer’는 사전 학습된 가중치를 그대로 유지한 계층을 나타낸다.

모델의 성능 평가는 수신자 조작 특성 곡선(Receiver Operating Characteristic, ROC curve)을 기반으로 수행되었다. ROC curve는 이진 분류 문제에서 모델의 민감도(Sensitivity)와 특이도(Specificity) 간의 균형을 시각적으로 표현할 수 있어, 다양한 조건에서 분류 모델의 전반적인 성능을 비교·분석하는 데 널리 활용되는 평가 지표이다. 본 연구에서는 ROC curve를 통해 진짜 양성 비율(True Positive Rate, TPR)과 거짓 양성 비율(False Positive Rate, FPR) 간의 관계를 시각화하여, 각 모델의 분류 성능을 정량적으로 비교하였다. 이때 TPR과 FPR은 다음과 같이 정의된다:

∙ $TPR = \frac{TP}{TP + FN}$

∙ $FPR = \frac{FP}{FP + TN}$

여기서 TP는 진짜 양성(True Positive), FN은 거짓 음성(False Negative), FP는 거짓 양성(False Positive), TN은 진짜 음성(True Negative)을 의미한다.

2.2 데이터셋

본 연구에서는 태양광 모듈 결함 진단 모델 구현을 위해 열화상 이미지 데이터셋과 전계발광 이미지 데이터셋을 활용하였다. Fig. 3에는 두 데이터셋에 포함된 정상(Normal) 이미지와 결함(Defective) 이미지의 예시가 나타나 있다.

https://cdn.apub.kr/journalsite/sites/kses/2025-045-04/N0600450406/images/Figure_KSES_45_04_06_F3.jpg

Fig. 3

Example IR and EL images of photovoltaic modules: (a) normal IR image; (b, c) defective IR images; (d) normal EL image, (e, f) defective EL images

열화상 이미지는 태양광 모듈이 방출하는 적외선 복사열을 시각화한 것으로, 정상 모듈은 태양광을 전기에너지로 변환하는 과정에서 일정한 온도 분포를 유지한다. 그러나 미세한 균열, 납땜 불량, 핫스팟, 접속 불량 등 다양한 원인에 의해 특정 영역에서 열 방출이 증가하면, 모듈 표면의 온도 균일성이 깨지며 결함이 발생한다. 이러한 온도 이상 패턴은 결함 탐지의 중요한 지표로 활용될 수 있다. 본 연구에서 사용한 열화상 이미지 데이터셋에서는 이러한 특징을 반영하여, 전체적으로 균일한 색상(= 온도) 분포를 보이며 온도 변화가 크지 않은 이미지를 정상으로 간주하고, 특정 셀 내에만 국한된 온도 상승이 관찰되는 경우에는 결함 이미지로 분류하였다. 특히, 국소적으로 같은 색상을 가지는 영역이 모듈 안 셀 내에서 불균일하게 분포할 경우, 이는 셀 내부의 열 균일성이 붕괴된 것으로 해석되어 결함으로 판단되었다.

전계발광 이미지는 태양광 모듈에 정방향 바이어스를 인가하여 전류를 주입할 때 발생하는 빛 방출을 시각화한 것으로, 방출되는 빛의 강도와 분포를 기반으로 결함 유무를 판단할 수 있다. 특히, 결함이 존재하는 영역에서는 방출되는 빛의 강도가 국소적으로 감소하거나 비정상적인 패턴을 보이므로, 정상 부위와 결함 부위를 명확히 구분할 수 있다. 본 연구에서는 발광 이미지 내에서 밝기의 급격한 변화, 연속되지 않는 어두운 선형 또는 국부적 그림자와 같은 패턴이 존재하는 경우를 결함으로 간주하였다. 반대로 이미지 전체에서 명확한 경계선이나 불연속성이 없는 경우는 정상 이미지로 분류하였다.

본 연구에서 사용된 열화상 이미지 데이터셋은 Millendorf et al.에서 공개한 데이터셋으로, 총 11개의 변칙(Anomaly) 클래스(예: 균열, 납땜 결함, 핫스팟 등)와 정상(No-anomaly) 클래스로 구성되어 있다¹⁷⁾. 그러나 본 연구에서는 실제 현장 진단에서의 간결한 분류 체계 적용 가능성과 모델 효율성 강화를 위해, 모든 변칙 클래스를 하나의 결함 클래스로 통합하여 이진 분류 형태로 재구성하였다. 전계발광 이미지 데이터셋은 Buerhop-Lutz et al.가 공개한 데이터를 기반으로 하였으며, 원본 데이터에 포함된 각 이미지를 정상 이미지와 결함 이미지로 라벨링하여 활용하였다¹⁸⁾. Table 1은 본 연구에 사용된 두 데이터셋의 구성 현황을 요약한 것이다. 전체 데이터는 학습용(Training)과 테스트용(Test) 데이터로 4:1 비율로 분할하여 구성하였다. 열화상 데이터셋은 총 8,545장의 학습용(Training) 이미지와 2,137장의 테스트용(Test) 이미지로 구성되어 있으며, 전계발광 데이터셋은 2,084장의 학습용 이미지와 522장의 테스트용 이미지로 구성되어 있다. 모든 이미지에는 결함 유무에 대한 레이블(Label)이 포함되어 있어, 본 연구에서는 이를 기반으로 모델을 학습시키고 분류 성능을 평가하였다.

Table 1

Summary of the number of images in the IR and EL datasets

		Training data	Test data
IR images	Normal	6,140	1,535
IR images	Defective	2,405	602
EL images	Normal	1,527	382
EL images	Defective	557	140

2.3 모델 설정

본 연구에서는 AlexNet 기반 모델에 대해 세 가지 서로 다른 학습 전략을 적용하여 모델을 구성하였다. 각 전략을 적용한 모델의 세부 내용은 다음과 같다.

1. 단일 데이터셋 기반 AlexNet 재학습 모델(AlexNet re-training with IR dataset): 대규모 일반 이미지 데이터셋에서 사전 학습된 AlexNet 모델의 가중치를 초기값으로 사용한 후, 열화상 이미지 데이터셋만을 이용하여 전체 파라미터를 처음부터 재학습하였다.

2. 단일 데이터셋 기반 AlexNet 미세 조정 모델(AlexNet fine-tuned with IR dataset): 일반 이미지 대규모 데이터셋으로부터 사전 학습된 AlexNet 모델의 가중치를 초기값으로 설정하고, 열화상 이미지 데이터셋을 이용하여 특정 계층의 파라미터에 대해 미세 조정을 수행하였다.

3. 복합 데이터셋 기반 AlexNet 미세 조정 모델(AlexNet fine-tuned with both IR and EL datasets): 일반 이미지 데이터셋으로 사전 학습된 AlexNet 모델의 가중치를 초기값으로 설정한 후, 열화상 이미지와 전계발광 이미지 데이터셋을 통합하여 추가 학습을 진행하고, 이를 통해 일부 계층의 파라미터를 미세 조정하였다.

이 세 가지 모델을 비교함으로써, 전이 학습의 적용 여부와 학습 데이터의 구성 방식(단일 또는 복합)이 태양광 모듈 결함 진단 성능에 미치는 영향을 분석하였다.

3. 결 과

3.1 미세 조정의 최적화

본 연구에서는 AlexNet 모델 구조를 고정한 상태에서 미세 조정 대상 계층의 범위를 조절하여 총 8가지 조건을 정하고, 이를 비교 분석함으로써 최적의 고정 계층 수를 도출하고자 하였다. 모델의 성능 평가는 ROC curve의 그래프 하단 면적(Area Under the Curve, AUC)을 기준으로 수행되었으며, AUC 값이 1에 가까울수록 해당 분류 모델의 성능이 우수함을 의미한다. ROC curve는 진짜 양성 비율과 거짓 양성 비율 간의 관계를 시각화 하는 지표로, 이진 분류 문제에서 모델의 전반적인 성능을 평가하는 데 널리 활용된다.

이때, 모든 실험은 사전 학습된 AlexNet을 열화상 이미지 데이터셋으로 미세 조정하는 방식으로 진행되었다. 실험 결과, 입력층으로부터 네 번째 합성곱 계층(Conv-4)부터 마지막 완전 연결 계층까지는 학습하고, 그 이전 계층을 고정하는 설정이 가장 우수한 성능을 나타냈다(Fig. 4). 이를 정량적으로 검증하기 위해 각 실험 조건별 AUC 값을 정리한 표를 추가하였다(Table 2). 따라서 본 연구에서는 열화상 이미지 기반 결함 진단 모델의 최적 구성을 위해, AlexNet의 앞쪽 3개 합성곱 계층은 고정하고 이후 계층만을 미세 조정하는 전략이 효과적임을 확인하였고, 해당 설정을 미세 조정 모델에 적용하였다.

https://cdn.apub.kr/journalsite/sites/kses/2025-045-04/N0600450406/images/Figure_KSES_45_04_06_F4.jpg

Fig. 4

ROC curves for different layer-freezing settings during fine-tuning

Table 2

AUC values for each fine-tuning condition of AlexNet based on the IR image dataset

Case	AUC
Fine-tuned:conv1-fc8	0.886
Fine-tuned:conv2-fc8	0.898
Fine-tuned:conv3-fc8	0.907
Fine-tuned:conv4-fc8	0.913
Fine-tuned:conv5-fc8	0.906
Fine-tuned:fc6-fc8	0.877
Fine-tuned:fc7-fc8	0.848
Fine-tuned:fc8	0.850

3.2 미세조정과 단일/복합 데이터셋의 효과

본 연구에서는 앞서 설정한 세 가지 모델을 비교 분석하였다. 입력 이미지의 크기는 227 × 227로 고정하였으며, 학습률(Learning rate)은 0.001, 배치 크기(batch size)는 8, 학습 반복 수(epoch)는 300으로 설정하였다. 모든 실험은 NVIDIA RTX 3090 GPU 환경에서 수행되었으며, 하이퍼파라미터 및 하드웨어 조건은 세 가지 학습 전략에 대해 동일하게 유지되었다.

Fig. 5는 각 학습 전략에서의 손실 함수(Loss function) 수렴 경향을 시각적으로 나타낸 것이다. 세 모델 모두 학습이 진행됨에 따라 손실 값이 점진적으로 감소하였으며, 최종적으로는 학습데이터에 대해서는 약 0.05 수준까지 수렴하여 안정적인 학습이 이루어졌음을 확인할 수 있었다. 이 중, 단일 데이터셋 기반 AlexNet 미세 조정 모델은 다른 모델보다 학습 및 테스트 손실 값이 가장 낮게 나타났으며, 이는 미세 조정의 효과를 뒷받침한다. 반면, 복합 데이터셋 기반 AlexNet 미세 조정 모델은 학습 데이터에 비해 테스트 데이터에서 손실 값이 크게 나타났다.

https://cdn.apub.kr/journalsite/sites/kses/2025-045-04/N0600450406/images/Figure_KSES_45_04_06_F5.jpg

Fig. 5

Training and test loss curves of (a) AlexNet re-trained with IR dataset, (b) AlexNet fine-tuned with IR dataset, and (c) AlexNet fine-tuned with both IR and EL datasets

Fig. 6은 각 모델에 대한 혼동 행렬(Confusion Matrix)을 통해 분류 성능을 시각적으로 나타낸 것이다. 단일 데이터셋 기반 AlexNet 미세 조정 모델은 정상 모듈에 대해 약 99.22%, 결함 모듈에 대해 96.68%의 높은 분류 정확도를 기록하며 가장 우수한 성능을 보였다. 반면, 열화상 이미지와 전계발광 이미지를 결합하여 학습한 복합 데이터셋 기반 모델은 정상 및 결함 모듈 모두에서 상대적으로 낮은 분류 성능을 나타냈다.

https://cdn.apub.kr/journalsite/sites/kses/2025-045-04/N0600450406/images/Figure_KSES_45_04_06_F6.jpg

Fig. 6

Confusion matrices of (a) AlexNet re-trained with IR dataset, (b) AlexNet fine-tuned with IR dataset, and (c) AlexNet fine-tuned with both IR and EL datasets

보다 정밀한 성능 비교를 위해, 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score와 같은 대표적인 정량적 평가 지표를 활용하여 분석을 수행하였다. 이때 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score은 다음과 같이 정의된다:

∙ $Accuracy = \frac{TP + TN}{TP + FN + TN + FP}$

∙ $Precision = \frac{TP}{TP + FP}$

∙ $Recall = \frac{TP}{TP + FN}$

∙ $F 1 - score = \frac{2 \times Precision \times Recall}{Precision + Recall}$

Table 3은 각 모델별 성능에 대한 구체적인 수치가 요약되어 있다. 이러한 정량적 평가는 모델별 분류 성능의 차이를 보다 명확하게 파악하는 데 기여한다.

Table 3

Classification performance metrics of three models

Model	Accuracy (%)	Precision (%)	Recall (%)	F1-score (%)
AlexNet re-training with IR dataset	95.88	96.65	97.65	97.15
AlexNet fine-tuned with IR dataset	98.50	98.70	99.22	98.96
AlexNet fine-tuned with both IR and EL datasets	91.16	97.68	89.88	93.62

Table 2의 결과를 보면, 단일 데이터셋 기반 AlexNet 미세 조정 모델이 가장 우수한 성능을 나타냈으며, 특히 높은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), 그리고 F1 점수(F1-score)를 기록하였다. 이는 열화상 이미지 데이터셋만을 사용하여 특정 계층에 한정된 미세 조정을 수행한 방식이, 전체 파라미터를 처음부터 재학습한 방식보다 해당 데이터셋의 특성에 보다 효과적으로 적응했음을 시사한다. 반면, 복합 데이터셋 기반 AlexNet 미세 조정 모델은 학습 데이터의 양이 증가했음에도 불구하고 상대적으로 낮은 분류 성능을 보였다. 이는 서로 다른 형태의 이미지 데이터(열화상 및 전계발광 이미지) 간의 분포 차이로 인해 과적합(Overfitting)이 발생했을 가능성을 시사하며, 모델의 일반화 성능에 부정적인 영향을 미쳤을 수 있다.

또한, 혼동 행렬 기반의 오분류(Misclassification) 사례에 대해 정성적 분석을 수행하였다. 단일 데이터셋 기반 AlexNet 미세 조정 모델에서 발생한 FN 및 FP 사례를 추출하여 시각적 특성을 비교한 결과, FN 사례는 결함 부위의 온도 차가 미미하거나 결함 크기가 매우 작아 육안으로도 식별이 어려운 경우가 대부분이었다. 반면, FP 사례는 이미지 내 명암 대비가 미세하게 불균일하거나 음영이 존재하는 경우에, 모델이 이를 결함으로 오인한 것으로 분석되었다. 이러한 결과는 입력 영상의 시각적 특성에 따라 모델이 혼동을 일으킬 수 있음을 시사하며, 향후 오분류 사례에 대한 데이터 보강 및 집중 학습을 통해 성능 향상이 가능할 것으로 판단된다.

추가적으로, 제안 모델의 일반화 성능을 검증하기 위해 학습 및 검증에 사용되지 않은 열화상 이미지를 활용한 테스트를 수행하였다. 이를 위해 타 문헌에서 발췌한 전체 태양광 모듈의 열화상 사진을 활용하여 입력 데이터 규격에 맞춰서 총 24장의 열화상 이미지 데이터를 수집하였다¹⁹⁾. 해당 데이터는 정상 이미지 23장과, 결함이 있는 이미지 1장으로 구성되었다(Fig. 7). 본 실험에서는 가장 우수한 성능을 보였던 단일 데이터셋 기반 AlexNet 미세 조정 모델을 활용하였다. 예측 결과, 모든 이미지에 대해 정상 및 결함여부를 정확히 분류하는 성능을 나타냈다. 이 결과는 본 모델이 학습되지 않은 새로운 환경에서도 높은 분류 정확도를 유지하며, 실제 현장 적용을 위한 우수한 일반화 성능을 갖추고 있음을 보여주었다.

https://cdn.apub.kr/journalsite/sites/kses/2025-045-04/N0600450406/images/Figure_KSES_45_04_06_F7.jpg

Fig. 7

Thermal image of an entire PV module used for additional testing, including 23 normal cells and 1 defective cell, sourced from literature¹⁹⁾

결론적으로, 본 연구를 통해 특정 상황에 특화된 단일 형태의 데이터셋을 활용하고, 사전 학습된 모델의 일부 계층만을 선택적으로 미세 조정하는 전략이 보다 안정적이고 높은 분류 성능을 달성할 수 있음을 확인하였다.

4. 결 론

본 연구에서는 태양광 모듈의 결함 진단을 위한 이미지 기반 분류 모델을 개발하고, 효과적인 학습 전략을 제안하고 그 성능을 분석하였다. 이를 위해 AlexNet 기반의 이미지 분류 모델 구조를 활용하여, 열화상 이미지 데이터셋만으로 전체 파라미터를 처음부터 학습한 모델, 일반 이미지 데이터셋으로 사전 학습된 모델을 열화상 이미지 데이터셋으로 미세 조정한 모델, 그리고 열화상 이미지 데이터셋과 전계발광 이미지 데이터셋을 복합적으로 활용한 미세 조정 모델을 구현하고, 이들 간의 성능을 정량적으로 평가하였다.

모델 성능 분석 결과, 단일 데이터셋 기반의 미세 조정 모델이 정확도 98.50%, 정밀도 98.70%, 재현율 99.22%, F1 점수 98.96%로 가장 우수한 성능을 기록하였다. 이는 사전 학습된 모델이 저수준의 시각 정보를 효과적으로 추출하고, 이를 기반으로 고차원적인 특성을 학습하는 전이 학습 기반 미세 조정 전략의 효과를 잘 보여준다. 특히, 입력층부터 세 번째 합성곱 계층까지는 고정하고, 이후 계층만을 학습하는 설정이 최적의 성능을 나타내는 것을 확인하였다.

본 연구는 동일한 합성곱 신경망 구조 내에서 미세 조정 범위(계층별 가중치 고정 여부)와 입력 데이터 구성(단일 데이터셋 또는 복합 데이터셋)이 분류 성능에 미치는 영향을 계층별 실험 조건 설정과 정량적 성능 평가 지표(정확도, 정밀도, 재현율, F1-score)를 활용하여 비교 및 분석하였다. 이를 통해 복잡한 모델 구조나 고성능 네트워크 설계에 의존하기보다는, 전이 학습 구조 내에서의 미세 조정 범위 조절 및 입력 데이터셋 구성 방식이 성능에 미치는 영향을 정량적으로 분석함으로써, 효율성과 신뢰성을 모두 확보할 수 있었다. 또한, 서로 다른 특성을 지닌 열화상 이미지와 전계발광 이미지를 조합을 통해 데이터셋의 다양성과 양이 모델 성능에 미치는 영향을 확인하였으며, 최적 모델에 대한 일반화 성능을 추가 실험을 통해 검증함으로써, 실제 현장 적용에도 유효함을 입증하였다. 이러한 결과는 태양광 모듈 결함 진단에 특화된 모델 설계함에 있어, 데이터셋 기반 최적화 전략의 중요성을 강조하며, 향후 보다 효과적인 태양광 모듈 결함 진단 시스템 개발에 기여할 수 있을 것으로 기대된다.

Acknowledgements

이 논문은 국립부경대학교 자율창의학술연구비(2024년)에 의하여 연구되었고, 이에 감사드립니다.

References

IEA, Snapshot of Global PV Markets, 2025. https://iea-pvps.org/wp-content/uploads/2025/04/Snapshot-of-Global-PV-Markets_2025.pdf. last accessed on the 8^th July 2025.

Tsanakas, J. A., Ha, L., and Buerhop, C., Faults and Infrared Thermographic Diagnosis in Operating c-Si Photovoltaic Modules: A Review of Research and Future Challenges, Renewable and Sustainable Energy Reviews, Vol. 62, pp. 695-709, 2016.

10.1016/j.rser.2016.04.079

Kaplani, E., Detection of Degradation Effects in Field-Aged c-Si Solar Cells through IR Thermography and Digital Image Processing, International Journal of Photoenergy, Vol. 2012, pp. 1-11, 2012.

10.1155/2012/396792

Hong, Y. Y. and Pula, R. A., Methods of Photovoltaic Fault Detection and Classification: A Review, Energy Reports, Vol. 8, pp. 5898-5929, 2022.

10.1016/j.egyr.2022.04.043

Akram, M. W., Li, G., Jin, Y., Chen, X., Zhu, C., Zhao, X., and Ahmad, A., CNN based Automatic Detection of Photovoltaic Cell Defects in Electroluminescence Images, Energy, Vol. 189, 116319, 2019.

10.1016/j.energy.2019.116319

Chine, W., Mellit, A., Lughi, V., Malek, A., Sulligoi, G., and Pavan, A. M., A Novel Fault Diagnosis Technique for Photovoltaic Systems Based on Artificial Neural Networks, Renewable Energy, Vol. 90, pp. 501-512, 2016.

10.1016/j.renene.2016.01.036

Herraiz, Á. H., Marugán, A. P., and Márquez, F. P. G., Photovoltaic Plant Condition Monitoring Using Thermal Images Analysis by Convolutional Neural Network-Based Structure, Renewable Energy, Vol. 153, pp. 334-348, 2020.

10.1016/j.renene.2020.01.148

Kellil, N., Aissat, A., and Mellit, A., Fault Diagnosis of Photovoltaic Modules Using Deep Neural Networks and Infrared Images under Algerian Climatic Conditions, Energy, Vol. 263, 125902, 2023.

10.1016/j.energy.2022.125902

Ebrahim, M., Al-Ayyoub, M., and Alsmirat, M. A., Will Transfer Learning Enhance ImageNet Classification Accuracy Using ImageNet Pretrained Models?, International Conference on Information and Communication Systems (ICICS), 211-216, June 2019, Irbid, Jordan, 2019.

10.1109/IACS.2019.8809114

Korkmaz, D. and Acikgoz, H., An Efficient Fault Classification Method in Solar Photovoltaic Modules Using Transfer Learning and Multi-Scale Convolutional Neural Network, Engineering Applications of Artificial Intelligence, Vol. 113, 104959, 2022.

10.1016/j.engappai.2022.104959

Xie, X., Lai, G., You, M., Liang, J., and Leng, B., Effective Transfer Learning of Defect Detection for Photovoltaic Module Cells in Electroluminescence Images, Solar Energy, Vol. 250, pp. 312-323, 2023.

10.1016/j.solener.2022.10.055

Shou, C., Hong, L., Ding, W., Shen, Q., Zhou, W., Jiang, Y., and Zhao, C., Defect Detection with Generative Adversarial Networks for Electroluminescence Images of Solar Cells, In Proceedings of the 2020 35th Youth Academic Annual Conference of Chinese Association of Automation (YAC), pp. 312-317, October 2020, Zhanjiang, China, 2020.

10.1109/YAC51587.2020.9337676

Song, X. and Liu, Y., Defect Detection of Solar Panel Based on DenseNet Network, Industrial Engineering and Applications, Vol. 35, pp. 661-669, 2022.

10.3233/ATDE230093

He, K., Zhang, X., Ren, S., and Sun, J., Deep Residual Learning for Image Recognition, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, June 2016, Las Vegas, USA, 2016.

10.1109/CVPR.2016.90

Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., and Rabinovich, A., Going Deeper with Convolutions, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1-9, June 2015, Boston, USA, 2015.

10.1109/CVPR.2015.7298594

Iandola, F. N., Han, S., Moskewicz, M. W., Ashraf, K., Dally, W. J., and Keutzer, K., SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size, arXiv preprint, arXiv:1602.07360, 2016.

Millendorf, M., Obropta, E., and Vadhavkar, N., Infrared Solar Module Dataset for Anomaly Detection, International Conference on Learning Representations (ICLR), 2020. https://github.com/RaptorMaps/InfraredSolarModules. last accessed on the the 8^th July 2025

Buerhop-Lutz, C. J. C., Deitsch, S., Maier, A., Gallwitz, F., Berger, S., Doll, B., Hauch, J., Camus, C., and Brabec, C. J., A Benchmark for Visual Identification of Defective Solar Cells in Electroluminescence Imagery, 35th European PV Solar Energy Conference and Exhibition, pp. 1287-1289, August 2018, Brussels, Belgium, 2018.

Bharath, V. S. Kurukuru, Haque, A., and Khan, M. A., Fault Classification for Photovoltaic Modules Using Thermography and Image Processing, Proceedings of the 2019 IEEE Industry Applications Society Annual Meeting, pp. 1-6, November 2019, Baltimore, USA, 2019.

10.1109/IAS.2019.8912356

Journal of the Korean Solar Energy Society ISSN:1598-6411(Print) 2508-3562(Online) 한국태양에너지학회 논문집

Preview

A Study on the Optimization of Fine-tuning and Dataset for Defect Detection Models in Photovoltaic Modules Images

ABSTRACT

MAIN

Fig. 1

AlexNet architecture for binary classification of PV module defects

Fig. 2

Fine-tuning configurations indicating trainable and frozen layers

Fig. 3

Example IR and EL images of photovoltaic modules: (a) normal IR image; (b, c) defective IR images; (d) normal EL image, (e, f) defective EL images

Table 1

Summary of the number of images in the IR and EL datasets

Fig. 4

ROC curves for different layer-freezing settings during fine-tuning

Table 2

AUC values for each fine-tuning condition of AlexNet based on the IR image dataset

Fig. 5

Training and test loss curves of (a) AlexNet re-trained with IR dataset, (b) AlexNet fine-tuned with IR dataset, and (c) AlexNet fine-tuned with both IR and EL datasets

Fig. 6

Confusion matrices of (a) AlexNet re-trained with IR dataset, (b) AlexNet fine-tuned with IR dataset, and (c) AlexNet fine-tuned with both IR and EL datasets

Table 3

Classification performance metrics of three models

Fig. 7

Thermal image of an entire PV module used for additional testing, including 23 normal cells and 1 defective cell, sourced from literature19)

Acknowledgements

References

Thermal image of an entire PV module used for additional testing, including 23 normal cells and 1 defective cell, sourced from literature¹⁹⁾