Research Article

Journal of the Korean Solar Energy Society. 30 December 2023. 87-95
https://doi.org/10.7836/kses.2023.43.6.087

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 예측 모델

  •   2.1 모델 개요

  •   2.2 시계열 융합

  •   2.3 특성 융합

  •   2.4 다층 퍼셉트론

  • 3. 실험 결과 및 토의

  •   3.1 사용 데이터

  •   3.2 비교 모델

  •   3.3 모델의 정확도 분석

  •   3.4 모델 성능의 안정성 분석

  • 4. 결 론

기호 및 약어 설명

PV : Photovoltaic의 약어. 실제 전력 발전량을 발전소 설비용량으로 나눈 값을 나타내며 0에서 1 사이의 값을 갖는다.

LDAPS : Local Data Assimilation and Prediction System의 약어. 국지예보모델을 의미한다.

GDAPS : Global Data Assimilation and Prediction System의 약어. 전지구예보모델을 의미한다.

Yi,j : i 일의 j 시간에 해당하는 실제 발전량

Y^i,j : i일의 j시간에 해당하는 예측 발전량

Ei : i 시점의 발전량 예측 오차

E : 발전량 예측 오차의 평균

1. 서 론

다양한 날씨 예보를 활용하여 어떻게 태양광 발전소의 발전량을 정확하고 안정적으로 예측할 수 있을까? 신재생 에너지 수요가 증가함에 따라 에너지 관리의 중요성이 부각되고 있다. 에너지 관리는 수요와 공급의 일치를 핵심으로 하는데, 자유롭게 공급량을 조절할 수 있는 화력 에너지 등과 달리 신재생 에너지는 자연의 힘을 에너지로 전환하기 때문에 공급량에 대한 예측이 필요하다. 정확한 발전량 예측을 통해 신재생 에너지의 공급량이 조절 가능하다면 신재생 에너지의 활용도가 개선될 수 있다. 먼저, 정확한 발전량 예측을 통해 안정적인 그리드 운영이 가능하며 에너지저장장치의 스케줄링을 최적화하여 에너지 낭비도 최소화할 수 있다. 또한, 예측 발전량과 실제 발전량의 비교를 통해 발전소의 성능 모니터링도 가능하다. 이에 산업통상자원부와 한국전력거래소는 효율적인 에너지 관리를 위해 2021년 10월부터 소규모 전력 중개 사업을 도입하여 운영 하고있으며, 발전량 예측 연구를 독려하기 위해 오차율에 따른 보조금을 제공하고 있다. 최근 많은 연구에서는 인공 신경망을 활용하는 방법1)을 제안하고 있지만, 날씨 예보의 불확실성과 변동성으로 인해 예측 정확도와 성능의 일관성이 충분하지 않은 상황이다.

기존의 연구들2)은 대부분 날씨 관측 정보를 활용하여 모델을 학습하고 한 종류의 날씨 예보만을 사용하여 발전량을 예측한다. 그러나 이러한 접근은 2가지의 문제점을 야기하게 된다. 첫 번째는 입력값으로 사용하는 예보 정보가 제한적이라는 점이다. 예보는 동일한 장소와 날짜를 대상으로 하더라도 유형에 따라 그 정확도가 다른 경우가 존재한다. 따라서 예보의 정보를 보다 정확하게 사용하기 위해서는 다양한 예보를 활용하여 핵심 정보를 추출하여 예측에 사용해야 한다. 그러나 단일 예보만 사용할 경우 활용 가능한 정보가 제한되어 발전량 예측에 한계가 존재하게 된다. 두 번째는 모델의 성능이 날씨 예보의 정확도에 크게 의존하게 된다는 점이다. 예보가 크게 벗어날 경우 모델은 실제 발전량과 매우 다른 발전량을 출력할 가능성이 크다는 것이다.

발전량 예측의 정확도 및 안정성을 향상해 에너지 활용 최적화 노력에 기여하기 위해 본 논문에서는 다중 날씨 예보를 활용하여 태양광 발전량 예측을 목표로 하는 새로운 예측 프레임워크인 TPU (Transformer-based Photovoltaic Power Prediction Model Utilizing Multiple Weather Forecasts)를 제안한다.

TPU는 다중 예보를 활용하는 프레임워크로서, 본 연구에서는 총 2개의 예보를 활용한 실험 결과를 공유한다. 앞서 언급한 문제들에 대응되는 모델의 핵심 아이디어는 총 2가지이다. 첫 번째로, 모델이 더 다양한 정보를 사용할 수 있도록 여러 예보를 입력값으로 사용하여 핵심 정보를 추출하고 관계성을 파악하여 임베딩 값으로 예보를 통합한다. 이를 위해 트랜스포머 모델의 어텐션 네트워크를 활용한 크로스 어텐션(Cross-attention)을 사용한다. 두 번째로, 모델 예보에 대한 의존성을 낮추기 위해 예보를 학습 및 테스트 데이터 모두에 활용한다. 대부분의 기존 연구는3) 관측 기상 데이터를 사용하여 모델을 학습하고 테스트시에만 예보를 활용했으나, 본 연구에서는 예보와 발전량 사이의 패턴을 파악하기 위해 전 과정에서 예보를 사용해 모델을 학습시킨다. 모델의 성능을 평가하기 위해 전국 9개의 지역에 위치한 발전소를 한 개씩 선택해 한 달간의 예측 오차 및 오차율의 편차를 확인한다.

본 연구의 주요 기여 내용은 다음과 같다. 발전량 예측 정확도 및 일관성을 향상할 수 있는 방법으로써 다중 예보 정보를 혼합하여 사용하는 인공 신경망 예측 모델, 그리고 학습 및 테스트 과정에서 모두 예보를 사용하는 태양광 발전량 예측 방법론을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 제안하는 예측 모델과 기저가 되는 인공 신경망 모델에 대해 설명한다. 3장에서는 사용 데이터 및 발전량 예측에 대한 실험 결과를 공유하며 4장에서는 결론을 기술한다.

2. 예측 모델

2.1 모델 개요

연구에서 제안하는 모델인 TPU는 Fig. 1에서 확인할 수 있듯이 3부분으로 구성되어 있다. 첫 번째는 예보 데이터의 특성 임베딩 벡터를 생성하는 시계열 융합(Temporal Fusion)이며 이를 위해 어텐션 LSTM (Attentive LSTM)4)을 활용한다. 두 번째는 두 임베딩 벡터에서 관련성이 높은 핵심 정보를 파악하여 두 예보를 통합시키는 특성 융합(Feature Fusion)이며 서로 다른 데이터 간 특성 융합에 효과적인 크로스 어텐션을 사용한다. 마지막으로, 두 번째 단계에서 생성된 임베딩 벡터를 사용해 발전량 예측값을 추출하기 위해 다층 퍼셉트론(Multi-Layer Perceptron)을 활용한다.

https://cdn.apub.kr/journalsite/sites/kses/2023-043-06/N0600430608/images/kses_2023_436_87_F1.jpg
Fig. 1

The overall architecture of TPU

2.2 시계열 융합

TPU의 첫 번째 단계는 각 예보 데이터의 시간 길이를 맞춰주는 것이다. 예보 간격은 유형에 따라 다양하며, 단기 예보는 보통 1시간 간격으로 제공되지만, 초단기 예보는 10분 간격, 중기 예보는 12시간 간격으로 예보 값을 제공한다. 그러므로 여러 종류의 예보를 혼합하여 사용하기 위해서는 시간 길이를 맞춰주는 작업이 필요하다. 따라서 시계열 융합의 주요 목적은 입력값으로 받은 데이터에서 시계열 정보를 보존하며 예보 정보를 포함하는 특성 임베딩을 추출하는 것이다.

LSTM (Long Short-Term Memory)5)은 시계열 예측 분야에서 높은 정확도를 보이며 많은 시계열 예측 모델의 토대가 되는 모델이다. 특성 벡터 xt를 입력받을 때, LSTM은 이전 시점의 두 상태 벡터 ht-1,ct-1를 업데이트하고 새로운 상태 벡터인 ht,ct를 출력한다. 가장 마지막 시점에 생성된 은닉 상태 벡터 hT가 해당 모델의 최종 출력값이 된다. 그러나 LSTM의 한계점 중 하나는 최종 시점의 은닉 상태 벡터 이전의 값들은 사용되지 못한다는 점이다. 이를 보완하기 위해 제안된 것이 어텐션 LSTM (Attentive LSTM)이다. 어텐션 LSTM은 마지막 시점의 은닉 상태 벡터를 출력값으로 사용하지 않고, 각 시점의 은닉 상태 벡터를 활용하여 어텐션 값을 계산한다. 그리고 각 어텐션 값을 가중치로 사용하여 은닉 상태 벡터들의 가중합을 계산하고 하나의 맥락 벡터 C를 출력한다. 이 과정을 통해 서로 다른 길이의 예보 데이터를 시계열 정보를 보존함과 동시에 모두 동일한 길이의 임베딩 벡터로 표현할 수 있다. 어텐션 LSTM의 시점별 어텐션 ai와 맥락 벡터 C의 계산 공식은 다음과 같다.

(1)
ai=exp(exp(hjhT))j=1Texp(hjhT)
(2)
C=i=0Taihi

2.3 특성 융합

셀프 어텐션(Self-Attention)은 Vaswanie et al.6)에서 소개된 이후, 시계열 예측과 관련된 많은 연구에서 널리 활용되고 있다. 셀프 어텐션은 입력값 간의 관계를 파악하고 예측에 더 필요한 정보에 큰 가중치를 줌으로써 중요 정보만을 추출하는 방법이다. 이를 판단하기 위해 입력값으로 쿼리(Query), 키(Key), 값(Value)을 받아, 쿼리와 키 간의 유사도를 나타내는 어텐션 점수를 계산한다. 최종적으로 어텐션 점수와의 행렬 곱을 통해 각 값들의 가중합을 계산한다.

크로스 어텐션7)은 셀프 어텐션과 유사하지만, 입력값인 쿼리, 키, 값의 구성이 다르다. 쿼리, 키, 값이 모두 동일한 셀프 어텐션과는 다르게 크로스 어텐션은 쿼리를 키와 값과 다른 데이터로 설정하여 두 데이터 간의 관계성을 모델 학습에 반영한다. TPU는 두 개의 크로스 어텐션 모듈로 구성되어 있으며, 각각의 모듈은 서로 다른 예보 정보를 교차하여 쿼리로 사용한다. 각 모듈에서 출력된 결과는 수평으로 연결(Concatenate)되어 하나의 텐서가 되며, 추가적인 트랜스포머의 연산을 통해 연결된 두 예보의 임베딩에서 한 번 더 중요 정보를 추출하는 역할을 한다. 모듈의 구조는 Fig. 2와 같다.

https://cdn.apub.kr/journalsite/sites/kses/2023-043-06/N0600430608/images/kses_2023_436_87_F2.jpg
Fig. 2

The overview of a Cross-attention module

2.4 다층 퍼셉트론

마지막 단계인 다층 퍼셉트론은 특성 융합 모듈의 결과물을 입력값으로 받아 예측 대상 일자인 t일의 24시간에 해당하는 발전량 예측값(Y^t,0, Y^t,1, Y^t,2, ... Y^t,22, Y^t,23)을 출력한다. 다층 퍼셉트론은 입력층과 출력층 사이에 두 개 이상의 은닉층이 존재하는 인공 신경망으로, 데이터의 선형 및 비선형관계를 파악할 수 있다. TPU에서 다층 퍼셉트론의 활성화함수로는 Leaky ReLU를 사용하였다.

3. 실험 결과 및 토의

3.1 사용 데이터

본 장에서는 2023년도 3월부터 9월까지의 예보 데이터와 전국의 9개 지역에 분포된 태양광 발전소의 발전량 데이터를 기반으로 한 모델의 학습 및 테스트 결과를 공유한다. 예측 대상은 실제 발전량을 발전소 설비용량으로 나눈 값인 발전시간이다. 발전소별 설비 정보는 Table 1과 같다. 예보 데이터는 기상청이 제공하는 수치예보모델 중 국지예보모델(LDAPS)와 전지구예보모델(GDAPS) 두 종류를 사용한다. 이 두 예보 데이터에서 사용하는 기상 요소는 total shortwave, net shortwave, wind speed, temperature, ground temperature, mean sea level pressure, surface pressure이다. LDAPS는 매일 1시간 간격으로 24개의 시간대에 대한 예보 값을 제공한다. GDAPS는 매일 3시간 간격으로 총 8개의 시간대에 대한 예보 값을 제공한다. 학습에 사용한 데이터는 3월부터 7월까지의 기간이며, 검증에는 8월 데이터를, 테스트에는 9월 데이터를 사용하였다.

Table 1

Facility information of the PV plants used in the experiments

Location Plant Capacity (kWh) Module Type Construction Type
Gyeonggi-do 995.40 One Side Normal
Gangwon-do 990.00 One Side Normal
Chungcheongnam-do 180.00 One Side Normal
Chungcheongbuk-do 1515.08 One Side Normal
Jeollanam-do 1500.00 One Side Normal
Jeollabuk-do 499.80 One Side Normal
Gyeongsangnam-do 470.02 One Side Normal
Gyeongsangbuk-do 499.80 One Side Mountain
Jeju-do 864.00 One Side Normal

3.2 비교 모델

대표적인 시계열 모델인 LSTM과 1차원 CNN과의 비교를 통해 시계열 예측에 대한 성능을, 모든 분야에서 좋은 성능을 보이는 트랜스포머 기반 모델인 ViT8)와의 비교를 통해 각 모델의 예측 성능을 비교한다. 각 모델의 학습 및 테스트에는 하나의 예보만을 사용하여 다중 예보 사용의 효과를 확인한다.

3.3 모델의 정확도 분석

모델의 정확도 평가에 사용된 지표는 MAE (Mean Absolute Error)와 RMSE (Root Mean Squared Error)이다. 두 지표의 수식은 아래와 같다.

(3)
MAE=1ni=1n|Yi-Y^i|
(4)
RMSE=1ni=1n(Yi-Y^i)2

MAE와 RMSE는 모두 회귀 예측 모델의 정확도에 대한 주요 성과 지표이다. 예측값과 실제값 차이의 평균을 측정하며 0에 가까울수록 모델의 성능이 좋은 것으로 평가한다.

모델의 실험 결과는 Tables 23에 나타난 바와 같다. Table 2에서는 MAE와 Table 3에서는 RMSE 결과를 나타낸다. Table 2Table 3에서 모두 TPU는 비교 모델의 전체 지역에 대한 예측 오차 평균값의 가장 좋은 결과보다 MAE에서 0.0012, RMSE에서 0.0028만큼 더 낮은 값을 보인다. 또한, Tables 23의 결과를 통해 TPU가 특정 지역에서만 낮은 오차율을 보이는 것이 아니라 지역별로 비슷한 오차 수준을 유지함을 알 수 있다. 오차 수준이 매우 작더라도 발전소 설비용량에 따라 실제 발전량이 크게 달라질 수 있음을 고려하면 매우 유의미한 결과이다.

3.4 모델 성능의 안정성 분석

모델 성능의 안정성 평가에 사용된 지표는 MAD (Mean Absolute Deviance)이다. MAD는 각 값과 전체 집합의 평균과의 편차의 평균으로, 자료 집합의 산포도를 나타낸다. 0에 가까울수록 데이터 집합이 평균으로부터 벗어나는 정도가 낮음을 의미한다. 해당 지표의 산술 방식은 다음과 같다.

(5)
MAD=1ni=1n|Ei-E¯|

모델의 실험 결과는 Table 4에 정리된 바와 같다. 발전량 예측 오차의 평균은 전체 기간에 대해 시간대별 오차를 사용해 계산하였으며 MAD 역시 전체 기간을 기준으로 계산하였다. Table 4의 결과에 따르면 TPU는 비교 모델의 전체 지역에 대한 평균 MAD 중 가장 좋은 기록보다 약 0.003 더 낮은 분산도를 기록했다. 또한, 지역별 예측 결과에서도 비슷한 수준의 MAD를 기록하며 예측 안정성이 특정 지역에 관한 결과에만 국한된 것이 아님을 확인할 수 있다. 이를 통해 다중 예보의 활용 및 예보 정보를 사용해 모델을 학습, 테스트하는 것이 모델 성능의 안정성을 높인다는 것을 알 수 있다.

Table 2

Mean Absolute Error (MAE) of the prediction results for each model

Location LSTM
(LDAPS)
LSTM
(GDAPS)
1DCNN
(LDAPS)
1DCNN
(GDAPS)
Transformer
(LDAPS)
Transformer
(GDAPS)
TPU
(Our Model)
Gyeonggi-do 0.1455 0.14506 0.13596 0.14008 0.03603 0.03859 0.03483
Gangwon-do 0.11792 0.10795 0.10003 0.10572 0.03381 0.02808 0.03135
Chungcheongnam-do 0.15044 0.15004 0.14149 0.14435 0.03238 0.03499 0.04055
Chungcheongbuk-do 0.14437 0.13452 0.1272 0.13281 0.04046 0.04260 0.03704
Jeollanam-do 0.14659 0.13633 0.12803 0.13272 0.03749 0.03802 0.03138
Jeollabuk-do 0.14892 0.14847 0.13955 0.14395 0.04198 0.04441 0.03231
Gyeongsangnam-do 0.14631 0.1459 0.13532 0.13916 0.04060 0.03346 0.0376
Gyeongsangbuk-do 0.11667 0.11625 0.1097 0.11601 0.02915 0.03329 0.03424
Jeju-do 0.11366 0.11324 0.10443 0.10927 0.03155 0.03191 0.03352
Average 0.13671 0.13308 0.12463 0.12934 0.03594 0.03615 0.03476
Table 3

Root Mean Squared Error (RMSE) of the prediction results for each model

Location LSTM
(LDAPS)
LSTM
(GDAPS)
1DCNN
(LDAPS)
1DCNN
(GDAPS)
Transformer
(LDAPS)
Transformer
(GDAPS)
TPU
(Our Model)
Gyeonggi-do 0.24234 0.24129 0.23799 0.2422 0.07702 0.07842 0.06733
Gangwon-do 0.19017 0.18115 0.17715 0.18223 0.06282 0.05583 0.05907
Chungcheongnam-do 0.25962 0.25869 0.25580 0.26246 0.06491 0.06550 0.08198
Chungcheongbuk-do 0.24054 0.23118 0.22852 0.23285 0.08168 0.07931 0.06856
Jeollanam-do 0.23428 0.22503 0.22149 0.22523 0.06583 0.07746 0.06255
Jeollabuk-do 0.25411 0.25312 0.24988 0.25394 0.08261 0.10392 0.06876
Gyeongsangnam-do 0.24672 0.24587 0.24203 0.24654 0.07849 0.06182 0.07478
Gyeongsangbuk-do 0.20422 0.20333 0.20095 0.20767 0.05567 0.06349 0.06768
Jeju-do 0.1808 0.17995 0.17612 0.18083 0.06796 0.07701 0.06151
Average 0.22809 0.22440 0.22110 0.22599 0.07078 0.07364 0.06802
Table 4

Mean Absolute Deviation (MAD) of the prediction results for each model

Location LSTM
(LDAPS)
LSTM
(GDAPS)
1DCNN
(LDAPS)
1DCNN
(GDAPS)
Transformer
(LDAPS)
Transformer
(GDAPS)
TPU
(Our Model)
Gyeonggi-do 0.15598 0.15518 0.15686 0.15723 0.04488 0.04694 0.03824
Gangwon-do 0.11638 0.11387 0.11415 0.11439 0.04006 0.03398 0.03644
Chungcheongnam-do 0.16859 0.16783 0.16910 0.17266 0.03941 0.04090 0.04761
Chungcheongbuk-do 0.15310 0.1498 0.15063 0.15078 0.04866 0.04943 0.04001
Jeollanam-do 0.14958 0.14655 0.14752 0.14722 0.04057 0.04330 0.03649
Jeollabuk-do 0.16449 0.16373 0.16500 0.16578 0.04973 0.05510 0.03794
Gyeongsangnam-do 0.15882 0.15812 0.15997 0.16004 0.04872 0.03907 0.04337
Gyeongsangbuk-do 0.12996 0.12928 0.13077 0.13448 0.03489 0.04037 0.03865
Jeju-do 0.11517 0.11448 0.11566 0.11658 0.04038 0.04147 0.03804
Average 0.14579 0.14432 0.14552 0.14657 0.04303 0.04340 0.03964

4. 결 론

본 논문에서는 다중 예보를 활용한 트랜스포머 기반 태양광 발전량 예측 모델인 TPU를 제안한다. 어텐션 LSTM을 활용하여 서로 다른 길이의 예보 별 임베딩을 생성하고 크로스 어텐션을 통해 생성된 두 임베딩의 정보를 통합한다. 통합된 예보 임베딩을 최종적으로 다층 퍼셉트론의 입력값으로 사용하여 다음 날의 24시간에 해당하는 발전량 예측값을 출력한다.

실험 결과, TPU는 테스트 기간의 데이터에서 높은 정확도와 일관성을 보였다. 이를 통해 다중 예보를 사용하여 예보 간의 정보를 통합하고 중요 정보만을 추출하여 예측에 사용하는 방법과 예보를 사용하여 모델을 학습 및 테스트하는 방법이 정확도와 일관성이라는 목표를 달성하기 위해 모두 효과적임을 알 수 있다. 다만, 실제 태양광 발전소의 경우 계절 및 사용 기간에 따라 발전 패턴이 변화하는 경우가 존재한다. 따라서 해당 발전량 예측 모델의 예측 성능 유지를 위해서는 계절이 변화하는 시점에 따라 모델의 재학습을 통해 발전소의 최신 발전 패턴을 학습시켜주는 것이 효과적이다.

TPU의 정확하고 안정적인 예측 성능은 에너지 관리 정책의 실효성을 위해 필수적이다. 예측 모델이 일관된 오차율을 유지하면 전력 관리 시스템은 이를 기반으로 정책을 수립하고 에너지 낭비를 최소화할 수 있다. 더 나아가, 발전량 예측은 에너지저장장치 운영 전략 최적화와 발전소의 성능 모니터링과 O&M에도 사용될 수 있다.

본 연구에서는 다중 예보를 사용하여 발전량 예측을 하는 방법론의 효과를 확인하였다. 따라서 추가 연구로 성격이 다른 3가지 이상의 날씨 예보를 활용한 모델에 관한 연구를 현재 진행 중이다. 더 나아가 계절성에 대한 정확한 반영과 발전소 효율의 변화 등의 외적 요소에 대한 대응 방법을 연구 중이다.

Acknowledgements

본 연구는 2021년도 중소벤처기업부의 기술개발사업 지원에 의한 연구이다(S3132089).

References

1
Park, S. B., Kim, J. S., Jung, S. H., and Sim, C. B., Ensemble-based Solar Power Prediction System Using Missing Value Interpolation Algorithm, Journal of Korea Multimedia Society, Vol. 26, No. 8, pp. 944-955, 2023, https://doi.org/10.9717/kmms.2023.26.8.944. 10.9717/kmms.2023.26.8.944
2
Kim, B. C., Jung, S. H., Kim, M. S., Kim, J. G., and Kim, S. S., A Study on Solar Power Generation Forecasting Based on Seasonal Weather Condition, Journal of Korean Institute of Intelligent Systems, Vol. 31, No. 2, pp. 102-108, 2021, https://doi.org/10.5391/JKIIS.2021.31.2.102. 10.5391/JKIIS.2021.31.2.102
3
Na, H. J. and Kim, K. S., Study on Generation Volume of Floating Solar Power Using Historical Insolation Data, Journal of the Korean Society of Civil Engineers, Vol. 43, No. 2, pp. 249-258, 2023, https://doi.org/10.12652/Ksce.2023.43.2.0249.
4
Qin, Y., Song, D., Chen, H., Cheng, W., Jiang, G., and Cottrell, G., A Dual-stage Attention-Based Recurrent Neural Network for Time Series Prediction, International Joint Conference on Artificial Intelligence (IJCAI), 2017, Melbourne, Australia, https://doi.org/10.24963/ijcai.2017/366. 10.24963/ijcai.2017/366
5
Hochreiter, S. and Schmidhuber, J., Long Short-term Memory, Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997, https://doi.org/10.1162/neco.1997.9.8.1735. 10.1162/neco.1997.9.8.17359377276
6
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I., Attention Is All You Need, Advances in Neural Information Processing Systems, Vol. 30, pp. 6000-6010, 2017, Long Beach, California, USA, https://doi.org/10.48550/arXiv.1706.03762.
7
Xu, P., Zhu, X., and Clifton, D. A., Multimodal Learning with Transformers: A Survey, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 45, pp. 12113-12132, 2023, 10.1109/TPAMI.2023.3275156. 10.1109/TPAMI.2023.3275156
8
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., and Houlsby, N., An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, International Conference on Learning Representations, 2021, https://doi.org/10.48550/arXiv.2010.11929.
페이지 상단으로 이동하기