[굿모닝충청 권성하 기자] KAIST 전산학부 이재길 교수 연구팀이 빅데이터 분야의 핵심 기술인 '심층 학습(deep learning)'을 극대화하는 새로운 모델 학습 기술을 개발했다.
20일 KAIST는 이재길 교수 연구팀이 새로 개발한 배치 선택 방법론 '최신 편향(Recency Bias)'을 통해 이미지 데이터에 널리 활용되는 다양한 합성 곱 신경망(CNN)의 학습에 적용한 결과, 기존 보다 예측정확도(이미지 분류 문제)에서 최대 21% 오류를 감소시키고, 훈련 속도(심층 신경망 미세 조정 문제)는 최대 59% 시간을 단축하는 학습 기술 개발에 성공했다고 밝혔다.
보통 '심층 학습' 모델을 학습하는 과정은 반복적으로 모델의 매개변수를 최적화하는 단계로 이뤄진다. 반복마다 훈련 데이터로부터 일부 데이터를 선정해 최적화에 사용하는데 이때 선정된 데이터 샘플을 '배치(batch)'라고 부른다. 무작위로 배치를 선택하면 최고의 정확도가 항상 보장되지 않기 때문에 이를 개선하기 위해 더 나은 배치 선택 방법에 관한 연구가 인공지능학계에서 활발히 진행중이다.
이재길 교수 연구팀이 개발한 기술은 심층 학습 모델의 학습 진행 상황에 맞게 최적의 배치를 구성하도록 하는 기술이다.
KAIST 지식서비스공학대학원에 재학 중인 송환준 박사과정 학생이 제1 저자로, 김민석 박사과정 학생과 김선동 박사가 각각 제2, 제3 저자로 참여한 이번 연구는 데이터 처리 및 분석 분야의 국제 저명학술대회인‘국제컴퓨터학회 정보지식관리 콘퍼런스(ACM CIKM) 2020'에서 23일 발표될 예정이다. 논문명은 'Carpe Diem, Seize the Samples Uncertain "at the Moment" for Adaptive Batch Selection'이다.
논문 제목에 있는 '카르페 디엠(Carpe diem)'은 호라티우스의 라틴어 시 구절에서 유래했고, 영화 '죽은 시인의 사회'에서 인용돼 유명해졌다. '현재를 잡아라(Seize the day)'는 의미로 번역된다.
연구팀은 가장 최근 몇 단계인 현재의 추론 결과가 '불확실한 데이터'를 선택하도록 설계된 자신들의 방법론적 철학을 잘 설명한다고 판단해 논문 제목에 인용했다.
이재길 교수팀이 개발한 방법은 해당 데이터에 대한 이전 추론 결과를 활용한다. 단계별 추론단계에서 결과가 매우 일관적이면 해당 데이터가 너무 쉬어 계속 맞추거나 반대로 너무 어려워 전혀 맞추지 못해 의미없는 데이터가 된다.
반대로 최근 몇 단계에서의 추론 결과가 일관적이지 않다면 해당 데이터에 대한 추론이 혼동되고 있다는 뜻이어서 현재 시점에서 꼭 필요한 데이터다.
제1 저자인 송환준 박사과정은 "이번 연구는 심층 학습의 핵심 기술이고, 다양한 심층 신경망에 폭넓게 적용할 수 있어 심층 학습의 전반적인 성능 개선에 기여할 것"이라고 말했고, 연구팀을 지도한 이재길 교수도 "이번 기술이 텐서플로우(TensorFlow)나 파이토치(PyTorch) 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있다"고 기대했다.
한편, 이번 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 'SW컴퓨팅산업원천기술개발사업 SW스타랩' 과제로 개발한 연구성과 결과물이다.
