인공지능 학습용 데이터의 특징 쉽게 이야기하기

인공지능 데이터가 가진 특징이 있는 데 오늘은 그 특징에 대해 알아보고자 합니다.

 

Q. 인공지능 데이터는 어떤 특징을 가지고 있나요?

 

이미지 출처: NIA <인공지능 학습용 데이터 품질관리 가이드라인 1권>

 

 첫째, 데이터의 저장 구조가 전통적인 DB에 저장하는 방식이 아닌 인공지능 학습에 필요한 데이터 파일 단위로 관리되는 특성이 있습니다.

 

둘째, 인공지능 학습용 데이터는 구축 단계별(임무 정의-데이터 획득-데이터 정제-데이터 라벨링-데이터 학습)로 고려해야 할 품질이나 요구사항이 다릅니다.

 

셋째, 데이터의 품질은 80%~90% 이상이 구축 과정에서 결정된다. 그 이유는 인공지능 학습용 데이터는 목적성을 갖는 데이터이기 때문입니다.

 

넷째, 학습된 인공지능 모델의 성능 측정 결과로 데이터의 품질 수준을 평가하려는 특성이 있습니다.

인공지능 데이터는 학습을 목적으로 구축되는 데이터인 만큼 학습 성능이 낮을 경우 데이터 품질이 낮다고 판단하는 경우가 많다고 합니다.

 

Q. 그럼 인공지능 데이터는 어떻게 관리하나요?

 

이미지 출처: NIA <인공지능 학습용 데이터 품질관리 가이드라인 1권>

 인공지능 데이터의 품질관리 활동을 식별하기 위해서는 인공지능 데이터의 생에 주기를 분석하고 이를 기반으로 범주를 식별한다고 합니다.

하여, [구축 프로세스 품질관리], [구축 데이터 품질관리], [개방 데이터 품질관리] 등 3개의 영역으로 나누어서 구분한다고 합니다.

 

 [구축 데이터 품질관리]는 원시 데이터, 원천 데이터, 라벨링 데이터의 품질을 검사하고 발견된 오류를 개선하는 과정을 말합니다.

 

 [구축 프로세스 품질관리]는 데이터 획득, 데이터 정제, 데이터 라벨링 등 구축 과정에서 원하는 수준의 데이터 품질이 보장되도록 품질관리 활동이 수행되는지를 모니터링하고, 품질에 영향을 미치는 문제점이 발견되면 이를 개선하는 과정을 말합니다.