합성곱 신경망–트랜스포머 융합 프레임워크를 이용한 건식 뇌파 기반 상상 발화 디코딩

초록

본 연구는 14채널 건식 뇌파(EEG)를 활용한 상상 발화 분류 성능 향상을 위해 시간–주파수 다중 표현 기반 합성곱 신경망–트랜스포머(CNN–Transformer) 융합 프레임워크를 제안한다. 20명의 피험자, 16개 단어 클래스(‘옷’, ‘세수’, …, ‘눕다’)를 대상으로 한 실험에서 제안 모델은 평균 10.78% 정확도를 기록하며 ChronoNet(10.36%), EEGNet(9.95%), Deep4Net(8.23%), TCN(7.32%)을 상회했다. 특히 연속 웨이블릿 변환 입력에서 10.85%로 최고 성능을 달성했으며 회전 위치 임베딩(RoPE)는 기존 위치 인코딩 대비 유의한 향상을 보였다(p < 0.05). 제한된 건식 전극 환경에서도 우연 수준(6.25%)을 넘어서는 의미 있는 결과를 도출하여 웨어러블 뇌-음성 변환(brain–to–speech) 시스템의 실용화 가능성을 시사한다.