MindEye2 : 뇌활동 분석해서 시각정보로 재구성하는 기술

fMRI 데이터로 사람의 시각 인식 내용을 이미지로 재현하는 모델

 

 

예전에 뉴럴링크에서 침습적 방식을 이용해 원숭이의 뇌에 전극을 삽입하고 여기서 수집되는 신호를 분석해서 컴퓨터 게임을 시키는 것을 시연한 적이 있었습니다. 당시에는 마우스를 제어하는 수준이었지만 기술방식을 보면 유사한 방식으로 신호의 패턴 등을 분석해서 사람의 다양한 생각을 분별하고 이를 이용해 의사소통을 할 수 있도록 발전될 것이란 기대를 불러 일으켰습니다. 앞서 얘기한 것처럼 이 기술은 현재는 사람에게 적용되어 생각만으로 체스 게임을 할 수 있는 수준까지 와 있습니다. 싱크론이라는 미국 기업도 방식은 약간 다르나 유사 기술을 발표했구요...

 

일반적으로 뇌활동을 분석해서 시각적 정보로 재구성하는 기술은 아직은 실용성에 한계가 많습니다. 사람마다 다 다를수 있기 때문에 독립적으로 훈련이 필요하고 이 때문에 개별적으로 fMRI 데이터를 수십 시간씩 수집해야 하기 때문이죠. 이번에 발표된 MindEye2는 1시간 분량의 fMRI 데이터로 사람의 시각 인식 내용을 이미지로 재현하는 모델입니다.7명의 대상자에 대해 데이터를 수집해 훈련을 진행한 후 새로운 대상자들은 적은 양의 데이터로 미세 조정해서 일반화 성능이 개선하고 최고 수준의 재구현 성능을 달성했다고 합니다. 

 

이런 연구들을 보면 현실세계에서 접하는 정보를 처리하는 방식이 사람과 인공지능이 점점 닮아간다는 느낌이 듭니다. 처음에는 모사를 했지만 나중에는 같은 곳으로 귀결되는 그런 흐름이랄까요?

 

 

사진 : MindEye2의 Pipeline

 

 

참고) 프로젝트, 논문, 코드