같은 모델, 다른 해시? Civit AI에서 겪은 작은 혼란

 

최근 GPT 4o를 이용해 지브리스타일의 이미지를 생성하는 사람들이 많다고 합니다. 그래서인지 다른 이미지 생성을 ChatGPT한테 시켜보면 반응이 너무 느려서 답답할 때가 많습니다. 제 경우엔 이미지 생성을 많이 하는 편이 아닌데도 말이죠. 

 

이번에도 작은 이미지 하나를 만들어 볼 일이 있었습니다. 한번에 결과물이 짠 하고 잘 나오면 모르겠지만 몇번씩 시행착오를 해야하는 상황에서 반응 속도가 느리다는 것은 '용서받지 못할' 일 입니다! (^^;) 그래서 직접 모델을 다운받아 로컬에서 돌려볼 요량으로 지난 번 소개한 바 있는 Stability Matrix를 열었습니다. 마침 CivitAI에서 적당한 모델도 찾았고 말입니다. 거기엔 수많은 창작자들이 공유한 이미지 생성 모델이 있어서 저 같은 크리에이터에겐 그야말로 보물창고거든요.

 

하지만 얼마 전, 한 가지 이상한 상황을 겪게 되었습니다.

 

같은 파일인데도 해시값이 다르다?

오늘도 평소처럼 모델을 다운로드해 로컬 환경에 세팅을 마친 뒤, 파일의 무결성을 확인하기 위해 SHA256 해시 검사를 해보았습니다. 그런데 이상하게도, 공식적으로 공유된 해시값과 제가 받은 파일의 해시값이 달랐습니다. 처음에는 '뭔가 잘못 받았나?' 싶어서 다시 받아보고, 다른 모델들의 경우도 확인해 봤습니다. 

같은 파일명, 같은 용량인데도 해시값만 다르다니. 도대체 왜 이런 걸까요?

 

그림 : Civit AI platform에서 hash 값이 달랐던 model 파일의 예시

 

해시 불일치의 주요 원인

조금 더 파고들어 보니 몇 가지 가능성이 있었습니다.

• 다운로드 과정에서의 파일 손상
  가장 흔한 이유는 다운로드 도중 네트워크 오류 등으로 파일이 미세하게 손상되는 경우입니다. 겉보기에 잘 열리더라도 내부적으로 몇 바이트가 바뀌었을 가능성은 배제할 수 없죠. 여러 차례 시도해 봤으니 이 경우는 아닙니다. 
• 모델 제작자가 사후 수정한 경우 또는 플랫폼에서의 최신화 오류
  파일명은 같지만, 실제로 내부 파일은 최신화되었을 수도 있습니다. 일부 제작자는 기존 파일을 덮어쓰며 업데이트를 하기도 하는데, 이럴 경우 공식 페이지에 적힌 해시값과 불일치가 생길 수 있다고 합니다.
• 압축 해제나 재압축 과정에서의 차이
  간혹 모델 파일을 ZIP이나 TAR 형태로 압축된 상태로 받는 경우가 있는데, 이때 압축 해제 과정에서 메타데이터가 바뀌면서 해시값이 달라질 수 있습니다. 이번 경우는 해당이 없습니다. 
  
  

 

해시값 문제를 확인하고 해결하는 방법

 

이런 문제가 발생했을 때는 다음과 같은 방식으로 접근하면 좋습니다.

• 신뢰할 수 있는 출처 재확인
  모델을 공유한 게시물의 댓글을 확인하거나, 최신 버전이 맞는지 다시 확인해 봐야 합니다. 종종 사용자들이 같은 문제를 겪고 댓글에 힌트를 남기기도 하지만, 이번 모델은 댓글이 없었습니다. 
• 해시값 수동 생성 및 비교
  sha256sum (Linux), CertUtil (Windows) 등을 통해 직접 해시값을 생성하고 Civit AI에서 명시된 값과 비교해 봅니다. 제가 사용하는 우분투에서는 다음과 같이 진행합니다. 아래는 예시입니다. 

# Hash 값이 정상인 경우
# 홈페이지 상의 Hash값 : CC253B190C9B5E657F62DAC216429A6939787546B6AA937343A92EFAC3FE6D58
$ sha256sum iLLMythM4gicalL1nes.safetensors 
cc253b190c9b5e657f62dac216429a6939787546b6aa937343a92efac3fe6d58  iLLMythM4gicalL1nes.safetensors

# Hash 값이 틀린 경우,
# 홈페이지 상의 Hash값 : 5793793543AFB2DEE8A684FD8BF25B9B1412115D24F0CF8A7014FDE172F4AACF
$ sha256sum Notion-Style.safetensors
b755398ada4fd53911722060c33284529eae586d11019225cc057fad1b25639d  Notion-Style.safetensors

 

• 파일이 정상 작동하는지 테스트
  실제로 모델을 사용해 이미지가 잘 생성되는지 확인해보는 것도 하나의 방법입니다. 해시값이 달라도 기능적으로 문제가 없다면, 큰 문제는 아닐 수 있습니다. (다만, 찜찜하죠. 누군가 가운데서 장난치는 상황일 수도 있으니까요. 저는 의심이 많습니다.)
• 버전 정보를 기록해두기
  같은 모델이라도 업데이트되면서 내부 구조가 바뀔 수 있기 때문에, 사용한 날짜와 해시값을 따로 기록해두는 것이 좋습니다. 협업이나 재사용 시 혼란을 줄일 수 있거든요.
  
  

기술의 편리함 뒤에 숨어있는 작은 리스크

Civit AI 같은 오픈 플랫폼은 정말 유용한 자원이지만, 그만큼 사용자의 판단력도 요구되는 공간입니다. 저도 해시값 불일치라는 소소한 경험을 통해 다시금 '파일의 신뢰성'에 대해 생각해보게 됐습니다. 부끄럽지만... 이전까지는 단 한번도 의심하지 않고 사용 해 왔었으니까요. ^^; 혹시나 싶어서 Civit AI support에는 메일을, 모델 개발자에게는 커맨트를 남겨두었습니다. 

 

이번 글에서는 작은 에피소드 하나 소개 드린 셈입니다. 하지만, 이 일은 단순히 모델을 잘못 받은 사례가, ‘공개된 리소스를 활용하는 자세’에 대한 이야기로 끝이 나게 됐습니다. 다운로드 한 파일이 우리가 기대하는 것과 같다는 믿음을 갖기 전에, 직접 한 번쯤 점검해보는 습관이 필요하다는 얘기죠. 다들 안전한 인터넷 생활 즐기시길 바랍니다~!