AI 모델의 모델 가중치 파일 형식

 

딥러닝 모델의 가중치 파일은 프레임워크나 용도에 맞춰 최적화되어 있습니다.

 

주요 가중치 파일의 형식과 특징을 정리해 보고 가겠습니다. 

 

 

HDF5 (.h5, .hdf5)

• Hierachical Data Format의 약자, 대용량 데이터 저장에 적합
• 모델의 구조와 가중치를 동시에 저장
• Keras, Tensorflow에서 사용

 

PyTorch (.pt, .pth)

• Pytorch에서 사용
• 모델의 상태(dict 형태)를 저장
• 가중치와 옵티마이저 상태 정보를 포함할 수 있음

 

TensorFlow SavedModel:

• Tensorflow에서 사용
• 모델의 가중치, 구조, 서명, 메타데이터 포함
• 디렉토리 구조로 저장되며 saved_model.pb 파일과 가중치 파일들이 함께 저장됨
• Tensorflow Serving, Tensorflow Lite와의 호환성이 좋음

 

ONNX (.onnx)

• Open Neural Network Exchange의 약자
• 여러 딥러닝 프레임워크 간의 상호 운용성 제공
• 모델 변환, 배포에 유리

Tensorflow Lite (.tflite)

• 모바일 및 임베디드 장치에 사용할 수 있도록 경량화된 모델 형식
• 가중치 최적화로 작은 파일 크기
• 모바일 및 IoT 디바이스에서 효율적으로 실행 가능

 

CKPT(.checkpoints)

• Tensorflow에서 주로 사용
• 학습 중 주기적으로 모델 가중치 저장하여 학습을 재개할 수 있도록 지원
• 훈련 중인 모델의 상태 저장에 자주 사용

 

BitSandBytes (.bitsandbytes, .pt)

• NVIDIA에서 제공하는 효율적 메모리 사용과 속도를 제공하는 라이브러리
• 8비트 양자화 통해 메모리 사용량 줄이고 성능 개선 기능 제공
• PyTorch 모델과 호환됨

 

diffusers (.safetensors, .chpt)

• HuggingFace에서 제공하는 라이브러리 확산 모델(diffusion model)을 다루는데 중점
• checkpoints 형태로 저장됨. 
• .safetensors 형식은 안정성과 보안을 높이기 위해 만들어진 형식