Hugging Face의 Space 복제(clone)하는 방법 정리

 

최신 모델들을 보면 Hugging Face에 데모를 공개하는 경우가 많이 있습니다. 그 코드를 내 컴퓨터에서 돌려 보려면 어떻게 해야할까? 이 작업 과정을 간단하게 정리해 봅니다. 

 

Hugging Face Space clone 방법

1️⃣ 도구 준비 (git, git-lfs 설치)

 

Hugging Face 상의 파일은 git을 이용해서 clone할 수 있습니다. 하지만, 대용량 파일은 그렇게 안 됩니다. 그래서, 이를 위해 git lfs 를 추가로 설치해야 합니다.

# git 설치
$ sudo apt install git-all 

# git-lfs 설치
$ git lfs install

 

 

2️⃣ 저장소(Repository) 복제

 

space의 저장소를 복제하는 커맨드는 다음과 같습니다. 기본적으로 lfs를 설치하고 나서 clone을 하면 대용량 파일까지 함께 다운로드 됩니다!

git clone https://huggingface.co/spaces/{사용자명}/{스페이스명}

 

여기서는 예로 NVIDIA가 공개한 최신 ASR 모델의 space를 이용해 봅니다. 

$ git clone https://huggingface.co/spaces/nvidia/parakeet-tdt-0.6b-v2

 

혹시나 clone 이후에 로컬에서 파일을 삭제했거나 해서 다시 받아야 한다거나 하면 다음과 같이 할 수 있습니다.

$ cd parakeet-tdt-0.6b-v2
$ git lfs pull

 

 

 

3️⃣ 특정 파일 다운로드

 

1) 직접 브라우저 상에서 다운로드 하는 방법

브라우저에서 직접 다운받을 수 있습니다. 아래 그림에서 보면 각각의 링크가 있는데 첫번째 것을 이용하면 됩니다. 

 

 

2) git lfs를 이용하는 방법

Hugging Face가 git, lfs를 사용하고 있으므로 권장 방식이긴 합니다. 

# clone한 repository 폴더로 이동
$ cd parakeet-tdt-0.6b-v2

# 필요한 특정 파일만 pull
$ git lfs pull --include="parakeet-tdt-0.6b-v2.nemo"

 

3) wget, curl 을 이용하는 방법

브라우저에서 해당 파일을 클릭해서 열었을 때 URL을 보면 다음과 같이 나옵니다.

https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2/blob/main/parakeet-tdt-0.6b-v2.nemo

 

그런데 '/blob/'가 들어간 링크는 실제 파일이 아니고 웹페이지용 경로이므로 다운로드를 위해서는 이를 '/resolve/'로 바꿔야 합니다. 그래서, 위의 링크를 wget, curl을 이용할 경우 다음과 같이 하시면 됩니다. 

# wget 이용 시 
$ wget https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2/resolve/main/parakeet-tdt-0.6b-v2.nemo

# curl 이용 시 
$ curl -O https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2/resolve/main/parakeet-tdt-0.6b-v2.nemo