[yongggg's] huggingface-cli download error

huggingface에서는 다음과 같은 코드로 공식 repo에 있는 모델을 불러올 수 있는데, 

AutoModelForCausalLM.from_pretrained(model_path)

사내 서버에서 보안의 issue가 있을 때, SSL 통신 에러가 나오며 모델이 불러와지지 않을 때가 있습니다.

requests.exceptions.SSLError: (MaxRetryError("HTTPSConnectionPool(host='cdn-lfs-us-1.hf.co', port=443):

 

이럴 때에는 먼저 local 환경에 해당 모델을 다운로드를 한 뒤, 불러올 수 있습니다.

 

- 모델 다운로드는 다음 과정으로 진행할 수 있다.

1. huggingface-cli login : llama-3와 같은 모델은 권한을 먼저 수락 받아야하기 때문에, 수락 받은 계정의 Access token을 추가해줘야 한다.

huggingface-cli login

 

2. huggingface-cli download : huggingface repo에 있는 모델 명을 뒤에 적어 줌으로써, 모델을 다운받을 수 있습니다.

huggingface-cli download Qwen/Qwen2.5-7B

하지만 이것 마저도 통신에러가 발생하는 경우가 있습니다. 이럴 땐 다음 설정을 먼저 해준 뒤, 모델을 다운로드 할 수 있습니다.

 

2-1. 

### downgrade requests module
pip install requests==2.27.1

### CUDA setting
export CURL_CA_BUNDLE=''

이렇게 설정한 뒤, 2번 과정으로 다시 모델을 다운로드 할 수 있습니다.

 

혹시, 추가적으로 HF_HUB_ENABLE_HF_TRANSFER 에 대한 error 메시지가 나온다면,

export HF_HUB_ENABLE_HF_TRANSFER=0

이렇게 설정한 뒤 다운로드 하면, 정상적인 모델을 다운로드 할 수 있습니다.