Yong's Blog Yong's Blog

huggingface-cli download --include "qwen2.5-72b-instruct-q5_k_m*.gguf" --local-dir . --local-dir-use-symlinks False# huggingface-cli download Qwen/Qwen2.5-72B-Instruct-GGUF --include "qwen2.5-72b-instruct-q5_k_m*.gguf" --local-dir . --local-dir-use-symlinks False안녕하세요! 이번 장에서는 ollama로 모델을 서빙하는 내용을 다룰 것입니다. 요새 업무가 모델 서빙에 관련된 비중이 늘면서, sglang, llama.cpp, ollama 등을 많이 다루고 있는데, 걱정과 다르게 재밌게 일하고 있는 것 ..

안녕하세요 이번 장에서는 llama.cpp 를 설치하는 방법에 대해 말씀드리겠습니다.llama.cpp 는 open-source LLM을 쉽게 다운로드, convert gguf, 양자화를 할 수 있도록 도와주는 기능이 매우 powerful 하다고 느꼈습니다! 지금부터 llama.cpp를 설치하는 방법과 사용하는 방법에 대해 설명드리겠습니다! :)1. CMake 모듈을 설치한다.1-1) 종속성 설정sudo apt-get remove --purge cmake -y # 기존 cmake 제거sudo apt-get install -y software-properties-common build-essential # 기본 도구 설치sudo apt-add-repository -y ppa:ubuntu-toolchain-r..

이번 장에서는 linux에서 curl을 이용한 다운로드 실행 시, ssl 인증 오류로 나타나는 "curl: (60) SSL certificate problem: unable to get local issuer certificate" error 해결을 해보겠습니다. 저는 사내 서버에 ollama를 설치하는 도중에 이 오류가 발생했기 때문에, ollama 기준으로 해결 내용을 작성하겠습니다! ollama 모델을 배포하기 위해선, ollama를 설치해야 합니다.https://ollama.com/download/linux Download Ollama on LinuxDownload Ollama for Linuxollama.com설치는 해당 홈페이지에서 다운로드 할 수 있는데, linux의 경우 다음 명령어로 ol..