Ollama와 Llama3 로 나만의 ChatGPT를 가져보자. 로컬에서 LLM 사용하기

(bing imagecreator가 그려준) Ollama와 Meta의 Llama3

로컬에서 실행 가능한 LLM, Meta Llama 3

최근 Meta에서 Llama3를 발표했습니다. 기존의 대형 언어 모델과 달리 Llama3는 비교적 저사양 환경에서도 구동할 수 있다는 점이 특징입니다. PC에서는 물론이고, 라즈베리 파이에서도 실행할 수 있습니다. 이제 로컬 환경에서도 무료로 고품질의 LLM 비서를 사용할 수 있게 되었습니다.

저는 맥북 M1 에어 16GB 환경에서 Llama3 8B 모델을 사용해 봤는데요, 체감 성능이 ChatGPT 3 보다는 조금 못 미치는 수준입니다. 하지만 로컬에서 이 정도 성능을 낸다는 것은 상당히 인상적입니다. 70B 모델은 ChatGPT 3.5에 근접하는 성능이라고 하더군요. 여하튼, 이 글을 통해 Llama3를 설치하고 활용하는 방법, 그리고 몇 가지 유용한 팁을 공유하고자 합니다.

설치 방법 (macOS 기준)

1. [Ollama 공식 사이트](https://ollama.com/) 에 접속하여 macOS용 Ollama를 다운로드합니다.
2. 다운로드한 'Ollama.app'을 Applications 폴더에 옮겨 설치합니다.
3. Ollama를 실행하고, 터미널 창에서 `ollama run llama3`를 입력합니다. 그러면 Ollama가 Meta Llama3 를 다운로드 합니다. 잠시 기다리면 다운로드가 완료됩니다. (Llama3 8B 모델 파일 용량은 약 4.7GB 정도 됩니다)
4. 짠! 당신만의 로컬 LLM 비서가 생겼습니다. Ollama콘솔창에 질문을 해 보세요. 무엇이든 궁금한 것을 물어보세요! 

활용 팁

1. 한글로 물어봐도 Llama3는 영어로 답변합니다. 따라서 처음부터 그냥 영어로 물어보는 것이 효율적입니다.
2. 만약 방금 답변받은 내용을 한글로 보고싶다면, "한글로 번역해 줘"라고 다시 한 번 요청하면 됩니다.
3. Llama3의 성능은 모델 크기에 따라 다릅니다. GPU를 여러 장 가지고 있거나 메모리 용량이 충분하다면 70B 모델을 사용해 보는 것도 고려해 보세요. 70B 모델은 GPT-3.5 성능에 근접할 정도로 좋다더군요.

맺음말

Meta의 Llama3는 로컬에서 훌륭한 LLM 경험을 제공할 수 있는 가능성을 열어주었습니다.
무료이면서도 준수한 성능을 갖춘 Llama3를 통해 나만의 ChatGPT를 만들어보세요.  앞으로도 LLM 기술의 발전과 함께 다양한 활용 사례가 만들어지길 기대합니다.

---

EOF