OLLAMA 라마3(Llama) 로컬 설치방법 | 인터넷없이 무료 AI 사용가능

Meta에서 최근 Llama 3 언어 모델을 발표했습니다. Llama 3는 GPT-4 수준의 성능을 보이며, 무료로 공개된 오픈소스 모델이라는 점에서 큰 주목을 받고 있습니다.
 

Llama 3의 주요 특징

• 성능 향상: Llama 3는 이전 버전인 Llama 2에 비해 언어 이해와 생성 능력이 크게 향상되었습니다. 다양한 벤치마크에서 상업용 모델들을 능가하는 성과를 보였습니다.
• 모델 크기: Llama 3는 8B와 70B 버전으로 제공되며, 향후 400B 버전도 공개될 예정입니다. 다양한 규모의 모델을 통해 사용 목적에 맞는 최적화된 선택이 가능합니다. 
• 오픈소스 공개: Llama 3는 무료로 공개된 오픈소스 모델이라는 점에서 큰 의미가 있습니다. 연구자와 개발자들이 자유롭게 활용하고 발전시킬 수 있습니다.

 

Ollama 로컬 설치하기

Ollama 사이트에 접속하여 모델을 돌리기 위한 프로그램을 설치합니다.(다운로드 링크)
OS별 설치파일을 제공하고 있는데 Windows 환경에서의 설치 방법을 안내해 드리겠습니다.
 
 

설치프로그램을 실행하면 ollama의 설치가 진행됩니다.
백그라운드로 실행되기 때문에 설치가 완료된 후 따로 GUI화면이 나오지는 않습니다. 설치 프로그램창이 종료되면 설치가 완료됩니다.
 
 

이제 Llama3 모델 중 원하는 버전의 모델을 골라 선택하면 됩니다.(모델 링크)
70b 모델의 경우 용량이 40GB로 매우 크니 용량이 부담스러우시면 8b를 선택하여 다운로드하시면 됩니다.
저도 처음엔 70b모델로 돌리려고 해봤으나 모델이 너무 무겁고 제 컴퓨터에서는 원활하게 돌리기 어려워 라즈베리파이에서도 돌아가는 가벼운 8b모델로 다시 받았습니다.
 
 

Llama 3 모델 설치

cmd창을 실행한 뒤 복사한 모델 설치명령을 붙여 넣습니다.
설치하는 과정 중에 진행도가 너무 오래 멈춰있는 경우 엔터키를 눌러주시면 진행사항이 업데이트됩니다.
 

모델 설치 오류 발생 시

명령어를 붙여 넣었는데도 에러가 나는 경우에는 ollama가 설치되어있지 않거나 실행되어있지 않을 가능성이 높습니다.
ollama프로그램을 실행하면 프로그램창은 나타나지 않지만 작업표시줄 시스템 트레이아이콘 목록에 ollama아이콘이 표시됩니다. 반드시 ollama가 실행되어 있는 상태에서 명령어를 입력하여야 합니다.
 
 

모델 설치 99%에서 멈출 때

열심히 설치하다가 99%에서는 몇 시간이 지나도 속도가 느리고 완료가 안 되는 현상이 가끔 있습니다.
이럴 때는 ctrl + c 단축키를 눌러 명령어를 종료 후 다시 한번 모델 설치 명령을 입력하면 이전에 설치하였던 부분부터 이어서 설치하고 다운로드속도가 올라가 100%까지 설치받을 수 있습니다.
 
 

대화해 보기

ollama run llama3

명령을 입력하여 대화를 시작할 수 있습니다.
 
 

처음 모델을 설치할 때는 명령어를 따로 입력하지 않아도 명령프롬포트창이 >>> 로 변경됩니다. ollama를 통해 모델을 실행 중이라는 의미이며 메시지를 입력하면 AI의 답변이 출력됩니다.
 

/? 명령을 통해 사용가능한 명령어들을 확인할 수 있습니다. 
대표적으로 /show info 명령으로 실해중인 모델의 상세정보를 확인하거나 /bye 명령으로 모델 실행을 중지할 수 있습니다.
 
 

간단한 코드 작성을 요청하였더니 AI가 금방 코드를 작성해 줬습니다. 또한 자세한 설명까지 덧붙여주네요.
응답 중간중간에 글자가 깨져서?로 나오는 부분은 AI의 응답에 이모지가 포함되는데 cmd로 출력할 때에는 이모지부분이 깨져서 출력되기 때문에 그렇습니다.
 
 

Llama 모델 완벽히 삭제하기

ollama 모델을 실행 중이라면 bye 명령을 통하여 나와준 뒤 cmd에 파일의 경로가 표시되어 있는 상태로 rm 명령을 통해 모델을 삭제할 수 있습니다.
 

ollma list 명령을 통해 현재 설치된 모델의 이름을 확인할 수 있으며 'ollama rm 모델명'으로 삭제하고자 하는 모델을 입력하면 됩니다. 
 

다시 한번 확인해 보면 ollama 설치된 모델이 삭제된 걸 확인할 수 있습니다.
하지만 명령어를 통해 삭제하더라도 실제 로컬드라이브의 저장공간은 비워지지 않습니다.
 

C:\Users\사용자명\.ollama\models\blobs

위의 경로로 이동하여 직접적으로 모델을 삭제할 수 있습니다.
 
 

용량을 확인해 보면 40gb 정도의 용량을 차지하고 있는 파일이 이전에 설치하고 명령어로 삭제했던 8b모델인걸 추측할 수 있습니다. 이 모델을 수동으로 삭제해 주면 완벽하게 삭제됩니다.
 
 

OLLAMA GUI 환경으로 대화하기 | 글자 깨짐 없음

명령프롬포트를 통한 CLI대화에서는 이모티콘과 같은 글자 깨짐 현상도 있고 글자가 밀려 써지는 현상 등의 단점이 있습니다. 그래서 GUI환경에서 ollama를 실행시키는 방법도 알아보겠습니다. 단 GUI환경으로 이용할 경우 Llama3 모델을 기존에 cmd에서 설치한 것과 별도로 LMStudio에서 설치해야 합니다.
 

LM Studio를 사용하면 GUI를 통하여 모델 사용이 가능합니다. 홈페이지에 방문하여 운영체제 맞는 LM Studio를 설치합니다. (설치 홈페이지)
 
 

LM Studio에서 Llama는 아까 cmd를 통하여 설치했던 lama모델과 별도로 취급합니다.
그래서 LM Studio에서 Llama 3을 사용하려고 하면 프로그램 내에서 따로 설치해야 합니다.
기존의 로컬에 Llama3 모델이 설치가 되어있다면 해당 모델은 제거 후에 LM Studio에서만 설치해 주면 용량을 절약할 수 있습니다.
 
 

AI채팅 메뉴로 들어간 뒤 Llama 3 모델을 다운로드합니다.
 
 

모델을 다운로드한 뒤 상단의 선택메뉴를 통하여 설치된 Llama 3 모델을 선택합니다.
 
 

이제 Llama 모델을 사용하여 AI와 대화할 수 있습니다. 
 

커스텀 설정

LM Studio에서는 사용자맞춤 설정을 제공합니다.
오른쪽 System Prompt에 AI프롬포트를 설정하고 질문을 하면 해당 프롬포트를 반영한 AI의 답변을 반환합니다.
 

이렇게 등록한 프롬포트를 반영한 AI의 답변이 돌아옵니다.
또한 cmd화면에서 이모지 출력 시 글자가 깨져서 출력되었지만 LM Studio에서는 글자 깨짐 없이 이모지가 출력됩니다.
 
 

Llama3 실제 사용후기

meta가 푸는 역대급  AI라고 하여 실제로 사용해 봤는데 일단 70B모델을 구동하기 위한 사양이 아니었기 때문에 해당 모델의 성능을 직접적으로 테스트하지 못해서 아쉬웠습니다. 8B모델을 테스트해봤을 때는 응답속도가 준수하였고 모델이 가벼워 어디서든 사용하기 좋았습니다. 또한 인터넷 연결 없이도 사용가능하다는 점이 굉장히 놀라웠고 로컬 환경에서 사용하다 보니 폐쇄적인 환경에서도 사용할 수 있어 확장성이 뛰어나고 웹과의 통신도 없고 이용하기 위한 가입과정이 없어서 개인정보가 유출되지 않아서 매우 좋았습니다.
 
좋은 만큼 아쉬운 점도 존재하기 마련입니다. 나중에는 70B의 모델을 구동하기 위한 컴퓨터 사양으로 직접 구동해볼예정입니다. 현재 사용해 본 8B모델에서는 영어에 최적화가 되어있다 보니 한국어의 답변 퀄리티가 다소 떨어지는 부분도 존재하였으며 대화를 지속적으로 나누다가 영어로 답변해 주는 경우도 많이 있었습니다. 이럴 때 한국어로만 대답을 해달라는 프롬포트를 입력하여도 대화를 지속하다가 갑자기 영어 답변이 튀어나오는 경우도 있었습니다.
 
나중에는 Llama3을 사용한 챗봇을 개발해 보는 것도 재밌을 거 같습니다. LM Studio에서 다양한 언어로 사용해 볼 수 있도록 로컬 서버 기능을 제공하고 있습니다.