라마 3.1이란?
라마(Llama) 3.1은 Meta에서 개발한 최신 대규모 언어 모델입니다.
이 모델은 대규모 데이터를 학습하여 다양한 자연어 처리 작업에 뛰어난 성능을 발휘하고 오픈 소스로 제공되기 때문에 누구나 자유롭게 모델을 활용하고 개발할 수 있습니다. (Llama링크)
라마 3.1 모델은 405B, 70B, 8B로 구분되어 용도에 맞게 선택할 수 있습니다.
특히 405B 모델은 일반 지식, 조작 가능성, 수학, 도구 사용, 다국어 번역 등 다양한 기능에서 다른 모델보다 뛰어난 성능을 보입니다.(깃허브)
라마3.1 사용하기
오프라인 로컬환경에서 실행하기
OLLAMA 라마3(Llama) 로컬 설치방법 | 인터넷없이 무료 AI 사용가능
Meta에서 최근 Llama 3 언어 모델을 발표했습니다. Llama 3는 GPT-4 수준의 성능을 보이며, 무료로 공개된 오픈소스 모델이라는 점에서 큰 주목을 받고 있습니다. Llama 3의 주요 특징성능 향상: Llama 3는
newstroyblog.tistory.com
이전에 오프라인 환경으로 라마 3을 설치하여 사용하는 방법에 관해 포스팅했었습니다.
라마3.1은 다운로드 링크를 통해 라이선스를 확인하고 액세스 허용요청을 통해 다운로드할 수 있습니다.(링크)
다운 받은 모델은 이전에 작성한 포스팅을 참고하여 로컬환경에서 바로 구동해 볼 수 있습니다.
설치 없이 웹 환경에서 사용해 보기
라마3.1을 사용하기 위해서는 PC의 사양이 중요한데, 고사양 PC가 아니면 큰 모델을 실행하기가 어렵습니다.
하지만 Groq을 이용하면 GPT4 응답속도보다 훨씬 빠른 라마 3.1 모델을 안드로이드, 아이폰, 데스크탑 환경의 웹사이트에서 무료로 사용할 수 있습니다.
Groq는 언어처리모델에 사용되는 GPU가 아닌 LPU라는 추론 엔진을 개발하는 실리콘 벨리에 본사를 둔 회사로, 클라우드 환경에서 Llama의 다양한 모델을 사용할 수 있도록 제공합니다.
Groq사이트에 접속한 뒤 좌측 하단에 'Sign in to Groq'를 클릭하여 로그인을 하면 Lama모델을 무료로 사용할 수 있습니다.(Groq링크)
로그인은 별도의 복잡한 회원가입 과정을 거치지 않고 이용할 수 있도록 구글 간편 로그인도 지원합니다.
로그인 후 오른쪽상단에서 Model을 선택할 수 있는 공간이 생기는데, 이를 클릭하고 사용하고 싶은 Llama모델을 선택하면 됩니다. 저는 Llama 3.1 70b모델을 선택하여 사용해 보았습니다.
AI에게 간단한 게임을 자바스크립트로 작성해 달라고 질문을 했더니 1초도 안되어 결과가 나왔습니다.
AI의 응답 후 사각형 영역에 마우스를 오버하면 사용 토큰량과 추론 시간등을 확인할 수 있습니다. 이렇게나 빠른 속도로 퀄리티 있는 결과가 나온다는 점이 놀라웠습니다.
한국어로 질문했음에도 처음 질문에 영어로 응답을 줬지만, '한국어로 답변해줘'라고 요청하면 한국어로 다시 답변을 해줬습니다. 간단한 가위바위보 게임 코드를 작성해 주었는데, AI가 작성한 코드의 작동성을 테스트해보기 위해 실제로 작동하는지 확인해봤습니다.
버튼을 클릭하면 컴퓨터와 가위바위보를 할 수 있는 간단한 게임이 정상적으로 작동했었습니다.
한 번에 성공한 건 아니고 처음에 ai가 제공해준 코드에서는 오류가 발생하여 한 번의 수정을 거쳐야 했었습니다.
물론 이 오류도 AI에게 질문하니깐 바로 해결해 줬었습니다.
한 가지의 문제점이 더 있었는데 한국어로 대답해 달라고 질문에서 요청을 해도 기본적으로 영어로 질문에 답해줬었습니다.
질문을 하고 응답을 받은 뒤에 '한국어로 답변해줘'라고 하면 한국어로 다시 답변을 해줬지만 초기에 '질문' + '한국어로 답변해줘'라고 요청하면 질문에 대한 답만 영어로 답변해 주는 문제가 있었습니다.
"한국어로만 응답해"라는 명령을 입력하니 이후의 응답은 또 한국어로만 답변을 해줬는데 프롬포트의 문제일 수도 있다는 생각이 들었습니다.
아직은 많이 사용해보지 않아서 AI의 전반적인 경험은 부족하지만 좋은 결과를 얻기 위해서는 영어로 질문하는 게 좋은 거 같습니다.
Groq Playground 개발자 지원
Groq은 개발자를 위한 Playground에서 API keys를 제공하고 개발에 활용할 수 있도록 지원하고 있습니다.(링크)
기본 API 청구비용은 무료이며 API 사용을 위한 프로그래밍 언어별 가이드도 함께 제공합니다.
또 정말 친절하게도 활용한 서비스나 replit의 프로젝트를 통해 어떻게 작동되는지도 확인할 수 있었는데 관심 있으신 분들은 해당 문서도 참고해보세요.(Playground 가이드 링크)
결론
대규모 언어모델을 컴퓨터 사양에 구애받지 않고 온라인으로 무료로 경험해 볼 수 있어서 정말 좋았습니다.
응답속도가 매우 빠르고, 몇 번 사용해 본 결과 무료 모델임에도 응답의 퀄리티가 꽤 괜찮았습니다. 실생활에서 좀 더 사용해 보며 응답의 질을 확인해 봐야겠지만, 첫인상은 매우 긍정적이었습니다. 또 놀라운건 GPT4에 비해서 압도적으로 빠른 속도로 응답을 생성하는점이 인상깊었습니다.