최근에 Meta에서 오픈소스로 풀은 Llama3가 나오면서 집에서도 LLM을 편히 사용할 수 있을꺼같아 시도해보았다.
구성 완료 후 이미지
1. 구성
프론트엔드는 OpenWebUi 백엔드는 Ollama 라는 것을 사용하면된다. Ollama는 Docker처럼 모델들을 다운로드하고 실행시킬 수 있게 하는 프로그램이고 OpenWebUi는 그것을 ChatGPT처럼 웹에서 사용 할 수있게하는 껍데기 같은 역할이다. 유저의 입력 → OpenWebUi → Ollama
쉽게말하자면 Ollama만 설치해도 바로 사용 할 수 있지만 터미널을 켜서 집 컴퓨터에 접속하여 검은창으로 사용하기 불편하다.
집에 서버용 컴퓨터(Ubuntu)와 GPU용 메인 컴퓨터(Window)가 따로 있기에 프론트 엔드와 백엔드를 서로 다른 컴퓨터로 구성하게 되었다.
이제 윈도우에서 해당 Ollama를 외부 서버에서 접근하려면 환경변수 설정이 필요하다. (만약 로컬로 돌린다면 상관이 없다.)
[Windows 설정] - [시스템] - [정보] - [고급 시스템 설정] - [고급] - [환경 변수] - [새로만들기] 로 위 3가지 를 설정해주면 된다. OLLAMA_HOST, OLLAMA_ORIGINS 는 외부에서 접근 가능하게 하는것 OLLAMA_MODELS 는 모델을 저장할 위치를 지정하는 것이다.
