안녕하세요! 뱁새유니버스입니다!
진짜진짜 간단하게 나만의 LLM 텔레그램 봇을 만들 수 있어서 공유드리고 싶어서 이렇게 글을 쓰게 됐습니다.
결과 먼저 보여드릴게요!
/news biden이라고 검색합니다.
그러면 최근에 이스라엘 총리와 회담할 것이라는 뉴스를 불러오는 것을 볼 수 있습니다.
요약한 내용을 기반으로 LLM이 답변을 해주는 것을 볼 수 있습니다.
여기서 자세히 보시면 답변의 차이가 있습니다.
1. 요약한 내용을 기반으로 답변
2. 요약한 내용에 없을 경우 일반적인 답변
총리에 대해 질문할 때는 요약 답변을 기반으로 LLM이 답해주고,
요약내용과 관련이 없는 이스라엘 위치와 인구에 대한 질문을 하면 LLM이 사전학습(Pre-trained)한 내용을 기반으로 답해줍니다.
이렇게 나만의 AI를 간단하게 시연했습니다.
(결과만 보고싶은 분들은 여기까지만 보시면됩니다!!)
그럼 이제부터 구현방법에 대해 설명드리겠습니다.
준비물은 딱 4가지가 필요합니다.
1. python
2. news api
3. groq api
4. telegram bot token
가장 먼저 해야하는 것은 제가 github에 올려놓은 소스를 다운로드 받습니다.
https://github.com/sino1232/llmnewsbot
그냥 py파일 1개입니다. 간단하죠?!
python을 컴퓨터에 설치해야합니다. conda, python 등등이 있습니다.
제가 드린 py파일을 실행하면 라이브러리들이 동작하지 않는다는 오류메세지가 뜰 것입니다.
pip install로 모두 설치해주시면 됩니다.
아래 명령어만 치면 될겁니다. 혹시 안되시면 오류 로그를 보시고 pip install하시면 됩니다!
pip install telegram requests logging python-telegram-bot langchain-core langchain-groq langchain-community
그리고 두번째는 news api와 grow api를 발급 받습니다.
- groq
https://groq.com/ - news api
https://newsapi.org
이 URL로 들어가서 API를 받으시고 제가 올려놓은 py파일에 토큰 값을 넣으시면 됩니다.
여기서 LLM은 뭘 사용하냐? 라는 질문을 하실 수 있는데 groq 사이트에서 받아오는 api가 LLM서비스를 사용할 수 있는 곳입니다. 다양한 LLM들이 있습니다. Llama3, Mistral, gemma 등등 자신이 원하는 LLM을 선택하면 됩니다!
groq은 TPU(Tensor Processing Unit)을 개발한 구글 책임자가 나와서 창립하여 LPU(Language Processing Unit)을 만든 기업입니다. LPU는 LLM에 최적화되어있는 칩이여서 출력속도가 굉장히 빠릅니다. 한번 써보세요. 놀랍습니다.
현재 pricing 정책은 개인은 한도가 있는 무료라고 합니다. groq사이트에 접속하셔서 pricing 정책을 잘 확인하신다음에 사용하시기 바랍니다. 현재는 무료입니다!
그리고 세번째는 텔레그램앱을 다운로드받아서 봇을 생성합니다. 그러면 token값이 나오는데 제가 드린 py파일에 token을 넣으시면 됩니다. 구글링에서 검색하면 간단하게 텔레그램 봇을 만드는 방법이 나옵니다.혹시 모르는 분들을 위해 제 블로그 URL을 남겨놓을테니 한번 확인해보세요! https://idealist.tistory.com/89
그리고 py파일을 실행하면 됩니다. python환경에서
python newsbot_test.py
라고 입력하시면 이제 끝이 납니다.
참 쉽죠?
질문있으시면 질문 남겨주세요!! 최대한 답변드리도록 하겠습니다.
늘 값지고 의미있는 나날들이 되시길 바랍니다!!
감사합니다. 뱁새유니버스였습니다!