빅테크 '소형 거대언어모델' 경쟁,,,

● 마이크로소프트(MS)는 지난 21일 미국 워싱턴 레드먼드 MS 본사에서 개발자 회의 ‘빌드 2024′를 열고 이미지 분석이 가능한

소형 거대 언어 모델(sLLM) ‘파이3 비전’을 발표했다.

- MS는 그동안 협업 관계인 오픈AI의 거대 언어 모델(LLM)인 ‘GPT’를 활용해 인공지능(AI) 서비스를 해왔다.

▷ ‘LLM’은 천문학적 용량의 데이터를 학습하고 생성하는 역할을 하는 모델로 생성형 AI 개발의 기반이 된다.

- 만능 AI로 불리는 ‘GPT’는 생성형 AI가 학습·추론을 할 때 데이터를 서로 연결해 주는 파라미터(parameter·매개변수)가

1조개(GPT4 기준) 정도 된다.

▷ 반면 ‘파이3 비전’의 파라미터는 42억개에 불과하다.

→ 파라미터가 적으면 처리하는 데이터 수가 줄어, 제공하는 정보의 양도 적지만, 운영 비용은 크게 낮아진다.

▷ MS는 “파이3 비전은 시각 추론 작업, 표나 차트 이해 작업에 특화한 모델”이라며 “비슷한 성능을 지닌 다른 모델 대비

비용은 10분의 1에 그친다”고 밝혔다.

→ 업계 관계자는 “모든 자동차를 스포츠카처럼 고성능으로 만들지 않고, 용도에 따라 경차·소형차·대형차도 생산하듯이,

생성형 AI도 가성비에 맞는 저용량 모델이 나오는 것”이라고 말했다.

- 거대 언어 모델 개발 질주에 나섰던 빅테크들이 올해 들어 잇따라 sLLM 모델을 내놓으며 생성형 AI 시장 공략에 나서고 있다.

▷ sLLM은 말 그대로 소형화하고 경량화한 거대 언어 모델을 말한다.

→ 기본 조 단위 파라미터를 갖는 기존 LLM과 달리 적게는 수십억 개 단위의 파라미터로 운영이 가능해 훈련 시간과

운영 비용, 전력 소모량이 획기적으로 적은 게 특징이다.

● MS·구글·메타까지 ‘sLLM 경쟁’

- 올해 들어 글로벌 빅테크는 sLLM을 속속 출시하고 있다.

▷ MS가 파이3를 내놓은 데 앞서 지난달 메타는 파라미터 80억개의 라마3, 앤스로픽은 방대한 양의 연구 논문 요약에 특화된

클로드3 하이쿠를, 국내 기업 네이버는 하이퍼클로바X 대시를 내놨다.

→ 이들은 공통적으로 파라미터가 수십억 개에 그친다는 특징이 있다. 이 때문에 비용은 훨씬 저렴하고 속도는 빠르다.

- 빅테크들이 sLLM 개발에 뛰어드는 건 수익성 때문이다.

▷ LLM은 성능은 좋지만, 개발에 천문학적 비용이 들고, 사용처도 빅테크에 국한된다.

→ 아직은 수익성이 떨어질 수밖에 없다.

▷ 하지만 sLLM은 스타트업들도 사용할 수 있게 비용을 낮췄다.

→ 파이낸셜타임스(FT)는 “비싼 비용을 우려하는 일반 기업들이 조금 더 쉽게 AI 도입을 할 수 있도록 하기 위한 빅테크들의 노력”이라며 “LLM을 구축하기 위해 수십억

달러를 쓴 빅테크들이 수익을 내기 위해 sLLM을 속속 내놓고 있다”고 분석했다.

● MS·구글·메타까지 ‘sLLM 경쟁’

- 실제 sLLM은 LLM에 비해 비용이 크게 저렴하다.

▷ FT에 따르면 100만 토큰(데이터 기본 단위) 기준으로 LLM인 구글의 제미나이 1.5 프로는 7달러, GPT-4o가 5달러의

비용이 든다.

→ 예컨대 한 기업이 빅테크가 개발한 LLM을 활용해 서비스나 앱을 만들 경우, 영 단어 기준 100만개의 답변을 얻을 때마다

이 돈을 빅테크에 지불해야 한다는 뜻이다.

▷ 하지만 대부분의 sLLM은 비용이 100만 토큰 기준 1달러 미만이다.

→ 업계 관계자는 “AI 시대에 맞춰 관련 서비스를 만들고 싶어도 막대한 비용 탓에 선뜻 도입을 꺼렸던 기업들 입장에선

싸고 가벼운 sLLM이 입문용으로 도전해볼 만한 것”이라고 말했다.

● 수익성·활용성에 강점

- sLLM은 수익성뿐 아니라 활용성 측면에도 강점이 있다.

▷ 작고 가볍기 때문에 클라우드(가상 서버)를 거치지 않고 기기 안에서 AI 서비스를 제공하는 온디바이스(내장형) AI를

구현할 수 있다.

→ 실제 삼성전자는 올해 초 첫 AI 스마트폰 갤럭시S24를 내놓으며 구글의 sLLM 모델 ‘제미나이 나노’를 탑재했다.

→ 애플도 올해 아이폰에 AI를 구동하기 위해 자체 sLLM을 개발하고 있는 것으로 알려졌다.

- 의료·법률·금융 등 각 기업이 필요한 특정 목적에 맞게 맞춤형으로 개발 가능하다는 것도 장점이다.

▷ 국내에서는 KT가 기존 2100억개 이상의 파라미터를 가진 LLM ‘믿음’을 70억~400억개 수준으로 경량화해 특정 분야에

제공할 계획이다.

▷ 국내 AI 스타트업 업스테이지는 최근 sLLM 솔라미니를 출시했고 리걸테크 스타트업 로앤컴퍼니와 법률에 특화된 서비스를

개발하고 있다.

☞sLLM (소형 거대언어모델)

small Large Language Model의 약자.

오픈AI의 GPT나 구글의 제미나이처럼 방대한 양의 데이터를 학습해 모든 질문에 답하는 거대언어모델(LLM)과 달리 주로 의료·법률·금융 등 분야에 특화돼 성능을 정교하게

끌어올린 AI를 말한다. 처리하는 데이터가 적은 만큼, 훈련 시간과 운영 비용, 전력 소모량 등이 적어 경제적이다.