동남아시아, 자국어 중심의 AI 시대를 열다 (1부)
SEA-LION과 '주권 없는 언어'라는 근본적 한계
들어가며: AI의 목소리는 과연 누구의 것인가
GPT-4나 라마(Llama) 같은 글로벌 모델에 자바어로 농사에 관한 조언을 구하거나 세부아노어로 관공서 서식 작성법을 물으면 어떤 답이 돌아올까? 대개 어색한 번역투의 답변이 나오거나, 영어로 전환해 답하거나, 현지 문화에 대한 잘못된 전제를 바탕으로 그럴듯하게 들리는 답변을 내놓는다. 바로 이러한 공백을 메우기 위해 현지 맞춤형 파생 모델이 등장하고 있다. 고투그룹(GoTo Group)과 AI 싱가포르(AI Singapore)가 공동 개발한 ‘사하바트-AI(Sahabat-AI)’가 대표적인 사례다. 사하바트-AI는 인도네시아어 지시·응답 데이터 44만 8,000쌍과 자바어 9만 6,000쌍, 순다어 9만 8,000쌍을 활용해 미세조정한 인도네시아 특화 모델로, 인도네시아어, 자바어, 순다어, 영어를 지원한다. 여기에서의 문제는 떨어지는 성능만이 아니다. 이러한 글로벌 모델은 애초부터 동남아시아를 대상으로 개발된 것이 아니기 때문이다.
SEA-LION 개발팀은 이러한 편향의 구조적 원인을 직접적으로 지적한다. 기존 대규모 언어 모델(LLM)이 문화적 가치, 정치적 신념, 사회적 태도에서 강한 편향을 보이는 경우가 많은 것은 학습 데이터, 특히 인터넷에서 수집된 콘텐츠가 서구·산업화·고자본·고학력·민주주의(WIRED) 사회의 영향을 크게 받고 있기 때문이다. 비(非)WIRED 사회 구성원의 문해력과 인터넷 활용 능력은 상대적으로 낮고, 이들이 생산한 콘텐츠 역시 쉽게 접근할 수 있는 형태로 남지 않는 경우가 많다. 그 결과 데이터에는 상당한 불균형이 발생한다.
동남아시아가 자국의 언어로 AI를 구축하려는 움직임은 바로 여기에서 출발한다. 이 글에서는 이러한 움직임을 두 편에 걸쳐 살펴본다. 1부에서는 대표 모델인 SEA-LION의 개발 배경과 목적, 기술적 특징을 살펴본다. 2부에서는 동남아시아 전역의 언어 모델 생태계를 조망하고, 이러한 움직임이 장기적인 창의경제에 던지는 질문을 다룬다.
SEA-LION이란 무엇인가
'하나의 네트워크로 묶인 동남아시아 언어들(Southeast Asian Languages In One Network)'이라는 이름 자체가 이 모델의 정체성을 보여준다. AI 싱가포르의 제품 부문(Products Pillar)이 주도하는 오픈소스 LLM 제품군이자 싱가포르 국가 멀티모달 LLM 프로그램(NMLP)의 일환으로, 동남아 특유의 복잡다단한 맥락과 언어, 문화를 심도 있게 이해할 수 있도록 개발되었다.
특이점은 특정 기업의 상업적 제품이 아닌 국가적 프로젝트라는 사실이다. AI 싱가포르는 싱가포르 국립연구재단(NRF)이 지원하고 싱가포르국립대(NUS)에 설치된 국가 기구다. 즉, SEA-LION은 출범 당시부터 국가 산업 정책이자 문화 정책이라는 이중 지위를 지녔다.
'완전한 개방'이라는 확고한 원칙
SEA-LION이 선택한 가장 파격적인 전략은 완전한 투명성이다. 사전학습 데이터부터 모델 코드, 가중치, 미세조정 데이터, 평가 벤치마크까지 모든 층위를 공개할 것을 천명한다. 최신 모델은 MIT 라이선스로 배포되어 누구나 제약 없이 활용할 수 있다.
이 개방성은 단순한 선의가 아닌 철저히 계산된 전략이다. 모델을 오픈소스로 완전히 풀어야 역내 개발자와 기업, 정부가 각자 용도에 맞는 파생 모델을 개발할 수 있고, 비로소 싱가포르 단일 모델을 넘어 동남아시아 전체를 아우르는 거대한 생태계로 확장할 수 있기 때문이다.
화자 수로 본 동남아시아 주요 언어 현황
언어 | 총 화자 수(약) | 주요 사용 국가·지역 | 문자 |
인도네시아어(Bahasa Indonesia) | 약 2억 명 | 인도네시아(국가 공용어) | 로마자 |
베트남어 | 약 9,000만 명 | 베트남 | 로마자 |
필리핀어·타갈로그어 | 약 8,700만 명 | 필리핀 | 로마자 |
자바어 | 약 6,800만~8,200만 명 | 인도네시아(자바) | 로마자·자바 문자 |
태국어 | 약 6,000만~6,900만 명 | 태국 | 타이 문자 |
미얀마어 | 약 4,000만~4,300만 명 | 미얀마 | 미얀마 문자 |
순다어 | 약 3,200만 명 | 인도네시아(서부 자바) | 로마자·순다 문자 |
라오어 | 약 2,700만~3,000만 명 | 라오스(+태국 이산 지역) | 라오 문자 |
말레이어(표준) | 약 1,900만~3,300만 명 | 말레이시아, 브루나이, 싱가포르 | 로마자 |
크메르어 | 약 1,800만 명 | 캄보디아 | 크메르 문자 |
세부아노어 | 약 1,600만 명 | 필리핀(비사야, 민다나오) | 로마자 |
'말레이어권' 통계 관련 참고사항: 인도네시아어와 표준 말레이어, 그리고 밀접한 방언들을 모두 합친 대언어(macrolanguage) 개념의 말레이어 화자는 약 2억 9,000만 명에 달한다. 표에서는 인도네시아어와 표준 말레이어가 상호 의사소통이 가능함에도 별개의 표준어로 기능하므로 분리하여 기재했다.
해당 통계는 모어 및 제2언어 화자를 합산한 대략의 총계로, 에스놀로그(Ethnologue)와 언어 산업 자료를 기반으로 하였으며 수치 범위는 추정치 간 편차를 반영한다.
위 통계의 중요성: 보이는 게 다가 아니다
여기서 직관과는 다른 사실이 드러난다. 화자 수가 많다고 해서 디지털 데이터의 양이 많은 것은 아니다. 자바어는 화자가 약 7,000만 명에 달하지만 국가 공식 언어의 지위를 갖고 있지 않다. 인도네시아인들은 공문서 작성과 온라인 업무 등 대부분의 공식적·문어적 활동에서 자바어 대신 인도네시아어를 사용한다. 그 결과 세계에서 가장 많은 사람이 사용하는 언어 가운데 하나인 자바어는 의외로 디지털 발자국이 매우 희박하다. 뉴스 사이트도, 디지털화된 서적도, AI가 학습하는 데 필요한 정제된 텍스트도 많지 않다. 거리에서 사용되는 언어의 규모와 인터넷상에서 차지하는 규모는 전혀 다르며, 바로 이 간극을 메우기 위해 SEA-LION과 같은 프로젝트가 만들어졌다.
두 번째 특징은 표의 마지막 열에 숨어 있다. 인도네시아어, 베트남어, 필리핀어, 말레이어 등 네 언어는 로마자로 표기되기 때문에 영어를 위해 이미 구축된 글꼴, 키보드, 텍스트 도구를 활용할 수 있다. 반면 태국어, 미얀마어, 크메르어, 라오어는 각각 고대 브라흐미계 문자에서 유래한 고유 문자를 사용하며, 단어 사이에 띄어쓰기를 하지 않고 복잡하게 겹쳐 쓰는 문자 구조를 갖고 있다. AI 모델에게는 바로 이 지점에서 문제가 발생한다. 주로 영어를 학습한 시스템은 새로운 언어 하나를 배우는 데 그치지 않고, 화면 위에 표시된 텍스트를 바라보는 방식 자체를 완전히 새롭게 익혀야 하기 때문이다. 글로벌 모델이 미얀마어에서 ‘실패’하는 경우, 의미를 파악하는 단계에 도달하기도 전에 문자 체계 자체를 처리하는 단계에서 실패하는 경우가 많다.
희소한 디지털 데이터와 생소한 문자 체계. 이 두 가지 사실을 함께 놓고 보면, 동남아시아가 글로벌 모델이 따라잡을 때까지 그저 기다릴 수 없는 진짜 이유가 드러난다. AI가 가장 필요한 언어가 바로 주류 모델이 가장 읽어내기 어려운 언어이기 때문이다. 이러한 언어를 위한 AI를 구축하는 것은 단순히 번역의 문제가 아니다. 기술이 동남아시아를 그 지역 고유의 관점과 방식으로 읽어낼 수 있도록 가르치는 일이다.
그럼에도 만드는 이유: 키워드는 ‘주권’
SEA-LION을 이해하는 핵심 개념은 '주권'이며, 이는 세 층위의 의미를 갖는다.
첫째, 데이터 주권이다. GPT-4나 메타의 라마(Llama) 같은 모델은 영어와 주요 유럽 언어에서는 뛰어난 성능을 보이지만, 동남아시아의 저자원 언어에서는 어려움을 겪기 일쑤다. 또한 글로벌 모델은 현지의 문화적 맥락이나, 싱가포르의 싱글리시(Singlish)와 말레이시아의 맹글리시(Manglish)처럼 영어와 현지 언어를 섞어 사용하는 코드 스위칭(code-switching)의 특성을 제대로 반영하지 못한다. 초기 버전의 SEA-LION은 동남아시아의 데이터가 미국 기반 모델의 학습 과정에서 단순한 각주에 그치지 않도록, 역내가 자체적으로 주권적 역량을 확보하는 것을 목표로 했다.
둘째, 언어 주권이다. 동남아시아에서는 6억 명이 넘는 사람들이 다양한 언어 생태계에 의존하고 있다. SEA-LION v4는 1조 개가 넘는 토큰으로 학습되었으며, 엄선된 동남아시아 데이터셋을 중점적으로 활용해 글로벌 파운데이션 모델이 자주 제대로 처리하지 못하는 저자원 지역 언어, 방언, 문화적 맥락을 특히 강점으로 다룬다.[6] 이는 다양한 언어 생태계에 의존하는 6억 명이 넘는 인구가 디지털 형평성을 누릴 수 있도록 하는 핵심 기반이다.
셋째, 문화 주권이다. 이 층위는 문화정책 분야에서 일하는 사람들에게 매우 중요한 문제다. 역내 방언을 처리하는 데 SEA-LION과 같은 모델이 글로벌 거대 모델보다 뛰어난 성능을 보인다는 사실은 문화유산이 결코 무시할 수 없는 데이터라는 점을 보여준다. 이는 자바의 농부나 하노이의 노동자가 AI를 활용할 때, 문자 그대로 그들의 언어로, 동시에 문화적으로도 그들의 맥락에 맞게 소통할 수 있다는 점을 시사한다.
이는 추상적인 개념이 아니다. 태국은 SEA-LION을 자국의 문화 주권을 구축하기 위한 ‘골격(skeleton)’으로 활용한 뒤 이를 현지화한 대표적인 사례다. WangchanLion은 AI 싱가포르가 주도한 아세안(ASEAN) 전역을 대상으로 사전학습한 LLM인 SEA-LION을 기반으로 지시 미세조정한 모델이며, 미세조정은 VISTEC과 AI 싱가포르의 공동 작업으로 진행됐다. 이후 이 프로젝트는 태국어를 대상으로 한 본격적인 사전학습으로 발전했다. AI 싱가포르, VISTEC, SCB10X가 공동으로 개발한 WangchanLION-v3는 고품질 태국어 토큰 470억 개로 사전학습한 80억 파라미터 모델이며, 이 470억 개의 토큰 역시 AI 싱가포르의 허깅페이스(Hugging Face)에 공개됐다.
중요한 점은 이 모델이 데이터 투명성 자체를 공공재로 본다는 것이다. 가중치만 오픈소스로 공개하는 다른 태국어 사전학습 모델과 달리, WangchanLION-v3는 데이터 정제 파이프라인 실험부터 미세조정 결과까지 포괄적인 세부 정보를 공개한다. 접근 가능한 사전학습 말뭉치가 부족한 상황에서 재현성과 후속 연구에 어려움이 발생하기 때문이다. 이것이 바로 ‘공유 인프라로서의 문화 주권’이 실제로 구현되는 모습이다. 한 국가의 현지화 노력이 개방형 데이터셋을 통해 다시 역내 공동 자산으로 환원되는 것이다.
어떻게 만드는가: 기술적 진화
SEA-LION의 기술적 발전 과정은 그 자체로도 중요한 정책적 시사점을 보여준다.
처음부터 구축하기와 기존 모델 활용하기
초기 버전은 야심 차게 처음부터 구축하는 방식으로 개발됐다. 2023년 12월 출시된 SEA-LION의 첫 버전들은 약 1조 개의 토큰으로 구성된 SEA-LION-PILE을 활용해 처음부터 학습됐다. 하지만 개발팀은 곧 방향을 바꿨다. 이후 버전에서는 우수한 오픈소스 모델을 기반으로 계속 사전학습(continued pre-training)하는 방식을 택했다. v2가 Llama 3를 기반으로 하는 것도 이러한 접근의 사례로, 장기적으로는 이 방식이 보다 지속 가능할 수 있기 때문이다.
이러한 전환은 저자원 지역이 직면한 현실적인 딜레마를 압축해서 보여준다. 데이터와 연산 자원이 모두 부족한 상황에서 모든 것을 처음부터 구축하는 것은 이상적이지만 지속 가능하지 않다. 따라서 Llama, Gemma, Qwen과 같은 성숙한 글로벌 모델을 기반으로 삼고 그 위에 역내 데이터를 두텁게 쌓는 전략으로 수정됐다. 그리고 바로 이 지점에서 드는 의문이 2부에서 다룰 갈등 상황을 불러일으킨다. 모델의 기반 자체가 다른 누군가의 것이라면, 그 위에 구축된 ‘주권’은 과연 얼마나 온전한가?
세대를 거듭하며
SEA-LION은 빠르게 진화해 왔다. v4에서는 최초의 멀티모달 모델을 통해 텍스트를 넘어 이미지와 텍스트 입력을 함께 처리할 수 있게 되었으며, 256K의 네이티브 컨텍스트 윈도와 지역 특화 OCR을 탑재했다. 동시에 동남아시아의 언어, 문화, 활용 사례에 대한 초점도 계속 유지했다. v4.5에서는 지식 증류와 모델 병합을 통해 최첨단 오픈 파운데이션 모델을 빠르게 특화하고, 고도화된 추론 및 에이전트형 도구 사용 능력을 구현했다.
모델의 성능 또한 두드러진다. SEA-HELM 벤치마크에서 SEA-LION v4는 미얀마어, 필리핀어, 인도네시아어, 말레이어, 타밀어, 태국어, 베트남어 과제에서 2,000억 파라미터 미만 모델 가운데 최상위권에 올랐으며, 시험 대상 55개 모델 전체에서는 5위를 기록했다. 주목할 점은 SEA-LION v4가 Llama 3, Qwen 3, Gemma 3 같은 오픈소스 경쟁 모델을 앞설 뿐 아니라, 독점형 모델(proprietary models)과 비교해도 경쟁력 있는 성능을 보인다는 것이다.
멀티모달로의 전환은 단순히 사양표에 추가된 기능 이상의 의미를 갖는다. 그 실질적인 효과는 동남아시아에서 맞이하는 일상적이면서도 복잡다단한 상거래 문서에서 드러난다. 핀테크 분야를 예로 들면, 태국의 펫인슈어엑스(PetInsureX) 팀은 SEA-LION 다국어 어시스턴트에 자동화된 보험금 청구 OCR 처리, 조작된 상해 사진 탐지, 설명 가능한 사기 점수 산정, 신속한 보험금 지급을 결합해 동남아시아를 위한 개인정보 보호를 우선하는 반려동물 보험 솔루션을 구축했다. 고객에게도 다국어로 설명을 제공하면서 보험금 청구 절차를 간소화한 것이다. 구겨진 현지어 영수증이나 보험금 청구 서식을 읽어내는 일은 지역 특화 OCR과 언어 이해가 함께 작동해야 하는 대표적인 과제이며, 글로벌 모델의 사각지대가 실제 사업 운영의 실패로 이어질 수 있는 영역이기도 하다.
어디로 가는가: 더 작게, 그리고 산업 속으로
SEA-LION의 로드맵은 ‘더 크게’가 아니라 ‘더 정밀하게, 그리고 더 가까이’를 향하고 있다. 개발팀은 산업계와 정부의 현지 파트너들과 협력해 동남아시아 각국의 저자원 언어를 위한 ‘파생 모델(offspring models)’을 개발하고 있다. SEA-LION의 미래는 더 작은 모델과 도메인 특화 미세조정으로 나아가며, 이를 통해 AI 도입의 실질적인 영향력을 높이는 방향을 가리키고 있다.
그 배경에는 실제 현장 배포를 염두에 둔 논리가 있다. 체화 AI(embodied AI)와 엣지 AI(edge AI)가 차세대 핵심 분야로 부상하면서, 개발팀은 중앙화된 클라우드가 아니라 단말기에서 직접 구동할 수 있는 더 작은 언어 모델을 개발하려 하고 있다. 여기에는 이것이 단순히 언어의 문제가 아니라는 분명한 인식이 깔려 있다. 개발팀이 말하듯, “언어적 요소만 볼 것이 아니라 이를 산업적 요소와 함께 놓고 봐야 한다.” 동남아시아의 의료 분야가 글로벌 의료 환경과는 다른 모습을 보이는 것이 대표적인 사례다.
의료 분야는 앞서 말한 결합이 구체적으로 드러나는 영역이며, 동시에 현지화가 안전의 문제로 이어질 수 있는 분야다. 싱가포르의 AI 의료 플랫폼 SIMIS는 SEA-LION을 맞춤형 비전 모델과 결합해 의료기기를 인식하고, 역내 8개 언어로 실시간 단계별 안내를 제공한다. 이를 통해 사용자 오류를 줄이고, 문화적 맥락을 이해하는 AI가 대규모로 의료 서비스의 결과와 안전성을 개선할 수 있음을 보여준다. 자원이 부족한 진료소에서 의료 종사자가 현지 언어로 소통하면서 눈앞의 의료기기를 직접 인식할 수 있는 모델은 단순한 편의 기능이 아니다. 올바른 사용과 치명적인 오사용을 가르는 문제다. ‘더 작고, 더 가깝고, 도메인에 특화된 모델’이 최종 목표이자, ‘더 큰 모델’이 목적지가 아닌 이유를 가장 분명하게 보여주는 사례라고 할 수 있다.
SEA-LION은 단순히 '동남아판 챗GPT(ChatGPT)'로 끝나지 않는다. 언어적 재현 능력 자체가 디지털 시대의 주권이라는 명제 위에 세워진 국가적·지역 차원의 프로젝트다. 완전 개방 라이선스, 계속 사전학습 전략, 소형 도메인 특화 모델로의 전환은 모두 제약된 자원 속에서 스스로의 목소리를 지켜내기 위한 실용적 선택이다.
하지만 SEA-LION 혼자서 동남아 전체를 대변할 수는 없다. 인도네시아, 태국, 베트남이 저마다 독자 모델을 추진하는 가운데, 그 밑바닥에는 '남의 토대 위에 세운 주권'이라는 근본적 긴장이 깔려 있다. 2부에서는 국가별 지형과 함께 데이터 소유권, 유산의 자산화, 주권이 가리는 착시에 대해 다룬다.
2부는 이 역내 구도를 국가별로 짚고, 그 속에서 일어나는 일이 창의경제에 던지는 세 가지 물음을 다룬다. 데이터는 누구의 것인가. 유산은 어떻게 자산이 되는가. 그리고 '주권'이라는 말은 무엇을 가리는가.
