LanguageWire의 RAG 기술: AI 번역 품질의 새로운 도약 - 번역 이야기

LanguageWire, 언어 산업에 Retrieval Augmented Generation 도입

언어 산업에 새로운 약어가 등장하고 있습니다: Retrieval Augmented Generation, 줄여서 RAG입니다. 이 기술은 대형 언어 모델(LLM)을 지식, 데이터, 그리고 문맥을 통해 지시하는 프롬프트를 사용합니다. 즉, RAG는 질의에 대한 더 관련성 높은 콘텐츠를 찾는 정교한 방법입니다.

 

고객이나 언어 서비스 제공자(LSP)가 TMS(Translation Management System)를 가지고 있다면, 그 시스템에는 번역 메모리(TM), 용어집, 번역된 문서, 다양한 메타데이터 등이 포함된 방대한 데이터셋이 존재할 것입니다. 이 데이터는 종종 깨끗하고 구조화되어 있으며, 인간 전문가에 의해 검증됩니다. 하지만 이러한 고객과 LSP는 내부 지식, 즉 선호하는 용어와 어조가 부족한 상용 LLM의 결과에 만족하지 못하는 경우가 많습니다.

 

2024년 6월 SlatorCon Remote에서 LanguageWire의 최고 제품 및 기술 책임자 Roeland Hofkens는 이러한 회사들에게 새로운 맞춤형 LLM을 구축하는 것은 매우 어렵고 비용이 많이 들며, 기초 모델의 완전한 미세 조정 또는 지속적인 훈련은 여전히 도전적이고 비용이 많이 들며 변화하는 데이터를 유지하기 어렵다고 설명했습니다. 그래서 LanguageWire는 고객의 언어 자산을 활용하여 더 나은 사용자 경험을 지원하는 자동화된 RAG 파이프라인을 구축하기로 했습니다.

 

표준 RAG 프로세스는 원래 프롬프트를 분석하여 사용자의 의도를 파악하는 것으로 시작됩니다. 시스템은 프롬프트와 관련될 수 있는 데이터(문서, 데이터베이스 및 기타 형식 포함)를 검색합니다. 일치하는 부분을 식별하고 텍스트를 검색하여 더 풍부한 프롬프트를 만듭니다. 이 증강된 프롬프트는 모든 데이터를 통합하여 비즈니스에 대한 더 많은 정보를 포함합니다. 이를 LLM에 입력하면 훨씬 더 관련성 높은 응답을 반환해야 합니다.

 

편집 도구의 진화

LanguageWire의 실제 응용 프로그램은 사용자 친화적인 UI와 자동화에 중점을 둔 콘텐츠 작성 도우미입니다. 파이프라인은 이미 몇 번의 반복을 거쳤습니다. Hofkens는 첫 번째 방법에서 TM과 용어집을 데이터 소스로 사용했다고 설명했습니다. 이들은 벡터 데이터베이스에 저장되어 프롬프트와 의미가 유사한 텍스트 조각을 감지할 수 있는 의미 검색을 통해 접근되었습니다. 관련 세그먼트와 용어를 검색 결과에서 가져와 새로운, 개선된 프롬프트를 만들기 위한 템플릿을 사용하는 아이디어였습니다.

 

"관련성을 가진 세그먼트를 찾았을 때, 프롬프트에서 충분한 문맥을 제공하지 못했습니다. 세그먼트는 대개 짧아서 문장이나 문장의 일부, 때로는 단어 하나 정도였기 때문입니다,"라고 Hofkens는 말했습니다. "이는 LLM을 제대로 지시하여 좋은 결과를 얻기에는 충분하지 않았습니다. 그래서 이는 분명 실망스러웠습니다."

 

새로운 아키텍처는 TM을 고객이 LSP에 보낸 문서인 "콘텐츠 메모리"로 대체했습니다. 여기에는 Word, PowerPoint, XML 등 다양한 파일 형식이 포함될 수 있습니다. 콘텐츠 메모리는 의미 검색을 위해 더 많은 단어를 포함하고 있어 단순 세그먼트보다 문단이나 더 높은 수준의 콘텐츠를 포함합니다. 이러한 문맥의 "덩어리"를 데이터베이스와 벡터 데이터베이스에 넣으면 의미 검색을 위한 더 큰 정보를 제공하여 더 높은 품질의 완성을 생성할 수 있었습니다.

 

LanguageWire는 더 큰 텍스트 덩어리가 더 많은 의미적 유사성을 식별하는 데 도움이 된다는 것을 알게 되면서 세 번째 수준의 아키텍처를 채택했습니다. 벡터 데이터베이스는 의미 검색을 수행하고 유사성에 따라 결과를 순위 매겼습니다. 시스템은 "최상위" 덩어리를 식별하고 이를 요약을 위해 LLM에 보냈으며, 모든 관련 키워드를 포함한 작은 텍스트 세트로 압축하여 최종 프롬프트에 맞게 만들었습니다. 이 개선된 프롬프트는 최종 출력을 생성하는 데 사용되었습니다.

 

품질 향상

여러 단계를 거치는 RAG 접근 방식, 즉 LLM을 사용하여 RAG 자체를 개선하는 이 방법은 "우리가 자동으로 더 나은 프롬프트를 생성할 수 있었기 때문에 또 다른 품질 도약을 이뤄냈습니다,"라고 Hofkens는 덧붙였습니다. 이 제품은 현재 베타 버전으로 사용 중이며, LanguageWire는 2024년 9월에 전체 공개 출시를 계획하고 있습니다.

 

그러나 그때까지도 큰 변화가 있을 수 있습니다. "RAG는 매우, 매우 활발한 연구 분야입니다,"라고 Hofkens는 언급했습니다. 현재 연구는 TM에서 유사한 번역을 기반으로 프롬프트를 작성하는 간단한 몇 샷 접근 방식에 중점을 두고 있습니다.

현재로서는 번역에 있어 초고속 및 MT 중심 모델이 LLM보다 더 잘 작동하지만, Hofkens는 LLM의 속도와 비용 단점이 곧 사라질 것으로 기대하고 있습니다.

 

놀라운 하드웨어 도입

“요즘 나오는 놀라운 하드웨어는 속도를 높이고 비용을 크게 낮출 것입니다,”라고 Hofkens는 말했습니다. “그래서 더 나은 기계 번역으로 이어질 수 있는 기술을 실험해 봐야 합니다.”

 

예를 들어, 컨텍스트 윈도우는 원래 꽤 작았지만, 이제 Gemini가 100만 토큰에 도달하면서 하나의 프롬프트에 1,500페이지 분량의 텍스트를 담을 수 있는 충분한 "공간"을 제공합니다. 하지만 RAG는 여전히 운영 비용, 리콜 및 정밀도 측면에서 이점을 제공합니다. LLM은 RAG에서 반환되는 정보를 평가하고, 그것이 그대로 사용할 수 있는지 아니면 또 다른 RAG 라운드가 필요한지 평가하는 데 사용되고 있습니다.

 

기술을 넘어, Hofkens는 참석자들에게 성공적인 파이프라인이나 시스템의 핵심은 고객과의 관계라고 상기시켰습니다.

“우리는 고객의 모든 정보를 보유하지 않습니다. 우리는 그들이 번역을 위해 보내는 정보를 가지고 있으며, 그것이 결국 TMS에 포함됩니다. 그래서 아주 훌륭한 다국어 데이터 세트이지만, 모든 것을 다루지는 않습니다,”라고 Hofkens는 말했습니다. “기본적으로 RAG 파이프라인은 이러한 다양한 데이터 세트를 사용하여 구성해야 합니다.”

 

 

영어 원문 보기