Inception Labs는 최근 머큐리(Mercury)라는 혁신적인 확산 기반 대형 언어 모델(dLLM)을 선보였는데요. 이 모델은 기존의 트랜스포머 기반 모델보다 최대 10배 빠른 속도를 자랑하며, 운영 비용도 10분의 1로 절감할 수 있습니다. 실제 사용해보니 텍스트가 디퓨젼 모델 형식처럼 구멍이 숭숭 난 상태에서 전체 맥락을 파악하며 채우는 모습인데요. 머큐리는 이미지 생성 분야에서 성공을 거둔 확산 기법을 텍스트와 코드 생성에 적용하여 효율성을 크게 향상시킨 것으로 볼 수 있습니다. 특히, NVIDIA H100 GPU에서 초당 1,000개 이상의 토큰을 처리할 수 있어, 기존 모델들을 능가하는 성능을 보이는데요. 머큐리 코더(Mercury Coder)는 코드 생성에 특화되어 GPT-4o Mini와 Claude 3.5 Haiku와 같은 모델들을 표준 코딩 벤치마크에서 앞서고 있습니다. 확산 기법을 활용한 텍스트 생성은 기존의 순차적 토큰 생성과 달리, 여러 토큰을 동시에 생성하고 점진적으로 세밀하게 다듬어 나가는 방식을 취하는데요. 이러한 패러다임 전환은 처리 속도를 높이고 운영 비용을 절감하여, 고품질 AI 출력을 보다 쉽게 활용할 수 있게 합니다. 머큐리의 성공은 자연어 처리 분야에서 트랜스포머 기반 아키텍처에서 확산 기반 모델로의 전환 가능성을 시사하는데요. AI 분야가 발전함에 따라, 머큐리와 같은 확산 기반 언어 모델은 효율성과 성능 면에서 새로운 기준을 제시하며, 다양한 응용 분야에서 더 빠르고 비용 효율적인 솔루션을 제공할 것으로 기대됩니다
인셉션랩스
https://www.inceptionlabs.ai/news
머큐리 해볼 수 있는 곳
https://chat.inceptionlabs.ai/
LLaDA 논문
https://arxiv.org/pdf/2502.09992
Written by Error
Edited by Error
[email protected]