NVIDIA, DAM-3B 발표: 이미지와 비디오의 현지화된 설명 “스타일”!

 

인공지능의 급속한 발전으로 다중 모드 학습이 점차 인기 있는 연구 분야가 되고 있습니다.

중요한 분야로서 시각 언어 모델(VLM)은 이미지와 비디오에 대한 전체적인 설명을 생성하는 데 있어 놀라운 성과를 거두었습니다. 하지만 이러한 모델에 이미지나 비디오의 특정 영역을 자세히 설명하도록 요청하면, 그 성능이 만족스럽지 않다는 것을 종종 발견하게 됩니다.

 

이러한 한계는 특히 비디오 데이터에서 두드러지게 나타나는데, 비디오는 공간 정보뿐만 아니라 시간적 동역학도 처리해야 하기 때문입니다. 다행히도 NVIDIA가 새롭게 출시한 DAM-3B(Describe Anything 3B) 모델이 우리에게 새로운 희망을 가져다줍니다.인공지능의 급속한 발전과 함께 멀티모달 학습은 점차 뜨거운 연구 분야로 떠오르고 있습니다. 그 중 중요한 분야인 시각-언어 모델(VLM)은 이미지와 동영상에 대한 전반적인 설명을 생성하는 데 있어 인상적인 성과를 거두었습니다. 

 

하지만 이러한 모델을 통해 이미지나 동영상의 특정 영역에 대한 상세한 설명을 제공하려고 할 때 종종 성능이 제대로 발휘되지 않는 것을 발견하게 됩니다. 이러한 한계는 공간 정보뿐만 아니라 시간적 역학도 고려해야 하는 비디오 데이터에서 특히 두드러집니다. 

 

다행히도 NVIDIA가 새롭게 출시한 Describe Anything 3B(DAM-3B) 모델은 새로운 희망을 제시합니다.

 

1. 로컬 설명의 난제

이미지나 동영상에서 특정 영역을 설명하는 것은 시각 언어 모델링에서 항상 까다로운 문제였습니다. 기존의 범용 시각 언어 모델은 전체적인 설명은 잘 생성할 수 있지만, 세부적인 지역별 설명을 생성하는 데는 종종 부족합니다. 그 이유는 주로 다음과 같습니다.

1. 세부 정보 손실 : 시각적 특징 추출 과정에서 모델은 종종 세부 정보가 일부 손실되어 생성된 설명이 덜 구체적이 됩니다.
2. 데이터 부족 : 지역적 설명을 위한 레이블이 지정된 데이터 세트가 부족하여 모델이 정확한 지역 설명 기능을 학습하기 어렵습니다.
3. 평가 기준의 한계 : 기존 평가 벤치마크는 종종 참조 캡션과의 단순한 텍스트 유사성에 의존하는데, 이는 참조 캡션에 나타나지 않지만 올바른 설명에 페널티를 줄 수 있습니다.

2. DAM-3B: 로컬 설명용으로 제작

DAM-3B는 NVIDIA가 이미지와 비디오의 로컬 설명을 위해 특별히 출시한 다중 모드 대규모 언어 모델입니다.

사용자가 점, 상자, 낙서 또는 마스크를 통해 지정한 영역을 받아들이고 맥락을 고려하여 자세한 설명을 생성합니다.

DAM-3B의 핵심 혁신은 다음과 같습니다.

A. 초점 프롬프트

DAM-3B는 전체 이미지와 대상 영역의 고해상도 크롭을 결합하는 "포커스 큐잉" 메커니즘을 도입했습니다. 이러한 이중 보기 입력 방식은 해당 지역의 세부 정보와 더 광범위한 맥락 정보를 모두 보존합니다. 이런 방식으로 모델은 전체 이미지에서 대상 영역의 위치와 역할을 더 잘 이해할 수 있습니다.

B. 로컬화된 비전 백본(LVBN)

DAM-3B의 또 다른 혁신은 향상된 로컬 비전 백본 네트워크입니다. 네트워크는 이미지와 마스크 입력을 내장하고 게이트형 교차 주의 계층을 적용하여 글로벌 및 로컬 기능을 융합합니다. 이러한 디자인은 계산 효율성을 유지할 뿐만 아니라, 더욱 풍부하고 상황에 맞는 설명을 생성할 수 있게 해줍니다.

C. 비디오 확장 기능

DAM-3B-Video는 이 아키텍처를 시간 시퀀스로 더욱 확장합니다. 프레임별 영역 마스크를 인코딩하고 시간적으로 통합함으로써, 이 모델은 가려짐이나 움직임이 있는 경우에도 정확한 비디오에 대한 영역별 설명을 생성할 수 있습니다.

3. 데이터 전략 및 평가 벤치마크

데이터 부족 문제를 극복하기 위해 NVIDIA는 DLC-SDP 반지도 데이터 생성 전략을 개발했습니다. 이 2단계 프로세스는 세분화 데이터 세트와 레이블이 지정되지 않은 웹 이미지를 사용하여 150만 개의 로컬 설명 샘플을 생성합니다. 모델은 자체 학습 방식을 통해 고품질 설명을 생성할 수 있습니다.

평가 측면에서 팀은 DLC-Bench 벤치마크를 도입했습니다. DLC-Bench는 텍스트 유사성에 기반한 기존 평가 방법과 달리 속성 기반 정확성을 사용하여 설명 품질을 평가합니다. 이러한 접근 방식은 인간이 모델을 평가하는 방식에 더 가깝고 모델 성능을 더욱 정확하게 측정할 수 있습니다. DAM-3B는 DLC-Bench에서 평균 67.3%의 정확도를 달성하여 GPT-4o 및 VideoRefer와 같은 기준 모델을 능가했습니다.

4. DAM-3B의 "18가지 예술"

A. 매우 상세한 이미지 및 동영상 설명 

DAM-3B는 이미지와 비디오에 대한 자세한 설명을 생성하는 데 탁월합니다. 이는 대상의 이름이나 범주를 설명하는 데 그치지 않고 질감, 색상 패턴, 모양, 눈에 띄는 부분 및 시각적으로 독특한 특징까지 포착합니다. 예를 들어, 복잡한 패턴이 포함된 이미지를 설명할 때 DAM-3B는 단순히 패턴의 존재를 언급하는 것이 아니라 패턴의 세부 사항을 자세하게 설명할 수 있습니다.

B. 명령 제어를 위한 설명 생성

DAM-3B의 유연성은 사용자의 지시에 따라 다양한 수준의 세부 사항과 스타일에 대한 설명을 생성할 수 있는 능력에 있습니다. 간결한 요약이 필요하든 길고 자세한 설명이 필요하든, 이 모델은 사용자의 요구에 맞게 조정될 수 있습니다. 이 기능은 빠른 라벨링 작업 및 심층적인 전문 분석과 같은 다양한 응용 시나리오에 널리 적용할 수 있습니다.

C. 제로 샘플 영역 관련 Q&A

DAM-3B는 설명을 생성하는 것 외에도 추가 교육 데이터가 필요 없이 지정된 지역에 대한 질문에 답할 수도 있습니다.

사용자는 특정 지역의 속성에 대해 질문할 수 있으며, 모델은 해당 지역의 이해를 바탕으로 정확하고 상황에 맞는 답변을 제공합니다.

이 기능은 자연스러운 상호작용 시나리오에서 모델의 실용성을 크게 향상시킵니다.

5. DAM-3B의 아키텍처 설계

DAM-3B의 건축 설계는 지역 설명에 있어서 기존 모델의 단점을 현명하게 해결했습니다. "포커스 큐"를 통해 모델은 글로벌 이미지와 대상 영역의 세부 정보를 동시에 볼 수 있습니다. 로컬 시각 백본 네트워크는 게이트형 교차 주의 계층을 통해 글로벌 기능과 로컬 기능을 융합하여 더욱 풍부하고 상황에 맞는 설명을 생성합니다.

A. 로컬 비주얼 백본 네트워크 세부 정보

DAM-3B의 핵심은 로컬 시각 백본 네트워크의 설계입니다. 이미지와 마스크 입력을 공간적으로 정렬하고, 게이트형 교차 주의 계층을 통해 세부적인 로컬 단서를 글로벌 맥락과 융합합니다. 새로운 매개변수는 0으로 초기화되어 사전 학습 기능이 유지됩니다. 이러한 설계는 설명의 풍부함을 향상시킬 뿐만 아니라 계산 효율성도 유지합니다.

B. 반지도형 데이터 생성 전략

 

기존 데이터 세트에는 자세한 지역 설명이 없기 때문에 DAM-3B는 반지도 데이터 생성 전략을 채택합니다.

첫째, 세분화 데이터 세트에서 짧은 카테고리 레이블을 활용하여 풍부한 설명을 생성합니다.

두 번째로, 우리는 자체 학습 방식을 통해 레이블이 지정되지 않은 이미지에 대한 새로운 설명을 생성하고 최적화합니다.

 

이 방법은 대규모의 고품질 학습 데이터를 생성할 뿐만 아니라, 대량의 수동 주석에 대한 의존도를 피합니다.

6. DLC-Bench: 보다 정확한 평가 기준

 

DLC-Bench는 DAM-3B 팀이 도입한 새로운 평가 벤치마크입니다. 단순히 참조 캡션과 텍스트 유사성을 비교하는 것이 아니라, 언어 모델 기반 평가기를 사용하여 모델이 생성한 설명이 정확한지 확인합니다.

이러한 접근 방식을 사용하면 모델의 성능을 보다 정확하게 평가할 수 있으며, 불완전한 참조 캡션으로 인해 발생하는 잘못된 페널티를 피할 수 있습니다.

A. DLC-Bench의 장점

DLC-Bench의 장점은 세부적인 설명과 환각 측면에서 모델의 성능을 보다 정확하게 평가할 수 있다는 것입니다. DLC-Bench는 언어 모델 평가자에게 쿼리를 보내 생성된 설명에 올바른 세부 정보가 포함되어 있는지 확인하고 잘못된 환각을 피할 수 있습니다. 이 방법은 인간의 평가 방법에 더 가깝고 모델의 성능을 더욱 현실적으로 반영할 수 있습니다.

7. DAM-3B의 성능

DAM-3B는 다양한 벤치마크에서 최고의 결과를 달성했습니다. 키워드 수준(LVIS, PACO), 구문 수준(Flickr30k Entities), 다중 문장 로컬 설명(Ref-L4, HC-STVG) 작업에서 좋은 성과를 보였습니다. DLC-Bench에서 DAM-3B는 다른 모델을 능가하는 평균 정확도 67.3%를 달성했습니다.

A. 성능 비교

기존 모델과 비교했을 때 DAM-3B는 더욱 자세하고 정확한 지역 설명을 생성하는 데 있어 확실한 장점이 있습니다.

이 제품은 고품질 설명을 생성할 뿐만 아니라, 제로샷 질의응답 과제에서도 좋은 성과를 보입니다.

 

예를 들어, Flickr30k Entities 데이터 세트에서 DAM-3B는 이전 최고 모델의 성능을 7.34% 향상시켰습니다. Ref-L4 데이터 세트에서 DAM-3B는 짧은 설명과 긴 설명 작업을 각각 39.5%와 13.1% 향상시켰습니다.

8. DAM-3B의 미래 전망

DAM-3B의 출시는 멀티모달 AI 시스템 개발을 위한 새로운 기술적 방향을 제공합니다. 이 기술은 이미지와 비디오의 지역적 설명에 탁월할 뿐만 아니라, 향후 연구를 위한 재현 가능한 벤치마크도 제공합니다. NVIDIA는 향후 연구 활동을 지원하기 위해 DAM-3B의 코드, 모델, 데이터 및 벤치마크를 공개적으로 발표할 계획입니다.

A. 적용 시나리오

DAM-3B의 폭넓은 적용 가능성은 매우 흥미롭습니다. 이는 데이터 라벨링, 비디오 콘텐츠 분석, 로봇 비전 및 기타 분야에서 중요한 역할을 할 수 있습니다. 예를 들어, 비디오 콘텐츠 분석에서 DAM-3B는 사용자가 비디오 콘텐츠를 더 잘 이해할 수 있도록 비디오의 특정 영역에 대한 자세한 설명을 생성할 수 있습니다.

B. 커뮤니티 조사

DAM-3B가 출시됨에 따라, 커뮤니티에서 자세한 지역 설명의 잠재력을 탐색하는 모습을 기대합니다. 우리는 이 모델과 벤치마크가 미래 연구에 유용한 자료가 되고, 멀티모달 AI 시스템 개발을 발전시키기를 바랍니다.

9. 결론

NVIDIA의 Describe Anything 3B 모델은 다중 모드 지역 설명에 새로운 획기적인 진전을 가져왔습니다. 이 연구는 혁신적인 아키텍처 설계와 반지도 데이터 생성 전략을 통해 지역적 설명에 있어 기존 모델의 단점을 해결합니다. DAM-3B는 여러 벤치마크에서 좋은 성능을 보일 뿐만 아니라, 향후 연구를 위한 재현 가능한 벤치마크도 제공합니다. 우리는 DAM-3B가 멀티모달 AI 시스템 개발에 중요한 역할을 하여 이미지와 비디오의 지역적 설명에 새로운 가능성을 가져올 것으로 믿습니다