'멀티미디어'에 해당되는 글 22건

Chapter 02. 동영상의 압축원리

 1. 압축방식

 동영상도 어차피 "연속적인 그림"이라고 볼 수 있는데, 이를 압축하지 않는다면 1분 정도의 동영상을 저장하면 그 용량이 1GB 정도가 될 것입니다. 따라서, 동영상은 필수적으로 압축과정을 거칠 수 밖에 없습니다.

 1) 비손실 압축과 손실 압축

 압축방식에는 비손실 압축과 손실 압축이 있습니다.

비손실 압축이란, 프로그램이나 데이터등의 압축에 사용되는 zip, rar 등등의 압축방식이 있으며 원본 그대로를 압축하기 때문에 압축을 풀면 원본에서 전혀 손상되지 않은 데이터를 그대로 복원하게 됩니다.

손실 압축이란 압축되지 않은 그림 파일인 BMP파일을 JPG로 압축하는 경우를 생각하시면 되겠습니다. 이런 형태의 압축은 원본의 일부분을 변경하는 식으로 압축이 이루어지는 것이기 때문에 절대 원본과 똑같이 되돌릴 수 없습니다. 간혹, RM파일같이 압축률은 매우 높지만 화질은 떨어지는 동영상을 mpeg등의 형태로 바꾸면 화질이 좋아지지 않을까 생각하는 초보분들을 보는데 RM 파일 자체가 이미 손실 압축된 상태이기 때문에 이를 mpeg으로 만든다고 해도 용량만 커질 뿐 화질을 더 좋게 만들 수는 없는 것입니다.(물론, 이런 변환과정에서 화질 향상을 위해 여러 가지 필터들을 적용해서 약간의 효과를 볼 수는 있지만, 화질 좋은 원본을 압축한 것과는 비교할 수 없는 수준입니다.)

 2) 공간적 압축과 시간적 압축

 그림 파일의 압축에서 사용하는 압축원리는 몇 개의 유사한 색깔을 띄는 점들을 묶어 평균적인 색깔을 띄는 블록으로 바꾸는 경우가 주로 사용되는데 이런 압축방식을 공간적 압축이라고 합니다.

동영상의 압축에서는 이런 공간적 압축은 물론이고, 시간적인 압축 방식도 사용되는데, 키프레임(Key Frame)과 델타 프레임(Delta Frame)을 이용하는 방법을 쓰고 있습니다.

 3) 키 프레임(Key Frame)과 델타 프레임(Delta Frame)

 앞서 설명한 바와 같이 디지털 동영상의 경우에는 공간적 압축에 부가해 시간적 압축도 사용하는데, 그 원리가 Key Frame과 Delta Frame입니다.

 Chapter 01. 프레임(Frame)

 1. 프레임(frame)이란?

 동영상의 기본이 되는 영화를 기준으로 생각해 보면, 영화 영상은 결국 필름에 연속적으로 찍힌 한 장 한 장의 사진을 일정한 속도로 돌려가면서 영사해 움직이는 영상을 만들어 내는 것입니다. 이 때 한 장 한 장의 사진을 본다면 당연히 정지된 상태일 것입니다. 이렇게 동영상을 구성하고 있는 정지된 화면 하나 하나를 프레임이라고 합니다.

 2. 프레임 레이트(frame rate)

 정해진 시간 동안에 몇 프레임을 보여주느냐 하는 것을 frame rate라고 하는 데 대체로 fps(frame per second; 초당 프레임수)로 표시하며, 이는 동영상 매체별로 다릅니다. 영화의 경우 24fps이며, 우리나라나 미국의 표준방식인 NTSC방식의 DVD는 29.97fps, 유럽지역에서 주로 쓰는 PAL방식은 25fps로 되어 있습니다.

 3. 픽셀(Pixel)수

 동영상의 화질을 결정하는 요소 중 하나는 화면의 크기 즉, 픽셀(pixel)수 입니다. 동영상의 각 프레임은 수많은 점(點; pixel)로 구성되어 있으며, 이 픽셀의 수에 따라 화면의 크기가 달라집니다. 픽셀수가 많으면 당연히 화질이 좋겠지만, 그에 비례해 용량이 증가하게 됩니다. 우리나라의 표준방식인 NTSC방식의 DVD는 720(가로)x480(세로)의 픽셀로 구성되어 있습니다. 그러나, DivX 동영상에서는 대체로 이를 그대로 사용하지 않습니다. 왜냐하면, 픽셀수를 어느 정도 줄여도 컴퓨터나 모니터나 TV등으로 감상하는데는 눈에 띄일 만큼의 화질저하가 없으며 용량은 줄일 수 있기 때문입니다. (참고로, Matrox G400 계열의 VGA 카드를 사용하는 일부 시스템에서는 36의 배수가 되는 픽셀수, 즉 720픽셀을 제대로 재생하지 못해 에러가 발생하는 경우도 있습니다. 이런 경우에 사용되는 패치 파일이 나와 있으므로 패치를 해 주어야 제대로 재생이 가능합니다.)

 4. 화면비(Aspect Ratio)

     화면비란 프레임의 [가로 : 세로] 의 크기 비율을 말합니다.

 1) 영화의 화면비

 a. 1.33 : 1 (4 : 3) - 스탠다드

 1950년대까지 영화의 표준 화면은 1.37:1 이었습니다. TV가 개발되면서 이것을 모방한 1.33:1 을 표준화면으로 삼았고 그 이후로 지금까지 계속해서 표준으로 자리잡고 있습니다.

 b. 2.35 : 1 - 시네마스코프

 50년대에 TV가 영화의 적으로 대두되자 거기 대항하기 위해 개발된 와이드스크린입니다.

기존의 35mm필름을 그대로 사용하면서 화상을 가로로 압축해 저장하는 아나모픽(Anamorphic)방식의 개발로 기존의 두배에 가까운 넓은 화면을 담을 수 있게 되었는 데, 렌즈만 교체해주는 방식으로 기존 35mm와 호환이 가능하므로 그 이후로 현재까지도 표준으로 자리잡고 있습니다.

시네마스코프는 원래 특정 영화사의 상표명이지만, 지금은 2.35:1 와이드스크린을 통칭하는 말로 쓰이고 있습니다.

 c. 2.2 : 1 - 70mm

 기존 35mm보다 실제로 두배가 넓은 70mm 필름을 사용해 Anamorphic 같은 편법이 아닌 진정한 와이드 스크린을 구현한 방식입니다.

필름의 양쪽 가장자리에 6채널의 스테레오 사운드트랙이 들어가기 때문에 화면은 Anamorphic 보다는 조금 짧은 2.2:1 입니다. (70mm에 아나모픽을 적용한 2.76:1 의 벤허같은 영화도 있지만 대부분 극장들이 상영시설을 제대로 갖추지 못한 탓에 대부분의 경우 벤허도 2.2:1 로 상영되었습니다.

70mm는 고화질의 화면과 웅장한 입체음향으로 사랑을 받았지만 제작이나 상영에 고가의 별도 장비가 필요한데다 35mm 필름의 질이 점점 개선되고 돌비스테레오(6채널을 4채널로 축소한 35mm용 입체음향)가 개발되면서 70년대 이후로는 거의 쓰이지 않게 되었습니다.

 d. 1.85 : 1 / 1.66 : 1 - 비스타비전

 비스타비전은 시네마스코프에 대항해서 라이벌 영화사가 개발한 또 다른 와이드스크린 방식으로 2.35:1 과 1.33:1 을 절충한 화면입니다. 원래는 특수한 필름과 카메라를 사용해서 초 고화질을 구현한 방식이지만, 비호환성으로 인해 사장되어 버리고 요즘은 특수효과 촬영등의 특별히 고화질이 필요로 한 부분에서만 부분적으로 사용될 뿐 이름만 남아서, 일반 35mm필름에다 비스타비전의 화면비율로 촬영한 영화들을 흔히 비스타비전, 또는 비스타 사이즈라고 부릅니다.

요즘 극장에서 가장 일반적으로 볼 수 있는 방식입니다. 이유는 잘 모르겠지만 미국과 그 영향권에 있는 나라들에서는 1.85:1을 선호하고, 유럽쪽에서는 1.66:1을 선호합니다. 그래서 유럽영화가 미국에서 개봉하면 화면 위아래가 잘리곤 합니다. (디즈니의 애니메이션 DVD들은 극장에서는 1.85:1로 상영했는데도, 보통 1.66:1인 상태로 출시됩니다.)

 e. 1.78 : 1 (16 : 9) - 와이드 스크린

 흔히 하는 오해로 극장용 영화가 16:9라고 생각하는 일이 많은데, 실제로는 16:9의 화면비율을 가진 필름은 없습니다. 1.78:1은 와이드 TV의 표준 규격으로 유럽과 미국 비스타비전의 중간치에 해당합니다. (어느 특정한 한쪽 편을 들 수 없으니까 다같이 피보자는 취지로 그랬나 봅니다.)

정상적인 화면 비율을 유지한 상태라면 1.78:1 화면에서 1.66:1 영화는 화면 양쪽 옆으로 약간의 여백이, 1.85:1 영화는 위아래로 여백이 생겨야 합니다. 그런데 DVD 중에서는 16:9의 화면에 맞춰서 영화의 화면을 잘라버린 경우도 많이 있기 때문에 인코딩에 들어가기 전에 화면이 어떤 상태인지를 반드시 확인해야 합니다. (DVD의 표지에 표기된 화면비율이 잘못되어 있는 경우도 상당히 많으므로, 직접 눈으로 확인하는 것이 좋습니다.)

아주 드문 경우지만, 처음부터 필름이 아닌 형태로 제작된 영화(예를 들면 토이 스토리2) 중에는 원래 화면이 1.78:1인 경우도 있습니다.

 기타, 와이드 스크린의 초창기에는 여러가지 다양한 시도들이 있었기 때문에, 2.0:1, 2.55:1 등 다양한 형태의 화면비들도 존재합니다. 하지만 그런 것들은 모두 몇몇 작품에서만 실험적으로 사용되고는 사장되었기 때문에 소수의 몇 작품을 제외하고는 거의 찾아볼 수 없습니다.

그밖에 DVD 제작업자들이 원래의 화면을 무시하고 마음대로 잘라낸 특이한 화면들이 가끔씩 있습니다. 이런 것은 직접 보고 판단하는 수 밖에 없겠습니다.

 2) 16X16 Rule

 동영상을 다루는 과정에서 조심해야 할 것 중 하나는 원본 동영상의 화면비(Aspect ratio)와 16X16 룰(rule)입니다. 화면비를 제대로 맞춰주지 않으면 비정상적인 화면이 되니, 당연히 문제가 되겠지만 이와 아울러 신경써야 할 부분이 16X16 Rule 입니다.

16X16  규칙은 화면을 구성하는 픽셀수는 16의 배수로 맞추는 것을 기본으로 한다는 것입니다. 동영상을 다룰 때 사용되는 프로그램 또는 코덱에 따라서는 16의 배수가 아닌 픽셀 수는 아예 작업이 불가능한 경우도 있고, 반대로 어떠한 픽셀수든 상관없이 작업이 가능한 프로그램도 있습니다만, 되도록 16의 배수(불가피하다면 8의 배수)는 유지해 주는 것이 좋습니다. 특히, 가로 방향의 픽셀 수는 16의 배수로 설정하는 것이 대단히 중요합니다.

내용출처 : Hananet Movie Club CINE   DivX Total Manual V4.2

참조 사이트: http://www.fourcc.org 

YUV에도 여러 가지 종류가 있다. 그 중에서 YUV420(YV12)에 대해서 알아보도록 하겠다.

YUV420(YV12)

This is the format of choice for many software MPEG codecs. It comprises an NxM Y plane followed by (N/2)x(M/2) V and U planes.

 Positive biHeight implies top-down image (top line first)

ATI says they have a download which contains this codec but I can't find it on their site. If you would like something similar for Quicktime, try here.

=======================================================================================

// 아래 코드는 YUV 바이트 스트림 배열에서의 YUV 각 값의 위치를 찾기위한 코드가 설명되어 있다.

Height = 16;
Width  = 16;
Y'ArraySize = Height × Width;    // (256)
Y' = Array[7 × Width + 5];
U = Array[(7/2) × (Width/2) + 5/2 + Y'ArraySize];
V = Array[(7/2) × (Width/2) + 5/2 + Y'ArraySize + Y'ArraySize/4];

RGB = Y'UV444toRGB888(Y', U, V);

위 예제 그림은 Y -> U -> V 순으로 바이트 스트림이 되어 있지만 항상 정해진 것은 아니다.

다른 바이트 스트림의 경우 Y -> V -> U 순으로 되어 있는 경우도 있다.

YUV420 <------> RGB 변환

참고 사이트 : http://www.fourcc.org/fccyvrgb.php

 The following 2 sets of formulae are taken from information from Keith Jack's excellent book "Video Demystified" (ISBN 1-878707-09-4).

RGB to YUV Conversion

YUV to RGB Conversion

#define clip(var) ((var>=255)?255:(var<=0)?0:var)

변환을 하면서 위와 같이 각 값에 대하여 clip이 필요하다.

2,3개의 동영상 파일의 PSNR을 비교하는 프로그램입니다. 

프레임별로도 확인가능하다. 심플하면서 괜찮은것 같다..

PSNR_Compare.zip

동영상 압축에서의 Integer transform(DCT)에 대한 C 소스입니다.

Fast DCT입니다.

ChenDCT.c

dct_4x4.c

1. Avc Picturemanagement Draft 1

2. Overview

3. Loopfilter(Deblocking filter)

4. Inter prediction

5. Intra prediction

6. VLC(UVLC, CAVLC)

7. CABAC

8. Transform(DCT, Quantization)

 

avc_picmanagement_draft1.pdf

h264_cabac.pdf

h264_interpred.pdf

h264_intrapred.pdf

h264_loopfilter.pdf

h264_overview.pdf

h264_transform.pdf

h264_vlc.pdf

Jpg 파일을 읽어서 decoding 한 후 디스플레이를 해주는 소스입니다.

JPEG decoding을 공부하는 데 도움이 될 수 있을 것도 같습니다.

JpgShow.zip