H.264 vs H.265 vs AV1: 비디오 코덱의 진화와 선택 가이드

1. 비디오 코덱의 진화

비디오 부호화의 역사는 1980년대 후반으로 거슬러 올라갑니다. ISDN 회선을 통한 화상 회의용으로 설계된 H.261부터 초고화질 스트리밍용으로 설계된 AV1에 이르기까지, 코덱 표준은 거의 30년에 걸쳐 진화해 왔습니다. 각 세대는 동일한 근본 목표를 추구합니다. 시각 품질을 유지하면서 더 적은 비트로 화면을 재현하는 것입니다.

비디오 압축이 필수적인 이유는 압축되지 않은 원본 비디오가 매우 크기 때문입니다. 원본 형식의 10초짜리 1080p 클립은 수 기가바이트를 소비할 수 있어 저장이나 전송에 감당할 수 없습니다. 코덱은 프레임 내의 공간적 및 시간적 중복성을 활용해 이 데이터를 다루기 쉬운 크기로 줄입니다. 공간적 중복성은 단일 프레임 내 인접 픽셀 간의 상관관계를 가리키고, 시간적 중복성은 연속된 프레임 간의 유사성을 가리킵니다. 사실상 모든 현대 코덱 표준은 이 두 가지 중복성을 중심으로 구성됩니다.

구체적으로 인코더는 그림을 세 가지 프레임 유형으로 분류합니다. I-프레임(인트라 부호화 프레임)은 전체 그림을 기록하고 독립적으로 디코딩될 수 있어 압축률은 가장 낮지만 오류 복원력은 가장 강합니다. P-프레임(예측 프레임)은 이전 프레임과의 차이만 저장합니다. B-프레임(양방향 프레임)은 이전 및 이후 프레임을 모두 참조하여 가장 높은 압축을 달성합니다. 두 I-프레임 사이의 프레임 그룹은 GOP(Group of Pictures)를 형성하며, GOP가 길수록 압축은 좋아지지만 임의 접근과 오류 복구는 약해집니다. 이 프레임 간 예측 프레임워크는 H.261부터 자리 잡았고, 후속 표준은 주로 블록 분할, 예측 정확도, 엔트로피 부호화를 다듬습니다.

H.261은 블록 기반 부호화 프레임워크를 확립했고, MPEG-1은 이를 약 1.5 Mbps의 광디스크 저장으로 확장해 VCD 품질 비디오에 충분했으며, H.263은 저비트레이트 통신에 최적화해 64 kbps 이하에서도 알아볼 수 있는 화면을 유지했고, H.264는 고화질 스트리밍의 시대를 열었으며, H.265는 4K 울트라 HD를 겨냥했고, AV1은 로열티 없는 차세대 방향을 대표합니다. 각 세대는 부호화 복잡도를 실제 하드웨어의 범위 내에 유지하면서 이전 세대보다 압축 효율을 개선하려 시도합니다.

2. 주류 코덱의 기술적 분석

H.264(AVC)

2003년에 발표된 H.264(Advanced Video Coding)는 16×16 기본 블록으로 매크로블록 분할을 사용하며 4×4에서 16×16까지의 서브블록을 지원합니다. 움직임 추정은 1/4 픽셀 정밀도에 도달하며, 다중 참조 프레임, 루프 내 디블로킹, 문맥 적응 가변 길이 부호화(CAVLC), 문맥 적응 이진 산술 부호화(CABAC)를 도입했습니다.

이전 세대인 H.263과 비교해 H.264는 압축 효율을 대략 두 배로 높여 동일한 품질에서 비트레이트를 절반으로 줄입니다. CABAC은 CAVLC보다 5~15% 더 많은 비트레이트를 절약하지만 연산이 더 많이 필요해 저가형 기기는 종종 CAVLC를 선택합니다. H.264는 또한 다중 슬라이스와 Flexible Macroblock Ordering(FMO)을 지원해 병렬 처리와 오류 복원력을 용이하게 합니다.

H.264의 강점은 성숙한 생태계에 있습니다. 거의 모든 현대 기기, 브라우저, 플레이어가 이를 네이티브로 지원합니다. 약점은 4K 이상에서 압축 효율이 부족해 더 높은 비트레이트가 발생한다는 것입니다. 하드웨어 디코딩이 어디에나 있어 H.264는 모바일 기기에서 전력 효율에도 뛰어나며, 오늘날 사용 가능한 가장 호환성이 높은 코덱입니다.

H.265(HEVC)

2013년에 발표된 H.265(High Efficiency Video Coding)는 Coding Tree Unit(CTU)을 도입해 화면 복잡도에 따라 8×8까지 적응적으로 분할하면서 최대 64×64 블록을 지원합니다. 동일한 주관적 품질에서 H.265는 H.264 대비 대역폭을 약 40~50% 줄입니다.

주요 개선 사항으로는 넓은 평탄 영역에서 부호화 효율을 높이는 더 큰 CTU 크기, 더 섬세한 텍스처 표현을 위한 35개 인트라 예측 방향(H.264의 9개 대비), 움직임 정보의 부호화 오버헤드를 줄이는 고급 움직임 벡터 병합(Merge)과 Advanced Motion Vector Prediction(AMVP), 루프 내 필터링 후 링잉 아티팩트를 더 억제하는 Sample Adaptive Offset(SAO), 그리고 멀티코어 부호화를 돕는 Tiles와 WPP 같은 병렬 처리 도구가 있습니다.

이러한 기능 덕분에 H.265는 4K와 8K 콘텐츠 배급에 적합하지만, 계산 복잡도도 현저히 높아 H.265 부호화는 H.264보다 몇 배 더 오래 걸릴 수 있습니다. 더 큰 블록 크기는 저해상도에서 오버헤드를 오히려 늘릴 수 있어 H.265의 장점은 더 높은 해상도에서만 완전히 드러납니다.

VP9

구글이 개발해 2013년 WebM 프로젝트의 일부로 발표된 VP9은 64×64 슈퍼블록을 사용하고 32개의 인트라 예측 모드와 고급 인터 예측, 적응 양자화를 지원합니다. 압축 효율은 H.265와 비견되며 완전히 로열티가 없습니다.

VP9은 H.265에서 아이디어를 차용하되 구현 난이도를 낮추기 위해 구문과 도구 집합을 단순화했습니다. 최대 세 개의 참조 프레임을 지원하고 가변 해상도 시나리오를 처리하기 위해 서로 다른 해상도의 참조를 혼합할 수 있습니다. VP9의 주요 장점은 개방성입니다. 어떤 벤더든 특허 우려 없이 구현할 수 있습니다. 다만 하드웨어 디코딩 생태계가 비교적 제한적이라 주로 웹, 특히 Chromium 기반 브라우저에서 활발합니다. VP9은 H.264의 효율적 대안으로 주요 비디오 플랫폼에 널리 채택되어 웹 비디오 배급에서 안정적인 성능을 보입니다.

AV1

2018년 Alliance for Open Media(AOMedia)가 발표한 AV1은 128×128 슈퍼블록과 인트라 블록 복사, 어파인 움직임 보상, 팔레트 모드, 1/8 픽셀 움직임 정밀도를 포함한 더 정교한 예측 및 변환 도구로 이전 세대 기술을 확장합니다. H.265와 비교해 AV1은 동일한 품질에서 추가로 20~30%의 비트레이트를 절약하며, H.264 대비 약 60%를 절약합니다.

AOMedia는 H.265의 파편화된 특허 라이선스를 우회하기 위해 여러 업계 주체가 공동으로 설립했습니다. AV1은 VP9을 기반으로 하고 H.265의 선별된 고급 도구를 통합하며 수많은 실험적 기술을 추가해 H.265보다 훨씬 큰 도구 집합을 갖습니다. 완전히 로열티가 없도록 설계되었고 주요 스트리밍 플랫폼에 점진적으로 채택되고 있습니다. 부호화 복잡도는 극히 높으며 실시간 부호화는 여전히 하드웨어 가속에 의존합니다. 최신 GPU와 모바일 칩은 AV1 하드웨어 디코딩을 통합하기 시작했고 하드웨어 지원 부호화도 진전 중입니다. 앞으로 몇 년 내에 VOD와 라이브 스트리밍 모두에서 광범위한 배포가 기대됩니다.

3. 특허 라이선스 비교

라이선스는 코덱 채택을 결정하는 요소입니다. 아래 표는 네 가지 주류 포맷의 라이선스 상황을 비교합니다.

코덱	라이선서	로열티 비용	복잡도
H.264	MPEG-LA 통합 풀	단계별, 연간 상한 있음	낮음
H.265	다중 풀(MPEG-LA, HEVC Advance 등)	높음, 통일 상한 없음	매우 높음
VP9	오픈 소스(BSD 라이선스)	무료	없음
AV1	Alliance for Open Media	무료	없음

라이선스가 H.265 채택이 지연된 주된 이유입니다. H.264는 MPEG-LA가 명확한 비용 구조와 상한으로 관리해 콘텐츠 제공자가 예측 가능한 비용으로 배포할 수 있습니다. 반면 H.265는 서로 경쟁하는 여러 특허 풀이 관여해 특허 보유자가 여러 조직에 흩어져 있고 비용이 불확실하며 통일된 상한이 없습니다. 공개 보도에 따르면 일부 콘텐츠 제공자는 라이선스 비용을 추정할 수 없어 H.265 배포를 지연했습니다. 이 불확실성은 일부 브라우저 벤더와 오픈 소스 커뮤니티를 VP9과 AV1로 이끌었고 AOMedia의 설립을 직접적으로 동기 부여해 로열티 없는 오픈 소스 코덱 생태계를 탄생시켰습니다.

4. 시나리오별 추천

사용 사례에 따라 코덱 요구사항이 크게 다릅니다. 아래 표는 일반적인 시나리오의 추천을 요약합니다.

사용 사례	추천 코덱	이유
이메일 첨부	H.264	최고의 호환성, 추가 디코더 불필요
웹 임베드	VP9 / H.264	브라우저 네이티브 지원, VP9은 대역폭 절약
모바일 재생	H.264 / H.265	하드웨어 디코딩 어디에나, 배터리에 효율적
스트리밍 전송	AV1 / H.265	높은 압축이 대역폭 비용 절감
장기 보관	H.265 / AV1	품질을 유지하며 저장 공간 절약
라이브 스트리밍	H.264	가장 빠른 부호화, 제어 가능한 지연

항상 대상 재생 환경의 디코딩 능력을 먼저 확인한 뒤 압축 효율과 부호화 비용을权衡하세요. 가장 넓은 시청자에게 도달해야 하는 콘텐츠에서는 H.264가 여전히 폴백입니다. 대역폭에 민감한 배급에서는 더 새로운 코덱이 우선되어야 합니다. 실제로 많은 플랫폼은 다중 비트레이트, 다중 코덱 전략을 채택해 모든 클라이언트를覆盖하기 위해 H.264를 제공하면서 더 새로운 코덱을 지원하는 기기에는 AV1이나 H.265 버전을 제공해 호환성과 효율의 균형을 맞춥니다.

5. FFmpeg 압축 비교

동일한 1080p 소스 비디오를 사용해 각 코덱으로 압축합니다. 더 낮은 CRF(Constant Rate Factor) 값은 더 높은 품질을 내고, 비슷한 값은 일반적으로 비견되는 품질을 나타냅니다.

# H.264 (CRF 23, preset medium)
ffmpeg -i input.mp4 -c:v libx264 -crf 23 -preset medium -an output_h264.mp4

# H.265 (CRF 28, preset medium)
ffmpeg -i input.mp4 -c:v libx265 -crf 28 -preset medium -x265-params log-level=error -an output_h265.mp4

# VP9 (CRF 32, 비트레이트 무제한)
ffmpeg -i input.mp4 -c:v libvpx-vp9 -crf 32 -b:v 0 -an output_vp9.webm

# AV1 (CRF 30, 비트레이트 무제한)
ffmpeg -i input.mp4 -c:v libaom-av1 -crf 30 -b:v 0 -cpu-used 4 -an output_av1.mkv

매개변수 참고: -crf는 품질을 제어하고, -preset/-cpu-used는 속도와 압축률의 균형을 맞추며, -b:v 0는 인코더가 CRF에 따라 비트레이트를 할당하게 하고, -an은 비디오 압축 비교에 집중하기 위해 오디오를 버립니다. CRF 척도는 인코더마다 균일하지 않다는 점에 유의하세요. H.264의 CRF 23과 H.265의 CRF 28은 주관적 품질에서 대략 비견되지만 정확히 일치하지는 않으며, 엄격한 비교는 VMAF나 SSIM 같은 객관적 지표에 의존해야 합니다.

실제로 동일한 주관적 품질에서 H.265, VP9, AV1은 점진적으로 더 작은 파일을 만들지만 부호화 시간도 그에 따라 늘어납니다. AV1 부호화는 H.264보다 수십 배 더 오래 걸릴 수 있어 실용성을 위해 하드웨어나 병렬 최적화가 필요합니다. 대량 트랜스코딩 프로덕션 환경에서는 부호화 속도가 압축률만큼 중요한 경우가 많아 많은 플랫폼은 AV1을 오프라인 트랜스코딩에만 사용하고 실시간 시나리오에서는 H.264를 유지합니다.

6. 자주 묻는 질문

Q1: H.265가 기술적으로 우월한데, 왜 채택이 H.264보다 느렸나요?

주로 라이선스 때문입니다. H.265는 복잡하고 상한이 없는 비용 구조를 가진 여러 특허 풀이 관여해 브라우저 벤더와 콘텐츠 플랫폼을 주춤하게 만듭니다. 일부 브라우저 제조사는 라이선스 우려로 H.265의 네이티브 지원을 명시적으로 거절했습니다. 초기 하드웨어 디코딩 지원 부족도 모바일 채택을 늦추었습니다. 최근에야 주류 칩이 일반적으로 H.265 하드웨어 디코딩을 통합하기 시작했지만 웹 측 지원은 여전히 일관되지 않습니다. 반면 H.264 라이선스는 MPEG-LA가 예측 가능한 비용으로 중앙 집중식으로 관리해 지금까지 가장 널리 배포된 코덱 표준이 되었습니다.

Q2: AV1은 언제 H.265를 완전히 대체하나요?

AV1 디코딩은 차세대 하드웨어와 주요 브라우저에서 지원되지만 실시간 부호화는 여전히 계산 비용이 큽니다. VOD 전송은 확장하기 시작했지만 라이브 스트리밍은 낮은 부호화 지연을 요구해 여전히 주로 H.264에 의존합니다. 라이브 스트리밍에서의 광범위한 사용은 하드웨어 인코더가 성숙하고 부호화 속도 최적화가 개선된 후에야 기대됩니다. 단기적으로는 AV1과 H.265가 공존하며 클라이언트 디코딩 능력에 따라 적응형으로 전환하는 시나리오가 더 유력합니다. AV1 부호화 속도도 꾸준히 개선되고 있어 SVT-AV1 같은 오픈 소스 인코더가 부호화 시간을 크게 줄였고 추가적인 개선이 기대됩니다.

Q3: 왜 VP9은 주로 웹에 국한되나요?

VP9의 하드웨어 디코딩 범위는 비교적 제한적이며 주로 Chromium 기반 브라우저의 소프트웨어 디코딩에 의존합니다. 데스크톱 플레이어와 네이티브 모바일 앱에서는 H.264와 H.265가 더 나은 하드웨어 지원과 더 낮은 전력 소비를 누립니다. VP9은 H.264 같은 크로스 플랫폼 하드웨어 디코딩 생태계를 구축하지 못해 주로 웹 비디오 포맷으로 남아 있습니다. 그러나 VP9은 AV1의 길을 열어주었고 그 기술적 아이디어의 많은 부분이 AV1에서 계속되고 업그레이드됩니다. 일부 플랫폼은 VP9과 AV1 버전을 동시에 제공하며 VP9에서 AV1로 점진적 전환합니다.

7. 결론

비디오 코덱의 발전은 압축 효율과 구현 비용 사이의 끊임없는 균형입니다. 포괄적인 호환성을 가진 H.264는 오늘날 가장 안전한 선택이고, H.265는 대역폭에 민감한 UHD 시나리오에서 뛰어나지만 라이선스 제약이 채택을 제한하며, VP9과 AV1은 로열티 없는 방향을 대표하고 AV1이 차세대 스트리밍의 핵심으로 부상하고 있습니다.

코덱을 선택할 때는 최신 표준을 좇기보다 대상 재생 환경, 대역폭 비용, 저장 용량, 계산 오버헤드를 고려하세요. 호환성, 효율, 비용 사이의 올바른 균형을 찾는 것이 공학적 최적입니다. 각 코덱의 적용 한계를 이해하는 것은 어느 것이 최신인지 외우는 것보다 가치 있습니다. AV1에 대한 하드웨어 지원이 성숙하고 부호화 도구가 최적화됨에 따라 세대 간 비용 격차는 좁혀지겠지만 호환성, 효율, 라이선스 간의 근본적 트레이드오프는 지속될 것입니다. 이러한 역학에 대해 정보를 얻는 것이 시간이 지남에 따라 건전한 코덱 결정을 내리는 최선의 방법입니다.

관련 글:

• 비디오 압축 가이드: 화질을 유지하면서 크기를 줄이는 방법
• FFmpeg Video Compression: CRF vs CBR vs VBR Explained