JPEG XS 웨이블릿 기술
대부분의 사람들은 JPEG XS 저지연 압축 JPEG XS 생각합니다. 실제로 그렇습니다. 하지만 이 코덱의 웨이블릿 아키텍처에는 단순한 압축을 훨씬 뛰어넘는 기능이 내장되어 있습니다. 바로 모든 수신기가 동일한 단일 압축 스트림에서 전체 4K 프레임, 내장된 HD 레이어, 또는 특정 크롭 영역을 독립적으로 디코딩할 수 있는 기능입니다. 이것이 바로 ‘웨이블릿 확장성’이며, 이는 IP 통한 비디오 배포에 대한 기존의 인식을 완전히 바꿔놓습니다.
왜 웨이블릿이 다른가
기존의 비디오 코덱들 — H.264, H.265, 심지어 JPEG 2000 — 은 프레임이나 블록 간의 차이를 예측하여 프레임을 압축합니다. 이미지의 특정 부분을 디코딩하려면, 수신 측은 일반적으로 해당 프레임에 대한 전체 압축 비트스트림이 필요합니다.
JPEG XS 웨이블릿 기반 코덱입니다. 웨이블릿 변환은 이미지를 주파수 서브밴드의 계층 구조로 분해합니다. 즉, 이미지의 전반적인 구조를 담고 있는 저주파 성분과, 미세한 디테일을 더하는 점차 높은 주파수의 성분들로 나뉩니다. 이러한 계층 구조는 압축된 비트스트림에서도 그대로 유지됩니다.
실제로 이것이 의미하는 바는
JPEG XS 웨이블릿 분해란, 하나의 압축된 비트스트림에 다음 요소들이 동시에 포함된다는 것을 의미합니다:
- 다음 전체 해상도 이미지 — 4K, 1080p 또는 원본 해상도가 무엇이든
- 내장된 반해상도 레이어 — 예를 들어 4K 스트림에서 추출한 HD
- 내장된 1/4 해상도 레이어 — 그리고 계층 구조 아래로 계속해서
- ~을(를) 프레임의— 전체 이미지를 디코딩하지 않고 프레임의 공간적 하위 영역만 디코딩하는 기능
중요한 점은, 이러한 하위 영상들이 별도의 스트림이 아니라는 것입니다. 이들은 하나의 압축된 비트스트림에 내장되어 있습니다. 4K 소스에서 HD 화질만 필요한 수신자는 기존 스트림을 부분적으로 디코딩함으로써 이를 처리할 수 있습니다. 즉, 송신 측에서 재인코딩할 필요가 없고, 별도의 네트워크 경로나 추가적인 대역폭도 필요하지 않습니다.
PROXY 스트림 — 구체적인 예시
실제 제품에서 웨이블릿 확장성의 가장 즉각적으로 유용한 적용 사례는 PROXY 스트림입니다. 다음은 intoPIX Titanium FPGA EDK 환경에서 이 기능이 작동하는 방식입니다:
카메라 또는 인코더는 단일 1 GbE 통해 MAIN 스트림 (4K60 JPEG XS, 일반적으로 500~700 Mbps)을 전송합니다. 동시에, 동일한 송신기는 별도의 인코딩 단계 없이 인코딩 과정에서 웨이블릿 계수에서 직접 파생된, qHD 해상도(960×540)의 약 40~50 Mbps 속도의 보조 스트림인 PROXY 스트림을 생성할 수 있습니다.
두 스트림 모두 동일한 단일 GbE 통해 전송됩니다. 수신기는 다음을 사용하여 각 스트림을 독립적으로 구독합니다. SDP 또는NMOS IS-04/IS-05를 사용하여 두 스트림 중 하나에 독립적으로 구독합니다. PTZ 컨트롤러나 멀티뷰어는 PROXY에만 구독하며, 필요 없는 4K 데이터는 절대 수신하지 않습니다. 프로덕션 스위처는 MAIN에 구독합니다. 서로에게 영향을 미치지 않습니다.
MAIN 스트림 내 디코딩 — 4K, HD, qHD 또는 크롭
PROXY는 별도의 스트림이지만, MAIN 스트림 자체에도 내장된 확장성이 있습니다. MAIN 스트림을 디코딩하는 수신기는 단순히 더 적은 수의 웨이블릿 서브밴드를 처리함으로써 해상도를 낮춰 디코딩할 수 있습니다:
- 풀 4K— 모든 서브밴드 디코딩, 모든 디테일, 전체 처리 비용
- 4K에서 HD(또는 qHD)로 변환 — 저주파 대역만 디코딩하여, 디코딩 복잡도를 약 1/4로 줄이면서 유효한 1920×1080 해상도의 영상을 얻거나, 디코딩 복잡도를 약 1/16로 줄이면서 960×540 해상도의 영상을 얻을 수 있습니다.
- 공간적 크롭 — 전체 이미지를 디코딩하지 않고 프레임 내 특정 관심 영역에 해당하는 서브밴드만 디코딩하는 기능 — PTZ 디지털 줌, 포렌식 분석 또는 관심 영역(ROI) 워크플로우에 유용함
이는 처리 자원이 제한적인 수신기— 즉, 임베디드 시스템, SoC 또는 전체 4K 디코딩 파이프라인을 구축하는 비용 없이 4K 영상을 모니터링해야 하는 애플리케이션에 특히 적합합니다.
| 기능 | JPEG XS 웨이블릿) | H.264 / H.265 |
|---|---|---|
| 서브프레임 지연 | ✓ (줄 단위) | 높은 지연 시간 |
| 해상도 확장성 | ✓ 본질적인 | 한정판 / 프로필 |
| 공간적 작물 디코딩 | ✓ | — |
| MAIN 인코딩의 프록시 | ✓ 재인코딩 없음 | 재인코딩이 필요합니다 |
| 시각적으로 무손실 | ✓ | 손실 압축 |
| FPGA 구현 가능 | ✓ 게이트 수가 적음 | 매우 복잡함 |
참고: JPEG 2000 웨이블릿을 사용하고 확장성을 지원하지만, 하드웨어 및 소프트웨어 인코딩의 복잡성과 지연 시간으로 인해 JPEG XS 5ms 미만의 ‘글래스-투-글래스’ 목표에는 적합하지 않습니다. JPEG XS 최소한의 게이트 수로 하드웨어에 구현될 수 있도록 특별히 JPEG XS 때문에, 예를 들어 FPGA 큰 프로그래머블 로직 공간을 차지하지 FPGA 적용될 수 있습니다.
실제 활용 사례
카메라 → 제작 스위처 + 멀티뷰어
수술용 카메라 → 수술실 디스플레이 + 원격 모니터링
4K 엔드포인트 + PTZ 컨트롤러
고해상도 센서 + 저지연 제어 루프
intoPIX 서비스
웨이블릿의 확장성은 단순한 이론적 개념이 아닙니다. 이는 독립형 코덱 IP 완전한 임베디드 개발 키트 및 턴키 솔루션에 이르기까지, intoPIX 전체 intoPIX 걸쳐 구현되어 제공되고 있습니다.
코덱 IP 및 SDKs
- TicoXS — JPEG XS 프로파일 인코더 및 디코더로,IP x86-64 및 ARM SDK 소프트웨어 SDK 형태로 제공됩니다. 전체 해상도 확장성을 지원하며, 인코딩 과정에서 웨이블릿을 기반으로 PROXY 스트림을 생성할 수 있습니다.
- TicoXS FIP — JPEG XS + TDC (Flawless Imaging ) 인코더 및 디코더. TicoXS와 동일한 웨이블릿 확장성을 갖추며, 4:4:4에서 최대의 충실도가 요구되는 촬영 및 마스터링 워크플로우를 위해 설계되었습니다.
- TicoRAW — RAW 데이터를 위한 웨이블릿 기반 코덱으로, 카메라 RAW 동일한 확장성 원칙을 적용합니다. 전체 해상도에서 먼저 디모자이징을 수행하지 않고도 압축된 RAW 직접 해상도와 관심 영역(ROI)의 확장성을 지원합니다.
IP - 임베디드 개발 키트 / 소프트웨어 개발 키트
- Titanium FPGA EDK — AMD Zynq Ultrascale+용 ST 2110 IPMX 완전 개발 키트. TicoXS 및 TicoXS FIP는 프로그래머블 로직 내에서 FPGA IP 구동되며, PROXY 스트림 생성 기능과 독립적인 NMOS 선택형 스트림 구독 기능이 포함되어 있습니다. TX 및 RX 패키지가 제공됩니다. 내장된 1G GigE 포트를 통해 구동되므로 외부 PHY나 NIC가 필요하지 않습니다.
- Titanium EDK — Nvidia Jetson, Qualcomm, Rockchip 등을 포함한 ARM64 SoC용 ST 2110 IPMX 개발 키트. TicoXS는 ARM GPU 가속되는 소프트웨어 코덱으로 구동됩니다. PROXY 스트림 생성 및 해상도 가변 디코딩을 포함하여 완벽한 웨이블릿 확장성을 지원합니다.
- Titanium SDK — x86-64 SDK Windows 및 Linux 워크스테이션 및 SDK ST 2110 IPMX SDK . 완전한 웨이블릿 확장성을 갖춘 CPU GPU TicoXS 인코딩 및 디코딩, PROXY 스트림 지원, 모니터링 워크플로우를 위한 해상도 선택형 디코딩 기능을 제공합니다.
더 알아보기
더 알아보기
디자인에 JPEG XS 확장성을 적용하고 싶으신가요?
당사의 코덱 및 Titanium SDKs 대해 엔지니어에게 문의해 보세요 SDKs 지금 바로 이용 가능합니다.
관련 콘텐츠
제품: TicoXS 및 TicoXS FIP FPGA
HD 및 4K용 초고속JPEG XS IP !
JPEG XS에 대해 알아보기
JPEG XS 다른 압축 기술 간의 차이점에 대해 자세히 알아보기
