read: fail

넷플릭스는 전 세계 아티스트들이 협업할 수 있는 클라우드 스튜디오를 개발했습니다. 이 과정에서 Content Drive(CDrive)라는 메타데이터 저장 서비스를 구축하여 수십억 개의 미디어 파일을 효율적으로 관리합니다. CDrive는 파일 관리, 접근 제어, 협업 기능을 제공하며, CockroachDB를 사용해 강력한 일관성을 보장합니다. 미래 포스트에서는 검색 기능과 버전 관리에 대해 다룰 예정입니다.

넷플릭스는 분산 카운터 추상화 서비스를 통해 대규모로 분산 카운팅을 가능하게 하며, 이는 고성능과 저지연을 요구하는 다양한 사용 사례를 지원합니다. 이 기술은 베스트-에포트와 결국 일관성 카운터를 포함하여 사용자가 필요에 따라 선택할 수 있도록 설계되었습니다.

넷플릭스는 분산 카운팅을 위해 분산 카운터 추상화 서비스를 개발했습니다. 이 서비스는 고처리량과 저지연을 필요로 하는 다양한 카운팅 요구 사항을 충족시키기 위해 설계되었습니다. 사용자는 베스트 에포트, 이벤추얼리 컨시스턴트, 정확한 카운팅 모드 중에서 선택할 수 있습니다.

저자는 고등학교 졸업 후 데이터 과학이나 분석에 대해 들어본 적이 없었지만, 대학의 오픈 데이에서 데이터 과학을 우연히 발견하고 이 분야로 진로를 변경했습니다. SQL, 파이썬, 통계 개념 등을 활용하여 데이터 분야에 진입할 수 있었던 주요 자원과 실천법을 공유합니다.

넷플릭스는 파트너 관계를 강화하고, 계약 관리를 중앙화하여 금융 거래를 자동화함으로써 서비스 확장을 도모하고 있습니다. 이를 통해 재무 결산을 3-5일 내에 마칠 수 있으며, CockroachDB를 사용하여 데이터를 체계적으로 관리합니다. 새로운 도구는 사용이 간편하며, 다양한 기능을 통해 파트너 보상을 계산합니다.

Netflix의 워크벤치에서 JupyterLab UI가 특정 노트북을 실행할 때 느려지는 문제가 보고되었습니다. 조사 결과, jupyter_resource_usage 확장 기능이 문제의 원인으로 밝혀졌으며, 이를 비활성화함으로써 문제가 해결되었습니다. 이 사례는 더 많은 CPU가 오히려 성능을 저하시킬 수 있음을 보여주는 흥미로운 예입니다.

넷플릭스는 대용량 시계열 이벤트 데이터를 효율적으로 저장하고 조회하기 위해 시계열 데이터 추상화 계층을 개발했습니다. 이 시스템은 초당 최대 1000만 건의 쓰기를 처리하며, 페타바이트 규모의 데이터를 낮은 지연 시간으로 관리합니다. 또한, 글로벌 읽기 및 쓰기, 비용 효율적인 장기 데이터 보존 등을 지원합니다.

넷플릭스 앱이 스트리밍 중에 충돌할 때, 모든 충돌이 사용자 경험에 심각한 영향을 주는 것은 아닙니다. 이 문서는 앱의 다양한 상태와 필요한 자원을 설명하고, 충돌을 '고영향'과 '저영향'으로 분류하는 규칙을 정의합니다. 최근 개선된 충돌 분류 방법은 실제 서비스 개선에 큰 도움이 되었습니다.

넷플릭스는 다양한 데이터베이스 사용으로 인한 도전을 해결하기 위해 키-값(Key-Value, KV) 데이터 추상화 계층을 개발했습니다. 이 계층은 데이터 접근을 단순화하고 인프라의 신뢰성을 향상시키며, 다중 데이터 저장소와 호환됩니다. 또한, CRUD API를 제공하여 대용량 데이터 처리와 성능 최적화를 지원합니다.

넷플릭스의 TV 플레이어 팀은 실시간으로 재생 문제를 자동 해결하는 진단 도구를 개발하여 사용자의 불만을 줄이고, 스트리밍 경험을 개선하였습니다. 이 기능은 고객 지원의 필요성을 줄이고, 넷플릭스가 스트리밍 기술을 지속적으로 개선할 수 있는 통찰력을 제공합니다.

넷플릭스의 웹소켓 서버인 푸시는 애플리케이션과 지속적인 연결을 유지하며, 수백만의 동시 연결과 초당 수십만 개의 메시지를 처리합니다. 푸시는 음성 제어 및 실시간 이벤트 알림 시스템(RENO)을 지원하며, 거의 10억 개의 기기를 지원하도록 확장되었습니다. 최근에는 직접 푸시, 기기 간 메시징, 일반화된 메시징 프로토콜 등의 기능이 추가되었습니다.

Netflix가 Linux 커널을 모니터링하고 CPU 자원을 경쟁하는 프로세스나 컨테이너를 식별하여 다른 작업의 성능에 영향을 주는 '시끄러운 이웃' 문제를 해결하기 위해 eBPF를 사용하는 방법을 설명합니다. 이 기술은 성능 최적화와 CPU 분리 전략에 대한 통찰력을 제공합니다.

넷플릭스는 장기적인 회원 만족을 목표로 하며, 이를 위해 개인화 추천 알고리즘을 중요하게 활용합니다. 추천 시스템은 컨텍스트 밴딧 문제로 보고, 다양한 피드백 신호를 통해 보상 함수를 정의하고 최적화합니다. 이 과정에서 지연된 피드백과 온라인-오프라인 메트릭 차이를 해결하는 것이 중요한 도전 과제입니다.

이 연구는 단기적인 결과를 개선하는 처리가 장기적인 결과에도 도움이 되는지, 또는 여러 단기 결과를 장기 이익과 최적으로 교환하는 방법을 다룹니다. Netflix에서는 실험의 분산된 실천에 적합한 선형 구조 모델을 제공하는 세 가지 추정기, 즉 TC, JIVE, LIML을 제안하여 대리 지표와 핵심 지표 간의 편향을 극복합니다.