read: fail

IT 업계는 분산 시스템의 도전과제, 특히 신뢰성과 실패 문제를 해결하기 위해 고군분투해왔습니다. 이에 대한 대응으로 셀 기반 아키텍처가 등장했으며, 이는 시스템의 격리와 실패를 관리하는 데 도움을 줍니다. 이 기사 시리즈는 현대 분산 시스템에 셀 기반 아키텍처의 이점을 소개합니다.

베른트 뤼커와의 팟캐스트에서는 프로세스 오케스트레이션이 비즈니스 문제를 해결하는 강력한 도구로서, 분산된 비동기 환경에서의 중요성을 강조합니다. 이 기술은 복잡한 시스템을 이해하고 관리할 수 있는 시각적 도구와 아키텍트의 역할이 중요하다는 점을 드러냅니다. 또한, 새로운 개발자 교육의 어려움과 점진적인 학습의 중요성을 언급합니다.

세포 기반 아키텍처는 시스템의 회복력을 높이고, 장애의 영향을 최소화합니다. 이 아키텍처는 가용성을 향상시키고, 복구 시간을 단축하는 데 도움을 줍니다. 또한, 확장성과 비용 절감에도 기여하며, 엄격한 가용성 요구 사항이나 다중 테넌트 환경에 적합합니다.

우버가 MySQL 데이터베이스를 5.7버전에서 8.0버전으로 업그레이드하여 성능과 동시성을 크게 향상시켰습니다. 이 과정에서 2,100개 클러스터와 16,000개 노드가 업그레이드되었으며, 이로 인해 삽입 지연 시간이 29% 감소하고, 읽기 속도는 33% 빨라졌습니다. 이 업그레이드는 다른 기업들에게도 중요한 통찰을 제공합니다.

OpenAI가 실시간 API 공개 베타 버전을 출시하여 자연스러운 음성 대화를 가능하게 했습니다. 이 API는 음성 인식과 합성을 하나로 통합하며, 여섯 가지 음성을 지원합니다. 개발자들은 이를 통해 음성 입력과 출력을 자유롭게 다룰 수 있으며, 비용에 대한 우려도 제기되고 있습니다.

최근 자바 생태계에서는 JDK 24, 톰캣 11.0, 카산드라 5.0 등 다양한 업데이트와 릴리스가 있었습니다. 특히, JDK 24에는 여러 JEPs가 목표로 하고 있으며, 이클립스스토어 2.0과 파야라 플랫폼의 새로운 버전도 출시되었습니다. 이 외에도 스프링 프레임워크와 자카르타 EE의 발전이 주목됩니다.

클라우드플레어가 사기 탐지를 위해 순간 ID라는 새로운 기능을 도입했습니다. 이 ID는 사용자의 행동을 IP 주소가 아닌 특정 클라이언트에 연결하여 사기 활동을 식별합니다. 순간 ID는 자주 변경되며 사용자의 프라이버시를 보호합니다. 이 기능은 사기성 계정 생성 방지 등에 사용될 수 있습니다.

우버는 자사의 배치 데이터 분석 및 머신러닝 플랫폼을 온프레미스에서 구글 클라우드 플랫폼(GCP)으로 이전하고 있습니다. 이 플랫폼은 하루에 500,000개의 프레스토 쿼리와 370,000개의 아파치 스파크 애플리케이션을 처리하며, 1.5엑사바이트의 데이터를 관리합니다. 데이터 메시라는 서비스를 개발하여 데이터 자원을 분산 소유와 도메인별 제어 원칙에 따라 조직화하고 있습니다.

넷플릭스는 글로벌 복제 전략을 통해 데이터를 전 세계 네 지역에 분산시켜, 지역 장애가 발생해도 시스템의 신뢰성을 높이고 지연 시간을 최소화합니다. EVCache는 이러한 전략의 핵심으로, 대규모 데이터를 효율적으로 관리하며, 전 세계적으로 매우 높은 처리량과 확장성을 자랑합니다.

DevOps 변혁은 많은 기업에게 지속적인 도전이며, 초기 도입 후 10-12년이 지나도 여전히 80%가 변혁 중입니다. 개발자들은 코딩 이외의 책임을 지면서 인지 부하가 증가하고 있으며, 이로 인해 개발자 경험을 개선하는 데에 더욱 집중하고 있습니다. 조직 구조와 전통적인 사고방식이 이러한 변화의 장애물로 작용하고 있습니다.

Fermyon의 소프트웨어 엔지니어 Danielle Lancashire는 웹어셈블리가 서버리스 컴퓨팅으로의 진화 가능성을 제시했습니다. 그녀는 웹어셈블리가 기존 컨테이너보다 더 빠르고, 경제적이며, 환경적으로도 이점이 있다고 강조했습니다. 이 기술은 작고, 이동이 용이하며, 시작과 정지가 빠르고, 높은 격리성을 제공합니다.

NVIDIA가 텍스트와 비전 언어 작업에서 모두 뛰어난 성능을 보이는 오픈 소스 멀티모달 대형 언어 모델인 NVLM 1.0을 공개했습니다. 이 모델은 다양한 멀티모달 작업을 처리할 수 있으며, 모델의 가중치는 Hugging Face에서 이용 가능합니다.

1BRC(10억 행 챌린지)는 자바 애플리케이션의 데이터 처리 속도를 겨루는 대회였습니다. 최적화 기법과 커뮤니티의 협력을 통해, 최고 기록은 단 1.5초에 달성되었습니다. 이 기법들은 대용량 데이터를 처리하는 많은 자바 애플리케이션에 적용 가능합니다.

오픈AI는 2024년 SF 개발자의 날에서 실시간 API, 기능 호출 기능, 비전 모델의 파인 튜닝 확장, 그리고 모델 증류 API 및 프롬프트 캐싱을 포함한 여러 새로운 기능을 소개했습니다. 이 기능들은 가상 비서와 번역 서비스 같은 애플리케이션에 즉각적인 반응을 제공합니다.

리눅스 6.12 버전에서는 PREEMPT_RT 패치를 통해 모든 지원 아키텍처에서 실시간 처리를 공식 지원할 예정입니다. 이로 인해 리눅스 커널은 외부 이벤트에 대해 결정적인 시간 안에 낮은 지연시간으로 반응할 수 있게 됩니다. 특히, 오디오 및 게이밍 성능 향상에 도움을 줄 수 있습니다.

자한 말카니가 메타에서 트위터와 경쟁하기 위해 쓰레드 마이크로블로깅 앱을 어떻게 5개월 만에 작은 팀으로 출시했는지 공유했습니다. 인스타그램의 디자인을 차용하고 창작자의 요구에 집중한 텍스트 중심의 소셜 네트워크를 만드는 것이 목표였습니다. 이 발표는 기존 인프라를 활용하고 기회를 포착하여 신속하게 새로운 소셜 네트워크 제품을 구축하고 출시한 사례 연구를 제공합니다.

데이터 메시 조직에서는 주로 세 가지 역할이 있습니다: 생산자, 소비자, 그리고 플랫폼 팀. 생산자는 트랜잭션 데이터를 생성하고, 소비자는 이를 분석해 인사이트를 도출합니다. 플랫폼 팀은 이들을 지원하기 위해 필요한 도구와 인프라를 제공합니다. 데이터를 제품처럼 다루어 품질과 소유권을 명확히 하는 것이 중요하며, 지속적인 실험과 측정을 통해 사용자의 요구를 충족시키는 것이 필요합니다.

허깅 페이스가 오픈 LLM 리더보드의 업그레이드 버전을 출시했습니다. 이 플랫폼은 AI 커뮤니티에 다양한 목적을 제공하며, 특히 최신 오픈 소스 모델을 식별하고, 최고의 모델과 비교하여 자신의 작업을 평가할 수 있는 기회를 제공합니다. 또한, 리더보드 v2는 점수 정규화, 데이터 오염 탐지 기술 개선, 긴 컨텍스트 능력의 중요성 증대 등의 변화를 포함하고 있습니다.

JFrog이 소프트웨어 공급망 플랫폼에 실시간 취약점 탐지 기능을 추가한 JFrog Runtime을 도입했습니다. 이는 쿠버네티스 클러스터의 보안을 강화하고, AI/ML 모델 관리 및 안전한 OSS 카탈로그를 포함하여 소프트웨어 개발 및 배포의 보안 조치를 향상시킵니다. 또한, JFrog Runtime은 컨테이너에서 실행되는 동적 애플리케이션의 보안을 자동화하여 관리를 단순화합니다.

2024년 데이터 팀 설문 조사에 따르면, 데이터 팀은 LLM의 도입이 느리고, 원격 근무의 영향은 중립적이며, 전달된 가치에 대한 인식이 전반적으로 감소했습니다. 데이터 운영 능력이 부족하고, 운영 엔지니어의 역할 정의에 일관성이 없습니다. 높은 성과를 내는 팀은 최선의 관행을 따르고 있으며, 이는 성공적인 팀에게 여전히 필수적입니다.