read: fail

Netflix가 eBPF 프로그램의 최적화와 모니터링을 강화하기 위한 커맨드라인 도구인 bpftop을 발표했습니다. 이 도구는 실시간 인사이트와 평균 실행 시간, 이벤트 처리율, CPU 사용량 같은 메트릭을 제공합니다. Rust로 개발되었으며, 오픈 소스 프로젝트로 제공됩니다. eBPF의 활용 범위가 넓어지는 가운데, bpftop은 이 기술의 잠재력을 더욱 발휘할 수 있게 해줄 것입니다.

GitHub은 30,000개 이상의 풀 리퀘스트와 450만 번의 CI 실행을 관리하기 위해 병합 대기열 시스템을 개발했습니다. 이 시스템은 풀 리퀘스트를 배포 가능한 배치로 조직하고, GitHub Actions를 통해 빌드와 테스트를 실행하며, 실패한 커밋이 있는 업데이트를 방지함으로써 메인 브랜치의 무결성을 유지합니다. 2023년까지 대규모 모노레포와 프로덕션 리포지토리로 시스템을 체계적으로 이전했으며, 배포 변경에 대한 평균 시간을 33% 줄였습니다. 이는 GitHub 엔지니어에 의해 배포 변경을 위한 가장 중요한 품질 향상 중 하나로 묘사되었습니다.

Reddit이 다양한 시스템에서 관리되던 미디어 메타데이터를 AWS Aurora Postgres로 통합했습니다. 이 결정은 더 나은 디버깅 능력과 유연한 쿼리 패턴 때문이었습니다. 테이블 파티셔닝과 JSONB 형식의 사용으로 읽기 성능이 향상되었으며, 데이터 마이그레이션은 Apache Kafka를 활용한 다단계 접근 방식으로 해결했습니다.

Databrix가 업계 벤치마크에서 잘 알려진 경쟁자들을 능가하는 새로운 오픈소스 대규모 언어 모델(DBRX)을 출시했습니다. 1320억 개의 파라미터를 가진 DBRX는 언어 이해, 프로그래밍, 수학 작업에서 LLaMA 2 70B, Mixtral, Grok-1을 능가하며, Anthropic의 비공개 모델 Claude와도 경쟁적으로 비교됩니다. DBRX는 더 효율적인 전문가 혼합 구조 덕분에 추론 속도가 2배 빠르며, 훈련도 2배 더 계산 효율적입니다. 이 모델은 맞춤형 LLM의 기반으로 채택될 것으로 기대됩니다.

Elastic이 eBPF 기술을 사용하는 지속적인 프로파일링 에이전트를 OpenTelemetry(OTel) 프로젝트에 기부합니다. 이 에이전트는 애플리케이션 변경이나 재시작 없이 네트워크와 시스템 전반에 걸쳐 지속적인 프로파일링을 가능하게 하며, 성능 문제를 식별하는 데 도움을 줍니다. OTel 커뮤니티의 계산 효율성 향상과 소프트웨어의 탄소 발자국 감소를 지원하는 것이 목표입니다.

DBOS 클라우드는 TypeScript 개발자를 위한 트랜잭셔널 서버리스 플랫폼입니다. 이는 신뢰할 수 있는 실행과 '타임 트래블' 기능을 제공하며, 클라우드 네이티브 운영 체제와 쿠버네티스 대안으로 설명됩니다. PostgreSQL과 Apache Spark의 창시자들이 이 프로젝트를 시작했습니다.

애플 연구원들이 다양한 대규모 언어 모델(LLM)과 비전 기반 모델을 결합한 다중 모달 대규모 언어 모델(MLLM)을 설계하는 데 있어 중요한 설계 원칙과 교훈을 공유했습니다. 이들은 모델 아키텍처와 사전 훈련 데이터에 초점을 맞춰, 이미지 해상도, 시각적 인코더 손실 및 용량, 그리고 시각적 인코더 사전 훈련 데이터와 같은 핵심 아키텍처 결정을 분석했습니다. MM1이라는 모델을 구축하여 캡셔닝 및 시각적 질문 응답 작업에서 현재 최고 성능 모델을 능가함으로써, 그들의 설계 원칙의 효과를 입증했습니다.

CNCF의 졸업 프로젝트가 26개에 도달했으며, CloudEvents와 Falco가 최근 목록에 추가되었습니다. CloudEvents는 안정성과 느린 릴리스 리듬으로 유명한 기본 사양이며, Falco는 보안 감사 후 졸업한 클라우드 네이티브 보안 도구입니다. 또한, Tetragon과 Linkerd는 각각 커널 이벤트 관찰과 레거시 시스템의 메쉬 통합에 대한 새로운 기능을 소개했습니다.

Honeycomb의 주요 엔지니어인 Hartshorne이 회사의 성장에 따른 확장 문제를 해결하기 위해 기술 부채 작업을 우선순위에 두고 계획하는 방법을 공유했습니다. 중요한 것은 기술적 필요를 비즈니스 언어로 번역하고, 데이터를 사용해 그 영향을 정량화하는 것입니다. Honeycomb 사례를 통해 이러한 접근 방식이 어떻게 성공적인 비즈니스 성장을 가능하게 했는지 설명합니다.

2024년 소프트웨어 엔지니어링 문화와 관행에 대한 토론을 담은 팟캐스트에서는 원격/하이브리드 근무의 도전, 개발자 경험(DevEx)의 중요성 증가, 다양성의 지속적인 과제, 기술의 지속 가능성과 기후 영향, 그리고 2024년 소프트웨어 엔지니어링에 대한 희망과 바람이 논의되었습니다. 이 팟캐스트는 흥미로운 주제들로 가득 차 있어요!

HashiCorp가 Kubernetes용 Terraform Cloud Operator의 새 버전 2.3을 출시했습니다. 이 버전은 작업 공간 실행을 선언적으로 시작할 수 있는 기능을 추가했으며, Kubernetes 네이티브 경험을 제공합니다. 또한, 자원 관리의 유연성과 네임스페이스 관리, 사용자 정의 리소스와 Terraform Cloud 간의 동기화 빈도 구성 등의 주요 이점을 제공합니다. 이로써 팀들은 인프라를 보다 효율적으로 관리할 수 있게 되었습니다.

Kubernetes 생태계가 확장되면서 더 많은 CNCF 인큐베이션 프로젝트들이 졸업을 준비하고 있습니다. 이들은 클라우드 네이티브 환경을 위한 새로운 도구를 제공할 예정입니다. Backstage, Volcano, KubeFlow, Crossplane 등이 사용성, 개발자 경험, 구조적 견고함을 개선하며 졸업을 목표로 하고 있습니다. CNCF는 AI의 급속한 채택부터 클라우드 인프라의 탄소 발자국 증가에 이르기까지 미래의 도전에 대비하고자 합니다.

마린 후이젠벨드는 기술 부채를 방지하기 위해 규율이 매우 중요하다고 강조합니다. 기술 부채 목록을 눈에 띄게 하는 것과 같은 방법으로 규율을 촉진시키는 것이 좋습니다. 이러한 접근 방식은 처음에는 저항을 일으킬 수 있지만, 장기적으로는 기술 부채 관리 및 상환에 대한 논의를 더 자주 이끌어냅니다. 후이젠벨드는 즉시 해결 가능한 작은 문제를 고치기, 개선 노력에 대한 시간 제한 합의, 수동 수정 대신 자동화된 해결책 사용, 변화를 촉진하기 위해 지저분한 것들을 의도적으로 지저분하게 보이게 하기, '피부를 가진' 사람들만이 부채를 상환하도록 허용하기 등의 기술 부채를 다루는 여러 가지 방법을 제공합니다. 안정적이고 자주 변경할 필요가 없는 영역은 그대로 두는 것이 좋습니다. 기술 부채를 다루는 성공을 측정하는 방법으로는 팀의 행복도, 계획되지 않은 작업의 감소, 버그 해결 속도의 향상, 시장 출시 시간의 단축 등을 추적하는 것이 있습니다.

엘론 머스크의 회사 xAI가 3140억 개의 파라미터를 가진 AI 챗봇 Grok을 오픈 소스로 공개했습니다. 이는 연구자와 개발자들이 Grok 모델을 확장하고, OpenAI, Meta, Google, Microsoft와 같은 기술 거인들과의 경쟁에서 xAI가 그것을 발전시키는 방식에 영향을 줄 수 있게 합니다.

BlackRock의 Aladdin Wealth 제품은 매일 밤 1500만 개 이상의 포트폴리오에서 포트폴리오 분석을 수행하고, 낮 시간에는 300만 개 이상의 분석을 처리합니다. 이러한 대규모 확장을 가능하게 하는 핵심은 3000개 이상의 요인을 사용하는 복잡한 행렬-벡터 계산을 포함하는 포트폴리오 요인 위험 분석입니다. 기술적 통찰력, 분석의 일관성 유지의 중요성, 그리고 다양한 고객 요구 사항에 적응하는 것이 주요 포인트입니다.

Redis가 BSD 라이선스에서 더 제한적인 SSPLv1로 라이선스를 변경했습니다. 이로 인해 커뮤니티 내 우려가 커지고, 전 Redis 유지보수자들이 새로운 진정한 오픈 커뮤니티를 구축하기 위한 포크를 시작했습니다. 클라우드 서비스 제공업체는 더 이상 무료로 소스 코드를 사용할 수 없게 됩니다.

DigitalOcean이 앱 플랫폼에 자동 수평 확장 기능을 도입했습니다. 이 기능은 CPU 부하에 따라 서비스를 수동으로 확장하는 개발자의 부담을 줄여주며, 애플리케이션이 수요 변동을 처리하면서 리소스 사용을 최적화하고 비용을 최소화할 수 있도록 돕습니다.

Vitess 버전 19가 출시되었습니다! 이번 버전에서는 스트림 통합 모니터링을 위한 메트릭스, 멀티-테이블 삭제 작업에 대한 MySQL과의 쿼리 호환성 개선, 증분 백업 지원 등 다양한 성능 향상이 이루어졌습니다. 또한, MySQL 5.7 지원이 종료되고, Oracle의 MySQL 5.7 생명 종료 발표에 따라 사용자는 MySQL 8.0으로 업그레이드하는 것이 권장됩니다. 보안 개선과 함께, Slack, GitHub, YouTube와 같은 회사들이 생산 데이터베이스 요구사항을 충족하기 위해 Vitess를 사용하고 있습니다.

넷플릭스의 머신러닝 플랫폼 팀은 오픈소스 머신러닝 인프라 프레임워크인 메타플로우를 활용해 다양한 통합을 만들어, 여러 엔지니어링 팀이 수백 개의 메타플로우 프로젝트를 지원합니다. 이러한 통합은 프로토타입에서 생산까지의 전환을 용이하게 하며, '패스트 데이터' 라이브러리와 같은 예시를 통해 높은 성능의 데이터 접근을 가능하게 합니다. 또한, 넷플릭스는 메타플로우 확장 메커니즘을 사용하여 이러한 통합을 구현했습니다.

Microsoft가 .NET Aspire Preview 4를 발표했습니다. 이번 업데이트에는 Entity Framework 개선사항, MySQL 및 MongoDB를 위한 새로운 데이터베이스 관리 도구, Podman 지원 추가, Azure 리소스의 대폭 개선 등이 포함되어 있습니다. 매월 새로운 프리뷰 버전을 출시할 계획이며, 2024년 2분기에 안정적인 8.0 버전을 출시할 목표입니다.