Netflix и Spotify перестраивают инфраструктуру под облако и AI
Netflix перешёл на open-source систему Kueue для выполнения распределённых задач, заменив в-house решение, которое с годами стало устаревшим. Компания перенесла большую часть batch-работ на Kueue, реализовав функциональность, ранее разработанную самостоятельно, и получив доступ к новым возможностям, которые бы стоили дорого интегрировать в собственную систему. В то же время Spotify представило архитектуру внешнего индексирования для Apache Parquet, позволяющую выполнять запросы с низкой задержкой без копирования данных в операционные базы — ключевое решение для поддержки аналитики, ML и онлайн-сервисов из одного хранилища.
Инфраструктура и DevOps: тренды 2026 и архитектурные изменения
InfoQ проводит обсуждение ключевых трендов в облачных и DevOps-решениях, включая влияние AI, устойчивость систем, платформы, FinOps и цифровую суверенность. В рамках этого процесса создаётся ежегодный отчёт 2026 года, а также аудиоверсия, где эксперты делятся практическими историями. В то же время MCP 2026-07-28 упрощает архитектуру, убирая handshake и добавляя заголовки методов и инструментов — что вызвало споры: это возвращение к REST или естественное развитие стандарта. Также David Chisnall представил, как CHERI-архитектура обеспечивает безопасность памяти и изоляцию без масштабных переписываний кода, включая применение в микроконтроллерах.
Инструменты и практики для разработчиков
Для начинающих разработчиков доступны простые способы установки Python на Windows — через официальный установщик, WinGet, uv или Miniconda. Также представлены практические руководства по вкладке в open-source-проекты, включая выбор подходящего проекта, git-механики и взаимодействие с сообществом. Для улучшения интуиции по статистике — три визуальных доказательства центральной предельной теоремы. В то же время JetBrains описал, как начало централизации расходов на AI позволило контролировать рост затрат в 10 раз за шесть месяцев, сохранив при этом свободу выбора инструментов для команд.
AI и инфраструктура: от токенов до доверия в цепочке
Meryem Arik показала, как можно снизить стоимость инференса LLM на порядки, оптимизируя архитектуру: от выбора оборудования до стратегий декодирования и перезапуска очередей. IBM и Red Hat расширили Lightwell, добавив коммерческие решения для обеспечения доверия и управления в цепочке поставок AI-программного обеспечения. В то же время Netflix перестроил систему Service Topology — карту зависимостей сервисов — для масштабирования в реальном времени, внедрив три этапа обработки, передачу backpressure через Kafka и замену gRPC на server-sent events для высокопроизводительных внутренних передач.
Коротко
- Netflix заменило в-house решение на open-source Kueue для batch-задач, получив новые возможности.
- Spotify внедрило внешнее индексирование Parquet для низкой задержки без копирования данных.
- InfoQ собирает тренды 2026: AI, устойчивость, FinOps, суверенность — в отчёте и подкасте.
- MCP 2026 упрощает архитектуру, вызвав споры — это REST или естественное развитие?
- CHERI обеспечивает безопасность памяти без масштабных изменений кода.
- JetBrains централизовал AI-расходы, сохранив свободу выбора инструментов.
- Meryem Arik показала, как снизить стоимость LLM-инференса на порядки.
- IBM и Red Hat расширили Lightwell для управления AI-циепочками.
- Netflix перестроил Service Topology для масштабирования с использованием Kafka и SSE.
Что где прочитали
- InfoQ AI/ML: Netflix Adopts Cloud-Native Job Queueing System Kueue to Replace an In-House Solution
- InfoQ AI/ML: Spotify Builds External Index to Enable Low Latency Point Queries on Its Data Lake
- KDnuggets: Building an End-to-End Data Science Portfolio Project
- KDnuggets: 5 Easy Ways to Install Python on Windows
- InfoQ AI/ML: Article: InfoQ Cloud and DevOps Trends Report - 2026
- InfoQ AI/ML: Podcast: Cloud and DevOps InfoQ Trends Report 2026: AI, Resilience, Platforms, FinOps, and Sovereignty
- InfoQ AI/ML: Presentation: Adopting Memory-Safety and Fine-Grained Compartmentalisation with CHERI
- InfoQ AI/ML: MCP Goes Stateless, and Developers Ask Whether That Just Makes It an API Again
- KD Nuggets Tutorials: The Ultimate Guide to Contributing to Open Source Projects
- InfoQ AI/ML: How Netflix Scaled its Real-Time Service Map
- KD Nuggets Tutorials: 3 Visual Proofs of the Central Limit Theorem to Build Your Intuition
- InfoQ AI/ML: IBM and Red Hat Expand Lightwell to Strengthen Trust and Governance for AI-Era Open Source
- InfoQ AI/ML: Presentation: Producing the World's Cheapest Tokens: A How-to Guide
- InfoQ AI/ML: JetBrains Details its First Steps to Bring Rapidly Growing AI Spend under Control