Delta Lake. Современные архитектуры озер данных

Упавшее задание оставляет в хранилище обрывок файла, и отчет считает часть данных дважды. Схема таблицы меняется без предупреждения, таблицы распадаются на тысячи мелких файлов, а данные приходится копировать для каждой команды. Это практическое руководство показывает, как Delta Lake решает такие проблемы надежности. Книга пригодится инженерам данных, специалистам data science и аналитикам, которые строят озера-хранилища и конвейеры данных в промышленных масштабах. Авторы сопровождают Delta Lake и внедряют его в компаниях. Поэтому, помимо команд, они объясняют, почему формат устроен именно так. Вы узнаете, как ACID-транзакции и журнал транзакций делают озеро данных надежным, как совместить пакетную и потоковую обработку и как работать с Delta Lake с Apache Spark и без него.