DE or DIE: talks

#011 DataOps

Pasha Finkelshteyn — Tue, 20 Sep 2022 00:00:00 +0000

Механизмы DataOps What is DataOps? And How To Not Screw It Up, отличаются ли они от Data Governance. Мы обсудили практики работы с данными, нашли аналогии и различия с DevOps.

#010 Solving security problems with Data Mesh

Pasha Finkelshteyn — Wed, 7 Sep 2022 00:00:00 +0000

Обсудили статью Data Mesh / Data Product Security Pattern в которой Data Mesh рассматривается с новой стороны, как подход в котором удобно защищать данные и можно выстроить периметры data продуктов, а так же следить какие чувствительные данные кто из коллег запрашивает.

#009 State of Data Engineering 2022

Pasha Finkelshteyn — Wed, 6 Jul 2022 00:00:00 +0000

Ребята из lakeFS нарисовали красивую картинку про State of Data Engineering 2022, а мы её упомянули в дайджесте #20. С этой картинкой всё совсем непросто, так что там прямо есть что обсудить, а можно и что-то новое узнать!

#008 Replicated Log And Consensus

Pasha Finkelshteyn — Wed, 25 May 2022 00:00:00 +0000

Одна из самых сложных штук в распределённых системах — распределённый консенсус, кворум, консенсус и всё вокруг них. На удивление у нас нет общего видения того, как правильно и поэтому не только рассказываем, но и выясняем истину по ходу дела.

#007.5 Modern Data Stack

Pasha Finkelshteyn — Wed, 15 Dec 2021 00:00:00 +0000

Здесь мы обсуждаем статью How The Modern Data Stack Is Reshaping Data Engineering из дайджеста #15

#007 Future of Data Engineering

Pasha Finkelshteyn — Wed, 24 Nov 2021 00:00:00 +0000

Здесь мы обсуждаем статью The Future of the Data Engineer из дайджеста #14

Is the data engineer still the “worst seat at the table?” Thoughts on the past, present, and future of tooling, processes, and culture in our industry.

#006 Smartdata Edition

Pasha Finkelshteyn — Fri, 22 Oct 2021 00:00:00 +0000

Разговариаем про всякое — и про худи, и про DWH, и про DataLake, и про C# с LINQ'ом

#005 Why Not Airflow

Pasha Finkelshteyn — Wed, 29 Sep 2021 00:00:00 +0000

Здесь мы обсуждаем статью Why you should try something else than Airflow for data pipeline orchestration из дайджеста #12

#004 Lineage

Pasha Finkelshteyn — Wed, 1 Sep 2021 00:00:00 +0000

Здесь мы обсуждаем статью 4 Things You Need to Know When Solving for Data Quality из дайджеста #10

К нам присоединяется Сергей Ярымов, вместе с которым мы говорим про лайнэйдж, зачем он нежен, кто как его делает и, в частности, как его делает Slack.

В процессе выпуска всплыл тул sqlglot — парсер и транспайлер SQL, написанный на голом пайтоне.

#003 Qualified

Pasha Finkelshteyn — Sat, 7 Aug 2021 00:00:00 +0000

Здесь мы обсуждаем статью 4 Things You Need to Know When Solving for Data Quality из дайджеста #7

В целом обсуждаем TDD, тестирование данных и другие аспекты жизни дата инжинера, связанные с качеством

#002 Ever Changing

Pasha Finkelshteyn — Wed, 28 Jul 2021 00:00:00 +0000

По мотивам дайджеста #7

#001 Pilot

Pasha Finkelshteyn — Wed, 14 Jul 2021 00:00:00 +0000

Здесь мы обсуждаем статью и видео по мотивам недавно прошедшего Data Quality Meetup #4 из дайджеста #6

Представляемся
Разговариваем про тестирование пайплайнов

Проблемы фейковых данных:
Закономерности
Правила генерации
Опаздывающие данные
Lineage
Metadata Management
SmartData