Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Студенческий форум > МозгоБЛУДие > (2019) Data Engineer – самая сексуальная профессия


Автор: VAL 3.02.2020 20:29
(2019) Data Engineer – самая сексуальная профессия XXI века
Источник: https://habr.com/ru/company/newprolab/blog/477414/
Автор: elena_newprolab 26 ноября 2019 в 11:17

QUOTE
Недавно в разговоре с HR’ами одной крупной компании прозвучало «Каждый data engineer, приходящий к нам на интервью, мечтает стать data scientist’ом». Меня это тогда сильно удивило и стало очень обидно за дата инженера, честно говоря.

Мы здесь (и не только) уже публиковали несколько материалов про data engineer’ов и их ценность для бизнеса – например, интервью с Николаем Марковым или «4 причины стать data engineer», но это было давно. Время идет, материал накапливается, мир развивается, поэтому есть что рассказать.

Возможно, надо сначала коротко напомнить, из чего складывается круг задач дата инженера (плюс-минус, конечно, т.к. каждая компания может добавлять что-то свое\ что-то из перечисленного может выполняться другими сотрудниками):


QUOTE
— построение стабильных пайплайнов, делающих данные доступными для всех пользователей внутри компании;
— сбор, очистка и предобработка данных как часть ETL или ELT процесса;
— работа с DBA для создания хранилищ данных;
— использование фреймворков и микросервисов для обслуживания данных;
— мониторинг качества данных;
— вывод моделей в прод.

Рассмотрим рынки труда США, Германии и пообщаемся с местными, московскими, data engineer’ами.

Автор: VAL 23.09.2020 15:06
doh.gif

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)