- #SkladchinaVip
- #1
[МФТИ] Профессия Data Engineer [Гайк Инанц, Олег Ивченко]
- Ссылка на картинку
-
Почему Data Engineering?
- Спрос
Спрос на квалифицированных инженеровпо обработке данных намного превышает предложение - Работа удаленно
Возможно работать как в офисе, так и удаленно - Математический барьер
Сильно ниже, чем в data science - Data engineering
– фундамент любой data-driven компании - Зарплаты
Одна из самых высоких заработных плат - Востребованность в будущем
Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством
- собирает информацию о продукте и/или клиентах из разных источников
- сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше
- организовывает безопасное хранение данных, на основании которых принимаются
взвешенные бизнес-решения и создаются конкурентоспособные продукты
- Для аналитиков
Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу - Для начинающих IT-специалистов
Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста - Для практикующих разработчиков
Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше
- Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python
- Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
- Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения
- Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере
- Пользоваться распределенной файловой системой
- Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
- Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать
Показать больше