[Udemy] Непревзойденный практический инструмент Hadoop: приручите свои большие данные! (Frank Kane, Фрэнк Кейн)

The Ultimate Hands-On Hadoop: Tame your Big Data!
Data Engineering and Hadoop tutorial with MapReduce, HDFS, Spark, Flink, Hive, HBase, MongoDB, Cassandra, Kafka + more!
Чему вы научитесь:

• Разрабатывайте распределенные системы, которые управляют «большими данными», используя Hadoop и связанные с ними технологии обработки данных.
• Используйте HDFS и MapReduce для хранения и анализа данных в масштабе.
• Используйте Pig и Spark для создания сценариев для обработки данных в кластере Hadoop более сложными способами.
• Анализ реляционных данных с помощью Hive и MySQL
• Анализируйте нереляционные данные с помощью HBase, Cassandra и MongoDB.
• Интерактивный запрос данных с помощью Drill, Phoenix и Presto
• Выберите подходящую технологию хранения данных для вашего приложения
• Узнайте, как YARN, Tez, Mesos, Zookeeper, Zeppelin, Hue и Oozie управляют кластерами Hadoop.
• Публикуйте данные в свой кластер Hadoop с помощью Kafka, Sqoop и Flume.
• Использование потоковых данных с помощью Spark Streaming, Flink и Storm

Требования:

• Вам потребуется доступ к ПК с архитектурой x86 под управлением 64-разрядной версии Windows, MacOS или Linux с подключением к Интернету и не менее 8 ГБ *свободной* (не полной) оперативной памяти, если вы хотите участвовать в практических занятиях и упражнения. Если ваш ПК не соответствует этим требованиям или у вас есть только Mac на базе M1, вы все равно можете пройти курс, не выполняя практических действий.
• Некоторые действия потребуют некоторого предварительного опыта программирования, желательно на Python или Scala.
• Базовое знакомство с командной строкой Linux будет очень полезным.

Описание:
Мир Hadoop и «больших данных» может быть пугающим — сотни различных технологий с загадочными именами образуют экосистему Hadoop. С помощью этого руководства по Hadoop вы не только поймете, что это за системы и как они сочетаются друг с другом, но и познакомитесь с ними на практике и узнаете, как использовать их для решения реальных бизнес-задач!
Изучите и освойте самые популярные технологии обработки данных в этом комплексном курсе, который преподает бывший инженер и старший менеджер Amazon и IMDb. Мы выйдем далеко за рамки самого Hadoop и погрузимся во все виды распределенных систем, с которыми вам может понадобиться интегрироваться.

• Установите и работайте с реальной установкой Hadoop прямо на своем рабочем столе с помощью Hortonworks (теперь часть Cloudera) и пользовательского интерфейса Ambari.
• Управляйте большими данными в кластере с помощью HDFS и MapReduce
• Напишите программы для анализа данных в Hadoop с помощью Pig и Spark.
• Храните и запрашивайте свои данные с помощью Sqoop, Hive, MySQL, HBase, Cassandra, MongoDB, Drill, Phoenix и Presto.
• Проектируйте реальные системы с помощью экосистемы Hadoop
• Узнайте, как управлять вашим кластером с помощью YARN, Mesos, Zookeeper, Oozie, Zeppelin и Hue.
• Обрабатывайте потоковые данные в режиме реального времени с помощью Kafka, Flume, Spark Streaming, Flink и Storm.

Разработчики Spark и Hadoop очень ценятся в компаниях с большими объемами данных; это очень востребованные навыки для изучения.
Почти каждая крупная компания, в которой вы, возможно, захотите работать, тем или иным образом использует Hadoop, включая Amazon, Ebay, Facebook, Google, LinkedIn, IBM, Spotify, Twitter и Yahoo! Hadoop нужен не только технологическим компаниям; даже New York Times использует Hadoop для обработки изображений.
Этот всеобъемлющий курс охватывает более 25 различных технологий в более чем 14 часах видеолекций. Он наполнен практическими занятиями и упражнениями, так что вы получите реальный опыт использования Hadoop — это не просто теория.
В этом курсе вы найдете множество упражнений для людей любого уровня. Если вы руководитель проекта, который просто хочет выучить модные словечки, для многих занятий в курсе есть веб-интерфейсы, не требующие знаний в области программирования. Если вы знакомы с командными строками, мы также покажем вам, как с ними работать. А если вы программист, я предлагаю вам написать настоящие сценарии в системе Hadoop с использованием Scala, Pig Latin и Python.
Вы закончите этот курс с реальным глубоким пониманием Hadoop и связанных с ним распределенных систем, и вы сможете применять Hadoop для решения реальных проблем. А в конце вас ждет ценный сертификат об окончании!
Обратите внимание, что этот курс посвящен разработке приложений, а не администрированию Hadoop. Хотя вы приобретете некоторые административные навыки по пути.
Умение работать с «большими данными» — невероятно ценный навык для современных работодателей. Не оставайтесь в стороне – записывайтесь прямо сейчас!
«The Ultimate Hands-On Hadoop… стал для меня решающим открытием. Я дополнял ваш курс кучей литературы и конференций, пока мне не удалось попасть на собеседование. Могу с гордостью сказать, что я получил работу инженера по большим данным. примерно через год после того, как я начал ваш курс. Большое спасибо за весь отличный контент, который вы создали, и кристально чистые объяснения ", - Альдо Серрано.
«Честно говоря, я не был бы там, где я сейчас, без этого курса. Фрэнк упрощает сложное, помогая вам пройти через процесс на каждом этапе пути. Настоятельно рекомендуется и стоит вашего времени, особенно среда Spark. Этот курс помог мне добиться многого. лучшее понимание среды и ее возможностей. Фрэнк упрощает сложное, помогая вам в процессе на каждом этапе. Настоятельно рекомендуется и стоит вашего времени, особенно среда Spark». - Тайлер Бак
Для кого этот курс:

• Инженеры-программисты и программисты, которые хотят понять большую экосистему Hadoop и использовать ее для хранения, анализа и продажи «больших данных» в любом масштабе.
• Менеджеры проектов, программ или продуктов, которые хотят понимать жаргон и высокоуровневую архитектуру Hadoop.
• Аналитики данных и администраторы баз данных, которым интересен Hadoop и его связь с их работой.
• Системные архитекторы, которым необходимо понимать компоненты, доступные в экосистеме Hadoop, и то, как они сочетаются друг с другом.

Язык курса - Английский