Data engineering обучение

Курс от нашего партнера Express 42 Основная “фишка” программы - постоянный переход от абстрактного в конкретное: сначала дается карта конкретных практик, далее отдельные подпрактики с моментальным погружением в инструмент. Это дает эффект самостоятельного изучения, при этом карта практик уже сформирована для специалиста, и у него нет шанса попасть в колею прошлого опыта.

О курсе и о себе
Если вы хотите развиваться в DevOps практиках, какие инструменты осваивать и как добиться быстрой обратной связи от вашего продукта и быстрого взаимодействия с клиентами — приходите на наш курс!

Программа создана специально для разработчиков, тестировщиков, системных администраторов и позволит на профессиональном уровне освоить инструменты и конкретные приёмы для реализации следующих практик:
- Подход Infrastructure as Code- Практики связанные с Continious Integration/Continious Deliverty/Continious Deployment- Системы управления конфигурацией- Системы хранения артифактов- Работа с “чувствительными” данными- Observability (Monitoring, Logging, Tracing)
Примеры выпускных проектов - читайте в нашем блоге: "Проект CI/CD-системы" и "Прототип инфраструктурной конфигурации"

50 работодателей ждут лучших выпускников на собеседования
Отсев в учебных группах менее 5%
Авторская программа подготовлена опытным инженером
Партнер курса Yandex Cloud бесплатно предоставит необходимое количество ресурсов для выполнения практических заданий

Понимание ключевых способов интеграции, обработки, хранения больших данных
Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
Практические навыки разработки дата-сервисов, витрин и приложений
Знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.
После обучения Data Engineering вы станете востребованным специалистом, который:

разворачивает, налаживает и оптимизирует инструменты обработки данных
адаптирует датасеты для дальнейшей работы и аналитики
создает сервисы, которые используют результаты обработки больших объемов данных
отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

Высокая практическая направленность:

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении

Практика в Yandex Cloud

Вы отработаете практические навыки на виртуальных стендах и освоите работу с одной из популярных российских облачных платформ

Инженер данных - почему это актуально и интересно:

Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.
В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.
Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.

Карта курсов направления Data Science в OTUS

Вы пройдете весь путь разработки инфраструктурной платформы на основе Kubernetes и получите все необходимые навыки, которые позволят вам претендовать на должность платформенного инженера. Курс от нашего партнера Express 42. Инфраструктурная платформа – системы и сервисы, обеспечивающие этапы жизненного цикла цифровых продуктов: подготовку релиза, выпуск и эксплуатацию. Наличие инфраструктурной платформы позволяет команде сфокусироваться на разработке продукта, стандартизировать подходы к управлению компонентами продукта и сервисов, обеспечивающих его работу, не тратя время на построение велосипедов и рутинную автоматизацию стандартных операций для каждого компонента. Kubernetes в данном случае один из возможных инструментов для создания платформы. Однако, у него есть ряд преимуществ, которые сделали его стандартом индустрии:

Поддерживает практику «инфраструктура как код»
Имеет множество механизмов «из коробки»
У него огромная экосистема, включающая в себя большой набор инструментов для решения различного рода задач
Многие провайдеры предоставляют k8s как сервис
Есть развитое, в том числе и русскоязычное, комьюнити

В программе курса сделан акцент на экосистеме и нюансах эксплуатации Kubernetes-кластеров, т.к. именно в этом возникают сложности у компаний, которые решили перейти на свою инфраструктурную платформу.
Для кого этот курс?
Для администраторов, инфраструктурных инженеров и специалистов, понимающих, что такое DevOps. После обучения вы будете обладать квалификацией платформенного инженера и сможете самостоятельно создать инфраструктурную платформу в своей компании.
Для разработчиков. Вы будете понимать, как запущено и работает ваше приложение в различных окружениях, включая production, научитесь использовать экосистему по максимуму, отлаживать приложение и изменять процедуры развертывания и конфигурирования.
Для СТО, которые присоединились к проекту с инфраструктурной платформой или планируют ее создание для продуктов своей компании. Вы научитесь проводить R&D, выбирать подходящие инструменты из возможностей и ограничений, эффективно масштабировать надёжную инфраструктуру под растущие потребности бизнеса и правильно освобождать продуктовые команды от части задач администрирования/автоматизации и фокусировать их на развитии продукта.

Курс состоит из 4-х частей: 1.Инфраструктурная платформа и ее связь с DevOps-практиками. Вы освоите основы Kubernetes и разберете, к чему будете стремиться весь курс. 2. Сервисы в составе платформы и их связь с инженерными практиками, экосистема для приложений компании. 3. Углубленное изучение Kubernetes. 4. Проектная работа: построить MVP инфраструктурной платформы.
Сертификация от CNCF: CKA и CKAD После обучения у вас будет достаточно знаний, чтобы пройти обе эти сертификации. Мы не готовим к ним специально, но освещаем все темы, которые встречаются в экзаменах.
Особенности курса

Рассматриваем целую платформу, где Kubernetes — только часть

Подробно обсуждаем особенности интеграции с процессами разработки

Один из самых мощных и насыщенных практикой русскоязычных курсов
Партнер курса Yandex Cloud бесплатно предоставит необходимое количество ресурсов для выполнения практических заданий

Вы освоите на практике важнейшие приемы реверс-инжиниринга: статический и динамический анализ. Познакомитесь с низкоуровневым и системным программированием, подробно разберете аспекты внутреннего устройства Windows. Вам предстоит изучить и классифицировать вредоносное ПО на примерах реальных malware, выловленных в сети. ЧТО ТАКОЕ РЕВЕРС-ИНЖИНИРИНГ? Реверс-инжиниринг кода (обратная разработка кода) — это процесс анализа машинного кода программы, который ставит своей целью понять принцип работы, восстановить алгоритм, обнаружить недокументированные возможности программы, и т.п. Основные методы реверс-инжиниринга — это статический или динамический анализ кода. При статическом анализе исследователь дизассемблирует код программы, используя специальное ПО, и далее анализирует ассемблерный код. При динамическом анализе исследователь запускает код в изолированной среде (песочнице) или отладчике и анализирует код в динамике.
Для кого этот курс?

Для системных программистов, разрабатывающих низкоуровневый софт. Вы поймете, как код работает изнутри после компиляции, и сможете повысить качество своих решений.

Для начинающих вирусных аналитиков и специалистов ИБ. Вы научитесь всем must have практикам реверс-инжиниринга и получите комплексное представление о вредоносном ПО.

Как проходит практика?
Студенты заранее получают стенды и разворачивают их у себя локально до начала занятия.
На курсе вас ждет:

Практика по распаковке файлов
Практический разбор PE формата (таблица импорта, таблица экспорта, таблица релокаций)
Практический анализ шифровальщиков, банковских троянов, ботов.
Проектная работа, в рамках которой вы можете выбрать одну из предложенных преподавателем тем или реализовать свою идею.

Сегодня мы постоянно сталкиваемся с хакерскими атаками, электронным мошенничеством и утечками данных. Online работа стала требованием бизнеса и новой реальностью. Разработка и сопровождение кода и защита инфраструктуры с учетом обеспечения безопасности становится первостепенным требованием к IT специалистам. Именно такие специалисты являются самыми высокооплачиваемыми и востребованными у крупных работодателей: Microsoft, Google, Amazon Web Services, Mail.Ru Group, Yandex, Сбербанк и других.
Для кого этот курс
Разработка инфраструктуры и стека приложений в непрерывном потоке изменений Agile DevOps требует непрерывной работы с инструментами ИБ. Традиционная модель безопасности с фокусом на защиту периметра больше не работает. В DevOps ответственность за обеспечение безопасности ложится на всех участников Dev[Sec]Ops процесса.
Курс предназначен для специалистов следующих профилей:
- Разработчиков- DevOps инженеров и Администраторов- Тестировщиков- Архитекторов- Специалистов по информационной безопасности- Специалисты, которые хотят научиться разрабатывать и обслуживать приложения и инфраструктуру с высокой степенью защиты от внешних и внутренних атак в автоматизированном DevSecOps процессе.
Цель Курса
Успешное внедрение DevSecOps возможно только при комплексном подходе к Инструментам, Бизнес-процессам и Людям (Ролям участников). Курс дает знания по всех трем элементам и изначально был разработан для сопровождения проекта трансформации CI/CD тулчейн и рабочего процесса DevOps до полноценной DevSecOps практики с использованием новейших автоматизированных инструментов обеспечения безопасности.
В рамках курса будут рассмотрены особенности защиты следующих видов приложений:
- Традиционные монолитные 2/3-Tier приложения- Kubernetes приложения - в собственном ДЦ, Public Cloud (EKS, AKS, GKE)- Мобильные iOS и Android приложения- Приложения c REST API back-end
Будут рассмотрена интеграция и использование наиболее популярных open source и коммерческих инструментов ИБ.
В курсе делается упор на практику Scrum / Kanban, но подходы и инструменты могут также использоваться в традиционной Waterfall модели ведения проектов. Знания и навыки которые вы приобретете
- Переход от модели безопасности “защита периметра” к модели “защита всех слоев”- Словарь, термины и объекты используемые в инструментах ИБ - CWE, CVE, Exploit и др.- Основные стандарты, методики, источники информации - OWASP, NIST, PCI DSS, CIS и др.
А также научатся интегрировать в CI/CD и использовать инструменты ИБ из следующих категорий:
- Анализ возможных атак (Threat Modelling)- Статический анализ исходного кода на безопасность (SAST)- Динамический анализ приложений на безопасность (IAST/DAST)- Анализ использования стороннего и открытого программного обеспечения (SCA)- Тестирование конфигурации на соответствие стандартам безопасности (CIS, NIST, итп)- Усиление конфигурации и патчинг (Configuration Hardening, Patching)- Применение менеджмента секретов и сертификатов (Secrets and Certificates Management)- Применение защиты для REST-API внутри микро-сервисных приложений и на back-end - Применение Web-Application Firewall (WAF)- Межсетевые экраны нового поколения (NGFW)- Ручное и автоматизированное тестирование на проникновение (Penetration Testing)- Мониторинг безопасности и реакция на события в ИБ (SIEM)- Криминалистическая экспертиза (Forensic Analysis)
Кроме того, тим-лидеры получат рекомендации о практике успешного внедрения DevSecOps:
- Как подготовить и успешно провести мини-тендер и PoC по выбору инструментов - Как изменить роли, структуру и зоны ответственности команд разработки, поддержки, ИБ- Как адаптировать бизнес-процессы продакт менеджмента, разработки, обслуживания, ИБ

Для кого этот курс:Курс рассчитан на Data инженеров, желающих глубже изучить Spark, а попутно также Hadoop и Hive
На курсе вы изучите следующие основные темы:
- Hadoop (основные компоненты, дистрибутивы вендоров)- Архитектура HDFS - Архитектура YARN- Форматы данных - Spark- Spark Streaming и Flink- Hive- Оркестрация, Мониторинг и CI/CDи т.д.
Научитесь применять все это на практике и закрепите с помощью интересных и сложных домашних заданий и выпускного проекта.
После прохождения курса вы сможете:
- Использовать Hadoop для обработки данных- Взаимодействовать с его компонентами через консольные клиенты и API- Работать со слабоструктурированными данными в Hive- Писать и оптимизировать приложения на Spark- Писать тесты для Spark-приложений- Использовать Spark для обработки табличных, потоковых, гео-данных и даже графов- Настраивать CI и мониторинг Spark-приложений
Карта курсов направления Data Science в OTUS

Проведите время с пользой!
Практический онлайн-интенсив «DevOps и Infrastructure as Code на Ansible» от экспертов из сферы DevOps.
За дни интенсива вы научитесь: — делать выкатку кода простым и приятным процессом в духе "нажми одну кнопку", который можно выполнять десятки раз в день, — делать сетап новой машины полностью автоматизированным: вы запускаете одну команду, выпиваете чашку кофе и, вуаля, полностью готовый к работе сервер, — превращать переезд на новый хостинг в рутинную процедуру, занимающую несколько дней работы, при этом время простоя будет меньше нескольких минут, — делать десятки тестовых стендов в день для разных команд и разных версий продукта, при этом конфигурация стенда будет практически идентичной боевой среде, — автоматически поддерживать актуальными все проверки и триггеры в мониторинге и узнавать о проблемах еще до того, как они наступили Практика будет проходить на облаке. Дополнительно вы получите возможность пообщаться с экспертами из сферы IaC и задать им все интересующие вас вопросы!
ВНИМАНИЕ: количество мест в группе ограничено! Оставьте заявку и с вами свяжется наш менеджер, чтобы обсудить выгодные условия обучения.

DataOps Engineer - это профессия будущего, на которую уже есть огромный спрос и нехватка специалистов. Кроме стандартных тем (Hadoop, MLOps, оркестрация) мы рассмотрим полный набор инструментов и практик Data Governance (управления данными) - metadata management, data quality, data integration, data discovery, data linage, BIЭтот курс подходит вам, если вы:
- уже умеете работать с данными, но хотите развить знания в инфраструктуре, на которой они работают;
- либо умеете работать с инфраструктурой, но хотите получить специфические знания именно в области работы с данными.Что разберем на курсе:

Вопросы администрирования Hadoop-кластеров (включая вопросы безопасности!;
Особенности деплоя ETL-процессов, Spark-джоб, приложений обработки данных в реальном времени;
Архитектуру нескольких MPP-баз (Vertica, Greenplum, ClickHouse, ...);
Сервисы и практики Data Governance (BI, data catalog, data linage, CDC, data injestion, data quality, notebooks);
Практики MLOps (деплой моделей, мониторинг экспериментов, оркестрация).

Карта курсов направления Data Science в OTUS

Данный курс даст вам понимание того, как устроен процесс внедрения ML-решения от идеи до вывода его в прод. Преподаватели поделятся лучшими практиками и инструментами MLOps, которые устоялись в современной индустрии.
Каждый модуль вы будете закреплять на практике, выполняя домашнее задание. В конце обучения вас ждет финальный проект, который позволит обобщить все полученные знания и пополнить портфолио. Он может быть выполнен в рамках рабочих задач на вашем датасете или быть учебным проектом, основанным на данных, предоставляемых OTUS.
Для кого этот курс?
Для специалистов по Машинному обучению или Software инженеров, которые хотят научиться использовать современные инструменты MLOps для развертывания их решений в проде.
Для обучения вам понадобятся базовые навыки работы с данными. Предлагаем посмотреть Карту курсов направления Data Science в OTUS, чтобы сориентироваться в необходимом уровне подготовки.
Вы научитесь:

Использовать стандартные инструменты ML-конвейеров в распределенной среде;
Разрабатывать собственные блоки для ML-конвейеров;
Адаптировать ML-алгоритмы к распределенной среде и инструментам big data;
Использовать Spark, SparkML, Spark Streaming;
Разрабатывать алгоритмы потоковой подготовки данных для машинного обучения;
Обеспечивать контроль качества на всех этапах движения ML-решений в промышленную эксплуатацию;
Использовать инструменты Kubernetes и Docker для развертывания ML-решений в проде.

Востребованность специалистов
Один из главных трендов в современном мире - автоматизация процессов обучения и валидации, которая, в некотором роде обесценивает работу классического Data Scientist. Все движется к тому, что даже неспециалист сможет сделать fit-predict. Поэтому уже сейчас в цене те, кто имеют хотя бы поверхностные инженерные навыки.
Особенности курса

Много практики работы с данными

Практика в Yandex Cloud: отработаете практические навыки на виртуальных стендах и освоите работу с одной из популярных российских облачных платформ

Широкий спектр навыков от распределенного ML и потоковой обработки данных до вывода в продакшн

Актуальные инструменты и технологии: Kubernetes, Spark, Python, Docke

Живое общение с экспертами на вебинарах и в чате Slack

Это обзорно-практический курс с упором на язык и его основные инструменты. Курс не предполагает специализации и в равной мере подходит как для бэкенд-, так и фронтенд-разработчиков. В нём вы освоите как базовые элементы Kotlin (например, типы, операции, контроль null, массивы, циклы, функции и пр.), так и те, что являются его визитной карточкой (extension- и scope-функции, DSL, различные классы, корутины) и другие необходимые фичи языка. Один из модулей посвящен прикладному программированию, в котором вы кратко познакомитесь с основным сборщиком в экосистеме - Gradle, а также с бэкенд-разработкой на Ktor и с азами фронтенд-разработки.
Вы научитесь:

базовым принципам программирования и алгоритмов;
решать различные задачи, с помощью программирования;
различать, определять и использовать популярные структуры данных;
узнаете особенности и возможности языка Kotlin;
оцените Kotlin Style, который отличает его от других языков;
узнаете расширенные возможности языка;
опробуете Kotlin в качестве языка бэкенд- и фронтенд-разработки.

Аналитические приложения сегодня строятся на стыке инженерных практик (Software/Data Engineering), понимании специфики продуктов и бизнеса (Data/Business Analysis), быстрой и качественной поставки сервисов (DevOps).
Курс ставит своей целью научить слушателей собирать полноценные end-to-end аналитические решения с использованием самых актуальных и востребованных инструментов.
Материал будет изучаться как вглубь (например, принципы функционирования аналитических СУБД), так и вширь (сравнение инструментов, анализ сильных и слабых сторон решений).
Что нового я смогу узнать?
Для ролей Data Scientist, Data Analyst, Product Analyst:– Принципы работы аналитических СУБД и построение ELT-pipelines– Использование лучших практик моделирования хранилищ данных и витрин– Применение правильных архитектурных паттернов при построении решений
Для ролей Data Engineer, Backend Developer, DBA, System Administrator:
– Практики построения end-to-end аналитических решений– Прикладные навыки визуализации, дашбординга, BI– Фокус на создании ценности для бизнеса
В рамках курса будут рассмотрены:
– Навыки построения ELT-pipelines: Airflow, Nifi, Stitch– Принципы работы аналитических СУБД: Redshift, Greenplum, Clickhouse– Лучшие практики моделирования данных: dbt, Data Vault– Визуализация и BI: Metabase, Superset, DataLens – Продвинутая аналитика: KPI, Funnels, Marketing Attribution, Cohort, RFM– DevOps-практики: Continuous Integration, Github Actions
Ссылка на подробную программу курса
Карта курсов направления Data Science в OTUS

Партнерский интенсив от разработчиков Tarantool! Учись у первоисточника!
Tarantool - это платформа in-memory вычислений с гибкой схемой данных для эффективного создания высоконагруженных приложений. Благодаря этому интенсиву вы сможете получить самые необходимые знания об этой нетривиальной комбинации.
Мы рассказываем про архитектуру ядра, паттерны применения, делаем сравнение с другими БД, говорим о репликации, шардинге и работе с кластером. Все это показывается на примере создания приложения "сокращатель ссылок".
Курс для:
- Администраторов- Разработчиков- DevOps- Архитекторов.
По результатам интенсива вы:
- Узнаете архитектуру и внутреннее устройство Tarantool- Поймете сильные и слабые стороны Tarantool- Сможете назвать сходства и отличия от других СУБД- Увидите кейсы использования: куда брать, куда не брать- Научитесь работать с моделью данных- Установите и запустите Tarantool- Напишете свое первое приложение- Поднимете собственный кластер.
ВНИМАНИЕ: количество мест в группе ограничено! Оставьте заявку и с вами свяжется наш менеджер, чтобы обсудить выгодные условия обучения.

В этом курсе мы говорим о том, как сделать версионирование баз данных удобным и понятным всем участникам процесса разработки.
За последние несколько лет уже не осталось сомнений в том, что хранение кода в git или другой системе версионирования - это круто. Но почему-то базы данных в этом отношении так и остались пассажиром эконом-класса. Этот курс помогает исправить эту досадную несправедливость.
Зачем нужно использовать DBVC?- Легко синхронизировать окружения- Легко видеть изменения по шагам- Командная работа
Курс будет полезен для всех, кто работает с базами данных:- Data base admin- Devops-инженерам- QA-инженер- Разработчикам
После курса вы сможете:- легко использовать Flyway или Liquibase- быстро создавать любое окружение с точки зрения базы данных- применить практику DBVC к уже существующей базе
ВНИМАНИЕ: количество мест в группе ограничено! Оставьте заявку и с вами свяжется наш менеджер, чтобы обсудить выгодные условия обучения.

Проведите время с пользой!
Практический интенсив «CI/CD или Непрерывная поставка с Docker и Kubernetes»
Мы расскажем, как внедрить практику непрерывной поставки в вашу команду, чтобы ускорить процесс выкатки и исключить простои. Участники настроят автоматизированный конвейер поставки микросервисного приложения в Kubernetes, научатся управлять всем жизненным циклом приложения.
За дни интенсива вы сможете:— Сделать выкатку кода простым и приятным процессом в духе «нажми одну кнопку», который можно выполнять десятки раз в день.— Развернуть масштабируемую инфраструктуру для запуска микросервисов.— Создать прозрачный и понятный continuous delivery pipeline и выкатывать изменения часто и небольшими частями.— Делать десятки тестовых стендов в день для разных команд и разных версий продукта, при этом конфигурация стенда будет практически идентичной боевой среде.— Увеличить скорость разработки, тестирования и выкатки за счет применения современной системы автоматизации развертывания контейнеров Docker.— Получить быструю обратную связь от систем мониторинга и логирования на всех основных этапах жизненного цикла ПО.
Дополнительно вы получите возможность пообщаться с экспертами и задать им все интересующие вас вопросы!
ВНИМАНИЕ: количество мест в группе ограничено! Оставьте заявку и с вами свяжется наш менеджер, чтобы обсудить выгодные условия обучения.

Профессиональная онлайн-конференция по DevOps и современным методам поставки ПО организованная Otus совместно с Express 42.

Доклады будут полезны широкому кругу специалистов:
• Релиз-инженеры узнают о том, как выглядит актуальный процесс поставки ПО на сегодняшний день;
• Менеджеры продуктов поймут, какие нефункциональные характеристики есть у их продуктов, на что
они влияют и как на них воздействовать, а также на какие организационные и коммуникационные
паттерны стоит обращать внимание, чтобы процесс поставки был быстрым и безболезненным;
• QA-инженеры поймут, что еще можно сделать, чтобы увеличить качество продуктов и
автоматизировать каждодневную деятельность;
• Тимлиды и разработчики осознают, почему у них возникают конфликты с эксплуатацией и что можно с
этим сделать;
• Системные администраторы узнают из реальных примеров о том, какие технологии управления
инфраструктурой сейчас актуальные и с какими трудностями приходится сталкиваться при их
внедрении.