Регистрация на Хакатон по Azure ML

21-22 мая 2016 года пройдет очередная практическая конференция «Хакатон по Azure Machine Learning».

В течение двух дней Вы будете работать над:

  • прогнозированием остатков и оборота по кредитным картам клиентов одного из крупнейших банков;
  • решением реальных бизнес-задач других компаний.

У Вас будет уникальная возможность:

  • попробовать создать и развернуть аналитическое решение с помощью облачной службы машинного обучения Azure Machine Learning;
  • научиться применять R, Python или .NET в задачах машинного обучения с Azure ML;
  • обработать и визуализировать данные с помощью сервиса облачной аналитики Power BI.

Лучшие проекты получат ценные призы: смартфоны Nokia Lumia 640 и Nokia Lumia 930.

Место проведения: Москва, офис Майкрософт. ул. Крылатская 17/1

Стоимость участия: бесплатно.

Ссылка для регистрации

hackathon-ml

10.03.2016. Презентация платформы данных на базе SQL Server 2016

10 марта 2016 года состоится онлайн-трансляция мероприятия из Нью-Йорка, в рамках которого генеральный директор Microsoft Сатья Наделла и другие руководители корпорации презентуют новый SQL Server 2016 и расскажут о том, как с помощью анализа данных компании трансформируют свой бизнес и отрасль в целом.

У вас есть также возможность принять очное участие в презентации платформы управления данными на базе SQL Server 2016, которая пройдет 10 марта в 7 офисах Microsoft:

sql2016pres

Обновление (11.03.2016): запись события на русском языке доступна по ссылке.

02.03.2016. Встреча Advanced Analytics User Group

Приглашаем Вас принять участие во встрече Advanced Analytics User Group по теме «Предварительный анализ и очистка данных. Отбор и создание признаков», которая пройдет 2-го марта в Microsoft Technology Сenter.

Предварительная обработка является важным этапом, позволяющим повысить качество данных, а следовательно, эффективность обучения и, следовательно, точность предсказания. На данной встрече мы разберем, как в Azure ML:

  • осуществлять предварительный анализ данных и пользоваться описательной статистикой
  • отфильтровывать или исправлять поврежденные данные
  • работать с неполными данными и «аутсайдерами»
  • создавать новые признаки, оценивать «полезность» признаков и преобразовывать их.

Вышеперечисленные возможности будут рассмотрены на примере заданий первого и второго Хакатона с использованием встроенных блоков (SQL Transformation и другие), а также с помощью блоков R script и Python script.

Для того, чтобы принять участие в мероприятии, пожалуйста, зарегистрируйтесь по ссылке.

Дата: 2 марта 2016 г
Время: 17.00-20.00
Место проведения: МТС, ул. Лесная, 9 «Деловой Центр Белые Сады», 5-й этаж, аудитория «Патриаршие пруды»
Язык встречи: русский
Докладчик: Алексей Пешехонов

rubi-aa

Регистрация на Хакатон по Azure Machine Learning

28-29 ноября 2015 года пройдет практическая конференция «Хакатон по Azure Machine Learning». Конференция рассчитана на разработчиков и людей, понимающих математические модели, которые хотят научиться или продемонстрировать свои умения:

  • разрабатывать на R или Python;
  • анализировать и готовить данные к обработке;
  • показывать результаты в понятном виде.

В течение двух дней на конференции можно будет поработать над решением практических задач от партнёров Microsoft. При наличии вопросов можно будет посоветоваться с экспертами Microsoft и техническими специалистами MVP.

Место проведения: Москва / Санкт-Петербург / Краснодар / Казань / Екатеринбург / Новосибирск.

Начало регистрации и сбор участников в 10:00. Начало мероприятия в 11:00.

Стоимость участия: бесплатно.

Ссылка для регистрации

hackathon-ml

Курсы edX по Machine Learning и Big Data

На обучающем ресурсе edX доступны бесплатные курсы Microsoft по темам:

edx-ms-courses

Azure Data Factory для перемещения и преобразования данных

Azure Data Factory (или Фабрика данных) – это интеграционный «облачный» сервис, который позволяет формировать и автоматизировать перемещение и преобразование данных с использованием локальных и «облачных» источников данных.

azure-df-flow

Azure Data Factory (DF) позволяет комбинировать сервисы в управляемые конвейеры потока данных (data flow pipelines). Для преобразования данных можно использовать следующие сервисы:

  • Azure HDInsight (Hadoop) и Azure Batch для обработки «больших данных»;
  • Azure Machine Learning для продвинутой аналитики и машинного обучения;
  • Azure Stream Analytics для обработки большого количества событий в «реальном времени» и т.д.

Примеры источников данных:

  • Azure Data Warehouse – для создания реляционного хранилища данных;
  • Azure Blob Storage – для дешевого хранения больших объемов неструктурированных и полу-структурированных данных
  • Azure Data Lake – для хранения и скоростной обработки «больших данных» и т.д.

Пример использования: Мониторинг и прогнозирование неполадок автомобилей с помощью Cortana Analytics Suite.

Дополнительно: Introduction to Azure Data Factory Service

Мониторинг и прогнозирование неполадок автомобилей с помощью Cortana Analytics Suite

Давайте рассмотрим сценарий продвинутой аналитики, демонстрирующий как авто-дилеры, страховые компании и производители автомобилей могут использовать Cortana Analytics Suite включая Power BI в решении для получения аналитики реального времени и предсказаний работоспособности автомобилей и поведенческих шаблонов при вождении для улучшения качества езды, улучшения автомобилей и маркетинговых компаний.

Архитектура решения приведена на следующем рисунке:

CCArchitecture

Потоковые данные с датчиков автомобиля по сети Интернет поступают в Event Hub. Далее они поступают на вход Azure Stream Analytics (ASA).

В ASA настроены три постоянных запроса над входным потоком данных, каждый из которых обогащаются информацией о параметрах автомобилей из каталога автомобилей, хранящегося в Azure Blob Storage:

  1. Запрос №1 содержит данные по каждому автомобилю для отражения в реальном времени в Power BI.
  2. Запрос №2 отправляет данные по автомобилям в хранилище Blob Storage (это «большие данные» с точки зрения объемов информации; такие объемы выгодно хранить в Azure Blog Storage, т.к. в этом случае стоимость хранения минимальна).
  3. Запрос №3 агрегирует информацию по каждой модели и городу для сохранения в реляционном хранилище Azure DW для последующего отражение исторической отчетности.

Компонент решения Azure Data Factory выполняет интеграционную задачу. На основании файла, сгенерированного в ходе выполнения запроса №2 в ASA, в Blob Storage формируются три таблицы с выделением сведений об эффективности использования горючего, об агрессивности вождения и о возможных аномалиях.

CC-demo-ADF

За формирование этих дополнительных таблиц отвечают скрипты Hive, в которых задается структура таблиц над CSV-файлами, а затем выполняется агрегирование информации с помощью INSERT-запросов.

CC-demo-ADF-hive

Выборка данных об аномалиях направляется в сервис Azure Machine Learning, где формируется прогноз по возможному выходу автомобилей из строя. Благодаря этому прогнозу можно проактивно заказывать требуемые компоненты на замену и выполнять техническое обслуживание автомобилей (это сводит к минимуму простои оборудования).

Пример пакета по выбору и обучению модели для обнаружения аномалий приведен на следующем снимке экрана.

CC-demo-AML

Далее информация из файлов в Blob Storage направляется в хранилище Azure Data Warehouse и отражается на информационных панелях Power BI. Другая часть данные поступает напрямую из ASA и отражается в Power BI в «реальном времени».

CC-demo-powerbi

Используемые в сценарии технологии: Event Hub, Azure Stream Analytics, Azure Machine Learning, Azure Data Factory, HDInsight, Azure Storage, Azure DW, и Power BI.

Отслеживать

Настройте получение новых записей по электронной почте.

Присоединиться к ещё 47 подписчикам