Мониторинг и прогнозирование неполадок автомобилей с помощью Cortana Analytics Suite

Давайте рассмотрим сценарий продвинутой аналитики, демонстрирующий как авто-дилеры, страховые компании и производители автомобилей могут использовать Cortana Analytics Suite включая Power BI в решении для получения аналитики реального времени и предсказаний работоспособности автомобилей и поведенческих шаблонов при вождении для улучшения качества езды, улучшения автомобилей и маркетинговых компаний.

Архитектура решения приведена на следующем рисунке:

CCArchitecture

Потоковые данные с датчиков автомобиля по сети Интернет поступают в Event Hub. Далее они поступают на вход Azure Stream Analytics (ASA).

В ASA настроены три постоянных запроса над входным потоком данных, каждый из которых обогащаются информацией о параметрах автомобилей из каталога автомобилей, хранящегося в Azure Blob Storage:

  1. Запрос №1 содержит данные по каждому автомобилю для отражения в реальном времени в Power BI.
  2. Запрос №2 отправляет данные по автомобилям в хранилище Blob Storage (это «большие данные» с точки зрения объемов информации; такие объемы выгодно хранить в Azure Blog Storage, т.к. в этом случае стоимость хранения минимальна).
  3. Запрос №3 агрегирует информацию по каждой модели и городу для сохранения в реляционном хранилище Azure DW для последующего отражение исторической отчетности.

Компонент решения Azure Data Factory выполняет интеграционную задачу. На основании файла, сгенерированного в ходе выполнения запроса №2 в ASA, в Blob Storage формируются три таблицы с выделением сведений об эффективности использования горючего, об агрессивности вождения и о возможных аномалиях.

CC-demo-ADF

За формирование этих дополнительных таблиц отвечают скрипты Hive, в которых задается структура таблиц над CSV-файлами, а затем выполняется агрегирование информации с помощью INSERT-запросов.

CC-demo-ADF-hive

Выборка данных об аномалиях направляется в сервис Azure Machine Learning, где формируется прогноз по возможному выходу автомобилей из строя. Благодаря этому прогнозу можно проактивно заказывать требуемые компоненты на замену и выполнять техническое обслуживание автомобилей (это сводит к минимуму простои оборудования).

Пример пакета по выбору и обучению модели для обнаружения аномалий приведен на следующем снимке экрана.

CC-demo-AML

Далее информация из файлов в Blob Storage направляется в хранилище Azure Data Warehouse и отражается на информационных панелях Power BI. Другая часть данные поступает напрямую из ASA и отражается в Power BI в «реальном времени».

CC-demo-powerbi

Используемые в сценарии технологии: Event Hub, Azure Stream Analytics, Azure Machine Learning, Azure Data Factory, HDInsight, Azure Storage, Azure DW, и Power BI.

Трансляция докладов SQL Saturday

Приглашаем Вас завтра на online-трансляцию технологического субботника SQLSaturday, которая пройдет 17 октября 2015 г. с 10.00 до 18.00 (МСК).

Подключайтесь к трансляции

sqlsaturday
У Вас будет уникальный шанс прослушать почти два десятка докладов по ключевым темам платформы управления данными от признанных экспертов индустрии, включая:

  • Особенности практического применения In-Memory OLTP в SQL Server 2014.
  • Примеры использования AlwaysOn для обеспечения катастрофоустойчивости приложений MS.
  • Принципы и методика консолидации серверов БД MS SQL Server на предприятии.
  • Мобильная бизнес-аналитика: Datazen и Power BI.
  • Обзор сценариев использования продвинутой аналитики (Azure ML).

И, конечно же, мы приоткроем завесу над SQL Server 2016, представив его революционные технологии, устанавливающие новые стандарты в области хранения, обработки и визуализации данных.

Дополнительная информация и полная программа доступны на сайте мероприятия.

Пакет Cortana Analytics

Cortana Analytics – это полностью управляемый пакет решений в «облаке» (Microsoft Azure) по обработке «больших данных» и продвинутой аналитике, который позволяет трансформировать данные организаций (полученных из бизнес- и пользовательских приложений, а также с сенсоров и устройств) в обоснованные управленческие решения (в виде рекомендаций для персонала) или действия (например, в автоматизированных системах).

Cortana Analytics Suite Goal

Cortana Analytics Suite включает следующие продукты и возможности (также см. рисунок ниже):

  • Сконфигурированные бизнес-сценарии: рекомендации, прогнозирование, предотвращение ухода клиентов и т.д.;
  • Персональный цифровой ассистент: Cortana;
  • Распознавание персональных взаимодействий и намерений: распознавание лиц, комьютерное зрение, распознавание речи и анализ текстов;
  • Информационные панели и визуализация: Power BI;
  • Машинное обучение и аналитика: Azure Machine Learning, Azure HDInsight (развитие системы Hadoop), Azure Stream Analytics (анализ потоковых данных — «облачный» вариант технологии StreamInsight);
  • Хранилища больших данных: Azure Data Lake (репозитарий «больших данных» на базе HDFS), Azure SQL Data Warehouse (масштабируемое хранилище данных — «облачный» вариант APS-PDW);
  • Управление информацией: Azure Data Factory (оркестровки по обработке данных), Azure Data Catalog (облачный каталог данных), Azure Event Hubs.

Продукты и возможности в составе Cortana Analytics Suite

Подробнее: официальный сайт пакета Cortana Analytics.

Лабораторные работы по BI и SQL Server 2016

https://www.microsoft.com/en-us/cloud-platform/virtual-labs

Визуализация данных на мобильных устройствах и ПК

В последнее время по теме визуализации данных на мобильных устройствах (планшетах и смартфонах) в платформе Microsoft BI появилось множество новых компонентов. При этом архитектура решения значительно усложнилась. В связи с этим считаю нужным прояснить на каких устройствах какие компоненты и на базе каких источников можно использовать.

Актуальная архитектура аналитического решения приведена на следующем рисунке. В левой части показаны аналитические модели (табличная и многомерная), которые рекомендуется использовать в качестве единого источника правды с расчетными показателями. В правой части рисунка показаны доступные компоненты для визуализации данных.

architecture

Для визуализации данных можно использовать три компонента:

  • Информационные панели и отчеты Power BI;
  • Отчеты и информационные панели SharePoint Insights;
  • Портал и приложения Datazen для планшетов и смартфонов.

Информационные панели и отчеты Power BI

С помощью облачного сервиса Power BI можно настроить аналитический портал с отчетами, позволяющий в том числе отображать данные из табличных аналитических моделей через Analysis Services коннектор. Таким образом, данные организации хранятся на собственных серверах, а в облаке содержится только описание структуры отчетов.

power-bi-arch

Создавать отчеты Power BI можно либо непосредственно с портала (через веб-браузер), либо с помощью специального приложения Power BI для Windows (развитие технологии PowerPivot для Excel).

На портале создаются интерактивные отчеты (развитие технологии Power View) и построенные на их основе информационные панели. Информационные панели составляются из фрагментов интерактивных отчетов. С каждого фрагмента информационной панели можно перейти на соответствующий интерактивный отчет (развитие технологии Power View).

Данные отчеты можно просматривать либо с помощью веб-браузера, либо с помощью специальных приложений для iOS, Android, Windows.

power-bi-devices

Бизнес-аналитика SharePoint для мобильных устройств

В SharePoint 2013 (в комбинации с SQL Server 2012 SP1 и старше) поддерживаются практически все инструменты визуализации с мобильных устройств iOS, Android и многих других.

Устройства Windows, естественно, поддерживают все существующие возможности). Поэтому ниже мы будем говорить об устройствах других производителей.

Относительно поддержки стандартных инструментов визуализации на устройствах iOS, Android и т.д.:

  • PerformancePoint Services — поддерживается все кроме дерева декомпозиции (Silverlight);
  • Reporting Services в интегрированном режиме SharePoint – работает все, но есть ограничение на использование фильтра по дате (календарь);
  • Excel Services — поддерживается все;
  • PowerPivot для SharePoint – поддерживается все кроме галереи отчетов PowerPivot;
  • Visio Services – поддерживается все, включая комментирование, аннотирование и совместное редактирование.

Для работы с устройствами малого размера (мобильными телефонами) в SharePoint 2013 есть возможность создания альтернативных шаблонов мастер-страницы.

Отчеты Datazen для мобильных устройств

Отчеты Datazen предназначены для мобильных устройств. Для обеспечения работы отчетов в ЦОД организации разворачивается Datazen Enterprise Server.

datazen-arch

Для создания отчетов Datazen служит приложение Publisher App для Windows. При этом для каждого отчета можно создать отдельные раскладки для отображения на мобильном телефоне, планшете и персональном компьютере.

Просмотр отчетов Datazen возможен на приложениях для различных мобильных платформ, а также через веб-браузер.

datazen-devices

Подробнее об инструментах Power BI и Datazen я расскажу в ближайшее время.

Оценка заданий «Хакатона» по Azure ML

По многочисленным просьбам выкладываю итоговую таблицу оценки выступлений команд и точности сформированных моделей предсказательной аналитики, сформированных командами в ходе конференции Hackathon 2015 ML. Состав жюри по Azure ML: Андрей Зимовнов (Озон), Вадим Челышков (Майкрософт), Иван Косяков (Майкрософт).

hakathon-results

Расчет RSME по заданиям 2 и 3 производился с помощью Azure ML на основании наборов данных, полученных от команд через Blob Storage.

evaluation experiment

Прилагаю также таблицу Excel с моими комментариями.

Всем командам спасибо за участие! Готовимся к следующей конференции. Любые дополнения, комментарии и идеи по следующим конференциям приветствуются…

attendees-medium

 

 

Критерии оценки задачи по визуализации на Hackathone 2015

Оценка по данной номинации субъективна и складывается из экспертного мнения и опыта членов жюри!!!

Факторы, которые влияют на оценку:

  1. Полнота и релевантность представленной информации
  2. Простота визуального восприятия – оптимальный выбор и расположение визуальных компонентов на дэшборде.
  3. Полнота использованного функционала продуктов Microsoft
  4. Креативность и логичность сценария демонстрации.