Анализ данных нефтегазовой отрасли с помощью Power View

В следующем демонстрационном примере показан анализ данных нефтегазовой отрасли с помощью Power View – инструмента в составе Microsoft BI для интерактивного анализа данных.

В примере анализируются:

  • стоимость и объемы производства нефти и газа;
  • статистика появления нефтегазовых терминов в Твиттере;
  • расположение, виды и текущее состояние скважин;
  • производство новых скважин различными подразделениями;
  • прогноз производства;
  • безопасность и защита здоровья персонала.

Главный экран демонстрационного примера анализа данных нефтегазовой отрасли с помощью Power View

Анализ здоровья и безопасности. Источник: Microsoft

Анализ завершенности строительства скважин. Источник: Microsoft

См. также: Microsoft BI для производственных и добывающих компаний

Аналитическое решение компании Витасофт для страховой отрасли

Приведенный ниже демонстрационный пример по страхованию разработан компанией «Витасофт» на основании накопленного опыта проектов в данной отрасли. Стенд переведен на платформу Microsoft как результат проекта Proof-of-Concept (POC), проведенного в технологическом центре Microsoft в Москве.

Стенд содержит информационные панели на базе SharePoint 2013 PerformancePoint Services на базе многомерной аналитической модели (MBISM), а также отчеты Power View на базе табличной аналитической модели (TBISM).

В части информационных панелей PerformancePoint показано решение задач анализа страховых премий, убыточности, выплат, состава убыточности.

Пример информационной панели анализа страховых премий и выплат. Источник: Витасофт, Microsoft Technology Center

В части самостоятельной аналитики демонстрируется интерактивность отчетов и возможность самостоятельного изменения их структуры в Power View на примере задач анализа рынка автострахования (премий, выплат, технического результата, процента выполнения, андеррайтерской убыточности и т.д.) по маркам и моделям автомобилей, каналам продаж, подразделениям.

Пример отчета Power View по авто-страхованию. Источник: Витасофт, Microsoft

Стенд подготовили: Анна Свиридова (Microsoft), Борис Кучмель (Витасофт), Иван Косяков (Microsoft).

Анализ данных розничной торговли с помощью Power View

В следующем демонстрационном примере показан анализ данных розничной торговли с помощью Power View – инструмента в составе Microsoft BI для интерактивного анализа данных.

В примере анализируются рекламные кампании, каналы продаж (и как показатели продаж менялись с течением времени), демографические данных о клиентах, расположение торговых точек на карте (и уровень продаж в этих торговых точках), продажи в разрезе категорий товаров и т.д.

Отчеты, показанные в демонстрации, могут быть созданы в Excel на базе табличной модели (с помощью PowerPivot для Excel). Т.е. аналитик может подготовить данные отчеты самостоятельно и в течение дней (при наличие подготовленных данных).

Integration Services для формирования хранилищ данных

В организациях всегда актуальна задача загрузки данных из различных внутренних и внешних систем в единое хранилище данных, с целью последующего сопоставления и анализа этой информации. На основании этого единого источника правды в организации становится возможным принятие управленческих решений на основании достоверной информации. Также часто требуется решить задачу переноса данных между системами.

Для решения перечисленных задач служит компонент SQL Server Integration Services, позволяющий интегрировать и преобразовывать данные. В число возможностей компонента входит копирование и загрузка файлов, отправка сообщений электронной почты как реакция на события, обновление хранилища данных, вызов процедур очистки и исследования данных, управление объектами и данными в базе данных SQL Server.

Загрузка данных в хранилище данных и формирование аналитических моделей

В классическом варианте данные сначала выгружаются (как правило, без преобразований) из источников данных в отдельную базу — промежуточную область. Далее при загрузки данных из этой области в хранилище данных данные уже значительно преобразуются и переводятся в специальную схему хранения (в итоге процесс преобразования не замедляет исходные базы). При необходимости (например, для увеличения скорости последующего извлечения) части данных переводятся в «витрины данных» (как правило, базы в схеме «звезда»). Из витрин и/или хранилища данных формируются (обновляются) аналитические модели.

Классический вариант загрузки данных в ХД, формирования витрин и аналитических моделей

Противоположный подход – формировать многомерную аналитическую модель напрямую из источника (если это SQL Server) с помощью функции «проактивного кэширования». Соответственно, между этими двумя противоположными вариантами существует множество промежуточных решений. Дополнительно проекты формирования хранилища данных могут быть дополнены функциями интеграции с системой управления нормативно-справочной информацией (НСИ) и функциями очистки данных.

Графическая разработка интеграционных пакетов

Интеграционные решения разрабатываются в программе SQL Server Data Tools (SSDT; расширение среды разработки Visual Studio). С помощью этой среды разработчики могут совместно создавать интеграционные проекты используя специальную графическую нотацию. Благодаря этой нотации проекты являются само-документируемыми; в итоге значительно уменьшаются затраты и увеличивается скорость сопровождения и внесения изменений в проекты.

Структура интеграционного проекта

Интеграционный проект состоит из пакетов. Каждый пакет содержит в себе определенный алгоритм выполнения задач, может быть запущен на выполнение, и в свою очередь может вызывать на выполнение другие пакеты (входящие в алгоритм).

Алгоритм работы пакета отражен в управляющем потоке, который содержит в себе задачи (в том числе, задачи выполнения других пакетов) и контейнеры (в том числе контейнерами последовательностей и циклов), которые могут быть соединены связями очередности.

Поток данных – это особый вид задачи в потоке управления, предназначенный для извлечения данных из источников (через адаптеры чтения), а затем преобразования и загрузки данных в целевые базы (например, в хранилище данных; через адаптеры записи). В число преобразований входит комбинирование данных через joins, unions и т.д.; проверка данных через правила, сопоставления, оценку качества; преобразование данных в целевой формат.

Поток данных в составе потока управления интеграционного проекта. Источник - Microsoft

В пакетах также используются переменные (для обмена данными между пакетами и преобразованиями), параметры (например, для задания конфигурационных значения для запуска пакета), обработка ошибок по событиям (для задания дополнительных действий при возникновении ошибки) и журналирование с различным уровнем детализации (для выявления мест и контекста возникновения ошибок при работе пакетов в промышленном режиме).

Размещение и администрирование

Разработанное интеграционное решение размещается в каталоге SSIS в виде модели проекта (.ispac). Для администрирования проектов, задания расписания выполнения пакетов, запуска пакетов с параметрами, формирования отчетности о результатах выполнения пакетов и т.д. используется SQL Server Management Studio (SSMS).

Журналирование работы интеграционных пакетов

В SQL Server 2012 встроена функция журналирования работы интеграционных пакетов и на базе журнала построены стандартные отчеты. В отчете верхнего уровня (All Executions report) можно посмотреть историю запусков каждого конкретного пакета (успешность, расположение, время начала и окончания, продолжительность). Через гиперссылки каждый запуск пакета можно детализировать вплоть до уровня конкретного события (в том числе можно посмотреть диагностические сообщения и значения переменных в момент возникновения события).

Отчет производительности запусков (Execution Performance report) отображает график изменения продолжительности времени работы пакета.

Фрагмент отчета о производительности интеграционного пакета

Также предусмотрен отчет со статистикой всех запусков всех пакетов (Dashboard report) и аналогичной возможностью детализации.

Демонстрация SSIS (разработка, размещение и администрирование)

Дополнительные материалы

  1. TechEd 2011 North America. DBI317. What’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration Services
  2. TechEd Australia 2011. DAT307DAT307. Denali SSIS and Data Quality Enhancements
  3. MSDN Library. SQL Server Integration Services
  4. SQLCAT. SSIS 2008 — world record ETL performance

Navicon CDI для синхронизации данных о клиентах

Решение компании «Навикон», партнера Microsoft, под названием Navicon CDI (customer data integration – интеграция данных о клиентах) на базе Microsoft SQL Server 2012 обеспечивает централизацию и синхронизацию информации о клиентах, находящейся в различных информационных системах.

Система позволяет проводить автоматическую выверку, очистку и удаление дублей в больших массивах данных о физических и юридических лицах.

Ниже приведена демонстрация работы системы для выявление и устранения дубликата в справочнике клиентов – физических лиц (видео не содержит звука).

В текущий момент ведется разработка новой версии. Следите за новостями…

Дополнительно: https://www.navicongroup.ru/biztalk/management_nsi/cdi.php

Новое в Excel 2013 Preview для бизнес-аналитики

Мечты сбываются… В новой предварительной версии Excel 2013 появились те функции для анализа информации, которые выводят Excel на совершенно новый уровень и фактически задают новый стандарт аналитики, доступной для всех…

Справедливости ради стоит заметить, что наиболее важный аналитический компонент PowerPivot, позволяющий создавать аналитические модели, был доступен для использования и для предыдущей версии – Excel 2010. Но сейчас PowerPivot и Power View (ранее доступный только при работе с порталом SharePoint) встроены в Excel 2013 по умолчанию.

Функция «молниеносного заполнения» (Flash Fill)

Благодаря функции «молниеносного заполнения» (Flash Fill) Excel может интеллектуально находить шаблоны в данных и предлагать соответствующий вариант заполнения оставшихся ячеек. Найденные правила можно в дальнейшем корректировать путем редактирования других ячеек редактируемого набора данных.

Функция “быстрого анализа” (Quick Analysis)

Функция “быстрого анализа” (Quick Analysis) позволяет начинающим пользователям мгновенно находить уникальные записи и дубликаты, а также добавлять рекомендованные для наборов данных диаграммы.

Фильтр «линия времени» (Timeline)

Новый визуальный фильтр «линия времени» (Timeline) автоматически определяет измерение времени в Excel-данных и позволяет более гибко фильтровать данные по времени.

Нововведения в работу с диаграммами

  1. Появилась возможность создавать «диаграммы трендов» (trend charts) для быстрого отображения данных по времени.
  2. Сводные таблицы и диаграммы перестали быть связанными объектами, т.е. сейчас можно создать сводную диаграмму без предварительного создания таблицы.

Power View в Excel 2013 Preview

В Excel 2013 сразу после установки доступен компонент Power View (доступный без подключения к порталу) со следующими дополнительными функциями:

  1. Интерактивные карты для отображения данных из сводных таблиц Excel, в которых присутствуют названия георграфических мест. При этом координаты определяются автоматически на основании названия объекта (нужно указать уровень наименования объекта)
  2. Поддержка иерархий и ключевых показателей эффективности (KPI)
  3. Поддержка переходов вниз и вверх по иерархиям (Drill Up, Drill Down)
  4. Расширенные возможности оформления: темы оформления, изменение размеров шрифтов, поддержка гиперссылок
  5. Возможности подключения к нескольким моделям в книге Excel, диапазону набора данных, взаимодействие с интернет/интранет-книгами Excel (в Excel Services), книгами Excel в Office 365.

Составные приложения в Excel 2013

В книги Excel 2013 можно встраивать внешние приложения Office 2013, которые можно связать с данными, находящимися непосредственно в диапазонах данных Excel. Пример такого приложения – «Bing Maps для Office»

Демонстрация

Дополнительная информация

Процесс создания карты в Power View описан в статье Show Map Inside Power View in Excel 2013.

Новый ролик про Microsoft BI на базе SQL Server 2012

Записи докладов с конференции PASS SQLRally Russia 2012

По адресу https://www.techdays.ru/videos/SQLRally доступны записи докладов с конференции PASS SQLRally Russia 2012 в составе:

Что такое Microsoft BI, а также история SQL Server

Итак, успешно завершилась конференция PASS SQLRally Russia 2012… Видео-записи выступлений и презентации будут размещены через некоторое время на https://techdays.ru.

А пока публикую ссылки на замечательные видео-ролики, которые мы показывали на наших последних конференциях. Инсайдерская информация — ролики сделаны при поддержке Александра Перчикова (финансирование — Microsoft). Сценарий первого ролика писал также Александр, и идея перевода второго ролика на русский язык также его, за что ему большое спасибо!

 

 

Новые возможности в SQL Server 2012 CTP3 для бизнес-аналитики (Microsoft BI)

В этой статье рассмотрим, какие новые наиболее значимые функции появились в SQL Server 2012 CTP3 для задач бизнес-аналитики. Но сначала давайте рассмотрим, каким образом реализуются с помощью новой версии SQL Server различные уровни аналитического решения: персональная, коллективная и корпоративная аналитика.

  1. Персональная аналитика – это когда пользователи используютExcel с надстройкой PowerPivot в их каждодневной самостоятельной работе. Например, менеджер по продажам анализирует результаты своей работы.
  2. Коллективная аналитика – когда одни пользователи создают отчеты (например, в Excel, либо над моделью BISM с помощью Power View) и предоставляют эти отчеты в пользование другим сотрудникам. Например, директор департамента использует отчет, созданный другим сотрудником, или на основании модели BISM (например, опубликованной с помощью файла Excel) создает самостоятельно отчет Power View.
  3. Корпоративная аналитика – когда процесс создания аналитической модели  и отчетов берет на себя служба информационных технологий. При этом разрабатываются интеграционные пакеты по загрузке и очистке данных (с помощью Integration Services и Data Quality Services), формируются выверенные аналитические модели с едиными в пределах организации показателями, формируются согласованные между подразделениями отчеты.

Давайте рассмотрим наиболее важные нововведения в SQL Server 2012 CTP3. На следующем рисунке приведены компоненты SQL Server, а розовым цветом выделены наиболее значимые изменения.

Business Intelligence Semantic Model (BISM)

В составе аналитических сервисов введена семантическая модель бизнес-аналитики (BISM), которая объединяет в себе многомерную (ранее — UDM) и табличную модель данных (ранее – модель данных PowerPivot).

К BISM можно строить запросы с помощью языков MDX и DAX. Нужно только иметь в виду, что хотя с помощью DAX можно делать запросы к многомерной модели BISM (ранее — UDM), с помощью DAX в этой модели нельзя будет создавать новые показатели (в табличной модели BISM, разумеется, можно)…

В части доступа к данным для многомерной модели данных используются варианты хранения данных ROLAP, MOLAP и промежуточные. Для табличной модели используется режим VertiPaq (при этом в «Denali» на несколько порядков увеличились объемы данных, которые можно обрабатывать на сервере) и новый вариант доступа в виде прямого запроса к реляционной базе данных (при этом можно использовать индексы хранения колонок (ColumnStore indexes), о которых речь пойдет в дальнейшем.

Соответственно, модель можно формировать на основании большого набора источников данных, в том числе, потоков данных и данных из облачных сервисов (SQL Azure DataMarket).

Вне зависимости от используемого типа модели данных, на основании BISM можно строить отчеты, карты показателей и информационные панели с помощью широкого спектра пользовательских инструментов, к которым в Denali добавился Power View (ранее известный как «Crescent»).

Power View для интерактивного анализа данных

Новый компонент Power View позволяет обычным пользователям самостоятельно строить интерактивные отчеты и информационные панели на основании BISM.

Построение отчетов в Power View интуитивно понятно для обычных пользователей и характеризуется высокой интерактивностью и богатыми возможностями представления информации для анализа. Компонент автоматически связывает между собой различных части отчета, при выборе определенного элемента отчета показывает те же данные в других частях отчета, позволяет просматривать изменение данных в динамике и многое другое.

В следующем демонстрационном ролике показаны основные функции Crescent на примере организации по продаже товаров.

Отчеты Crescent также можно интегрировать в презентации PowerPoint и менять запросы к данным непосредственно в этом офисном продукте.

Data Quality Services для управления качеством данных

Новый компонент SQL Server 2012 CTP3 под названием Data Quality Services предназначен для очистки и/или устранения дубликатов в данных, загружаемых из источников.

Процесс работы с DQS состоит из двух основных этапов.

  1. Создается база знаний DQS, в которой задаются домены (анализируемые атрибуты данных) и правила очистки доменных значений (правила очистки, список правильных значений и альтернативных значений для переименования, внешние данные для сравнения). Далее по мере использования эта база знаний постоянно дополняется.
  2. На основании базы знаний создаются проекты DQS по очистке входных данных. При этом указывается входной
    источник, соответствия полей источника и доменов, данные из источника проходят автоматическую и ручную обработку, а затем могут быть экспортированы в SQL Server или CSV-файл.

Проекты DQS также можно использовать в пакетах Integrations Services для обработки новых записей в автоматическом режиме.

Улучшения в Master Data Services

В Master Data Services также есть множество значительных улучшений, среди которых:

  • надстройка MDS для Excel, позволяющая быстро создавать новые модели данных и осуществлять групповые изменения данных;
  • интеграция с проектами по управлению качеством данных (DQS);
  • для импорта информации для каждой сущности создается отдельная таблица, что значительно упрощает интеграцию (например, с помощью SSIS);
  • удобный веб-интерфейс с использованием технологии Silverlight.

В результате этих нововведений архитектура MDS в SQL Server 2012 принимает следующий вид.

Другие улучшение в SQL Server 2012 CTP3 для бизнес-аналитики
(Microsoft BI)

В числе других улучшений входят:

  • индексы хранения колонок (ColumnStore indexes) в реляционной базе данных позволяют на порядки ускорить операции JOIN на схеме базы данных тика «звезда», что значительно увеличивает производительность хранилищ данных;
  • SSRS в «Denali» работает как сервис общего доступа в SharePoint, что облегчает настройку и управление (резервное копирование, восстановление, ULS-журналирование, PowerShell), а также позволяет масштабировать решение;
  • благодаря возможности создания нотификаций в SSRS, интегрированных с SharePoint, пользователь интуитивно может для имеющихся отчетов задать условия, когда эти отчеты должны приходить по электронной почте;
  • появилась работать с SSRS в «облаке» (SQL Azure), благодаря чему операционная отчетность организаций может формироваться на базе данных SQL Azure, и можно встраивать отчеты в приложения Windows Azure или в пределах организации;
  • многое другое (об этом – в следующих публикациях).