Визуализация битумного рынка с помощью Excel и GeoFlow

В следующей демонстрации показан сценарий анализа битумного рынка с помощью GeoFlow для Excel (и сенсорного экрана). Сценарий создан и записан Павлом Аникеевым – директором аналитического центра группы компании “ОМТ-Консалт”.

Дополнительные материалы:

Визуализация данных на 3D-карте с помощью GeoFlow для Excel

В Excel появилась возможность отображения множества слоев данных на трехмерной карте с помощью надстройки GeoFlow для Excel (надстройка доступна для загрузки с сайта Microsoft).

Надстройка позволяет пользователям самостоятельно настраивать несколько слоев отображения данных (до миллиона строк) на трехмерной карте, включать и выключать эти слои, настраивать вариант визуализации слоев в виде столбцов данных, окружностей, цветовых карт, а также просматривать как данные менялись с течением времени.

Отображение данных на трехмерной (3D) карте Bing

Еще одна возможность инструмента – возможность записи последовательности переходов по карте и включения/выключения слоев данных с целью последующей демонстрации.

Настройка последовательности демонстрации – в левой части экрана

Ниже приведена демонстрация работы с подготовленной картой GeoFlow, а затем показано как можно добавлять слои данных (скачать исходный Excel-файл можно здесь).

Дополнительные материалы:

  1. Инсталляционный файл и начальные инструкции по работе с GeoFlow.
  2. Introduction to Excel GeoFlow (Beta 1)
  3. Руководство по установке и 5 файлов с исходными данными (на английском)

Анализ данных нефтегазовой отрасли с помощью Power View

В следующем демонстрационном примере показан анализ данных нефтегазовой отрасли с помощью Power View – инструмента в составе Microsoft BI для интерактивного анализа данных.

В примере анализируются:

  • стоимость и объемы производства нефти и газа;
  • статистика появления нефтегазовых терминов в Твиттере;
  • расположение, виды и текущее состояние скважин;
  • производство новых скважин различными подразделениями;
  • прогноз производства;
  • безопасность и защита здоровья персонала.

Главный экран демонстрационного примера анализа данных нефтегазовой отрасли с помощью Power View

Анализ здоровья и безопасности. Источник: Microsoft

Анализ завершенности строительства скважин. Источник: Microsoft

См. также: Microsoft BI для производственных и добывающих компаний

Аналитическое решение компании Витасофт для страховой отрасли

Приведенный ниже демонстрационный пример по страхованию разработан компанией «Витасофт» на основании накопленного опыта проектов в данной отрасли. Стенд переведен на платформу Microsoft как результат проекта Proof-of-Concept (POC), проведенного в технологическом центре Microsoft в Москве.

Стенд содержит информационные панели на базе SharePoint 2013 PerformancePoint Services на базе многомерной аналитической модели (MBISM), а также отчеты Power View на базе табличной аналитической модели (TBISM).

В части информационных панелей PerformancePoint показано решение задач анализа страховых премий, убыточности, выплат, состава убыточности.

Пример информационной панели анализа страховых премий и выплат. Источник: Витасофт, Microsoft Technology Center

В части самостоятельной аналитики демонстрируется интерактивность отчетов и возможность самостоятельного изменения их структуры в Power View на примере задач анализа рынка автострахования (премий, выплат, технического результата, процента выполнения, андеррайтерской убыточности и т.д.) по маркам и моделям автомобилей, каналам продаж, подразделениям.

Пример отчета Power View по авто-страхованию. Источник: Витасофт, Microsoft

Стенд подготовили: Анна Свиридова (Microsoft), Борис Кучмель (Витасофт), Иван Косяков (Microsoft).

Анализ данных розничной торговли с помощью Power View

В следующем демонстрационном примере показан анализ данных розничной торговли с помощью Power View – инструмента в составе Microsoft BI для интерактивного анализа данных.

В примере анализируются рекламные кампании, каналы продаж (и как показатели продаж менялись с течением времени), демографические данных о клиентах, расположение торговых точек на карте (и уровень продаж в этих торговых точках), продажи в разрезе категорий товаров и т.д.

Отчеты, показанные в демонстрации, могут быть созданы в Excel на базе табличной модели (с помощью PowerPivot для Excel). Т.е. аналитик может подготовить данные отчеты самостоятельно и в течение дней (при наличие подготовленных данных).

Integration Services для формирования хранилищ данных

В организациях всегда актуальна задача загрузки данных из различных внутренних и внешних систем в единое хранилище данных, с целью последующего сопоставления и анализа этой информации. На основании этого единого источника правды в организации становится возможным принятие управленческих решений на основании достоверной информации. Также часто требуется решить задачу переноса данных между системами.

Для решения перечисленных задач служит компонент SQL Server Integration Services, позволяющий интегрировать и преобразовывать данные. В число возможностей компонента входит копирование и загрузка файлов, отправка сообщений электронной почты как реакция на события, обновление хранилища данных, вызов процедур очистки и исследования данных, управление объектами и данными в базе данных SQL Server.

Загрузка данных в хранилище данных и формирование аналитических моделей

В классическом варианте данные сначала выгружаются (как правило, без преобразований) из источников данных в отдельную базу – промежуточную область. Далее при загрузки данных из этой области в хранилище данных данные уже значительно преобразуются и переводятся в специальную схему хранения (в итоге процесс преобразования не замедляет исходные базы). При необходимости (например, для увеличения скорости последующего извлечения) части данных переводятся в «витрины данных» (как правило, базы в схеме «звезда»). Из витрин и/или хранилища данных формируются (обновляются) аналитические модели.

Классический вариант загрузки данных в ХД, формирования витрин и аналитических моделей

Противоположный подход – формировать многомерную аналитическую модель напрямую из источника (если это SQL Server) с помощью функции «проактивного кэширования». Соответственно, между этими двумя противоположными вариантами существует множество промежуточных решений. Дополнительно проекты формирования хранилища данных могут быть дополнены функциями интеграции с системой управления нормативно-справочной информацией (НСИ) и функциями очистки данных.

Графическая разработка интеграционных пакетов

Интеграционные решения разрабатываются в программе SQL Server Data Tools (SSDT; расширение среды разработки Visual Studio). С помощью этой среды разработчики могут совместно создавать интеграционные проекты используя специальную графическую нотацию. Благодаря этой нотации проекты являются само-документируемыми; в итоге значительно уменьшаются затраты и увеличивается скорость сопровождения и внесения изменений в проекты.

Структура интеграционного проекта

Интеграционный проект состоит из пакетов. Каждый пакет содержит в себе определенный алгоритм выполнения задач, может быть запущен на выполнение, и в свою очередь может вызывать на выполнение другие пакеты (входящие в алгоритм).

Алгоритм работы пакета отражен в управляющем потоке, который содержит в себе задачи (в том числе, задачи выполнения других пакетов) и контейнеры (в том числе контейнерами последовательностей и циклов), которые могут быть соединены связями очередности.

Поток данных – это особый вид задачи в потоке управления, предназначенный для извлечения данных из источников (через адаптеры чтения), а затем преобразования и загрузки данных в целевые базы (например, в хранилище данных; через адаптеры записи). В число преобразований входит комбинирование данных через joins, unions и т.д.; проверка данных через правила, сопоставления, оценку качества; преобразование данных в целевой формат.

Поток данных в составе потока управления интеграционного проекта. Источник - Microsoft

В пакетах также используются переменные (для обмена данными между пакетами и преобразованиями), параметры (например, для задания конфигурационных значения для запуска пакета), обработка ошибок по событиям (для задания дополнительных действий при возникновении ошибки) и журналирование с различным уровнем детализации (для выявления мест и контекста возникновения ошибок при работе пакетов в промышленном режиме).

Размещение и администрирование

Разработанное интеграционное решение размещается в каталоге SSIS в виде модели проекта (.ispac). Для администрирования проектов, задания расписания выполнения пакетов, запуска пакетов с параметрами, формирования отчетности о результатах выполнения пакетов и т.д. используется SQL Server Management Studio (SSMS).

Журналирование работы интеграционных пакетов

В SQL Server 2012 встроена функция журналирования работы интеграционных пакетов и на базе журнала построены стандартные отчеты. В отчете верхнего уровня (All Executions report) можно посмотреть историю запусков каждого конкретного пакета (успешность, расположение, время начала и окончания, продолжительность). Через гиперссылки каждый запуск пакета можно детализировать вплоть до уровня конкретного события (в том числе можно посмотреть диагностические сообщения и значения переменных в момент возникновения события).

Отчет производительности запусков (Execution Performance report) отображает график изменения продолжительности времени работы пакета.

Фрагмент отчета о производительности интеграционного пакета

Также предусмотрен отчет со статистикой всех запусков всех пакетов (Dashboard report) и аналогичной возможностью детализации.

Демонстрация SSIS (разработка, размещение и администрирование)

Дополнительные материалы

  1. TechEd 2011 North America. DBI317. What’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration Services
  2. TechEd Australia 2011. DAT307DAT307. Denali SSIS and Data Quality Enhancements
  3. MSDN Library. SQL Server Integration Services

Navicon CDI для синхронизации данных о клиентах

Решение компании «Навикон», партнера Microsoft, под названием Navicon CDI (customer data integration – интеграция данных о клиентах) на базе Microsoft SQL Server 2012 обеспечивает централизацию и синхронизацию информации о клиентах, находящейся в различных информационных системах.

Система позволяет проводить автоматическую выверку, очистку и удаление дублей в больших массивах данных о физических и юридических лицах.

Ниже приведена демонстрация работы системы для выявление и устранения дубликата в справочнике клиентов – физических лиц (видео не содержит звука).

В текущий момент ведется разработка новой версии. Следите за новостями…

Дополнительно: http://www.navicongroup.ru/biztalk/management_nsi/cdi.php

Новое в Excel 2013 Preview для бизнес-аналитики

Мечты сбываются… В новой предварительной версии Excel 2013 появились те функции для анализа информации, которые выводят Excel на совершенно новый уровень и фактически задают новый стандарт аналитики, доступной для всех…

Справедливости ради стоит заметить, что наиболее важный аналитический компонент PowerPivot, позволяющий создавать аналитические модели, был доступен для использования и для предыдущей версии – Excel 2010. Но сейчас PowerPivot и Power View (ранее доступный только при работе с порталом SharePoint) встроены в Excel 2013 по умолчанию.

Функция «молниеносного заполнения» (Flash Fill)

Благодаря функции «молниеносного заполнения» (Flash Fill) Excel может интеллектуально находить шаблоны в данных и предлагать соответствующий вариант заполнения оставшихся ячеек. Найденные правила можно в дальнейшем корректировать путем редактирования других ячеек редактируемого набора данных.

Функция “быстрого анализа” (Quick Analysis)

Функция “быстрого анализа” (Quick Analysis) позволяет начинающим пользователям мгновенно находить уникальные записи и дубликаты, а также добавлять рекомендованные для наборов данных диаграммы.

Фильтр «линия времени» (Timeline)

Новый визуальный фильтр «линия времени» (Timeline) автоматически определяет измерение времени в Excel-данных и позволяет более гибко фильтровать данные по времени.

Нововведения в работу с диаграммами

  1. Появилась возможность создавать «диаграммы трендов» (trend charts) для быстрого отображения данных по времени.
  2. Сводные таблицы и диаграммы перестали быть связанными объектами, т.е. сейчас можно создать сводную диаграмму без предварительного создания таблицы.

Power View в Excel 2013 Preview

В Excel 2013 сразу после установки доступен компонент Power View (доступный без подключения к порталу) со следующими дополнительными функциями:

  1. Интерактивные карты для отображения данных из сводных таблиц Excel, в которых присутствуют названия георграфических мест. При этом координаты определяются автоматически на основании названия объекта (нужно указать уровень наименования объекта)
  2. Поддержка иерархий и ключевых показателей эффективности (KPI)
  3. Поддержка переходов вниз и вверх по иерархиям (Drill Up, Drill Down)
  4. Расширенные возможности оформления: темы оформления, изменение размеров шрифтов, поддержка гиперссылок
  5. Возможности подключения к нескольким моделям в книге Excel, диапазону набора данных, взаимодействие с интернет/интранет-книгами Excel (в Excel Services), книгами Excel в Office 365.

Составные приложения в Excel 2013

В книги Excel 2013 можно встраивать внешние приложения Office 2013, которые можно связать с данными, находящимися непосредственно в диапазонах данных Excel. Пример такого приложения – «Bing Maps для Office»

Демонстрация

Дополнительная информация

Процесс создания карты в Power View описан в статье Show Map Inside Power View in Excel 2013.

Новый ролик про Microsoft BI на базе SQL Server 2012

Записи докладов с конференции PASS SQLRally Russia 2012

По адресу http://www.techdays.ru/videos/SQLRally доступны записи докладов с конференции PASS SQLRally Russia 2012 в составе:

Follow

Get every new post delivered to your Inbox.