В следующей демонстрации показан сценарий анализа битумного рынка с помощью GeoFlow для Excel (и сенсорного экрана). Сценарий создан и записан Павлом Аникеевым – директором аналитического центра группы компании “ОМТ-Консалт”.
В Excel появилась возможность отображения множества слоев данных на трехмерной карте с помощью надстройки GeoFlow для Excel (надстройка доступна для загрузки с сайта Microsoft).
Надстройка позволяет пользователям самостоятельно настраивать несколько слоев отображения данных (до миллиона строк) на трехмерной карте, включать и выключать эти слои, настраивать вариант визуализации слоев в виде столбцов данных, окружностей, цветовых карт, а также просматривать как данные менялись с течением времени.
Еще одна возможность инструмента – возможность записи последовательности переходов по карте и включения/выключения слоев данных с целью последующей демонстрации.
Ниже приведена демонстрация работы с подготовленной картой GeoFlow, а затем показано как можно добавлять слои данных (скачать исходный Excel-файл можно здесь).
В следующем демонстрационном примере показан анализ данных нефтегазовой отрасли с помощью Power View – инструмента в составе Microsoft BI для интерактивного анализа данных.
В примере анализируются:
стоимость и объемы производства нефти и газа;
статистика появления нефтегазовых терминов в Твиттере;
расположение, виды и текущее состояние скважин;
производство новых скважин различными подразделениями;
Приведенный ниже демонстрационный пример по страхованию разработан компанией «Витасофт» на основании накопленного опыта проектов в данной отрасли. Стенд переведен на платформу Microsoft как результат проекта Proof-of-Concept (POC), проведенного в технологическом центре Microsoft в Москве.
Стенд содержит информационные панели на базе SharePoint 2013 PerformancePoint Services на базе многомерной аналитической модели (MBISM), а также отчеты Power View на базе табличной аналитической модели (TBISM).
В части информационных панелей PerformancePoint показано решение задач анализа страховых премий, убыточности, выплат, состава убыточности.
В части самостоятельной аналитики демонстрируется интерактивность отчетов и возможность самостоятельного изменения их структуры в Power View на примере задач анализа рынка автострахования (премий, выплат, технического результата, процента выполнения, андеррайтерской убыточности и т.д.) по маркам и моделям автомобилей, каналам продаж, подразделениям.
Стенд подготовили: Анна Свиридова (Microsoft), Борис Кучмель (Витасофт), Иван Косяков (Microsoft).
В следующем демонстрационном примере показан анализ данных розничной торговли с помощью Power View – инструмента в составе Microsoft BI для интерактивного анализа данных.
В примере анализируются рекламные кампании, каналы продаж (и как показатели продаж менялись с течением времени), демографические данных о клиентах, расположение торговых точек на карте (и уровень продаж в этих торговых точках), продажи в разрезе категорий товаров и т.д.
Отчеты, показанные в демонстрации, могут быть созданы в Excel на базе табличной модели (с помощью PowerPivot для Excel). Т.е. аналитик может подготовить данные отчеты самостоятельно и в течение дней (при наличие подготовленных данных).
В организациях всегда актуальна задача загрузки данных из различных внутренних и внешних систем в единое хранилище данных, с целью последующего сопоставления и анализа этой информации. На основании этого единого источника правды в организации становится возможным принятие управленческих решений на основании достоверной информации. Также часто требуется решить задачу переноса данных между системами.
Для решения перечисленных задач служит компонент SQL Server Integration Services, позволяющий интегрировать и преобразовывать данные. В число возможностей компонента входит копирование и загрузка файлов, отправка сообщений электронной почты как реакция на события, обновление хранилища данных, вызов процедур очистки и исследования данных, управление объектами и данными в базе данных SQL Server.
Загрузка данных в хранилище данных и формирование аналитических моделей
В классическом варианте данные сначала выгружаются (как правило, без преобразований) из источников данных в отдельную базу – промежуточную область. Далее при загрузки данных из этой области в хранилище данных данные уже значительно преобразуются и переводятся в специальную схему хранения (в итоге процесс преобразования не замедляет исходные базы). При необходимости (например, для увеличения скорости последующего извлечения) части данных переводятся в «витрины данных» (как правило, базы в схеме «звезда»). Из витрин и/или хранилища данных формируются (обновляются) аналитические модели.
Противоположный подход – формировать многомерную аналитическую модель напрямую из источника (если это SQL Server) с помощью функции «проактивного кэширования». Соответственно, между этими двумя противоположными вариантами существует множество промежуточных решений. Дополнительно проекты формирования хранилища данных могут быть дополнены функциями интеграции с системой управления нормативно-справочной информацией (НСИ) и функциями очистки данных.
Графическая разработка интеграционных пакетов
Интеграционные решения разрабатываются в программе SQL Server Data Tools (SSDT; расширение среды разработки Visual Studio). С помощью этой среды разработчики могут совместно создавать интеграционные проекты используя специальную графическую нотацию. Благодаря этой нотации проекты являются само-документируемыми; в итоге значительно уменьшаются затраты и увеличивается скорость сопровождения и внесения изменений в проекты.
Структура интеграционного проекта
Интеграционный проект состоит из пакетов. Каждый пакет содержит в себе определенный алгоритм выполнения задач, может быть запущен на выполнение, и в свою очередь может вызывать на выполнение другие пакеты (входящие в алгоритм).
Алгоритм работы пакета отражен в управляющем потоке, который содержит в себе задачи (в том числе, задачи выполнения других пакетов) и контейнеры (в том числе контейнерами последовательностей и циклов), которые могут быть соединены связями очередности.
Поток данных – это особый вид задачи в потоке управления, предназначенный для извлечения данных из источников (через адаптеры чтения), а затем преобразования и загрузки данных в целевые базы (например, в хранилище данных; через адаптеры записи). В число преобразований входит комбинирование данных через joins, unions и т.д.; проверка данных через правила, сопоставления, оценку качества; преобразование данных в целевой формат.
В пакетах также используются переменные (для обмена данными между пакетами и преобразованиями), параметры (например, для задания конфигурационных значения для запуска пакета), обработка ошибок по событиям (для задания дополнительных действий при возникновении ошибки) и журналирование с различным уровнем детализации (для выявления мест и контекста возникновения ошибок при работе пакетов в промышленном режиме).
Размещение и администрирование
Разработанное интеграционное решение размещается в каталоге SSIS в виде модели проекта (.ispac). Для администрирования проектов, задания расписания выполнения пакетов, запуска пакетов с параметрами, формирования отчетности о результатах выполнения пакетов и т.д. используется SQL Server Management Studio (SSMS).
Журналирование работы интеграционных пакетов
В SQL Server 2012 встроена функция журналирования работы интеграционных пакетов и на базе журнала построены стандартные отчеты. В отчете верхнего уровня (All Executions report) можно посмотреть историю запусков каждого конкретного пакета (успешность, расположение, время начала и окончания, продолжительность). Через гиперссылки каждый запуск пакета можно детализировать вплоть до уровня конкретного события (в том числе можно посмотреть диагностические сообщения и значения переменных в момент возникновения события).
Отчет производительности запусков (Execution Performance report) отображает график изменения продолжительности времени работы пакета.
Также предусмотрен отчет со статистикой всех запусков всех пакетов (Dashboard report) и аналогичной возможностью детализации.
Демонстрация SSIS (разработка, размещение и администрирование)
Дополнительные материалы
TechEd 2011 North America. DBI317. What’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration ServicesWhat’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration Services
Решение компании «Навикон», партнера Microsoft, под названием Navicon CDI (customer data integration – интеграция данных о клиентах) на базе Microsoft SQL Server 2012 обеспечивает централизацию и синхронизацию информации о клиентах, находящейся в различных информационных системах.
Система позволяет проводить автоматическую выверку, очистку и удаление дублей в больших массивах данных о физических и юридических лицах.
Ниже приведена демонстрация работы системы для выявление и устранения дубликата в справочнике клиентов – физических лиц (видео не содержит звука).
В текущий момент ведется разработка новой версии. Следите за новостями…
Мечты сбываются… В новой предварительной версии Excel 2013 появились те функции для анализа информации, которые выводят Excel на совершенно новый уровень и фактически задают новый стандарт аналитики, доступной для всех…
Справедливости ради стоит заметить, что наиболее важный аналитический компонент PowerPivot, позволяющий создавать аналитические модели, был доступен для использования и для предыдущей версии – Excel 2010. Но сейчас PowerPivot и Power View (ранее доступный только при работе с порталом SharePoint) встроены в Excel 2013 по умолчанию.
Функция «молниеносного заполнения» (Flash Fill)
Благодаря функции «молниеносного заполнения» (Flash Fill) Excel может интеллектуально находить шаблоны в данных и предлагать соответствующий вариант заполнения оставшихся ячеек. Найденные правила можно в дальнейшем корректировать путем редактирования других ячеек редактируемого набора данных.
Функция “быстрого анализа” (Quick Analysis)
Функция “быстрого анализа” (Quick Analysis) позволяет начинающим пользователям мгновенно находить уникальные записи и дубликаты, а также добавлять рекомендованные для наборов данных диаграммы.
Фильтр «линия времени» (Timeline)
Новый визуальный фильтр «линия времени» (Timeline) автоматически определяет измерение времени в Excel-данных и позволяет более гибко фильтровать данные по времени.
Нововведения в работу с диаграммами
Появилась возможность создавать «диаграммы трендов» (trend charts) для быстрого отображения данных по времени.
Сводные таблицы и диаграммы перестали быть связанными объектами, т.е. сейчас можно создать сводную диаграмму без предварительного создания таблицы.
Power View в Excel 2013 Preview
В Excel 2013 сразу после установки доступен компонент Power View (доступный без подключения к порталу) со следующими дополнительными функциями:
Интерактивные карты для отображения данных из сводных таблиц Excel, в которых присутствуют названия георграфических мест. При этом координаты определяются автоматически на основании названия объекта (нужно указать уровень наименования объекта)
Поддержка иерархий и ключевых показателей эффективности (KPI)
Поддержка переходов вниз и вверх по иерархиям (Drill Up, Drill Down)
Расширенные возможности оформления: темы оформления, изменение размеров шрифтов, поддержка гиперссылок
Возможности подключения к нескольким моделям в книге Excel, диапазону набора данных, взаимодействие с интернет/интранет-книгами Excel (в Excel Services), книгами Excel в Office 365.
Составные приложения в Excel 2013
В книги Excel 2013 можно встраивать внешние приложения Office 2013, которые можно связать с данными, находящимися непосредственно в диапазонах данных Excel. Пример такого приложения – «Bing Maps для Office»