Демонстрация аналитики для здравоохранения – Часть 3

В третьей части демонстрационного сценария главный врач клиники производит (в Excel на основании аналитической модели PowerPivot) анализ деятельности по лечению сердечно-сосудистых заболеваний. Анализируется общая информация о деятельности клиники по данному направлению (поступление клиентов, стоимость лечения, заявки, дни пребывания, лучшие и худшие процедуры по длительности), детализируется информация об использовании ресурсов клиники с уровня типов процедур до уровня поступлений (количество поступлений, дней лечения, сравнение со средним количеством дней лечения по отрасли, стоимость лечения), интерактивный анализ соотношения количества дней лечения и использования ресурсов клиники, анализ географии расположения клиентов клиники.

Третья часть демонстрационного сценария с участием главного врача клиники. Источник: Microsoft

Подробнее: Microsoft BI для здравоохранения (сети клиник)

Демонстрация анализа журналов сайта из HDInsight (Hadoop для Windows)

В демонстрации показан анализ журналов сайта на основании данных из HDInsight (Hadoop для Windows), в частности хранение данных и запрос к Hive, запрос к данным из Excel, аналитическая модель в PowerPivot и визуализация в Power View.

Файл Excel 2013 со статистикой в разрезе субъектов РФ – PowerPivot и Power View

По просьбам общественности публикую текущую версию файла Excel 2013 со статистикой в разрезе субъектов РФ. Модель данных подготовлена с помощью PowerPivot и отображается в Excel с помощью Power View.

Файл находится в разделе «Аналитические модели» на сайте проекта http://public-intelligence.ru.

В ближайшие дни опубликую вебкасты о том, как устроена аналитическая модель в разрезе субъектов и бюджетной классификации, а также о том, как ее дополнять…

Читайте также:

  1. Анализ данных из произвольных источников с использованием PowerPivot
  2. Новое в Excel 2013 Preview для бизнес-аналитики
  3. Как общество может отслеживать результаты государственной деятельности с помощью Excel 2013

Установка бизнес-аналитики SQL Server 2012 SP1 для SharePoint 2013

Стандартная последовательность установки

Часто возникает задача подготовки тестовой или демонстрационной среды для решений Microsoft BI. Далее приведены рекомендации по созданию такой среды для Microsoft BI 2013. Для промышленного решения некоторые из приведенных ниже рекомендаций могут не подойти.

Для установки функций бизнес-аналитики SQL Server 2012 SP1 для одиночного сервера SharePoint 2013 используйте следующую последовательность.

  1. Установите SharePoint Server 2013 и включите использование Excel Services.
  2. Установите Analysis Services в режиме SharePoint (подробнее; см. «Step 1»).
  3. Сделайте настройки Excel Services в SharePoint Server 2013, чтобы использовался экземпляр Analysis Services, установленный на шаге 2 (подробнее; см. «Step 2»).
  4. Установите «Reporting Services в режиме SharePoint» и «надстройку Reporting Services для SharePoint» (подробнее).
  5. Сконфигурируйте «Reporting Services SharePoint Service» и не менее одного «Reporting Services Service Application» (подробнее).

Решение проблем установки

В это разделе я хотел бы дать некоторые рекомендации и замечания по установке, чтобы избежать ошибок установки (пожалуйста, добавляйте свои замечания и комментарии).

В частности, возможна ситуация, когда на сервере ранее было инсталлировано аналогичное решение предыдущих или предварительных версий (Technology Preview). В этом случае возможны нестандартные ситуации.

Ниже приведены проверенные мною рекомендации.

1. Проверьте, что работаете под учетной записью с административными правами и запускаете все программы, вносящие изменения, под администратором.

2. При установке с нуля не забудьте включить доменную учетную запись, под которой будет работать SharePoint в роль SQL Server Admin. При этом SQL Server и SharePoint должны стартовать под одной доменной учетной записью (подробнее).

3. Если ранее на машине был установлен SharePoint 2013 Preview, вручную удалите связанные пулы приложений и сайты с помощью «IIS Manager».

4. Включите доменного пользователя в группы (подробнее):

  • IIS_IUSRS
  • SQLServerFDHostUser$<MachineName>$<MSSQLSERVERInstance>
  • SQLServerMSASUser$<MachineName>$<MSSQLSERVERInstance>
  • SQLServerMSSQLUser$<MachineName>$<MSSQLSERVERInstance>
  • SQLServerSQLAgentUser$<MachineName>$<MSSQLSERVERInstance>
  • WSS_ADMIN_WPG
  • WSS_RESTRICTED_WPG_V4
  • WSS_WPG

5. Вместо запуска мастера конфигурирования SharePoint 2013 попробуйте выполнить следующие инструкции из «SharePoint 2013 Management Shell», а затем повторно запустите «SharePoint 2013 Products Configuration Wizard» (подробнее):

cd «C:\Program Files\Common Files\microsoft shared\Web Server Extensions\15\BIN»

PSCONFIG.EXE -cmd configdb create SkipRegisterAsDistributedCacheHost -server office2013bi -database SP2013_ConfigDb -admincontentdatabase SP2013_Admin_Content -user <домен>\<пользователь> -password <пароль>  -passphrase <фраза-пароль>

6. Если в журналах наблюдаются ошибки с ADOMD.NET, а в PerformancePoint не получается вывести список многомерных кубов, используйте перенаправление сборок в файле web.config (подробнее). Должно быть так: <bindingRedirect oldVersion=»10.0.0.0″ newVersion=»11.0.0.0″ />.

7. В настройках «Central Administration, Manage Services Applications, PerformancePoint Service Application, PerformancePoint Service Application Settings» не забудьте включить флаг «Use the EffectiveUserName connection string property instead of Windows delegation», чтобы пользователь подсоединялся к SSAS под своей учетной записью.

8. Reporting Services в режиме SharePoint нужно устанавливать после установки и настройки SharePoint. Если установили раньше – деинсталлируйте, и установите заново.

9. Если неправильно работает SQL Server PowerPivot Service Application, попробуйте его полностью деинсталлировать и установить заново. При удалении могут потребоваться дополнительные ручные операции. Я использовал «SELECT Id, classid, parentid, name, status, version, properties FROM objects WHERE name like ‘%PowerPivot%’», а затем из PowerShell команды для соответствующих GUID вида «stsadm -o uninstallfeature -id ’1a33a234-b4a4-4fc6-96c2-8bdb56388bd5′ -force». После этого деинсталлировал с помощью программы «PowerPivot for SharePoint Configuration» (подробнее).

Дополнительная информация

Анализ открытых статистических данных по РФ в Excel 2013

Excel 2013 позволяет любому пользователю Excel подключить для анализа данные, связанные с функционированием государства (с помощью PowerPivot) и проанализировать информацию с помощью интерактивных диаграмм Power View.

В представленной демонстрации показано, как использовать для анализа данные с сайта Единой межведомственной информационно-статистической системы и министерств финансов субъектов РФ.

Дополнительные материалы: Как общество может отслеживать результаты государственной деятельности с помощью Excel 2013

Семантическая модель аналитических данных (BISM)

Последнее обновление: 16.04.2014

В SQL Server в составе аналитических сервисов (SQL Server Analysis Services) доступна для использования семантическая модель бизнес-аналитики (BISM – Business Intelligence Semantic Model), которая объединяет в себе многомерную модель аналитических данных (ранее носившую название UDM – Unified Dimensional Model) и табличную модель аналитических данных (также известную как модель данных PowerPivot).

Табличная (tabular) модель может быть самостоятельно создана офисными сотрудниками в Excel (с помощью компонента PowerPivot).

Табличная модель в Excel позволяет:

  • включить в модель данные из произвольных источников;
  • быстро работать с объемыми данных в десятки миллионов строк, что достугается сжатием данных на уровне колонок с помощью движка xVelocity или VertyPaq;
  • создавать вычисления с помощью языка запросов DAX (Data Analysis Expressions).

Табличную модель Excel можно преобразовать в табличный проект SQL Server Data Tools (SSDT) – по сути проект Visual Studio для бизнес-аналитики, а затем опубликовать в табличном экземпляре аналитических сервисов.

Табличный проект позволяет дополнительно использовать секционирование и разграничение доступа к объектам модели вплоть до уровня данных. С точки зрения хранения данных это может быть хранение в ОЗУ сервера (режим xVelocity, объемы данных ограничены только объемом ОЗУ сервера) и хранение непосредственно в базе SQL Server (Direct Query; при этом рекомендуется использовать индексы хранения на уровне колонок – ColumnStore Indexes).

Возможна организация циклического процесса разработки моделей, когда офисные пользователи (аналитики) модифицируют модель в Power Pivot, а сотрудники ИТ-подразделения импортируют модель в Visual Studio (SSDT), публикуют ее и применяют к ней дополнительные XMLA-скрипты для прописывания прав доступа и других расширений модели.

Многомерный проект создается как и раньше в Visual Studio (SQL Server Data Tools), для вычислений использует язык запросов MDX (Multi-Dimensional Expressions), позволяет использовать различные стратегии доступа к данным (ROLAP, MOLAP, HOLAP), различные стратегии агрегирования и так далее. В конечном итоге многомерный проект позволяет реализовать наиболее сложные аналитические модели на максимально возможных объемах данных. Недостатки многомерной модели – требуется высокая квалификация разработчика модели, а для создания модели должно быть предварительно подготовлено хранилище данных – нет возможности на лету подключать дополнительные источники данных.

В следующем докладе рассказывается подробнее о многомерных моделях и показаны демонстрации работы с такими моделями.

Про оптимизацию производительности многомерных кубов можно посмотреть доклад на TechDays.ru.

Вне зависимости от используемого типа модели данных, на основании BISM можно строить отчеты, карты показателей и информационные панели с помощью широкого спектра пользовательских инструментов (табличные модели при публикации для приложений выглядят так же, как многомерные модели).

Дополнительная информация:

  1. MSDN. Introducing the BI Semantic Model in Microsoft® SQL Server® 2012
  2. MSDN. Choosing a Tabular or Multidimensional Modeling Experience in SQL Server 2012 Analysis Services
  3. MSDN. Analysis Services MOLAP Performance Guide for SQL Server 2012 and 2014
  4. MSDN. Securing the Tabular BI Semantic Model
  5. MSDN. Using DirectQuery in the Tabular BI Semantic Model

Практические рекомендации по SSAS OLAP:

Полезные ссылки по табличной модели BISM:

Новые возможности в SQL Server 2012 CTP3 для бизнес-аналитики (Microsoft BI)

В этой статье рассмотрим, какие новые наиболее значимые функции появились в SQL Server 2012 CTP3 для задач бизнес-аналитики. Но сначала давайте рассмотрим, каким образом реализуются с помощью новой версии SQL Server различные уровни аналитического решения: персональная, коллективная и корпоративная аналитика.

  1. Персональная аналитика – это когда пользователи используютExcel с надстройкой PowerPivot в их каждодневной самостоятельной работе. Например, менеджер по продажам анализирует результаты своей работы.
  2. Коллективная аналитика – когда одни пользователи создают отчеты (например, в Excel, либо над моделью BISM с помощью Power View) и предоставляют эти отчеты в пользование другим сотрудникам. Например, директор департамента использует отчет, созданный другим сотрудником, или на основании модели BISM (например, опубликованной с помощью файла Excel) создает самостоятельно отчет Power View.
  3. Корпоративная аналитика – когда процесс создания аналитической модели  и отчетов берет на себя служба информационных технологий. При этом разрабатываются интеграционные пакеты по загрузке и очистке данных (с помощью Integration Services и Data Quality Services), формируются выверенные аналитические модели с едиными в пределах организации показателями, формируются согласованные между подразделениями отчеты.

Давайте рассмотрим наиболее важные нововведения в SQL Server 2012 CTP3. На следующем рисунке приведены компоненты SQL Server, а розовым цветом выделены наиболее значимые изменения.

Business Intelligence Semantic Model (BISM)

В составе аналитических сервисов введена семантическая модель бизнес-аналитики (BISM), которая объединяет в себе многомерную (ранее — UDM) и табличную модель данных (ранее – модель данных PowerPivot).

К BISM можно строить запросы с помощью языков MDX и DAX. Нужно только иметь в виду, что хотя с помощью DAX можно делать запросы к многомерной модели BISM (ранее — UDM), с помощью DAX в этой модели нельзя будет создавать новые показатели (в табличной модели BISM, разумеется, можно)…

В части доступа к данным для многомерной модели данных используются варианты хранения данных ROLAP, MOLAP и промежуточные. Для табличной модели используется режим VertiPaq (при этом в «Denali» на несколько порядков увеличились объемы данных, которые можно обрабатывать на сервере) и новый вариант доступа в виде прямого запроса к реляционной базе данных (при этом можно использовать индексы хранения колонок (ColumnStore indexes), о которых речь пойдет в дальнейшем.

Соответственно, модель можно формировать на основании большого набора источников данных, в том числе, потоков данных и данных из облачных сервисов (SQL Azure DataMarket).

Вне зависимости от используемого типа модели данных, на основании BISM можно строить отчеты, карты показателей и информационные панели с помощью широкого спектра пользовательских инструментов, к которым в Denali добавился Power View (ранее известный как «Crescent»).

Power View для интерактивного анализа данных

Новый компонент Power View позволяет обычным пользователям самостоятельно строить интерактивные отчеты и информационные панели на основании BISM.

Построение отчетов в Power View интуитивно понятно для обычных пользователей и характеризуется высокой интерактивностью и богатыми возможностями представления информации для анализа. Компонент автоматически связывает между собой различных части отчета, при выборе определенного элемента отчета показывает те же данные в других частях отчета, позволяет просматривать изменение данных в динамике и многое другое.

В следующем демонстрационном ролике показаны основные функции Crescent на примере организации по продаже товаров.

Отчеты Crescent также можно интегрировать в презентации PowerPoint и менять запросы к данным непосредственно в этом офисном продукте.

Data Quality Services для управления качеством данных

Новый компонент SQL Server 2012 CTP3 под названием Data Quality Services предназначен для очистки и/или устранения дубликатов в данных, загружаемых из источников.

Процесс работы с DQS состоит из двух основных этапов.

  1. Создается база знаний DQS, в которой задаются домены (анализируемые атрибуты данных) и правила очистки доменных значений (правила очистки, список правильных значений и альтернативных значений для переименования, внешние данные для сравнения). Далее по мере использования эта база знаний постоянно дополняется.
  2. На основании базы знаний создаются проекты DQS по очистке входных данных. При этом указывается входной
    источник, соответствия полей источника и доменов, данные из источника проходят автоматическую и ручную обработку, а затем могут быть экспортированы в SQL Server или CSV-файл.

Проекты DQS также можно использовать в пакетах Integrations Services для обработки новых записей в автоматическом режиме.

Улучшения в Master Data Services

В Master Data Services также есть множество значительных улучшений, среди которых:

  • надстройка MDS для Excel, позволяющая быстро создавать новые модели данных и осуществлять групповые изменения данных;
  • интеграция с проектами по управлению качеством данных (DQS);
  • для импорта информации для каждой сущности создается отдельная таблица, что значительно упрощает интеграцию (например, с помощью SSIS);
  • удобный веб-интерфейс с использованием технологии Silverlight.

В результате этих нововведений архитектура MDS в SQL Server 2012 принимает следующий вид.

Другие улучшение в SQL Server 2012 CTP3 для бизнес-аналитики
(Microsoft BI)

В числе других улучшений входят:

  • индексы хранения колонок (ColumnStore indexes) в реляционной базе данных позволяют на порядки ускорить операции JOIN на схеме базы данных тика «звезда», что значительно увеличивает производительность хранилищ данных;
  • SSRS в «Denali» работает как сервис общего доступа в SharePoint, что облегчает настройку и управление (резервное копирование, восстановление, ULS-журналирование, PowerShell), а также позволяет масштабировать решение;
  • благодаря возможности создания нотификаций в SSRS, интегрированных с SharePoint, пользователь интуитивно может для имеющихся отчетов задать условия, когда эти отчеты должны приходить по электронной почте;
  • появилась работать с SSRS в «облаке» (SQL Azure), благодаря чему операционная отчетность организаций может формироваться на базе данных SQL Azure, и можно встраивать отчеты в приложения Windows Azure или в пределах организации;
  • многое другое (об этом – в следующих публикациях).