Модель каталога показателей и настройка его согласования в MDS. Часть первая

Для многих организаций актуальна задача ведения каталога показателей и ключевых показателей эффективности (КПЭ), а также обеспечение процесса их согласования различными подразделениями. В этой статье я расскажу, как задачу можно реализовать средствами компонента SQL Server Master Data Services.

Каталог показателей должен содержать все используемые в аналитической модели показатели и описание расчета этих показателей. Все отчеты и информационные панели строятся на основании единой аналитической модели данных, поэтому неоднозначность толкования показателей и споры о том, как корректно их рассчитывать (типичная проблема многих больших организаций), исчезают.

Каталоги показателей присутствуют в инструментах разработки SQL Server Data Tools и SharePoint PerformancePoint Services. Если необходим функционал создания заявок на новые показатели, функции поиска и т.д., можно использовать дополнительные опции. При этом модель каталога показателей может быть представлена следующей схемой.

Модель каталога показателей

Для решения задачи создания заявок, их согласования и фильтрации в каталоге показателей можно использовать компонент SQL Server 2012 Master Data Services (MDS). С помощью компонента можно настроить гибкий процесс согласования каталога показателей. Управление показателями и их поиск (в том числе через фильтрацию значений стандартных атрибутов) можно производить в Excel (каталог открывается с помощью надстройки MDS Add-in).

Гибкий процесс дополнения каталога показателей и утверждения новых показателей можно также настроить в пределах каталога показателей через механизм бизнес-правил. Можно использовать статусы: новый —> согласован подразделением —> согласован ИТ. Для нового показателя должно быть указано подразделение. При возникновении нового показателя ответственным сотрудникам подразделения рассылается нотификация. Послу утверждения подразделением требуется утверждение показателя ИТ-службой.

Интересно, кто-нибудь возьмется в ближайшие дни реализовать данную модель и сделать запись демонстрации? Тогда можно будет продублировать во второй части статьи. У меня на следующей неделе отпуск – скорее всего не успею… 😉

Управление информацией организаций

Наиболее актуальная версия статьи: https://microsoftbi.ru/basics/eim/

Управление информацией организаций (Enterprise Information Management, EIM) является отдельной областью знаний, которая специализируется на решениях по оптимальному использованию информации в пределах организаций, например, для поддержки управленческих решений или операционной деятельности, требующей наличия знаний.

В составе платформы данных Microsoft SQL Server 2012 цикл управления информацией организаций (обнаружение, получение, наращивание и управление) поддерживается следующими продуктами:

  1. Компонент «Project Barcelona» позволяет автоматически собрать информацию об имеющихся источниках данных, интеграционных проектах, сервисах, порталах и службах отчетности, а затем проследить связи между этими объектами.
  2. Компонент «Integration Services» служит для организации загрузки и преобразования данных между различными системами (в том числе, для загрузки данных в хранилище данных).
  3. Компонент «Data Quality Services» предоставляет стандартные средства очистки и сопоставления данных, на основании имеющихся баз знаний.
  4. Компонент «Master Data Services» предоставляет возможности по управлению нормативно-справочной информацией как на уровне дружественных Excel- и Web-интерфейсов, так и на уровне программных интерфейсов.

В результате применения перечисленных выше технологий процесс управления информацией организации может осуществляться в следующей последовательности:

  1. С помощью проекта Barcelona можно проанализировать имеющиеся базы данных, систематизировать эту информацию, выявить похожие сущности и т.д. На основании этой информации можно разрабатывать интеграционные проекты.
  2. В интеграционном проекте Integration Services по загрузке данных в хранилище данных первым шагом выполняется извлечение данных в промежуточную область.
  3. Следующим шагов данные во временных таблицах прогоняются через Data Quality Services, чтобы очистить в автоматическом режиме имеющиеся некорректные данные.
  4. Далее поток данных (колонки со справочными данными) сопоставляется с сущностями в Master Data Services.
  5. Если соответствие с нормативно-справочной информацией не найдено, эти записи можно сохранить в отдельном месте хранения и затем сопоставить/дедуплицировать c помощью Data Quality Services в ручном режиме, например, с использованием Excel и надстройки MDS с функциями DQS.
  6. Откорректированные данные с помощью SSIS публикуются в системе-потребителе (например, в хранилище данных).
  7. С помощью проекта Barcelona можно произвести автоматическую инвентаризацию имеющихся данных, интеграционных проектов и отчетных систем, что позволит в будущем учесть все зависимые системы при внесении изменений в структуры данных.

Пример такого интеграционного проекта с применением MDS и DQS показан в следующей демонстрации.

Виртуальная машина SQL Server 2012 CTP3

Виртуальная машина SQL Server 2012 CTP3 («Denali» CTP3) содержит полностью сконфигурированные сервисы и интеграцию с SharePoint 2010 и Office 2010. Судя по дате публикации, ей можно будет пользоваться до середины апреля 2012 года.

На виртуальной машине, в том числе, доступы такие компоненты как DQS и новый MDS. Можно посмотреть 2 примера модели BISM  и соответствующих отчетов Power View (Crescent).

Ссылка для скачивания: http://www.microsoft.com/download/en/details.aspx?id=27740

Дополнительная информация:

  1. MicrosoftBI.ru. Новые возможности в SQL Server 2012 CTP3 для бизнес-аналитики (Microsoft BI)
  2. One Click BI Blog. Getting Started with the SQL Server “Denali” CTP3 Image

Новые возможности в SQL Server 2012 CTP3 для бизнес-аналитики (Microsoft BI)

В этой статье рассмотрим, какие новые наиболее значимые функции появились в SQL Server 2012 CTP3 для задач бизнес-аналитики. Но сначала давайте рассмотрим, каким образом реализуются с помощью новой версии SQL Server различные уровни аналитического решения: персональная, коллективная и корпоративная аналитика.

  1. Персональная аналитика – это когда пользователи используютExcel с надстройкой PowerPivot в их каждодневной самостоятельной работе. Например, менеджер по продажам анализирует результаты своей работы.
  2. Коллективная аналитика – когда одни пользователи создают отчеты (например, в Excel, либо над моделью BISM с помощью Power View) и предоставляют эти отчеты в пользование другим сотрудникам. Например, директор департамента использует отчет, созданный другим сотрудником, или на основании модели BISM (например, опубликованной с помощью файла Excel) создает самостоятельно отчет Power View.
  3. Корпоративная аналитика – когда процесс создания аналитической модели  и отчетов берет на себя служба информационных технологий. При этом разрабатываются интеграционные пакеты по загрузке и очистке данных (с помощью Integration Services и Data Quality Services), формируются выверенные аналитические модели с едиными в пределах организации показателями, формируются согласованные между подразделениями отчеты.

Давайте рассмотрим наиболее важные нововведения в SQL Server 2012 CTP3. На следующем рисунке приведены компоненты SQL Server, а розовым цветом выделены наиболее значимые изменения.

Business Intelligence Semantic Model (BISM)

В составе аналитических сервисов введена семантическая модель бизнес-аналитики (BISM), которая объединяет в себе многомерную (ранее — UDM) и табличную модель данных (ранее – модель данных PowerPivot).

К BISM можно строить запросы с помощью языков MDX и DAX. Нужно только иметь в виду, что хотя с помощью DAX можно делать запросы к многомерной модели BISM (ранее — UDM), с помощью DAX в этой модели нельзя будет создавать новые показатели (в табличной модели BISM, разумеется, можно)…

В части доступа к данным для многомерной модели данных используются варианты хранения данных ROLAP, MOLAP и промежуточные. Для табличной модели используется режим VertiPaq (при этом в «Denali» на несколько порядков увеличились объемы данных, которые можно обрабатывать на сервере) и новый вариант доступа в виде прямого запроса к реляционной базе данных (при этом можно использовать индексы хранения колонок (ColumnStore indexes), о которых речь пойдет в дальнейшем.

Соответственно, модель можно формировать на основании большого набора источников данных, в том числе, потоков данных и данных из облачных сервисов (SQL Azure DataMarket).

Вне зависимости от используемого типа модели данных, на основании BISM можно строить отчеты, карты показателей и информационные панели с помощью широкого спектра пользовательских инструментов, к которым в Denali добавился Power View (ранее известный как «Crescent»).

Power View для интерактивного анализа данных

Новый компонент Power View позволяет обычным пользователям самостоятельно строить интерактивные отчеты и информационные панели на основании BISM.

Построение отчетов в Power View интуитивно понятно для обычных пользователей и характеризуется высокой интерактивностью и богатыми возможностями представления информации для анализа. Компонент автоматически связывает между собой различных части отчета, при выборе определенного элемента отчета показывает те же данные в других частях отчета, позволяет просматривать изменение данных в динамике и многое другое.

В следующем демонстрационном ролике показаны основные функции Crescent на примере организации по продаже товаров.

Отчеты Crescent также можно интегрировать в презентации PowerPoint и менять запросы к данным непосредственно в этом офисном продукте.

Data Quality Services для управления качеством данных

Новый компонент SQL Server 2012 CTP3 под названием Data Quality Services предназначен для очистки и/или устранения дубликатов в данных, загружаемых из источников.

Процесс работы с DQS состоит из двух основных этапов.

  1. Создается база знаний DQS, в которой задаются домены (анализируемые атрибуты данных) и правила очистки доменных значений (правила очистки, список правильных значений и альтернативных значений для переименования, внешние данные для сравнения). Далее по мере использования эта база знаний постоянно дополняется.
  2. На основании базы знаний создаются проекты DQS по очистке входных данных. При этом указывается входной
    источник, соответствия полей источника и доменов, данные из источника проходят автоматическую и ручную обработку, а затем могут быть экспортированы в SQL Server или CSV-файл.

Проекты DQS также можно использовать в пакетах Integrations Services для обработки новых записей в автоматическом режиме.

Улучшения в Master Data Services

В Master Data Services также есть множество значительных улучшений, среди которых:

  • надстройка MDS для Excel, позволяющая быстро создавать новые модели данных и осуществлять групповые изменения данных;
  • интеграция с проектами по управлению качеством данных (DQS);
  • для импорта информации для каждой сущности создается отдельная таблица, что значительно упрощает интеграцию (например, с помощью SSIS);
  • удобный веб-интерфейс с использованием технологии Silverlight.

В результате этих нововведений архитектура MDS в SQL Server 2012 принимает следующий вид.

Другие улучшение в SQL Server 2012 CTP3 для бизнес-аналитики
(Microsoft BI)

В числе других улучшений входят:

  • индексы хранения колонок (ColumnStore indexes) в реляционной базе данных позволяют на порядки ускорить операции JOIN на схеме базы данных тика «звезда», что значительно увеличивает производительность хранилищ данных;
  • SSRS в «Denali» работает как сервис общего доступа в SharePoint, что облегчает настройку и управление (резервное копирование, восстановление, ULS-журналирование, PowerShell), а также позволяет масштабировать решение;
  • благодаря возможности создания нотификаций в SSRS, интегрированных с SharePoint, пользователь интуитивно может для имеющихся отчетов задать условия, когда эти отчеты должны приходить по электронной почте;
  • появилась работать с SSRS в «облаке» (SQL Azure), благодаря чему операционная отчетность организаций может формироваться на базе данных SQL Azure, и можно встраивать отчеты в приложения Windows Azure или в пределах организации;
  • многое другое (об этом – в следующих публикациях).

PASS Summit 2010 — день третий

Третий день саммита прошел в более спокойном режиме. Все важные анонсы были сделаны в предыдущие дни, а ключевая сессия была сугубо технической и, я бы даже сказал, академической.

Большая часть сессий, которые я посетил, были посвящены существующим технологиям. Кроме последней сессии.

Но обо всем по порядку…

Ключевой доклад

Ключевой доклад третьего дня конференции начал Rick Heiges (вице-президент по маркетингу, PASS).

Rick Heiges (вице-президент по маркетингу, PASS)

В своей речи он:

  • озвучил новый состав президиума PASS;
  • рассказал о концепции работы PASS на ближайшие годы;
  • анонсировал новое событие PASS SQL Rally (www.sqlrally.com), которое представляет собой технический тренинг на несколько дней и пройдет 11-13 мая 2011 года в Орландо, Флорида;
  • анонсировал новый PASS Summit 2011.

PASS Summit 2011

Непосредственно ключевой доклад был посвящен теме оптимизации SQL-запросов. Эту тему представил David J. DeWitt (технический советник, подразделение платформы данных и хранения Microsoft).

David J. DeWitt начал с того, что задача оптимизации запросов (то есть преобразования SQL-запроса в наиболее эффективный план выполнения из возможных) является очень сложной задачей, которая впервые была сформулирована 30 лет назад Пэтом Силенгером (IBM Research).

Он привел пример запроса, который можно выполнить с помощью 22 млн. альтернативных планов, и в ходе своей презентации рассказал, как решается задача нахождения лучшего плана.

Если резюмировать, доклад о роли оптимизатора содержал информацию о том как формируются планы выполнения (логические и физические), почему в планах бывают неточности, как оценивается количество элементов в каждой ветке плана, как оценивается стоимость выполнения каждой ветки и плана в целом, как исключаются заведомо ненужные варианты планов.

Далее привожу несколько интересных слайдов. Доклад можно посмотреть по ссылке на странице http://www.sqlpass.org/summit/na2010/, а презентация доступна в блоге Дэвида.

Время выполнения различных физических планов

В заключительной части Дэвид рассказал о последних результатах исследований, которые позволят улучшить планы выполнения запросов.

Пространство результирующего плана

Сессия 1 – SSRS в интегрированном режиме SharePoint

Доклад Брайана Ларсона (Superior Consulting Services) был посвящен вопросам работы SSRS в интегрированном режиме SharePoint.

Брайан Ларсон (Superior Consulting Services)

В ходе доклада Брайан осветил вопросы:

  • архитектуры;
  • конфигурирования;
  • установки;
  • настройки библиотек SSRS;
  • использования ReportBuilder;
  • создания подписок;
  • версионности / check in-out / подтверждения контента;
  • создания копий отчетов со связью;
  • задания прав на отчеты;
  • создания нотификаций;
  • использования списков SharePoint в отчетах.

Сессия 2 – Хранимые процедуры Analysis Services

В своем докладе Стасия Миснер (Data Inspirations) подробно рассказала о том, как создавать, использовать и осуществлять отладку хранимых процедур SSAS, а также немного затронула тему использования функции OpenQuery.

Стасия Миснер (Data Inspirations)

Если резюмировать, процесс создания ASSP (Analysis Services Stored Procedure) состоит из трех шагов:

  • создание проекта .net для ASSP;
  • регистрация сборки;
  • запуск ASSP.

Создание проекта .net для ASSP

Варианты применения ASSP: статистические выборки, пространственные фильтры и прочее (примеры можно найти на www.codeplex.com).

Сессия 3 – Применение ReportBuilder и SharePoint PerformancePoint Services

На третьей сессии я побывал на двух докладах:

  • Bob Meyers. Использование ReportBuilder – подробности;
  • Craig Utley. Мониторинг и аналитика с помощью PerformancePoint Services.

В обоих докладах подробно раскрывались функции соответствующих продуктов, поэтому особенно комментировать нечего.

Bob Meyers. Использование ReportBuilder – подробности

Craig Utley. Мониторинг и аналитика с помощью PerformancePoint Services

Сессия 4 – Data Quality Services и Master Data Services

Наконец-то! Анонсы изменений в Master Data Services и нового компонента Data Quality Services…

Нововведения в Master Data Services представила Denise Draper (Microsoft).

Denise Draper (Microsoft)

Денис начала с рассказа об области задач Управления информацией предприятия (Enterprise Information Management — EIM). Понятно, что EIM – это скорее область знаний, но SQL Server «Denali» поддерживает ее требования с помощью:

  • компонента «Integration Services» для управления интеграцией приложений;
  • компонента «Master Data Services» для управления нормативно-справочной информацией предприятия;
  • нового компонента «Data Quality Services» для управления качеством данных;
  • набора инструментов анализа зависимостей и отслеживания определения источника появления данных.

EIM в проекте Denali

В части Integration Services SQL Server «Denali» обеспечит:

  • улучшение удобства использования инструментов разработки, таких как возможность настройки панели инструментов и undo-redo при редактировании пакетов интеграции;
  • улучшения механизмов отладки (журналирования и индикации ошибок), такие как история шагов выполнения потока управления и анализ отказов без перезапуска пакета;
  • управление проектами, конфигурациями и развертыванием за счет возможности отделить пакеты от конфигураций и новых возможностей управления и мониторинга.

Master Data Services в SQL Server «Denali» будет коробочным продуктом с возможностью управления мета информацией в Excel. Основная идея здесь состоит в том, что уже сейчас у подавляющего большинства клиентов справочники ведутся в Excel, и этот инструмент очень удобен для подобных задач.

Управление мета-информацией в Excel с помощью надстройки Master Data Services в SQL Server «Denali» - прототип

Будут также доступны инструменты для анализа влияния мета-информации, такие как «из какого источника получены эти колонки?» и «куда идут данные из этой таблицы?». Функции анализа влияния будут анализировать системы, находить таблицы, хранимые процедуры, пакеты и отчеты и записывать их взаимодействия.

Графический прототип просмотра зависимостей в SQL Server «Denali» Master Data Services

Далее Joseph Malka (директор по исследованиям и разработке DQ и MD, Microsoft) представил новый компонент SQL Server Denali — Data Quality Services.

Joseph Malka (директор по исследованиям и разработке DQ и MD, Microsoft)

Новый компонент позволит разрешить проблемы с качеством данных, такие как:

  • неверный формат данных;
  • несоответствие стандартным наименованиям;
  • неполнота, несоответствие и неполнота данных;
  • неверное значение некоторых атрибутов;
  • значения вне допустимых границ;
  • дубликаты.

Качество данных будет обеспечиваться за счет применения:

  • базы знаний по обеспечению качества данных (Data Quality Knowledge Base);
  • определения семантических моделей;
  • извлечение дополнительной информации из примеров данных и информации от пользователей системы;
  • открытость и расширяемость за счет внешних провайдеров ссылочных данных (например, на основании данных из SQL Azure Marketplace DataMart);
  • простота использования.

Далее Joseph Malka прокомментировал архитектуру решения и продемонстрировал работу существующего прототипа.

Архитектура Data Quality Services

В процессе демонстрации Joseph Malka показал создание предметной области, задания бизнес-правил, определение проекта, профилирование данных (прототип в виде изображения), авто-корректировку данных, просмотр и экспорт результатов обработки данных.

Задание соответствий

Объявление синонимов

Создание правила валидации

Онлайн-лекции «24 часа PASS: Празднуем SQL Server 2008 R2» — 19-20 мая 2010 года

Профессиональная ассоциация SQL Server (PASS) организует 19-20 мая 2010 года онлайновые лекции для экспертов SQL Server и Microsoft BI. В этой серии вебкастов вы увидите выступления некоторых из наиболее известных и востребованных лекторов, которые подробно расскажут о наиболее интересных темах про SQL Server.

В составе докладов про бизнес-аналитику присутствуют следующие доклады:

Вы можете узнать подробности и зарегистрироваться уже сегодня!

Очередные бесплатные лекции по теме SQL Server 2008 R2 Master Data Services

На сайте образовательного ресурса msdev.com доступны очередные 15-минутные лекции на английском языке по теме SQL Server 2008 R2 Master Data Services в составе:

  • Master Data Services Workflows. In part 5 you will become familiar with how to integrate workflows with MDS. You will see examples of both human and non-human workflows.
  • Master Data Services Development. In part 7 you will become familiar with how to use the MDS object model and how to interact with MDS programmatically.
  • Master Data Services Security. In part 8 you will become familiar with the MDS security model. You will see how you can secure models and delegate administration using security groups.

Лекции доступны по адресу: http://www.msdev.com/Directory/SeriesDescription.aspx?CourseId=155

Наиболее интересные записи в англоязычных блогах за февраль-март 2010 года

Коллеги, публикую наиболее интересные, на мой взгляд, посты в англоязычных блогах за февраль-март 2010 года по теме Microsoft BI (могут встретиться посты за более ранний период, просто раньше я на них не обратил внимания).

Microsoft BI в целом

SQL Server 2008 R2 PowerPivot для Excel

SQL Server Integration Services

SharePoint 2010 PerformancePoint Services

SQL Server 2008 R2 Master Data Services

Бесплатные лекции по теме SQL Server 2008 R2 Master Data Services

На сайте образовательного ресурса msdev.com доступны 15-минутные лекции на английском языке по теме SQL Server 2008 R2 Master Data Services в составе:

  • Master Data Services Overview. In part 1 you will get an understanding of MDS basics and in what scenarios using MDS is useful.
  • Master Data Services Installation. In part 2 you will get acquainted with the installation of MDS.
  • Master Data Services: Getting Started. In part 3 you will become familiar with the MDS administration tools. This session will also show a completed solution and introduce MDS artifacts that will be discussed in more detail in the following session.
  • Master Data Services Models. In part 4 you will become familiar with building models and entities. You will see the process of creating a solution from scratch.
  • Master Data Services Business Rules. In part 6 you will become familiar with how to apply business rules to your master data. You will also see how you can initiate a SharePoint workflow from a business rule.

Лекции доступны по адресу: http://www.msdev.com/Directory/SeriesDescription.aspx?CourseId=155

Обзор Master Data Services в SQL Server 2008 R2

Наиболее актуальная версия статьи: Master Data Services для управления НСИ. Ниже приведена статья для SQL Server 2008 R2.

SQL Server Master Data Services – это компонент продукта SQL Server 2008 R2, предназначенный для управления нормативно-справочной информацией.

Проблемы с НСИ

Проблемы с нормативно-справочной информацией организаций связаны с наличием в этих организациях большого количества систем, в каждой из которых отдельно могут редактироваться общие для этих систем справочники организации.

Рис. 1. Системы организации и хранилище данных

Можно выделить две основных причины проблем при работе с нормативно-справочной информацией.

Первая состоит в том, что нет единого авторитетного источника нормативно-справочной информации, наблюдаются несоответствия справочников в различных системах организации, а некоторые элементы справочников управляются одновременно несколькими сотрудниками без какого-либо согласованного процесса.

Например, если клиент сменил место жительства, информация о нем в справочнике клиентов может оперативно обновляться в одной системе, а в остальных – с задержкой по времени.

Другой пример, наименования одного и того же продукта в различных филиалах могут отличаться.

Вторая причина связана с тем, что в организациях нет систем, позволяющих сотрудникам совместно и в соответствии с утвержденным регламентом управлять мета-данными. Нет функций управления измерениями и атрибутами. Нет возможности управления мета-информацией через Интернет с использованием веб-браузера.

В результате полученных несоответствий справочников возникают ошибки при работе в системах и ошибки в отчетах организации.

Процесс управления иерархиями; изменения в BI-решение

База данных Master Data Services используется для хранения нормативно-справочной информации.

Процесс управления иерархиями построен следующим образом.

Рис. 2. Управление метаданными

  1. Администратор системы перед началом ее использования определяет модели, сущности, атрибуты и иерархии.
  2. При необходимости элементы сущностей, атрибуты и иерархии могут быть созданы на основании данных из существующих систем организации. Загрузку можно осуществить, например, с использованием пакета интеграции SQL Server Integration Services.
  3. Пользователи, подключенные к Интернету или интранету, могут вносить изменения в справочники, на которые у них есть права доступа.
  4. В результате созданные измерения загружаются в хранилище данных и используются для формирования аналитических кубов. Загрузка измерений, как правило, производится с использованием Сервисов интеграции SQL Server.
  5. Созданные в системе справочники также могут загружаться в другие системы организации.

Таким образом, сервисы мета-данных SQL Server вносят изменение в структуру BI-решения. Управление измерениями производится в Master Data Services, соответственно, измерения грузятся в хранилище данных из этой системы. Показатели, как и ранее, загружаются в хранилище данных из соответствующих источников данных организации.

Рис. 3. Загрузка показателей и измерений в ХД при использовании MDS

История Microsoft SQL Server 2008 R2 Master Data Services

В июне 2007 года компания Microsoft приобрела вендора MDM под названием Stratature.

Затем в приобретенное решение команда разработки Microsoft:

  • добавила веб-сервис Windows Communication Foundation;
  • оптимизировала код и структуру базы данных;
  • добавила функцию размещения моделей;
  • улучшила систему безопасности;
  • добавила API, покрывающий все функции MDS и поддерживающий как блоковые, так и ориентированные на сообщения функции;
  • переписала пользовательский интерфейс, который сейчас реализован через MDS API (вместо того, чтобы работать напрямую через базу данных и хранимые процедуры).

В августе 2009 года компонент Master Data Services включен в состав SQL Server 2008 R2 в составе CTP2.

Предназначение MDS

Предназначение Master Data Services – приведение в соответствие справочников в системах организации благодаря созданию авторитетного источника – шины мета-данных.

Функционал системы построен таким образом, чтобы уменьшить стоимость управления мета-данными за счет того, что:

  • интерфейс управления через веб-браузер позволяет вовлечь необходимых сотрудников в процесс управления сущностями и иерархиями;
  • программный интерфейс (MDS API) позволяет настроить управление мета-данными из внешних систем;
  • функции управления версиями, нотификации и бизнес-правила позволяют наиболее простым способом настроить гибкий процесс обеспечения корректности мета-данных;
  • функция размещения модели позволяет экспортировать созданную модель из системы разработки и опубликовать ее в эксплуатируемой системе MDS.

В результате использования функций управления атрибутами и иерархиями в организации обеспечивается наличие качественных и непротиворечивых мета-данных, построенных в виде, требуемом для экспорта в соответствующие системы организации.

Базовые понятия MDS

Базовые понятия, которыми оперирует Master Data Services, приведены на рис. 4.

Рис. 4. Базовые понятия, которыми оперирует Master Data Services

 

Модель измерения (Dimension Model) – содержит в себе сущности, атрибуты, элементы сущностей и различные варианты иерархий для экспорта в соответствующие системы.

Сущность (Entity) является контейнером набора элементов. Примером сущности для ритейла является продаваемый «Продукт».

Элемент (Member) – это лист, консолидированный элемент или элемент коллекции. Примеры элементов для сущности «Продукт»: велосипеды, горные велосипеды, модель горного велосипеда…

Атрибут – это характеристика элемента. Например, все элементы модели «Продукт» имеют атрибут «Цвет», а конкретный велосипед может иметь значение атрибута – синий. Атрибуты могут быть основаны на определенной ранее сущности (domain based), произвольными (free-form), в виде файла (file). Можно настраивать отображение атрибутов на разных закладках с именами (attribute groups).

Иерархия (Hierarchy) – это структура, представляющая элементы сущности с помощью консолидированных элементов и уровней для обеспечения удобства анализа данных. Иерархию могут формировать сущности, сформированные по уровням (например, категория продуктов, подкатегория продуктов, модель продукта). Иерархию также можно построить на основании связей типа «родитель-потомок» (или Parent-child).

Создание модели

Для работы с MDS необходимо сначала создать соответствующие модели, затем создаться сущности, определить необходимые атрибуты для сущностей, определить структуру измерений и так далее. Эти действия производятся администратором или редактором соответствующей модели в административной части веб-приложения «Master Data Manager».

Импорт

После того, как модель, сущности и структура иерархий созданы, элементы измерений, значения атрибутов и иерархии можно сформировать на основании данных из источников данных. Этот процесс изображен на рис. 5.

Рис. 5. Импорт данных из источников данных в базу MDS

Сначала данные из источника необходимо загрузить в промежуточную область базы MDS. Преобразование данных из источника к виду таблиц промежуточной области можно осуществить с использованием скрипта T-SQL или пакета SQL Server Integration Services. Когда записи из источника загружены в промежуточную область, из интерфейса Master Data Manager необходимо запустить команду загрузки в определенную модель определенной версии.

Как правило, импорт данных из источника нужно делать для первоначального заполнения справочников.

Редактирование иерархий

После того, как импорт осуществлен, пользователи могут редактировать загруженные в систему элементы и менять вид иерархий (рис. 6).

Рис. 6. Изменение структуры иерархий

Демонстрация: Импорт мета-информации, редактирование справочника и иерархии

Управление версиями и задание бизнес-правил

Рассмотрим объекты MDS, позволяющие настраивать сложный процесс управления мета-информацией, основанный на событиях.

Одним из этих объектов являются версии моделей, которые содержат в себе определенную версию всех объектов модели (элементов, значений атрибутов, элементов иерархий, коллекций). Другим объектом являются бизнес-правила, которые применяются ко всем открытым версиям.

Процесс управления версиями

Процесс управления версиями изображен на рис. 7.

Рис. 7. Процесс управления версиями

Сначала администратор копирует версию, чтобы открыть ее для изменений. Пользователи начинают вносить изменения в открытую версию. Затем, когда необходимые изменения внесены, администратор закрывает версию. После этого изменения в версию могут вносить только администратор и пользователи с правами изменения модели. Перед утверждением модели администратор должен добиться выполнения всех бизнес-правил. Когда модель полностью готова для использования в подписанных системах организации, администратор утверждает версию, после чего ее уже нельзя менять, но можно копировать. Затем при необходимости весь цикл может повториться.

Для версии также можно задать флаг с целью идентификации различных стадий согласования. Например, это могут быть, «текущая», «черновая» и «основная» версии. Флаг версии может также использоваться для автоматизации загрузки в подписанные системы. Например, можно настроить загрузку версии с флагом «основная».

Для версии можно осуществлять ревизию осуществленных с ней транзакций (операций) и анализировать соответствие версии требованиям бизнес-правил.

Бизнес-правила и нотификации

Бизнес-правила позволяют проверить корректность той или иной версии модели, задать значения по умолчанию, разослать нотификации, если требуется внесение корректировок в мета-информацию.

Бизнес-правила содержат критерий оценки – логическое условие проверки. Если это условие не выполняется, система инициирует выполнение соответствующего действия.

Действия могут быть четырех типов.

  1. «Default value»задают значение того или иного атрибута по умолчанию (при создании элемента справочника).
  2. «Change value» — устанавливают определенное значение по результатам проверки.
  3. «Validation» — в случае невыполнения условия рассылают сообщение адресатам, имеющим права на элемент, для которого задано бизнес-правило.
  4. «External action» — запускают бизнес-процессSharePoint.

Бизнес-правила применяются после добавления, удаления, перемещения в иерархии элементов справочников, в случае инициации поверки определенного пользователем набора элементов, в случае проверки версии в целом.

Интерфейс создания бизнес-правила в веб-приложении Master Data Manager приведен на рис. 8.

Рис. 8. Создание бизнес-правила

Процесс управления

В результате совместного использования версий и бизнес-правил можно выстроить сложный процесс управления мета-данными, основанный на событиях. Пример процесcа приведен на рис. 9.

Рис. 9. Пример процесса управления мета-данными

Процесс управления мета-данными для конкретного элемента может состоять из следующих шагов.

  1. Сначала элементы создаются путем импорта из внешних систем, либо пользователи создают новые элементы.
  2. Затем в результате проверок задаются значения по умолчанию, а также рассылаются нотификации пользователям, которые ответственны за создание и обеспечение корректности значений тех или иных атрибутов.
  3. После того, как требуемые значения атрибутов заполнены в результате выполнения соответствующего бизнес-правила, соответствующему сотруднику высылается запрос на утверждение элемента.
  4. После выполнения всех бизнес-правил элемент можно загружать во внешнюю систему с использованием пакета интеграции.

Все изменения элементов справочников и перемещения элементов в иерархиях отражаются в журнале транзакций, который можно также посмотреть в интерфейсе Master Data Manager (рис. 10).

Рис. 10. Просмотр журнала изменений мета-данных

Демонстрация: создание бизнес-правила, изменение статуса версии, просмотр журнала

Экспорт мета-данных из базы MDS во внешние системы

Для экспорта мета-данных из базы MDS во внешние системы необходимо создать так называемую подписку, в результате чего в базе данных MDS будет создано представление (или View) SQL Server, выдающее в результате выполнения соответствующий список элементов. Далее экспорт данных из этого представления можно производить стандартным способом с использованием SQL Server Integrations Services.

Рис. 11. Экспорт мета-данных из базы MDS во внешние системы

Демонстрация: Создание подписки для экспорта мета-данных во внешнюю систему

Безопасность

Для предоставления доступа к веб-приложению «Master Data Manager» в нем необходимо добавить существующие группы или пользователей, которые могут быть из домена Active Directory. В программе можно создавать доменные группы и добавлять к ним пользователей. Затем в веб-приложении «Master Data Manager» можно задать права для групп и пользователей.

Когда пользователь открывает «Master Data Manager» в веб-браузере, он автоматически входит под своей учетной записью в Active Directory.

Права можно раздавать на следующие объекты:

  • функции системы, такие как управление версиями, управление безопасностью, функции интеграции, администрирование и формирование отчетов.
  • конкретные объекты модели, такие как иерархии и сущности.
  • конкретные элементы.

Классы для веб-сервисов

В MDS также реализован программный интерфейс, позволяющий управлять всеми объектами решения. Ниже приведены некоторые методы интерфейса IService:

  • AnnotationsDelete/Update
  • BusinessRulesClone/Create/Delete/Get/PaletteSet/Publish/Update
  • EntityMembersCopy/Create/Delete/Get/Merge/Update
  • ExportViewCreate/Delete/ListGet/Update
  • HierarchyMembersGet
  • MetadataClone/Create/Delete/Get/Update
  • ModelMembersBulkDelete/BulkMerge/BulkUpdate/Get
  • SecurityPrivilegesClone/Create/Delete/Get
  • StagingClear/Get/Process
  • ValidationGet/Process
  • VersionCopy

Видно, что интерфейс позволяет управлять всеми объектами системы, такими как комментарии к записям, бизнес-правила, сущности, подписки, иерархии, модели, элементы модели, права доступа, промежуточная область, версии…

Следовательно, функции MDS можно интегрировать в любую систему организации незаметно для пользователей.

Заключение

Шина мета-данных

Master Data Services – это система управления иерархиями и атрибутами, входящая в комплект поставки SQL Server 2008 R2 (начиная с Enterprise Edition).

Она может быть использована как единый авторитетный источник мета-данных организации.

Для мета-данных обеспечивается версионность и фиксация всех изменений над мета-данными.

Портал управления

Управление мета-данными осуществляется через портал управления, который позволяет осуществлять редактирование объектов системы, таких как модели, сущности, иерархии, атрибуты.

В состав административных функций входят построение моделей измерений, создание сущностей, групп атрибутов, иерархий, а также управление бизнес-правилами.

В системе есть набор стандартных отчетов, которые позволяют проанализировать модели мета-данных (состав, транзакции, структуру иерархий, сравнение версий) и настройки безопасности для групп и пользователей.

Есть функция импорта данных из промежуточной области и экспорта данных во внешние системы путем создания подписок.

Процесс управления мета-данными

Процесс управления мета-данными, основанный на событиях, настраивается с использованием версий, бизнес-правил и нотификаций.

Платформа для управления мета-данными

MDS является платформой для управления мета-данными, позволяющей описать любую предметную область.

Предусмотрена функция размещения модели с экземпляра MDS для разработки на экземпляр MDS, находящийся в действующей эксплуатации. Модель переносится в виде файла специализированного формата.

Программный интерфейс MDS позволяет написать код для управления всеми объектами системы.

Ресурсы