В связи с тем, что две недели назад прошел запуск SQL Server 2008 R2, а вчера – «запуск» Office 2010, хотелось бы указать на существующие по этим технологиями ресурсы.
Для загрузки доступна бесплатная электронная книга «Introducing Microsoft SQL Server 2008 R2» (на английском языке; авторы: Ross Mistry и Stacia Misner). Книга содержит 10 глав и 216 страниц:
PART I Database Administration
CHAPTER 1 SQL Server 2008 R2 Editions and Enhancements
CHAPTER 2 Multi-Server Administration
CHAPTER 3 Data-Tier Applications
CHAPTER 4 High Availability and Virtualization Enhancements
CHAPTER 5 Consolidation and Monitoring
PART II Business Intelligence Development
CHAPTER 6 Scalable Data Warehousing
CHAPTER 7 Master Data Services
CHAPTER 8 Complex Event Processing with StreamInsight
CHAPTER 9 Reporting Services Enhancements
CHAPTER 10 Self-Service Analysis with PowerPivot
Электронную книгу можно скачать в формате XPS и PDF.
Профессиональная ассоциация SQL Server (PASS) организует 19-20 мая 2010 года онлайновые лекции для экспертов SQL Server и Microsoft BI. В этой серии вебкастов вы увидите выступления некоторых из наиболее известных и востребованных лекторов, которые подробно расскажут о наиболее интересных темах про SQL Server.
В составе докладов про бизнес-аналитику присутствуют следующие доклады:
Появилась новая версия (март 2010, обновление 2) обучающих материалов по SQL Server 2008 R2 для разработчиков, которая содержит дополнительный модуль по технологии SQL Server 2008 R2 StreamInsight, позволяющей строить приложения обработки сложных событий.
В связи с выходом Microsoft SQL Server 2008 R2, Office 2010 и SharePoint 2010 считаю необходимым еще раз перечислить пользовательские инструменты анализа данных в версии Microsoft BI 2010.
В решении Microsoft BI пользователи могут использовать для анализа данных в хранилище и аналитических кубах следующие инструменты (рис. 1):
SQL Server 2008 R2 Reporting Services для отображения регламентированной отчетности (программисты могут создавать отчеты в Visual Studio, а офисные пользователи – в ReportBuilder 3.0);
Office Visio2010 для создания произвольных схем и привязки к этим схемам данных из хранилища, аналитических кубов и произвольных источников;
Microsoft Excel 2010 для создания офисными пользователями произвольных отчетов в электронных таблицах;
Data Mining Add-insдля Office 2007 для обнаружения закономерностей в больших объемах данных организации и создания на основании этих закономерностей новых знаний (интеллектуальный анализ данных);
SQL Server PowerPivotдля Excel для самостоятельного подключения новых источников данных и создания новых расчетных показателей офисными пользователями;
SharePoint 2010 для вывода на портал отчетов из инструментов Microsoft BI;
SharePoint 2010 PerformancePoint Servicesдля отображения данных на интерактивных диаграммах и с помощью дерева декомпозиции, а также для отображения систем ключевых показателей эффективности (разработка таких отчетов производится в SharePoint Dashboards Designer).
Рис. 1. Инструменты Microsoft BI 2010 для анализа данных
Чтобы легче было запомнить отличие этих инструментов, я воспользуюсь аналогией, впервые представленной Aj Mee (рис. 2) и попробую расширить эту аналогию на новые инструменты анализа, появившиеся в 2010 году. Об этой аналогии мне рассказал Олег Лейзеров, за что ему отдельное спасибо!
Рис. 2. Пользовательские инструменты анализа данных Microsoft BI 2008 (аналогия Aj Mee)Итак, в развитии аналогия выглядит следующим образом (рис. 3).
Рис. 3. Пользовательские инструменты анализа данных Microsoft BI 2010 (на слайде использованы изображения с сайта www.modelsupermarket.com)
Во-первых, Aj Mee сравнивает работу с SQL Server Reporting Services с поездкой в автобусе, так как:
вы выбираете маршрут автобуса (определенный отчет);
автобус ходит по заданному маршруту (отчет заранее создан);
вы выбираете, на какой остановке выйти (параметры отчета).
Впрочем, дополнительный компонент Report Builder позволяет даже офисным пользователям составить самостоятельно отчет для печати.
Все эти отчеты могут быть размещены на сайте ReportingServices или портале SharePoint 2010 (в автобусе по заданному маршруту могут ехать множество людей).
Рис. 4. SQL Server 2008 R2 Reporting Services
К этой же аналогии я отнесу Microsoft Office Visio 2010 с возможностью отображения на произвольной схеме визуализации данных из базы. При этом, как и в Reporting Services возможна детализация данных по щелчку мыши (drill-down) и размещение схем на портале SharePoint 2010 с помощью Visio Services (Рис. 5).
Рис. 5. SharePoint 2010 Visio Services
Следующая аналогия Aj Mee посвящена работе с Excel и Excel Services, которая похожа на вождение автомобиля, так как:
вы сами должны уметь водить автомобиль (строить отчет с помощью PivotTable);
вы можете выбрать альтернативные дороги (переходы между измерениями куба, настройки фильтров), чтобы попасть в точку назначения (получить требуемый отчет);
вы также можете посадить в автомобиль друзей (опубликовать отчет на SharePoint с помощью Excel Services — рис. 6).
Рис. 6. SharePoint 2010 Excel Services
Последняя аналогия Aj Mee – работа с PerformancePoint Server (сейчас – SharePoint 2010 PerformancePoint Services). Работу с этим компонентом он сравнивает с ездой на вездеходе в том смысле, что не обязательно пользоваться дорогами (путями детализации данных, определенными в иерархиях SSAS), можно свернуть на другую дорогу не только в точке пересечения с ней, но и можно доехать до нее по бездорожью. В данном случае имеется в виду возможность детализации данных (drill-through), когда мы выбираем определенное значение и детализируем его по определенному уровню или атрибуту произвольного измерения.
Рис. 7. SharePoint 2010 PerformancePoint Services
Наиболее интересным нововведением SharePoint Service в SharePoint 2010, в котором также используется механизм детализации сумм по измерениям (drill through в терминологии Microsoft), является интерактивный компонент «Дерево приятия решений» (Decision Tree), реализованный с помощью технологии Silverlight (рис. 8).
Рис. 8. SharePoint 2010 PerformancePoint Services Decomposition Tree
Итак, что же добавилось нового в Microsoft BI 2010?
Во-первых, это PowerPivot для Excel и, соответственно, PowerPivot для SharePoint. Этот компонент, продолжая приведенные аналогии, я бы сравнил с автомобилем Фантомаса. Если вы помните фильм, этот автомобиль мог превратиться в самолет и доставить пассажира в точку назначения по воздуху. То есть не нужно использовать дороги (построение дороги можно сравнить с проектом внедрения традиционного BI-решения с использованием хранилищ данных). Можно оперативно переправиться в нужную точку (оперативно добавить в анализ данных из произвольных источников и получить требуемый отчет).
Рис. 9. PowerPivot для Excel
Аналогично, можно перевезти на этом автомобиле пассажиров (разместить отчет PowerPivot на SharePoint — рис. 10).
Рис. 10. PowerPivot для SharePoint
Также не стоит забывать о таком инструменте как Надстройки интеллектуального анализа данных для Excel (Data Mining Add-ins for Excel). И в нашей аналогии это будет машина времени из первой части фильма «Назад в будущее», так как она позволяет переместиться в будущее (обнаруживать закономерности в имеющихся данных и предсказывать будущее на основании этих закономерностей).
Рис. 11. Надстройки интеллектуального анализа данных для Excel (Data Mining Add-ins for Excel)
Демонстрация. Обзор пользовательских инструментов анализа данных
Замечание об авторских правах. В записи блога использованы изображения моделей автомобилей с сайта www.modelsupermarket.com.
На сайте Microsoft Download Center открыты для общего доступа материалы по SQL Server 2008 R2 для разработчиков, которые хотели бы использовать преимущества и узнать о наиболее важных улучшениях в SQL Server 2008 и SQL Server 2008 R2, а также для разработчиков, для которых тема SQL Server является не изученной. Материалы подготовлены командой под названием «Microsoft Developer and Platform Evangelism».
Состав обучающих материалов:
Видео (8)
SQL Server 2008 R2 Update for Developers Overview Part I — SQL Server 2008 Review
SQL Server 2008 R2 Update for Developers Overview Part II — Introducing SQL Server 2008 R2
Introducing SQL Server 2008 R2 StreamInsight
Demo: Real Time Analytics with SQL Server 2008 R2 StreamInsight
Introducing SQL Server 2008 R2 Application and Multi-Server Management
Introducing SQL Server 2008 R2 Reporting Services
Introduction To SQL Server 2008 R2 StreamInsight and Complex Event Processing
Introducing PowerPivot for Excel 2010 and SharePoint 2010
Презентации (8)
SQL Server 2008 R2 Update for Developers Overview Part I — SQL Server 2008 Review
SQL Server 2008 R2 Update for Developers Overview Part II — Introducing SQL Server 2008 R2
SQL Server 2008 Filestream
SQL Server 2008 Spatial
SQL Server 2008 T-SQL
SQL Server 2008 Date and Time Types
SQL SErver 2008 SQLCLR
SQL Server 2008 Reporting Services
Демонстрации (13)
AdventureWorks Racing All-Up SQL Server 2008 Demo
SQL Server 2008 All-Up Spatial Demo
SQL Server 2008 Spatial Types Demo
Intro to SQL Server 2008 Filestream Demo
SQL Server 2008 SQL CLR Nullable Types Demo
Programming with SQL Server 2008 Filestream Demo
SQL Server 2008 Reporting Services Web Application Integration Demo
Date and Time Support in SQL Server 2008 Demo
SQL Server 2008 T-SQL Table-Valued Parameters Demo
SQL Server 2008 T-SQL Row Constructors Demo
SQL Server 2008 T-SQL Grouping Sets Demo
SQL Server 2008 T-SQL Merge Demo
Лабораторные работы (8)
How to build your first Web Application with SQL Server and ASP.NET
Using SQL Server 2008 Spatial Data in TSQL
Using SQL Server 2008 Spatial Data in Managed Code
Using SQL CLR in SQL Server 2008
PowerPivot in SQL Server 2008 R2
Using the New Features of Reporting Services 2008 R2
Introduction To SQL Server 2008 R2 StreamInsight and Complex Event Processing
Data-tier Applications in SQL Server 2008 R2 and Visual Studio 2010
24 февраля 2010 года в 18:00 состоится встреча Russian Business Intelligence User Group и PASS Chapter. Тема встречи: «Новое в SQL Server 2008 R2 (SSRS, PowerPivot+SharePoint)».
Состав докладов:
Новое в SQL Server 2008 R2 Reporting Services;
PowerPivot для SharePoint, DAX, потоки данных.
Докладчик: Иван Косяков, архитектор (SQL-BI) технологического центра Microsoft.
Место проведения: Россия, Москва, ул. Лесная, 5С, 6 этаж. Московский технологический центр Microsoft.
Как добираться: станция метро «Белорусская-кольцевая», выход в сторону улицы «Бутырский вал», после эскалатора — в правый выход.
SQL Server Master Data Services – это компонент продукта SQL Server 2008 R2, предназначенный для управления нормативно-справочной информацией.
Проблемы с НСИ
Проблемы с нормативно-справочной информацией организаций связаны с наличием в этих организациях большого количества систем, в каждой из которых отдельно могут редактироваться общие для этих систем справочники организации.
Рис. 1. Системы организации и хранилище данных
Можно выделить две основных причины проблем при работе с нормативно-справочной информацией.
Первая состоит в том, что нет единого авторитетного источника нормативно-справочной информации, наблюдаются несоответствия справочников в различных системах организации, а некоторые элементы справочников управляются одновременно несколькими сотрудниками без какого-либо согласованного процесса.
Например, если клиент сменил место жительства, информация о нем в справочнике клиентов может оперативно обновляться в одной системе, а в остальных – с задержкой по времени.
Другой пример, наименования одного и того же продукта в различных филиалах могут отличаться.
Вторая причина связана с тем, что в организациях нет систем, позволяющих сотрудникам совместно и в соответствии с утвержденным регламентом управлять мета-данными. Нет функций управления измерениями и атрибутами. Нет возможности управления мета-информацией через Интернет с использованием веб-браузера.
В результате полученных несоответствий справочников возникают ошибки при работе в системах и ошибки в отчетах организации.
Процесс управления иерархиями; изменения в BI-решение
База данных Master Data Services используется для хранения нормативно-справочной информации.
Процесс управления иерархиями построен следующим образом.
Рис. 2. Управление метаданными
Администратор системы перед началом ее использования определяет модели, сущности, атрибуты и иерархии.
При необходимости элементы сущностей, атрибуты и иерархии могут быть созданы на основании данных из существующих систем организации. Загрузку можно осуществить, например, с использованием пакета интеграции SQL Server Integration Services.
Пользователи, подключенные к Интернету или интранету, могут вносить изменения в справочники, на которые у них есть права доступа.
В результате созданные измерения загружаются в хранилище данных и используются для формирования аналитических кубов. Загрузка измерений, как правило, производится с использованием Сервисов интеграции SQL Server.
Созданные в системе справочники также могут загружаться в другие системы организации.
Таким образом, сервисы мета-данных SQL Server вносят изменение в структуру BI-решения. Управление измерениями производится в Master Data Services, соответственно, измерения грузятся в хранилище данных из этой системы. Показатели, как и ранее, загружаются в хранилище данных из соответствующих источников данных организации.
Рис. 3. Загрузка показателей и измерений в ХД при использовании MDS
История Microsoft SQL Server 2008 R2 Master Data Services
В июне 2007 года компания Microsoft приобрела вендора MDM под названием Stratature.
Затем в приобретенное решение команда разработки Microsoft:
добавила веб-сервис Windows Communication Foundation;
оптимизировала код и структуру базы данных;
добавила функцию размещения моделей;
улучшила систему безопасности;
добавила API, покрывающий все функции MDS и поддерживающий как блоковые, так и ориентированные на сообщения функции;
переписала пользовательский интерфейс, который сейчас реализован через MDS API (вместо того, чтобы работать напрямую через базу данных и хранимые процедуры).
В августе 2009 года компонент Master Data Services включен в состав SQL Server 2008 R2 в составе CTP2.
Предназначение MDS
Предназначение Master Data Services – приведение в соответствие справочников в системах организации благодаря созданию авторитетного источника – шины мета-данных.
Функционал системы построен таким образом, чтобы уменьшить стоимость управления мета-данными за счет того, что:
интерфейс управления через веб-браузер позволяет вовлечь необходимых сотрудников в процесс управления сущностями и иерархиями;
программный интерфейс (MDS API) позволяет настроить управление мета-данными из внешних систем;
функции управления версиями, нотификации и бизнес-правила позволяют наиболее простым способом настроить гибкий процесс обеспечения корректности мета-данных;
функция размещения модели позволяет экспортировать созданную модель из системы разработки и опубликовать ее в эксплуатируемой системе MDS.
В результате использования функций управления атрибутами и иерархиями в организации обеспечивается наличие качественных и непротиворечивых мета-данных, построенных в виде, требуемом для экспорта в соответствующие системы организации.
Базовые понятия MDS
Базовые понятия, которыми оперирует Master Data Services, приведены на рис. 4.
Рис. 4. Базовые понятия, которыми оперирует Master Data Services
Модель измерения (Dimension Model) – содержит в себе сущности, атрибуты, элементы сущностей и различные варианты иерархий для экспорта в соответствующие системы.
Сущность (Entity) является контейнером набора элементов. Примером сущности для ритейла является продаваемый «Продукт».
Элемент (Member) – это лист, консолидированный элемент или элемент коллекции. Примеры элементов для сущности «Продукт»: велосипеды, горные велосипеды, модель горного велосипеда…
Атрибут – это характеристика элемента. Например, все элементы модели «Продукт» имеют атрибут «Цвет», а конкретный велосипед может иметь значение атрибута – синий. Атрибуты могут быть основаны на определенной ранее сущности (domain based), произвольными (free-form), в виде файла (file). Можно настраивать отображение атрибутов на разных закладках с именами (attribute groups).
Иерархия (Hierarchy) – это структура, представляющая элементы сущности с помощью консолидированных элементов и уровней для обеспечения удобства анализа данных. Иерархию могут формировать сущности, сформированные по уровням (например, категория продуктов, подкатегория продуктов, модель продукта). Иерархию также можно построить на основании связей типа «родитель-потомок» (или Parent-child).
Создание модели
Для работы с MDS необходимо сначала создать соответствующие модели, затем создаться сущности, определить необходимые атрибуты для сущностей, определить структуру измерений и так далее. Эти действия производятся администратором или редактором соответствующей модели в административной части веб-приложения «Master Data Manager».
Импорт
После того, как модель, сущности и структура иерархий созданы, элементы измерений, значения атрибутов и иерархии можно сформировать на основании данных из источников данных. Этот процесс изображен на рис. 5.
Рис. 5. Импорт данных из источников данных в базу MDS
Сначала данные из источника необходимо загрузить в промежуточную область базы MDS. Преобразование данных из источника к виду таблиц промежуточной области можно осуществить с использованием скрипта T-SQL или пакета SQL Server Integration Services. Когда записи из источника загружены в промежуточную область, из интерфейса Master Data Manager необходимо запустить команду загрузки в определенную модель определенной версии.
Как правило, импорт данных из источника нужно делать для первоначального заполнения справочников.
Редактирование иерархий
После того, как импорт осуществлен, пользователи могут редактировать загруженные в систему элементы и менять вид иерархий (рис. 6).
Рис. 6. Изменение структуры иерархий
Демонстрация: Импорт мета-информации, редактирование справочника и иерархии
Управление версиями и задание бизнес-правил
Рассмотрим объекты MDS, позволяющие настраивать сложный процесс управления мета-информацией, основанный на событиях.
Одним из этих объектов являются версии моделей, которые содержат в себе определенную версию всех объектов модели (элементов, значений атрибутов, элементов иерархий, коллекций). Другим объектом являются бизнес-правила, которые применяются ко всем открытым версиям.
Процесс управления версиями
Процесс управления версиями изображен на рис. 7.
Рис. 7. Процесс управления версиями
Сначала администратор копирует версию, чтобы открыть ее для изменений. Пользователи начинают вносить изменения в открытую версию. Затем, когда необходимые изменения внесены, администратор закрывает версию. После этого изменения в версию могут вносить только администратор и пользователи с правами изменения модели. Перед утверждением модели администратор должен добиться выполнения всех бизнес-правил. Когда модель полностью готова для использования в подписанных системах организации, администратор утверждает версию, после чего ее уже нельзя менять, но можно копировать. Затем при необходимости весь цикл может повториться.
Для версии также можно задать флаг с целью идентификации различных стадий согласования. Например, это могут быть, «текущая», «черновая» и «основная» версии. Флаг версии может также использоваться для автоматизации загрузки в подписанные системы. Например, можно настроить загрузку версии с флагом «основная».
Для версии можно осуществлять ревизиюосуществленных с ней транзакций (операций) и анализировать соответствие версии требованиям бизнес-правил.
Бизнес-правила и нотификации
Бизнес-правила позволяют проверить корректность той или иной версии модели, задать значения по умолчанию, разослать нотификации, если требуется внесение корректировок в мета-информацию.
Бизнес-правила содержат критерий оценки – логическое условие проверки. Если это условие не выполняется, система инициирует выполнение соответствующего действия.
Действия могут быть четырех типов.
«Default value» — задают значение того или иного атрибута по умолчанию (при создании элемента справочника).
«Change value» — устанавливают определенное значение по результатам проверки.
«Validation» — в случае невыполнения условия рассылают сообщение адресатам, имеющим права на элемент, для которого задано бизнес-правило.
Бизнес-правила применяются после добавления, удаления, перемещения в иерархии элементов справочников, в случае инициации поверки определенного пользователем набора элементов, в случае проверки версии в целом.
Интерфейс создания бизнес-правила в веб-приложении Master Data Manager приведен на рис. 8.
Рис. 8. Создание бизнес-правила
Процесс управления
В результате совместного использования версий и бизнес-правил можно выстроить сложный процесс управления мета-данными, основанный на событиях. Пример процесcа приведен на рис. 9.
Рис. 9. Пример процесса управления мета-данными
Процесс управления мета-данными для конкретного элемента может состоять из следующих шагов.
Сначала элементы создаются путем импорта из внешних систем, либо пользователи создают новые элементы.
Затем в результате проверок задаются значения по умолчанию, а также рассылаются нотификации пользователям, которые ответственны за создание и обеспечение корректности значений тех или иных атрибутов.
После того, как требуемые значения атрибутов заполнены в результате выполнения соответствующего бизнес-правила, соответствующему сотруднику высылается запрос на утверждение элемента.
После выполнения всех бизнес-правил элемент можно загружать во внешнюю систему с использованием пакета интеграции.
Все изменения элементов справочников и перемещения элементов в иерархиях отражаются в журнале транзакций, который можно также посмотреть в интерфейсе Master Data Manager (рис. 10).
Рис. 10. Просмотр журнала изменений мета-данных
Демонстрация: создание бизнес-правила, изменение статуса версии, просмотр журнала
Экспорт мета-данных из базы MDS во внешние системы
Для экспорта мета-данных из базы MDS во внешние системы необходимо создать так называемую подписку, в результате чего в базе данных MDS будет создано представление (или View) SQL Server, выдающее в результате выполнения соответствующий список элементов. Далее экспорт данных из этого представления можно производить стандартным способом с использованием SQL Server Integrations Services.
Рис. 11. Экспорт мета-данных из базы MDS во внешние системы
Демонстрация: Создание подписки для экспорта мета-данных во внешнюю систему
Безопасность
Для предоставления доступа к веб-приложению «Master Data Manager» в нем необходимо добавить существующие группы или пользователей, которые могут быть из домена Active Directory. В программе можно создавать доменные группы и добавлять к ним пользователей. Затем в веб-приложении «Master Data Manager» можно задать права для групп и пользователей.
Когда пользователь открывает «Master Data Manager» в веб-браузере, он автоматически входит под своей учетной записью в Active Directory.
Права можно раздавать на следующие объекты:
функции системы, такие как управление версиями, управление безопасностью, функции интеграции, администрирование и формирование отчетов.
конкретные объекты модели, такие как иерархии и сущности.
конкретные элементы.
Классы для веб-сервисов
В MDS также реализован программный интерфейс, позволяющий управлять всеми объектами решения. Ниже приведены некоторые методы интерфейса IService:
Видно, что интерфейс позволяет управлять всеми объектами системы, такими как комментарии к записям, бизнес-правила, сущности, подписки, иерархии, модели, элементы модели, права доступа, промежуточная область, версии…
Следовательно, функции MDS можно интегрировать в любую систему организации незаметно для пользователей.
Заключение
Шина мета-данных
Master Data Services – это система управления иерархиями и атрибутами, входящая в комплект поставки SQL Server 2008 R2 (начиная с Enterprise Edition).
Она может быть использована как единый авторитетный источник мета-данных организации.
Для мета-данных обеспечивается версионность и фиксация всех изменений над мета-данными.
Портал управления
Управление мета-данными осуществляется через портал управления, который позволяет осуществлять редактирование объектов системы, таких как модели, сущности, иерархии, атрибуты.
В состав административных функций входят построение моделей измерений, создание сущностей, групп атрибутов, иерархий, а также управление бизнес-правилами.
В системе есть набор стандартных отчетов, которые позволяют проанализировать модели мета-данных (состав, транзакции, структуру иерархий, сравнение версий) и настройки безопасности для групп и пользователей.
Есть функция импорта данных из промежуточной области и экспорта данных во внешние системы путем создания подписок.
Процесс управления мета-данными
Процесс управления мета-данными, основанный на событиях, настраивается с использованием версий, бизнес-правил и нотификаций.
Платформа для управления мета-данными
MDS является платформой для управления мета-данными, позволяющей описать любую предметную область.
Предусмотрена функция размещения модели с экземпляра MDS для разработки на экземпляр MDS, находящийся в действующей эксплуатации. Модель переносится в виде файла специализированного формата.
Программный интерфейс MDS позволяет написать код для управления всеми объектами системы.
Microsoft Business Intelligence 