Новые возможности в SQL Server 2012 CTP3 для бизнес-аналитики (Microsoft BI)

В этой статье рассмотрим, какие новые наиболее значимые функции появились в SQL Server 2012 CTP3 для задач бизнес-аналитики. Но сначала давайте рассмотрим, каким образом реализуются с помощью новой версии SQL Server различные уровни аналитического решения: персональная, коллективная и корпоративная аналитика.

  1. Персональная аналитика – это когда пользователи используютExcel с надстройкой PowerPivot в их каждодневной самостоятельной работе. Например, менеджер по продажам анализирует результаты своей работы.
  2. Коллективная аналитика – когда одни пользователи создают отчеты (например, в Excel, либо над моделью BISM с помощью Power View) и предоставляют эти отчеты в пользование другим сотрудникам. Например, директор департамента использует отчет, созданный другим сотрудником, или на основании модели BISM (например, опубликованной с помощью файла Excel) создает самостоятельно отчет Power View.
  3. Корпоративная аналитика – когда процесс создания аналитической модели  и отчетов берет на себя служба информационных технологий. При этом разрабатываются интеграционные пакеты по загрузке и очистке данных (с помощью Integration Services и Data Quality Services), формируются выверенные аналитические модели с едиными в пределах организации показателями, формируются согласованные между подразделениями отчеты.

Давайте рассмотрим наиболее важные нововведения в SQL Server 2012 CTP3. На следующем рисунке приведены компоненты SQL Server, а розовым цветом выделены наиболее значимые изменения.

Business Intelligence Semantic Model (BISM)

В составе аналитических сервисов введена семантическая модель бизнес-аналитики (BISM), которая объединяет в себе многомерную (ранее — UDM) и табличную модель данных (ранее – модель данных PowerPivot).

К BISM можно строить запросы с помощью языков MDX и DAX. Нужно только иметь в виду, что хотя с помощью DAX можно делать запросы к многомерной модели BISM (ранее — UDM), с помощью DAX в этой модели нельзя будет создавать новые показатели (в табличной модели BISM, разумеется, можно)…

В части доступа к данным для многомерной модели данных используются варианты хранения данных ROLAP, MOLAP и промежуточные. Для табличной модели используется режим VertiPaq (при этом в «Denali» на несколько порядков увеличились объемы данных, которые можно обрабатывать на сервере) и новый вариант доступа в виде прямого запроса к реляционной базе данных (при этом можно использовать индексы хранения колонок (ColumnStore indexes), о которых речь пойдет в дальнейшем.

Соответственно, модель можно формировать на основании большого набора источников данных, в том числе, потоков данных и данных из облачных сервисов (SQL Azure DataMarket).

Вне зависимости от используемого типа модели данных, на основании BISM можно строить отчеты, карты показателей и информационные панели с помощью широкого спектра пользовательских инструментов, к которым в Denali добавился Power View (ранее известный как «Crescent»).

Power View для интерактивного анализа данных

Новый компонент Power View позволяет обычным пользователям самостоятельно строить интерактивные отчеты и информационные панели на основании BISM.

Построение отчетов в Power View интуитивно понятно для обычных пользователей и характеризуется высокой интерактивностью и богатыми возможностями представления информации для анализа. Компонент автоматически связывает между собой различных части отчета, при выборе определенного элемента отчета показывает те же данные в других частях отчета, позволяет просматривать изменение данных в динамике и многое другое.

В следующем демонстрационном ролике показаны основные функции Crescent на примере организации по продаже товаров.

Отчеты Crescent также можно интегрировать в презентации PowerPoint и менять запросы к данным непосредственно в этом офисном продукте.

Data Quality Services для управления качеством данных

Новый компонент SQL Server 2012 CTP3 под названием Data Quality Services предназначен для очистки и/или устранения дубликатов в данных, загружаемых из источников.

Процесс работы с DQS состоит из двух основных этапов.

  1. Создается база знаний DQS, в которой задаются домены (анализируемые атрибуты данных) и правила очистки доменных значений (правила очистки, список правильных значений и альтернативных значений для переименования, внешние данные для сравнения). Далее по мере использования эта база знаний постоянно дополняется.
  2. На основании базы знаний создаются проекты DQS по очистке входных данных. При этом указывается входной
    источник, соответствия полей источника и доменов, данные из источника проходят автоматическую и ручную обработку, а затем могут быть экспортированы в SQL Server или CSV-файл.

Проекты DQS также можно использовать в пакетах Integrations Services для обработки новых записей в автоматическом режиме.

Улучшения в Master Data Services

В Master Data Services также есть множество значительных улучшений, среди которых:

  • надстройка MDS для Excel, позволяющая быстро создавать новые модели данных и осуществлять групповые изменения данных;
  • интеграция с проектами по управлению качеством данных (DQS);
  • для импорта информации для каждой сущности создается отдельная таблица, что значительно упрощает интеграцию (например, с помощью SSIS);
  • удобный веб-интерфейс с использованием технологии Silverlight.

В результате этих нововведений архитектура MDS в SQL Server 2012 принимает следующий вид.

Другие улучшение в SQL Server 2012 CTP3 для бизнес-аналитики
(Microsoft BI)

В числе других улучшений входят:

  • индексы хранения колонок (ColumnStore indexes) в реляционной базе данных позволяют на порядки ускорить операции JOIN на схеме базы данных тика «звезда», что значительно увеличивает производительность хранилищ данных;
  • SSRS в «Denali» работает как сервис общего доступа в SharePoint, что облегчает настройку и управление (резервное копирование, восстановление, ULS-журналирование, PowerShell), а также позволяет масштабировать решение;
  • благодаря возможности создания нотификаций в SSRS, интегрированных с SharePoint, пользователь интуитивно может для имеющихся отчетов задать условия, когда эти отчеты должны приходить по электронной почте;
  • появилась работать с SSRS в «облаке» (SQL Azure), благодаря чему операционная отчетность организаций может формироваться на базе данных SQL Azure, и можно встраивать отчеты в приложения Windows Azure или в пределах организации;
  • многое другое (об этом – в следующих публикациях).

Саммит PASS 2011 и раскрытие планов по SQL Server 2012

Итак, по традиции, публикую заметки с Саммита Ассоциации профессионалов по SQL Server (PASS Summit 2011). В настоящем обзоре я делаю акцент на теме бизнес-аналитики, хотя на конференции, разумеется, также глубоко раскрывались вопросы администрирования, разработки и внедрения транзакционных баз данных.

Конференция проходила в течение трех дней, каждый из которых начинался с ключевого доклада, и затем переходил к детальным сессиям. До открытия конференции в течение двух дней также проходили детальные однодневные предварительные сессии. В этом обзоре я на них останавливаться не буду.

Ключевые сессии проводились перед более чем 5 тысячами профессионалов в области SQL Server и Microsoft BI.

Ключевой доклад №1

Деятельность PASS

Конференцию открыл президент PASS Рушаб Мета (Rushabh Mehta) с обзора структуры и результатов деятельности PASS за последний год.

В частности, за этот год было проведено 430 тысяч часов тренингов, в PASS вступили 20 тысяч новых участников, в составе PASS появились советники правления по расширению глобального присутствия PASS на остальные 4 континента.

Рушаб также рассказал о типах деятельности PASS (24 Hours of PASS, SQL Saturday, SQL Rally, PASS Chapters, PASS Summit, PASS Virtual Chapters), партнерских организациях (SQL Server FAQ, SQL Bits) и спонсорах (Microsoft, Dell и другие).

В этот раз в ходе PASS Summit 2011 силами 204 докладчиков (из них 57 – Microsoft, 11 – SQL CAT) будет проведено 189 сессий (из них 57 – от Microsoft, 11 – от SQLCAT).

Новый мир данных

Основную часть ключевого доклада открыл главный вице-президент подразделения бизнес-платформы Тэд Куммерт (Ted Kummert).

После обзора основных компонентов SQL Server Тэд Кумерт сделал первый анонс – следующий выпуск платформы данных Microsoft будет называться SQL Server 2012 и выйдет в первой половине 2012 года.

Далее Тэд раскрыл концепцию платформы SQL Server 2012 как позволяющую работать с (1) любыми данными, (2) любого объема, (3) в любом месте.

Apache Hadoop

В части проблемы роста объемов данных (часть этих данных — неструктурированные), которые компании сейчас предпочитают не выбрасывать, Microsoft будет двигаться в сторону этой проблематики за счет плат распределенной платформы данных, поддерживая Apache Hadoop как часть платформы.

Уже сейчас доступны коннекторы к Apache Hadoop для SQL Server и SQL Server PDW, а в ближайшее время будет доступно распределение Apache Hadoop на базе Windows Server (CTP – в 2012 году) и Windows Azure (CTP – к концу 2001 года), соответствующие ODBC-драйвер и надстройка над Excel, а также JavaScript Framework. В части примера партнерства в части данного решения выступил генеральный директор компании HortonWorks Эрик Балдешвийлер (Eric Baldeschwieler).

Активизация новых типов данных

По вопросу использования для анализа новых типов данных совместно с Тэдом выступил главный программный менеджер Дэни Ли (Denny Lee). Дэнни продемонстрировал HiveQL – язык запросов для работы с данными Hadoop и ODBC Driver в PowerPivot (будет доступен в следующем месяце).

Исследование данных с помощью «Data Explorer»

По вопросу использования для анализа новых типов данных совместно с Тэдом выступили Главный менеджер группы Тим Малаллиу (Tim Mallalieu) и Главный программный менеджер Нино Байс (Nino Bice).

Они продемонстрировали продукт с кодовым именем «Data Explorer» — прототип решения, позволяющего клиентам обнаруживать знания, дополнять и предоставлять доступ к данным.

«Data Explorer» позволяет добавлять данные из внешних источников в Azure Marketplace, который затем будет предлагать данные на основании анализируемых вами данных. CTP решения будет доступен к концу 2011 года по адресу http://www.SQLAzureLabs.com.

 

Открывайте новое в данных

Технический партнер Амир Нетз (Amir Netz) рассказал о том, как Microsoft улучшает BI-решение путем предоставления интерактивных инструментов визуализации данных. Он продемонстрировал Power View (ранее известный как проект «Crescent») на множестве различных устройств (работающих на Windows Phone 7 и Windows 7) с возможностями интерфейса с поддержкой сенсорных экранов (touch-возможности; будут доступны к концу 2012 года).

 

Ключевой доклад №2

Сообщество

Ключевой доклад второго дня открыл Вице-президент PASS по финансам Билл Гразиано (Bill Graziano).

Билл раскрыл финансовые аспекты функционирования PASS, в частности, рост расходов PASS на различные виды мероприятий (например, на тренинги «SQL Saturday» и виртуальные отделения PASS).

SQL Server 2012 сегодня

Вице-президент Microsoft по базам данных Квентин Кларк (Quentin Clark) раскрыл планы компании в отношении облачных вычислений и анонсировал новые технологии, которые помогут клиентам достичь большей гибкости и масштабируемости в области реализаций общественного и частного и гибридного «облака». Квентин рассказал о новых возможностях платформы данных в части совместимости с SQL Azure и новыми программными комплексами.

От данных до аналитики (SSRS, DQS и индексы хранения колонок)

Главный программный менеджер группы баз данных Лана Рубелке (Lara Rubbelke) рассказала о новых функциях SSRS (таких как нотификации), о новом компоненте управления качеством данных DQS и индексах хранения данных (column store indexes).

Программные комплексы и консолидация данных

Квентини его коллега рассказали о существующих программно-аппаратных комплексах (помимо знакомых HP EDW, HP BDW и HP BDA, также показали новый комплекс от компании Dell под названием «Dell PDW») и ссылочных архитектурах (FastTrack DW). Далее они анонсировали выход в ноябре программного комплекса HP по консолидации баз данных для предприятий (HP Enterprise Database Consolidation Appliance), который предлагает готовое решение для ускорения внедрения и упрощает управление тысячами баз данных в частном «облаке». Этот первый в отрасли программно-аппаратный комплекс по консолидации позволит клиентам размещать базы данных в течение минут вместо недель; уменьшит стоимость функционирования до 75% через сохранения используемых площадей, энергии и инфраструктуры; не потребует изменений в базах данных при консолидации.

Прочее

В ходе своего выступления Квентин Кларк раскрыл наиболее важные функции продукта и назвал клиентов, которые уже разместили у себя SQL Server 2012.

Из демонстраций был показан статистический семантический поиск, функции высокой доступности AlwaysOn, а также было раскрыто название новых инструментов разработки – SQL Server Data Tools (ранее — проект «Jeneaue»).

Квентин в ходе доклада также раскрыл информацию о возможностях создания отчетов в «облаке» (SQL Azure Reporting – доступно в новом CTP); возможностью синхронизации локальных баз данных и баз в «облаке» (SQL Azure Data Sync – доступно в новом CTP); построения масштабируемых приложения в «облаке», работающих с распределенными базами данных с помощью SQL Azure Federation; увеличении размера базы данных в «облаке» до 150 Гбайт; возможности создания резервной копии баз данных в «облако» и т.д.

 

Ключевой доклад №3

Третий день начался с песни Роба Фарли и его коллеги про функции SQL Server.

Затем после выступил предыдущий президент PASS и была показана текущая организационная структура правления. Затем было объявлено о  начале регистрации на следующий Саммит PASS 2012, который состоится 6-9 ноября 2012 года в Сиэтле.

После этого вступления Технический партнер Microsoft Дэвит Дэвитт (David Dewitt) выступил с лекцией про Hadoop.

Сессии

Во второй половине каждого дня проходили сессии на 60 или 90  минут по более узким техническим темам. Нет возможности привести подробно обзор  всего, что было на Саммите, поэтому публикую некоторые фотографии и полный список  сессий по бизнес-аналитике.

Клиника SQL Server

Традиционно большой интерес вызвало мероприятие под названием «Клиника SQL», на котором эксперты по различным аспектам использования SQL Server давали советы по использованию применительно к задачам клиентов.

Выставка

На выставке можно было у увидеть программно-аппаратные комплексы и ссылочные архитектуры HP и Dell, стенды Microsoft, посвященные работе различных компонентов SQL Server 2012, а также партнерские решения (например, средства визуализации с поддержкой сенсорного ввода Smart eVision).

User Group and Interests Luncheons

Обед также проходил с пользой. На первом дне Саммита участники распределились по столам по географическому признаку (в обществе соответствующих лидеров отделений PASS), а на втором дне – по темам (в обществе экспертов по данной теме).

Книжный магазин

В холле Конвенционального центра можно было посетить книжный магазин PASS, где продавались наиболее значимые публикации на тему SQL Server и Microsoft BI. В определенные часы можно было получить автографы некоторых авторов.

Заключение

Подробнее про нововведения для бизнес-аналитики в SQL Server 2012 в ближайшее время я напишу в отдельной статье.

И… встретимся на Российской конференции PASS 2012!

Следите за анонсами… 🙂

Дополнительные материалы

  1. Видео-записи ключевых сессий PASS Summit 2011
  2. Microsoft News Center. Microsoft Expands Data Platform With SQL Server 2012, New Investments for Managing Any Data, Any Size, Anywhere
  3. Microsoft News Center. Microsoft Announces New Database Consolidation Appliance, Enhances Cloud Offerings
  4. Ted Kummert. Microsoft Expands Data Platform to Help Customers Manage the ‘New Currency of the Cloud’
  5. Download Center. Microsoft SQL Server Connector for Apache Hadoop
  6. Подборка ссылок на записи в блогах про PASS Summit 2011
  7. SQL Server Team Blog. Recap from PASS Summit 2011

Новая виртуальная машина для демонстрации Microsoft BI (All-Up BI Demo Image X)

Несколько дней назад на сайте http://mssalesdemos.com появился архив с виртуальной машиной для демонстрации Microsoft BI.

Виртуальная машина содержит 3 сценария аналитической платформы Microsoft (SQL Server 2008R2, SharePoint 2010 и Office 2010).

  1. Пример для телекоммуникационной компании, который содержит сценарии по уменьшению оттока клиентов из организации, управлению прибылью и прибыльностью клиентов.
  2. Демонстрация самостоятельного анализа данных с использованием PowerPivot для Excel и SharePoint.
  3. Демонстрация SQL Server Analysis Services, показывающая простоту создания и публикации аналитических кубов для многомерного и интеллектуального анализа данных.

Для скачивания архива необходимо зайти на сайт с использованием Live ID и перейти на закладку Downloads.

См.также:

Организация сбора данных с помощью SQL Server

Коллеги, обратите внимание на заметку Станислава Кондратьева об организации сбора данных с помощью SQL Server

Обучающие материалы в открытом доступе по SQL Server и BI

На текущий момент команда Developer and Partner Evangelism представила в Интернете два пакета обучающих материалов (видео, презентаций и лабораторных работ) по теме SQL-BI. Оба пакета на английском языке.

Первый пакет – это курс по SQL Server 2008 R2 (январь 2011), который содержит 31 презентацию, 27 демонстраций, 12 лабораторных работ.

Второй пакет – это курс по SQL Server 2008 R2 Business Intelligence (февраль 2011).

Подробнее: Обучающие материалы в открытом доступе по SQL Server и BI

PASS Summit 2010 — день третий

Третий день саммита прошел в более спокойном режиме. Все важные анонсы были сделаны в предыдущие дни, а ключевая сессия была сугубо технической и, я бы даже сказал, академической.

Большая часть сессий, которые я посетил, были посвящены существующим технологиям. Кроме последней сессии.

Но обо всем по порядку…

Ключевой доклад

Ключевой доклад третьего дня конференции начал Rick Heiges (вице-президент по маркетингу, PASS).

Rick Heiges (вице-президент по маркетингу, PASS)

В своей речи он:

  • озвучил новый состав президиума PASS;
  • рассказал о концепции работы PASS на ближайшие годы;
  • анонсировал новое событие PASS SQL Rally (www.sqlrally.com), которое представляет собой технический тренинг на несколько дней и пройдет 11-13 мая 2011 года в Орландо, Флорида;
  • анонсировал новый PASS Summit 2011.

PASS Summit 2011

Непосредственно ключевой доклад был посвящен теме оптимизации SQL-запросов. Эту тему представил David J. DeWitt (технический советник, подразделение платформы данных и хранения Microsoft).

David J. DeWitt начал с того, что задача оптимизации запросов (то есть преобразования SQL-запроса в наиболее эффективный план выполнения из возможных) является очень сложной задачей, которая впервые была сформулирована 30 лет назад Пэтом Силенгером (IBM Research).

Он привел пример запроса, который можно выполнить с помощью 22 млн. альтернативных планов, и в ходе своей презентации рассказал, как решается задача нахождения лучшего плана.

Если резюмировать, доклад о роли оптимизатора содержал информацию о том как формируются планы выполнения (логические и физические), почему в планах бывают неточности, как оценивается количество элементов в каждой ветке плана, как оценивается стоимость выполнения каждой ветки и плана в целом, как исключаются заведомо ненужные варианты планов.

Далее привожу несколько интересных слайдов. Доклад можно посмотреть по ссылке на странице http://www.sqlpass.org/summit/na2010/, а презентация доступна в блоге Дэвида.

Время выполнения различных физических планов

В заключительной части Дэвид рассказал о последних результатах исследований, которые позволят улучшить планы выполнения запросов.

Пространство результирующего плана

Сессия 1 – SSRS в интегрированном режиме SharePoint

Доклад Брайана Ларсона (Superior Consulting Services) был посвящен вопросам работы SSRS в интегрированном режиме SharePoint.

Брайан Ларсон (Superior Consulting Services)

В ходе доклада Брайан осветил вопросы:

  • архитектуры;
  • конфигурирования;
  • установки;
  • настройки библиотек SSRS;
  • использования ReportBuilder;
  • создания подписок;
  • версионности / check in-out / подтверждения контента;
  • создания копий отчетов со связью;
  • задания прав на отчеты;
  • создания нотификаций;
  • использования списков SharePoint в отчетах.

Сессия 2 – Хранимые процедуры Analysis Services

В своем докладе Стасия Миснер (Data Inspirations) подробно рассказала о том, как создавать, использовать и осуществлять отладку хранимых процедур SSAS, а также немного затронула тему использования функции OpenQuery.

Стасия Миснер (Data Inspirations)

Если резюмировать, процесс создания ASSP (Analysis Services Stored Procedure) состоит из трех шагов:

  • создание проекта .net для ASSP;
  • регистрация сборки;
  • запуск ASSP.

Создание проекта .net для ASSP

Варианты применения ASSP: статистические выборки, пространственные фильтры и прочее (примеры можно найти на www.codeplex.com).

Сессия 3 – Применение ReportBuilder и SharePoint PerformancePoint Services

На третьей сессии я побывал на двух докладах:

  • Bob Meyers. Использование ReportBuilder – подробности;
  • Craig Utley. Мониторинг и аналитика с помощью PerformancePoint Services.

В обоих докладах подробно раскрывались функции соответствующих продуктов, поэтому особенно комментировать нечего.

Bob Meyers. Использование ReportBuilder – подробности

Craig Utley. Мониторинг и аналитика с помощью PerformancePoint Services

Сессия 4 – Data Quality Services и Master Data Services

Наконец-то! Анонсы изменений в Master Data Services и нового компонента Data Quality Services…

Нововведения в Master Data Services представила Denise Draper (Microsoft).

Denise Draper (Microsoft)

Денис начала с рассказа об области задач Управления информацией предприятия (Enterprise Information Management — EIM). Понятно, что EIM – это скорее область знаний, но SQL Server «Denali» поддерживает ее требования с помощью:

  • компонента «Integration Services» для управления интеграцией приложений;
  • компонента «Master Data Services» для управления нормативно-справочной информацией предприятия;
  • нового компонента «Data Quality Services» для управления качеством данных;
  • набора инструментов анализа зависимостей и отслеживания определения источника появления данных.

EIM в проекте Denali

В части Integration Services SQL Server «Denali» обеспечит:

  • улучшение удобства использования инструментов разработки, таких как возможность настройки панели инструментов и undo-redo при редактировании пакетов интеграции;
  • улучшения механизмов отладки (журналирования и индикации ошибок), такие как история шагов выполнения потока управления и анализ отказов без перезапуска пакета;
  • управление проектами, конфигурациями и развертыванием за счет возможности отделить пакеты от конфигураций и новых возможностей управления и мониторинга.

Master Data Services в SQL Server «Denali» будет коробочным продуктом с возможностью управления мета информацией в Excel. Основная идея здесь состоит в том, что уже сейчас у подавляющего большинства клиентов справочники ведутся в Excel, и этот инструмент очень удобен для подобных задач.

Управление мета-информацией в Excel с помощью надстройки Master Data Services в SQL Server «Denali» - прототип

Будут также доступны инструменты для анализа влияния мета-информации, такие как «из какого источника получены эти колонки?» и «куда идут данные из этой таблицы?». Функции анализа влияния будут анализировать системы, находить таблицы, хранимые процедуры, пакеты и отчеты и записывать их взаимодействия.

Графический прототип просмотра зависимостей в SQL Server «Denali» Master Data Services

Далее Joseph Malka (директор по исследованиям и разработке DQ и MD, Microsoft) представил новый компонент SQL Server Denali — Data Quality Services.

Joseph Malka (директор по исследованиям и разработке DQ и MD, Microsoft)

Новый компонент позволит разрешить проблемы с качеством данных, такие как:

  • неверный формат данных;
  • несоответствие стандартным наименованиям;
  • неполнота, несоответствие и неполнота данных;
  • неверное значение некоторых атрибутов;
  • значения вне допустимых границ;
  • дубликаты.

Качество данных будет обеспечиваться за счет применения:

  • базы знаний по обеспечению качества данных (Data Quality Knowledge Base);
  • определения семантических моделей;
  • извлечение дополнительной информации из примеров данных и информации от пользователей системы;
  • открытость и расширяемость за счет внешних провайдеров ссылочных данных (например, на основании данных из SQL Azure Marketplace DataMart);
  • простота использования.

Далее Joseph Malka прокомментировал архитектуру решения и продемонстрировал работу существующего прототипа.

Архитектура Data Quality Services

В процессе демонстрации Joseph Malka показал создание предметной области, задания бизнес-правил, определение проекта, профилирование данных (прототип в виде изображения), авто-корректировку данных, просмотр и экспорт результатов обработки данных.

Задание соответствий

Объявление синонимов

Создание правила валидации

PASS Summit 2010 — день второй

Последнее изменение документа: 14.11.2010.

Продолжаю публикацию своих первых впечатлений от PASS Summit 2010. Хочу подчеркнуть, что все изложенное ниже – информация, записанная в процессе прослушивания (и перевода на русский) докладов конференции, причем, все это я пишу вечерами и ночами. Т.е. возможны ошибки. Каждую из изложенных тем в части бизнес-аналитики я буду подробно освещать в последующих постах, а пока описываю первые впечатления…

Ключевой доклад

Bill Graziano (главный вице-президент PASS по финансам) начал свой доклад с благодарностей различным представителям PASS, а закончил сведениями о бюджете сообщества и источниках финансирования.

Bill Graziano (главный вице-президент PASS по финансам)

Затем Квентин Кларк (главный менеджер группы систем баз данных Microsoft) начал основную часть, посвященную новой версии SQL Server с кодовым названием «Delani». Новая версия SQL Server была представлена в разрезе трех основных направлений: обеспечение работы критически важных приложений, продуктивность при разработке и бизнес-аналитика.

Квентин Кларк (главный менеджер группы систем баз данных Microsoft)

В части обеспечения работы критически важных приложений Квентин Кларк рассказал об индексе на уровне колонок и о функциях обеспечения высокой доступности (SQL Server AlwaysOn).

Гопал Ашок (Gopal Ashok, технический менеджер SQL Server) продемонстрировал группировку баз данных для настройки, auto-failover, возможность создание нескольких вторичных failover-экземпляров, чтение вторичного экземпляра, панель управления.

Gopal Ashok (технический менеджер SQL Server)

В части обеспечения продуктивности при разработке Квентин Кларк рассказал о улучшениях в  инструментах разработки, расширениях в возможности работы с 2D-пространственными данными и т.д.

Отдельное внимание было уделено возможности семантического поиска в базе данных, так как эта функция позволяет искать документа на основании того, на какую тему написан тот или иной документ. Т.е. индексируется тематика документов.

Рохан Кумар (Rohan Kumar, главный менеджер программ SQL Server RDBMS) продемонстрировал функцию FileTable, которая позволяет хранить файлы непосредственно в SQL Server и при этом работать с ними в Windows Shell. Была продемонстрирована возможность полнотекстового поиска по этим файлам и изменение имени и атрибутов файлов с помощью команд T-SQL. Все это очень важно для упрощения работы с файлами из SQL Server неразрывно с такими функциями SQL-платформы, как, например, транзакционность.

Rohan Kumar (главный менеджер программ SQL Server RDBMS) и Quentin Clark (главный менеджер Microsoft)

Дон Бокс (уважаемый инженер SQL Server, Microsoft) продемонстрировал набор инструментов с кодовым именем «Juneau», в частности:

  • интерактивный режим изменения свойств объектов;
  • функции импорта базы данных в Visual Studio 2010;
  • нахождение связанных объектов для выделенного объекта (нахождение зависимостей);
  • нахождение зависимых объектов, на которых влияет изменение в данный объект.

Дон Бокс (уважаемый инженер SQL Server, Microsoft) и Квентин Кларк (главный менеджер Microsoft)

В части функций бизнес-аналитики Квентин Кларк сделал основной акцент на функции самостоятельного анализа данных, о которых речь шла в предыдущие дни конференции, а также на управление интеграцией с помощью нового компонента SQL Server Data Quality Services.

Следующий докладчик, Jeff, сделал демонстрацию новых BI-возможностей.

Jeff (Microsoft)

Добавлена возможность управления данными Master Data Services в Excel.

Данные Master Data Services в Excel

Появился новый компонент SQL Server для управления качеством данных — Data Quality Services.

Data Quality Services

В SSIS добавлена возможность очистки данных, возможность отмены/восстановления (undo/redo) в BIDS.

Очистка данных в SSIS

Добавлен функционал анализа влияния изменений в структуры данных на уровне пакетов SSIS.

В заключение сессии Квентин Кларк объявил, что сегодня доступен предварительный просмотр SQL Server «Denali» (CTP1, можно скачать в Центре загрузки Microsoft) и заметил, что в первый раз вместе с объявлением планов выхода новой версии продукта эта версия в тот же день доступна в виде CTP…

Сессия 1 – SQLCAT: конфигурирование SharePoint 2010 и SQL Azure Reporting в «облаке»

Во время первой сессии я побывал на двух докладах из 14-ти, видимо, из природного любопытства…

На докладе SQLCAT о конфигурировании и обеспечении безопасности приложений SharePoint 2010 Карл Ребелер и Адам Сакстон рассказывали о многих технических вещах, в частности о различии Claim-based и Kerberos аутентификации.

Когда я зашел на доклад про SSRS в «облаке», Russel Humphries и Vasile Parasciv рассказывали об архитектуре SQL Azure Reporting Services для «облака» и о портале для разработки.

Также они призвали всех регистрироваться в качестве участников технологического просмотра SQL Azure Reporting по ссылке http://connect.microsoft.com/sqlazurectps.

Сессия 2 – Концепция Microsoft BI

Концепцию Microsoft BI представили Амир Нетз (уважаемый инженер Microsoft) и Дональд Фармер (менеджер программ Microsoft BI).

Амир Нетз (уважаемый инженер Microsoft) и Дональд Фармер (менеджер программ Microsoft BI)

Сначала коллеги рассказали о том, как PowerPivot позволяет решить проблему с неуправляемыми отчетами в Excel и продемонстрировали анализ данных в PowerPivot путем экспорта потоков данных из SSRS, использование DAX, галерею PowerPivot, панель управления PowerPivot, отчет SSRS на основании данных использования отчетов PowerPivot.

Во второй демонстрации показали возможность отображения отчетов SSRS в качестве объектов Pivot. Эта демонстрация показала изменение парадигмы отчетов – ориентацию на людей (сотрудников организаций).

Дополнение от 14.11.2010: Как сделать подобное приложение читайте здесь.

В ходе сессии коллеги подробно рассказали о концепции Microsoft BI, что в итоге свели к 4-м пунктам.

1. Microsoft ориентируется на положительный опыт людей (интерес, успех, возврат инвестиций и готовность поделиться положительным опытом) при использовании аналитических приложений.

2. Целевая аудитория приложений PowerPivot, Crescent и Pivot – 1 миллиард людей.

3. Не зависимо от объемов данных – один способ анализа информации (ага, похоже, это моя аналогия с машиной времени из фильма назад в будущее 🙂 – подробнее см. здесь).

4. Использование «облака» для создания непрерывности использования аналитических приложений уровня предприятия.

Сессия 3 – Готовим с помощью Reporting Services (рецепты продвинутой разработки отчетов)

Сессию представил Paul Turley (BI-архитектор Hitachi Consulting).

Paul Turley (BI-архитектор Hitachi Consulting)

Paul выделил следующие типы отчетов SSRS (в порядке убывания частоты реализации):

  • с использованием стандартных средств SSRS;
  • с продвинутыми комбинациями стандартных средств SSRS;
  • креативное комбинирование функций;
  • безумные отчеты, для которых SSRS не предназначен (наподобие тех, которые вчера показывали на сессии BI Hour).

В первой демонстрации Пол показал как задать номера страниц для групп и листов отчета.

Во второй демонстрации Пол показал, как можно сделать различное отображение в отчета в SSRS и Excel. Если резюмировать, нужно сделать два табликса, для каждого из которых задать значение свойства Hidden в зависимости от переменной Global!RenderFormat.

Демонстрация 3 была о создании строки ссылок в отчете с помощью выражений Visual Basic и объекта SSRS matrix.

Далее Пол рассказал о возможности локализации отчетов SSRS с помощью сборки .Net и использовании объектов Check-list для выбора параметров отчета.

В последней демонстрации Пол показал результат создания интерактивного отчета SSRS для просмотра кубов с возможностью фильтрации по измерениям и выбора мер.

Сессия 4 – SQL Server «Denali». Что нового в Analysis Services и PowerPivot?

Сессию представили Т.К.Ананд и Ашвини Шарма (главные менеджеры программ Microsoft BI).

Т.К.Ананд и Ашвини Шарма (главные менеджеры программ Microsoft BI)

В новой версии SQL Server «Denali» простоту создания моделей обеспечит семантическая модель бизнес-аналитики (BI Semantic Model, BISM). В Visual Studio будет доступен BI Semantic Model Designer, который обеспечит знакомый и интуитивный инструмент проектирования с функцией WYSIWYG (отображение результата непосредственно в процессе проектирования).

В части обеспечения богатства BI-семантики в PowerPivot коллеги рассказали о следующих новых функциях:

  • задание показателей эффективности (KPI);
  • задание перспектив (после переключения в продвинутый режим PowerPivot);
  • поддержка измерений родитель-потомок (parent-child) с помощью функций DAX (PATH, PATHITEM и LOOKUP);
  • иерархии, задаваемые пользователями;
  • функция RANK;
  • вычисления DistinctCount с помощью движка VertiPaq;
  • детализация данных в реляционный источник (Drill Through) – в планах разработки.

Ключевые показатели эффективности в PowerPivot (Denali)

Перспективы в PowerPivot

Также на базе семантической модели будет обеспечиваться безопасность на детальном уровне гранулярности (в планах разработки).

В части обеспечения масштабирования и производительности был показан пример работы с данными в памяти с помощью Visual Studio. Характеристики примера: 2 миллиарда строк, 16 процессорных ядер, 10 MDX-запросов к SSAS, 94 миллисекунды на каждый запрос.

Таким образом, единственным узким местом в случае применения этого режима работы с данными является скорость шины ОЗУ.

Новый подход оптимизирован под x86 и x64 платформы и ориентирован на тренд удешевления оперативной памяти. Масштабирование до уровня предприятия обеспечивается за счет сжатия данных и секционирования.

В SQL Server «Denali» представлена единая семантическая модель для OLAP (UDM) и отчетов (SMDL). Благодаря этой модели будут доступны возможности:

  • использования DAX как языка запросов для Crescent;
  • использования запросов VertiPaq и реального времени;
  • использование программных интерфейсов (API) – реляционного и многомерного;
  • поддержки нового аппаратного обеспечения;
  • гранулярной безопасности;
  • инструментов разработки.

BI Semantic Model

В SQL Server «Denali» BISM и UDM будут сосуществовать.

Архитектура PowerPivot и Analysis Services в Denali

Примеры внедрений Microsoft BI

Последнее обновление: 31.05.2012

Очень часто задают вопрос о наиболее интересных примерах внедрений Microsoft BI. В этой заметке я напишу о примерах, которые показались мне наиболее интересными.

Хранилище данных на базе SQL Server DB + загрузка данных

Социальная сеть «MySpace»

MySpace Uses SQL Server Service Broker to Protect Integrity of 1 Petabyte of Data

  • 1 Пбайт данных управляется SQL Server
  • 827 миллиардов строк данных
  • 440 экземпляров SQL Server
  • 130 миллионов активных пользователей ежемесячно
  • 300 тысяч новых пользователей в день
  • 4.4 миллиона конкурентных пользователей в моменты пиковой нагрузки
  • 18 тысяч сообщений сервис-брокера в секунду (при тестировании)

Хранилище данных на базе SQL Server DB + загрузка данных с помощью SSIS + аналитические кубы SSAS + отчеты SSRS

Сеть отелей «Hilton»

  • Система прогнозирования резервирований комнат
  • Полный пакет SQL-продуктов (SQL, AS, IS, RS)
  • Разнесение экземпляров Analysis Services и Reporting Services на отдельные сервера (scale out)
  • Балансировка нагрузки на сервера Analysis Services (чтение)
  • От 40 до 50 конкурентных пользователей на сервер Reporting Services
  • Сложные запросы
  • Большие наборы данных возвращаются на множество клиентов
  • Сервера IBM xSeries и IBM Blade Center

http://www.microsoft.com/casestudies/casestudy.aspx?casestudyid=49192

Хранилище данных на базе SQL Server DB с использованием FastTrack Data Warehouse

Stein Mart

  • Первый пример внедрения FastTrack DW
  • Сэкономлено $50,000 в месяц после миграции AS/400
  • Ускорение работы – 3 часа обработки вместо 14 часов
  • Меньше людей поддерживает решение
  • Пользователи полюбили новые инструменты!
  • Хранилище данных объемом 4 Тбайт

http://www.microsoft.com/casestudies/Case_Study_Detail.aspx?casestudyid=4000007013

Хранилище данных на базе Parallel Data Warehouse (PDW)

Hy-Vee (сеть супермаркетов в США) внедрили хранилище данных на базе PDW (официальная информация доступна на сайте Microsoft).

Характеристики проекта:

  • до внедрения — 11 Тбайт данных в хранилище данных (данные за 7 лет, объемы постоянно растут; после внедрения объемы данных были увеличены в несколько раз)
  • ежедневная загрузка более 800 тысяч строк (после внедрения, очевидно, в разы больше) •OLAP-кубы
  • регламентированная отчетность Reporting Services

Результаты:

  • увеличение производительности до 100 раз
  • возможность просмотра данных за вчерашний день для реагирования на тренды (до внедрения PDW могли лишь посмотреть данные двухнедельной давности)
  • стало возможным выполнять значительно более сложные запросы к данным.

Информационные панели, карты показателей и отчетность

ООО «РН-Юганскнефтегаз»

Внедренные продукты:
Microsoft Office SharePoint Server
2007, с использованием таких инструментов, как PerformancePoint, SQL Server SSAS, SSRS, SSIS

В результате проведенных работ была внедрена система, обеспечивающая возможность одновременной работы более 180 подразделений Общества, работающих в локальной сети Общества. При разработке Системы была предусмотрена возможность последующего расширения пользователей системы до 2 000 человек.

Внедрение Системы позволило достичь следующих результатов:

  1. Увеличение прозрачности картины по результативности работы подразделений за счет ведения рейтингов эффективности;
  2. Упрощение анализа эффективности деятельности Общества за счет структурирования информации и отображения ее в оптимальном для восприятия виде;
  3. Обеспечение перехода к управлению по показателям в соответствии с современными стандартами Управления эффективностью деятельности (Business Performance Management).

http://www.microsoft.com/rus/casestudies/Case_Study_Detail.aspx?casestudyid=4000008236

Интеллектуальный анализ данных (SQL Server Analysis Services Data Mining)

Максим Гончаров посмотрел имеющиеся примеры и выбрал наиболее интересный вариант (первый в таблице). Остальные примеры Максим порекомендовал взять из заметки Data Mining Case Studies в блоге главного (бывшего) архитектора Jamie MacLennan.

Страна Отрасль Пример внедрения
США Финансовые сервисы Внедрение аналитической системы по оптимизации страховых фондов и риск-менеджмента на платформе Analysis Services в страховой компании EMC партнером PolyVista. Используется OLAP и Data Mining (предиктивные модели, формирующие правила и обнаруживающие шаблоны для оптимизации размеров страховых взносов; формирование оптимальных размеров запасов; управление рисками).Страховая компания использует BI для улучшения управления финансовыми сервисами
Филиппины Развлечения Wireless Services Firm Doubles Response Rates with SQL Server 2005 Data Mining 10/23/05
Канада Профессиональные сервисы Microsoft Partner Helps Internet-Monitoring Company Crawl 750 Million Pages Monthly 01/17/07
Франция Профессиональные сервисы E-Commerce Provider Boosts Competitiveness with Microsoft Technology and Partnership 02/04/07
Франция Торговля French Retailer Deploys Powerful Solution to Handle 1 Million Orders a Day 09/04/06
Израиль Здравоохранение Microsoft SQL Server 2005 Data Mining Helps Clalit Preserve Health and Save Lives 11/03/05
Франция Производство New Business Intelligence Solution Reduces Customer Churn by 25 to 30 Percent 03/16/06
США Правительство The Illinois Department of Transportation Saves Lives with Microsoft Business Intelligence Solution 21-Apr-08
Германия Перевозки и логистика Global Air Freight Company Analyzes Mission Critical Logistics Data with SQL Server 2005 02/01/06
Великобритания Развлечения Scalable Data Warehouse Helps U.K. Lifestyle Group Consolidate Multiple Data Sources in Just Three Months 11/07/06
Италия Финансовые сервисы New Information System Increases Efficiency and Helps Double Profits at Italian Bank 02/16/07
Великобритания Образование Analytical Tools Help Research Group Provide New Insight Into How Darwin Developed His Theory of Evolution 11/07/06
Великобритания Образование Research Group Unlocks the Secrets of Darwinian Research with Mapping and Database Software 18-Mar-08
США Производство Xerox Develops Scalable, Hosted Solution to Optimize Global Print Fleet Management 11/11/05
США Профессиональные сервисы Database Products Help Real Estate Service Evaluate Millions of Homes Daily, Cut Costs 08/24/06
США Финансовые сервисы Zurich in North American Anticipates U.S.$25 Million Gain with SQL Server 2005 Solution 01/22/07

По России есть множество успешных внедрений, но примеров для публикации пока нет (многие компании стараются не афишировать внедрения интеллектуального анализа данных, видимо, из конкурентных соображений)… Повод для размышлений… 😉

Доступна для скачивания русифицированная виртуальная машина демонстрации технологий Microsoft Business Intelligence 2010 (R9.2 Rus)

Пока я был в отпуске, на сайте microsoft.com была выложена для загрузки русифицированная виртуальная машина демонстрации технологий Microsoft Business Intelligence 2010 (R9.2 Rus) на базе соответствующих RTM-продуктов (SQL Server 2008 R2, Excel 2010, SharePoint 2010).

Источник: Техноблог Максима Войцеховского

Ссылки по теме: Русская виртуальная машина Microsoft BI 2010 на Office 2010 Launch

Экспресс-обзор Microsoft BI 2010

На сайте проекта TechDays.ru опубликована видео-запись моего очередного доклада «Экспресс-обзор Microsoft BI 2010». В докладе кратко дана характеристика решения по бизнес-аналитике от Microsoft, показаны основные пользовательские инструменты анализа данных, даны начальные сведения о составе компонентов Microsoft BI 2010.

Основу доклада составляет демонстрация пользовательских инструментов анализа данных на русифицированной виртуальной машине R9.2.