Виртуальная машина содержит 3 сценария аналитической платформы Microsoft (SQL Server 2008R2, SharePoint 2010 и Office 2010).

1. Пример для телекоммуникационной компании, который содержит сценарии по уменьшению оттока клиентов из организации, управлению прибылью и прибыльностью клиентов.
2. Демонстрация самостоятельного анализа данных с использованием PowerPivot для Excel и SharePoint.
3. Демонстрация SQL Server Analysis Services, показывающая простоту создания и публикации аналитических кубов для многомерного и интеллектуального анализа данных.

Для скачивания архива необходимо зайти на сайт с использованием Live ID и перейти на закладку Downloads.

См.также:

• Виртуальные машины для демонстрации технологий Microsoft Business Intelligence 2010
• Доступна для загрузки новая VM – All-Up BI Demo Image X
  

В решении Microsoft BI пользователи могут использовать для анализа данных в хранилище и аналитических кубах следующие инструменты (рис. 1):

• SQL Server 2008 R2 Reporting Services для отображения регламентированной отчетности (программисты могут создавать отчеты в Visual Studio, а офисные пользователи – в ReportBuilder 3.0);
• Office Visio 2010 для создания произвольных схем и привязки к этим схемам данных из хранилища, аналитических кубов и произвольных источников;
• Microsoft Excel 2010 для создания офисными пользователями произвольных отчетов в электронных таблицах;
• Data Mining Add-ins для Office 2007 для обнаружения закономерностей в больших объемах данных организации и создания на основании этих закономерностей новых знаний (интеллектуальный анализ данных);
• SQL Server PowerPivot для Excel для самостоятельного подключения новых источников данных и создания новых расчетных показателей офисными пользователями;
• SharePoint 2010 для вывода на портал отчетов из инструментов Microsoft BI;
• SharePoint 2010 PerformancePoint Services для отображения данных на интерактивных диаграммах и с помощью дерева декомпозиции, а также для отображения систем ключевых показателей эффективности (разработка таких отчетов производится в SharePoint Dashboards Designer).

Рис. 1. Инструменты Microsoft BI 2010 для анализа данных

Чтобы легче было запомнить отличие этих инструментов, я воспользуюсь аналогией, впервые представленной Aj Mee (рис. 2) и попробую расширить эту аналогию на новые инструменты анализа, появившиеся в 2010 году. Об этой аналогии мне рассказал Олег Лейзеров, за что ему отдельное спасибо!

Итак, в развитии аналогия выглядит следующим образом (рис. 3).

Рис. 3. Пользовательские инструменты анализа данных Microsoft BI 2010 (на слайде использованы изображения с сайта www.modelsupermarket.com)

Во-первых, Aj Mee сравнивает работу с SQL Server Reporting Services с поездкой в автобусе, так как:

• вы выбираете маршрут автобуса (определенный отчет);
• автобус ходит по заданному маршруту (отчет заранее создан);
• вы выбираете, на какой остановке выйти (параметры отчета).

Впрочем, дополнительный компонент Report Builder позволяет даже офисным пользователям составить самостоятельно отчет для печати.

Все эти отчеты могут быть размещены на сайте ReportingServices или портале SharePoint 2010 (в автобусе по заданному маршруту могут ехать множество людей).

Рис. 4. SQL Server 2008 R2 Reporting Services

К этой же аналогии я отнесу Microsoft Office Visio 2010 с возможностью отображения на произвольной схеме визуализации данных из базы. При этом, как и в Reporting Services возможна детализация данных по щелчку мыши (drill-down) и размещение схем на портале SharePoint 2010 с помощью Visio Services (Рис. 5).

Рис. 5. SharePoint 2010 Visio Services

Следующая аналогия Aj Mee посвящена работе с Excel и Excel Services, которая похожа на вождение автомобиля, так как:

• вы сами должны уметь водить автомобиль (строить отчет с помощью PivotTable);
• вы можете выбрать альтернативные дороги (переходы между измерениями куба, настройки фильтров), чтобы попасть в точку назначения (получить требуемый отчет);
• вы также можете посадить в автомобиль друзей (опубликовать отчет на SharePoint с помощью Excel Services – рис. 6).

Рис. 6. SharePoint 2010 Excel Services

Последняя аналогия Aj Mee – работа с PerformancePoint Server (сейчас – SharePoint 2010 PerformancePoint Services). Работу с этим компонентом он сравнивает с ездой на вездеходе в том смысле, что не обязательно пользоваться дорогами (путями детализации данных, определенными в иерархиях SSAS), можно свернуть на другую дорогу не только в точке пересечения с ней, но и можно доехать до нее по бездорожью. В данном случае имеется в виду возможность детализации данных (drill-through), когда мы выбираем определенное значение и детализируем его по определенному уровню или атрибуту произвольного измерения.

Рис. 7. SharePoint 2010 PerformancePoint Services

Наиболее интересным нововведением SharePoint Service в SharePoint 2010, в котором также используется механизм детализации сумм по измерениям (drill through в терминологии Microsoft), является интерактивный компонент «Дерево приятия решений» (Decision Tree), реализованный с помощью технологии Silverlight (рис. 8).

Рис. 8. SharePoint 2010 PerformancePoint Services Decomposition Tree

Итак, что же добавилось нового в Microsoft BI 2010?

Во-первых, это PowerPivot для Excel и, соответственно, PowerPivot для SharePoint. Этот компонент, продолжая приведенные аналогии, я бы сравнил с автомобилем Фантомаса. Если вы помните фильм, этот автомобиль мог превратиться в самолет и доставить пассажира в точку назначения по воздуху. То есть не нужно использовать дороги (построение дороги можно сравнить с проектом внедрения традиционного BI-решения с использованием хранилищ данных). Можно оперативно переправиться в нужную точку (оперативно добавить в анализ данных из произвольных источников и получить требуемый отчет).

Рис. 9. PowerPivot для Excel

Аналогично, можно перевезти на этом автомобиле пассажиров (разместить отчет PowerPivot на SharePoint – рис. 10).

Рис. 10. PowerPivot для SharePoint

Рис. 11. Надстройки интеллектуального анализа данных для Excel (Data Mining Add-ins for Excel)

Демонстрация. Обзор пользовательских инструментов анализа данных

Замечание об авторских правах. В записи блога использованы изображения моделей автомобилей с сайта www.modelsupermarket.com.

Дополнительные ссылки:

• SSAS-info.com. Microsoft SQL Server Analysis Services client front-end software

Соответственно, русифицированный пример таблицы Excel для Data Mining Add-ins for Office 2007 можно скачать по адресу http://RussianDMAddins.codeplex.com.

Комментарии и дополнения приветствуются.

Итак, Data Mining («добыча данных», англ.) – это технологии анализа больших объемов данных для обнаружения (очень сильно) скрытых закономерностей. Это достаточно молодая технология (возраст менее 20 лет), но эффективные алгоритмы были разработаны в результате исследования баз данных, хотя использует комбинацию давно известных методов статистики и теории вероятности.

Наиболее типичные примеры использования технологии Data Mining:

• поиск прибыльных клиентов;
• понимание потребностей пользователей;
• упреждение смены клиентов;
• предсказание продаж;
• построение эффективных маркетинговых кампаний;
• обнаружение и предотвращение мошенничества;
• исправление данных в процессе ETL.

Процесс интеллектуального анализа данных состоит из следующих шагов.

1. Создаем модель добычи данных с использованием определенного алгоритма, настроенная на некоторую входную выборку данных.

2. С помощью некоторых тренировочных данных (в которых известны как исходные атрибуты, так и те атрибуты, которые мы собираемся предсказывать в будущем) производим обучение модели добычи данных.

3. После обучения на вход модели добычи данных можно подавать предсказываемые данные (в которых неизвестны интересующие нас атрибуты, значение которых мы собираемся предсказать); в результате работы алгоритма будут с определенной вероятностью предсказаны неизвестные атрибуты.

Создание модели добычи данных может производиться с использованием инструментов: Business Intelligence Development Studio, Microsoft Excel, Microsoft Visio, SQL Server Management Studio. SQL Server поддерживает построение моделей добычи данных как на реляционных, так и на OLAP-источниках данных.

Использование (отображение) результатов работы моделей добычи данных может производиться с использованием Microsoft Excel, Microsoft Visio, SQL Server Reporting Services или разрабатываемого вами приложения (через средства OLE DB, ADOMD, XMLA, AMO).

Модель добычи данных может использовать для решения одной задачи различные альтернативные алгоритмы.

В SQL Server 2008 (Enterprise Edition) содержатся следующие алгоритмы интеллектуального анализа данных:

• алгоритм взаимосвязей;
• алгоритм кластеризации;
• алгоритм дерева принятия решений;
• алгоритм линейной регрессии;
• алгоритм логистической регрессии;
• упрощенный алгоритм Байеса;
• алгоритм нейронной сети;
• алгоритм кластеризации последовательностей;
• алгоритм временных рядов.

Подробную информацию об алгоритмах можно прочитать на ресурсе Microsoft Books Online.

Примеры интеллектуального анализа данных можно посмотреть на записи моего доклада «Обзор SQL Server Analysis Services 2008» на конференции «Платформа 2008». Про Data Mining говорится ровно с середины видео-записи.

Компоненты интеллектуального анализа данных SQL Server 2005/2008 содержат множество программных интерфейсов (API), которые можно использовать для включения функций интеллектуального анализа данных в приложения.

Из управляемого кода .NET можно использовать:

• AMO (Analysis Management Objects);
• ADOMD.NET (для клиентских приложений);
• ADOMD Server (для хранимых процедур на уровне сервера).

Из родного кода C++ можно использовать «OLE DB for Data Mining».

Для работы с Data Mining через Интернет можно использовать интерфейсы ASP.NET, .NET и XML для анализа (XMLA) напрямую через HTTP.

В собственных приложениях вы также можете использовать стандартные средства отображения моделей интеллектуального анализа данных (Data Mining Viewers), которые используются в Business Intelligence Development Studio и SQL Management Studio. Соответствующие управляющие элементы можно загрузить по этой ссылке.

Аналитические сервисы SQL Server 2005 Analysis Services имеют родной доступ ко всем объектам с использованием веб-сервисов через XML для анализа (XMLA). Таким образом, любая модель добычи данных может быть реализована в виде веб-сервиса.

Поддержка XML для анализа (XMLA) в SQL Server Data Mining позволяет получать доступ к своим функциям через SOAP-протоколы от клиентов, построенных не на платформе Windows.

В SQL Server 2005/2008 можно подключать собственные алгоритмы и средства визуализации для собственных или стандартных (встроенных) алгоритмов.

На сайте Microsoft доступно описание подключения алгоритмов интеллектуального анализа данных, а на сервере sqlserverdatamining.com – руководство с примерами кода.

Пример дополнительного алгоритма визуализации: Support Vector Machines for SQL Server Data Mining.

Интеллектуальный анализ текста (Text mining) производится в два шага.

Сначала необходимо использовать трансформации интеллектуального анализа текста (Term Extraction and Term Lookup) в Integration Services для построения словаря и извлечения ключевых слов и фраз из исходных текстовых данных в реляционные таблицы.

Вторым шагом необходимо применить алгоритмы интеллектуального анализа данных в Analysis Services непосредственно для анализа полученных данных.

Полное описание процесса интеллектуального анализа текста находится на ресурсе SQLServerDataMining.com.

Ссылки

Официальная информация от Microsoft:

• Интеллектуальный анализ данных на сайте Microsoft SQL Server 2008 на русском языке;
• Data Mining на сайте Microsoft SQL Server 2008 на английском языке;
• SQL Server Books Online на русском языке;
• Data Mining Add-Ins for Office 2007.

Онлайн-примеры DM находятся на ресурсе SQLServerDataMining.com, наполнением которого занимается команда разработки SQL Server Data Mining. Примеры доступны в разделе Live!Samples, а код примеров можно скачать в разделе Downloads.

Видео-записи докладов Рафаля Лукавецки на английском языке:

• Introduction to Data Mining;
• Working with Data Mining;
• Using Data Mining in Your IT Systems (Part 1) (требуется регистрация);
• Using Data Mining in Your IT Systems (Part 2) (требуется регистрация).

Прочие веб-касты на английском:

• TechNet Webcast: 24 Hours of SQL Server 2008: Data Mining (Level 200);
• TechNet Webcast: Mining for Quality: Apply Adaptive Data Quality with SQL Server Data Mining (Level 200);
• TechNet Webcast: Preparing Data for Use with SQL Server Data Mining (Level 200);
• TechNet Webcast: Mining for Quality: Apply Adaptive Data Quality with SQL Server Data Mining (Level 200);
• TechNet Webcast: Mastering Time Series Prediction with SQL Server 2008 Data Mining (Level 300);
• TechNet Webcast: Building and Validating Advanced Mining Models with SQL Server 2008 Data Mining (Level 200);
• MSDN Webcast: Extending and Customizing SQL Server Data Mining (Level 300)
• Predictive Intelligence to Create Smarter KPIs (Level 200);
• Understand SQL Server Data Mining Add-ins for the 2007 Office System (Level 200);
• Data Mining Add-ins for the 2007 Office System.

Видео-записи на русском языке:

• Косяков Иван. Обзор SQL Server Analysis Services 2008 (про Data Mining – ровно с середины видео-записи);
• Косяков Иван. Анализ скрытых закономерностей данных c помощью SQL Server 2008 Data Mining;
• Косяков Иван. Что такое Data Mining в SQL Server 2008.

Форумы:

• MSDN: All questions and discussions related to data-mining in SQL Server;
• Форум по технологиям OLAP и DWH на сайте SQL.RU.

Блоги:

• Data Mining Newsletter;
• JamieMac’s WebLog;
• Bogdan Crivat’s WebLog;
• Donald Farmer: Foraging in the Data Forest;
• Блог Ивана Косякова о Microsoft Business Intelligence.

Сообщества:

• Russian Business Intelligence User Group, PASS Chapter

Онлайн-примеры DM находятся на замечательном ресурсе SQLServerDataMining.com, который совсем недавно был переработан, и наполнением которого занимается команда разработки SQL Server Data Mining. Примеры доступны в разделе Live!Samples, а код примеров можно скачать в разделе Downloads.

Записи докладов Рафаля Лукавецки на английском языке:

• Introduction to Data Mining
• Working with Data Mining
• Using Data Mining in Your IT Systems (Part 1) (требуется регистрация)
• Using Data Mining in Your IT Systems (Part 2) (требуется регистрация)

Конференция началась с продолжительного феерического шоу…

Платформа 2009 - феерическое шоу

…которое плавно перешло в  пленарный доклад Марка Руссиновича (член технического совета корпорации Microsoft), посвященный ключевым технологиям и продуктам Microsoft.

Платформа 2009 - пленарный доклад Марка Руссиновича

В текущий момент на Платформе-Онлайн доступны (после регистрации на сайте) веб-трансляции докладов конференции. По теме Business Intelligence на сайте конференции доступны презентации и видео-записи следующих докладов:

1. Войцеховский Максим. Microsoft Office PerformancePoint Server 2007 как единая платформа управления эффективностью бизнеса
2. Еременко Алексей. Управление отчетностью: SQL Server Reporting Services, Microsoft Dynamics, Microsoft Office Excel 2007
3. Ким Валерий. Бизнес-аналитика и моделирование в SQL Server 2010 Analysis Services
4. Корепин Вадим, Колеров  Юрий. Microsoft Dynamics: Один день работы российского предприятия
5. Косяков Иван. Обзор SQL Server Analysis Services 2008
6. Шамгунов Никита. SQL Server 2008: полный контроль над информацией (часть доклада посвящена работе с геопространственными данными, что может найти применение в BI-решении)
7. Шуленин Алексей. SQL Server 2008 единым взглядом (в докладе есть несколько слайдов и ссылок по теме BI)

Итак, в части многомерного анализа данных (Multi-Dimensional Analytics) это:

1. «Улучшения статистических схем» (новый конструктор агрегатов; упрощен и улучшен мастер статистических схем и мастер оптимизации с учетом использования; новые предупреждения объектов AMO)

2. «Улучшения в проектировании кубов» (мастер кубов)

3. «Улучшения конструктора измерений» (новый конструктор связей атрибутов; новые предупреждения объектов AMO; упрощенный и улучшенный мастер измерений; новое диалоговое окно «Ключевые столбцы»; поддержка ключевых столбцов в области свойств; обновлена вкладка «Структура измерений»)

4. «Улучшения резервного копирования и восстановления» (структур хранения и производительности)

5. «Модули персонализации служб Analysis Services»

Соответственно, в части интеллектуального анализа данных (Data Mining) улучшения следующие:

1. Создание моделей интеллектуального анализа:

• «Фильтрация по вариантам модели» – добавлена возможность присоединения фильтров к моделям интеллектуального анализа данных.
• «Расширения к алгоритму временных рядов (Майкрософт)» – с целью увеличения точности и стабильности некоторых прогнозов в моделях с временными рядами, к алгоритму временных рядов Майкрософт было добавлен новый алгоритм, построенный на основе хорошо известного алгоритма ARIMA и обеспечивающий лучшие долгосрочные прогнозы, чем ранее использовавшийся ARTxp.
• «Детализация до структуры и столбцов структуры интеллектуального анализа данных», благодаря которой, например, можно получить контактную информацию для клиентов в определенном кластере.
• «Создание псевдонимов для столбцов модели интеллектуального анализа данных» с целью облегчения понимания содержимого столбца и упрощения ссылок на столбцы в инструкциях расширений интеллектуального анализа данных.
• «Запрос набора строк схемы интеллектуального анализа данных»

2. Проверка точности моделей интеллектуального анализа:

• «Создание контрольных проверочных наборов» – при создании структуры интеллектуального анализа данных теперь можно автоматически разделить данные на обучающие и проверочные наборы. На мой взгляд, это самое существенное улучшение с точки зрения использования Business Intelligence Development Studio.
• «Перекрестная проверка нескольких моделей интеллектуального анализа данных» – при осуществлении проверки данные структуры интеллектуального анализа данных автоматически многократно секционируются в подмножества, на базе подмножеств строятся модели, затем измеряется точность модели для каждой секции.

3. Функционал для конечных пользователей: реализована  «поддержка надстроек интеллектуального анализа данных для Office 2007» позволяет создавать и использовать модели интеллектуального анализа данных из Microsoft Excel.

4. Функции администрирования:

• «Параллельная установка со службами SQL Server 2005 Analysis Services»
• «Создание и восстановление резервных копий баз данных служб Analysis Services» – уменьшены ограничения на размер баз; сократилось время резервного копирования и восстановления.

Еще одно изменение: аналитические базы и демонстрационные примеры решений расположены по адресу http://www.codeplex.com/SqlServerSamples.

Информация о возможностях, поддерживаемых различными выпусками SQL Server 2008, содержится на странице http://msdn.microsoft.com/ru-ru/library/cc645993.aspx. Различия Analysis Services нужно смотреть в подзаголовках «Многомерная аналитика» и «Интеллектуальный анализ данных». Если резюмировать, аналитические сервисы доступны в редакциях «Enterprise» и «Standard».

Итак, рассмотрим, каких функции есть в редакции «Enterprise», но нет в редакции «Standard».

С точки зрения многомерной аналитики (Multi-Dimensional Analytics) это:

1. «Финансовая статистическая обработка» (Financial aggregations)

2. «Секционированные заказчики» (Partitioned customers)

3. «Пользовательские свертки» (Custom rollups)

4. «Полуаддитивные меры» (Semi-additive measures) – возможность статистического вычисления мер вдоль некоторых, но не всех измерений, которые включены в группу мер, содержащую эту меру (подробнее).

5. «Измерения обратной записи» (Writeback dimensions) – возможность изменять содержимое измерения и сразу видеть результат этих изменений в иерархиях измерения (подробнее)

6. «Связанные меры и измерения» (Linked measures and dimensions) – возможность включения в куб измерений и групп мер из других кубов, которые могут находиться на том же или другом сервере (подробнее: связанные измерения и связанные группы мер).

7. «Двоичный и сжатый XML-транспорт» (Binary and compressed XML transport)

8. «Логика операций со счетами» (Account intelligence) – интеллектуальная обработка счетов в кубе или измерении с учетом стандартной классификации счетов, например «доходы» и «расходы», в элементах атрибута «счет», идентификация типов счетов (таких как «Актив» и «Долг») и назначение соответствующих статистических обработок каждому типу счета (подробнее)

9. «Перспективы» (Perspectives) – возможность создания упрощенных представлений существующих кубов, позволяющее пользователям сосредоточиться на наиболее значимых для них данных (подробнее)

10. «Общие масштабируемые базы данных служб Analysis Services» (Analysis Services shared, scalable databases)

С точки зрения интеллектуального анализа данных (Data Mining) это:

1. «Перекрестная проверка» (Cross validation) – возможность проверки надежности определенной модели интеллектуального анализа данных, проверки нескольких моделей в одной инструкции, построения нескольких моделей и определение лучшей из них на основе статистики (подробнее).

2. «Модели на фильтрованных подмножествах структур интеллектуального анализа данных» (Models on filtered subsets of mining structure data)

3. Улучшения в алгоритмы интеллектуального анализа данных:

• «Временные ряды: пользовательское объединение моделей ARTXP и ARIMA» (Time series: custom blending between ARTXP and ARIMA models)
• «Временные ряды: прогноз новых данных» (Time series: prediction with new data)
• «Временные ряды: прогноз перекрестных рядов» (Time series: cross-series prediction)
• «Прогнозирование последовательности» (Sequence prediction)
• «Множественные цели прогнозирования для упрощенного алгоритма Байеса, нейронной сети и логистической регрессии» (Multiple prediction targets for naïve Bayes, neural network, and logistic regression)
• «Неограниченное количество атрибутов для правил взаимосвязи» (Unlimited attributes for association rules)

4. «Неограниченные параллельные запросы интеллектуального анализа» (Unlimited concurrent datamining queries)

5. «Продвинутая настройка алгоритмов» (Advanced configuration and tuning for algorithms)

6. «API-интерфейс для подключаемых модулей алгоритмов» (Algorithm plug-in API)

7. «Параллельная обработка модели» (Parallel model processing)

1. SQL Server 2008 как Microsoft BI платформа
2. Анализ скрытых закономерностей данных c помощью SQL Server 2008 Data Mining
3. Обзор SQL Server 2008 Analysis Services
4. Что такое Data Mining в SQL Server 2008

19.07.2008. «Data Mining с использованием Microsoft SQL Server 2008″ (скачать в формате PowerPoint 2007 или скачать в формате PowerPoint 2003).

22.03.2008. «Microsoft BI и потребности бизнеса» (скачать в формате PowerPoint 2007 или скачать в формате PowerPoint 2003).

Опубликовать презентации докладов «Разработка решений многомерного анализа данных» и «Разработка решений с использованием технологии Data Mining» с события «SQL Server Energy Event», проходившего 05.11.2008, пока не могу – жду подтверждения от компании Microsoft.