Очень часто задают вопрос о наиболее интересных примерах внедрений Microsoft BI. В этой заметке я напишу о примерах, которые показались мне наиболее интересными.

Хранилище данных на базе SQL Server DB + загрузка данных

Социальная сеть «MySpace»

MySpace Uses SQL Server Service Broker to Protect Integrity of 1 Petabyte of Data

• 1 Пбайт данных управляется SQL Server
• 827 миллиардов строк данных
• 440 экземпляров SQL Server
• 130 миллионов активных пользователей ежемесячно
• 300 тысяч новых пользователей в день
• 4.4 миллиона конкурентных пользователей в моменты пиковой нагрузки
• 18 тысяч сообщений сервис-брокера в секунду (при тестировании)

Хранилище данных на базе SQL Server DB + загрузка данных с помощью SSIS + аналитические кубы SSAS + отчеты SSRS

Сеть отелей «Hilton»

• Система прогнозирования резервирований комнат
• Полный пакет SQL-продуктов (SQL, AS, IS, RS)
• Разнесение экземпляров Analysis Services и Reporting Services на отдельные сервера (scale out)
• Балансировка нагрузки на сервера Analysis Services (чтение)
• От 40 до 50 конкурентных пользователей на сервер Reporting Services
• Сложные запросы
• Большие наборы данных возвращаются на множество клиентов
• Сервера IBM xSeries и IBM Blade Center

http://www.microsoft.com/casestudies/casestudy.aspx?casestudyid=49192

Хранилище данных на базе SQL Server DB с использованием FastTrack Data Warehouse

Stein Mart

• Первый пример внедрения FastTrack DW
• Сэкономлено $50,000 в месяц после миграции AS/400
• Ускорение работы – 3 часа обработки вместо 14 часов
• Меньше людей поддерживает решение
• Пользователи полюбили новые инструменты!
• Хранилище данных объемом 4 Тбайт

http://www.microsoft.com/casestudies/Case_Study_Detail.aspx?casestudyid=4000007013

Хранилище данных на базе Parallel Data Warehouse (PDW)

Hy-Vee (сеть супермаркетов в США) внедрили хранилище данных на базе PDW (официальная информация доступна на сайте Microsoft).

Характеристики проекта:

• до внедрения — 11 Тбайт данных в хранилище данных (данные за 7 лет, объемы постоянно растут; после внедрения объемы данных были увеличены в несколько раз)
• ежедневная загрузка более 800 тысяч строк (после внедрения, очевидно, в разы больше) •OLAP-кубы
• регламентированная отчетность Reporting Services

Результаты:

• увеличение производительности до 100 раз
• возможность просмотра данных за вчерашний день для реагирования на тренды (до внедрения PDW могли лишь посмотреть данные двухнедельной давности)
• стало возможным выполнять значительно более сложные запросы к данным.

Информационные панели, карты показателей и отчетность

ООО «РН-Юганскнефтегаз»

Внедренные продукты:
Microsoft Office SharePoint Server
2007, с использованием таких инструментов, как PerformancePoint, SQL Server SSAS, SSRS, SSIS

В результате проведенных работ была внедрена система, обеспечивающая возможность одновременной работы более 180 подразделений Общества, работающих в локальной сети Общества. При разработке Системы была предусмотрена возможность последующего расширения пользователей системы до 2 000 человек.

Внедрение Системы позволило достичь следующих результатов:

1. Увеличение прозрачности картины по результативности работы подразделений за счет ведения рейтингов эффективности;
2. Упрощение анализа эффективности деятельности Общества за счет структурирования информации и отображения ее в оптимальном для восприятия виде;
3. Обеспечение перехода к управлению по показателям в соответствии с современными стандартами Управления эффективностью деятельности (Business Performance Management).

http://www.microsoft.com/rus/casestudies/Case_Study_Detail.aspx?casestudyid=4000008236

Интеллектуальный анализ данных (SQL Server Analysis Services Data Mining)

Максим Гончаров посмотрел имеющиеся примеры и выбрал наиболее интересный вариант (первый в таблице). Остальные примеры Максим порекомендовал взять из заметки Data Mining Case Studies в блоге главного (бывшего) архитектора Jamie MacLennan.

По России есть множество успешных внедрений, но примеров для публикации пока нет (многие компании стараются не афишировать внедрения интеллектуального анализа данных, видимо, из конкурентных соображений)… Повод для размышлений…

Настройки безопасности можно делать на уровне групп Active Directory. В случае необходимости настройки безопасности для пользователей индивидуально на уровне элементов данных, группы пользователей и права в Project Server 2007 и SSRS 2008 нужно будет настраивать отдельно.

Если SSRS и Project Server размещены на разных машинах, нужно будет также настроить Kerberos Delegation.

В части использования веб-партов SSRS на WSS (или SharePoint) обычная проблема состоит в том, что браузер (Internet Explorer) запрашивает логин и пароль при открытии страницы с веб-партом отчета. Решение в данном случае – внести в IE настройки зоны, в которую попадает сервер SSRS, а также настройки автоматической аутентификации в этой зоне.

Для этого в параметрах соединения к аналитическому кубу SQL Server Analysis Services небходимо добавить в строку соединения следующий текст: «;LocaleIdentifier=1049».

В SharePoint 2010 NTLM-аутентификация больше не поддерживается. Необходимо использовать Windows-аутентификацию по протоколу Kerberos.

Как это сделать можно узнать путем изучения материалов по приведенным ниже ссылкам.

• Принципы, оставшиеся неизменными в SharePoint 2010 (аналогичны тому, как это было в  SharePoint Server 2007):
  • http://technet.microsoft.com/en-us/library/cc280744.aspx
  • http://msdn.microsoft.com/en-us/library/ee191523.aspx
• Как настроить SharePoint Server 2007 и Excel Services для аутентификации Kerberos: http://support.microsoft.com/kb/953130
• Настройка аутентификации Kerberos в SharePoint 2010:
  • http://technet.microsoft.com/en-us/library/ee806870(office.14).aspx
  • http://technet.microsoft.com/en-us/magazine/ee914605.aspx
  • http://technet.microsoft.com/en-us/library/cc263449.aspx

 Базы данных:

• Реляционные базы SQL Server
  • 2005, 2008, 2008 R2
• Access
  • 2003, 2007, 2010
• Analysis Services и PowerPivot
  • 2005, 2008, 2008 R2
• Другие источники
  • SQL Server Azure
  • Oracle
  • Teradata
  • Sybase
  • Informix
  • DB2
  • OLEDB/ODBC

 Файлы:

• Текстовые файлы (delimited)
• Excel: версия 97 и выше

 Потоки данных (data feeds):

• Reporting Services
  • Отчеты Reporting Services 2008 R2, выставляющие области данных как потоки ATOM
• Другие потоки
  • SharePoint 2010 lists
  • ADO.NET Data Services
  • Project Dallas
  • Microsoft-hosted commercial data sets
  • Любой документ сервисов данных (.atomsvc)

Итак, Data Mining («добыча данных», англ.) – это технологии анализа больших объемов данных для обнаружения (очень сильно) скрытых закономерностей. Это достаточно молодая технология (возраст менее 20 лет), но эффективные алгоритмы были разработаны в результате исследования баз данных, хотя использует комбинацию давно известных методов статистики и теории вероятности.

Наиболее типичные примеры использования технологии Data Mining:

• поиск прибыльных клиентов;
• понимание потребностей пользователей;
• упреждение смены клиентов;
• предсказание продаж;
• построение эффективных маркетинговых кампаний;
• обнаружение и предотвращение мошенничества;
• исправление данных в процессе ETL.

Процесс интеллектуального анализа данных состоит из следующих шагов.

1. Создаем модель добычи данных с использованием определенного алгоритма, настроенная на некоторую входную выборку данных.

2. С помощью некоторых тренировочных данных (в которых известны как исходные атрибуты, так и те атрибуты, которые мы собираемся предсказывать в будущем) производим обучение модели добычи данных.

3. После обучения на вход модели добычи данных можно подавать предсказываемые данные (в которых неизвестны интересующие нас атрибуты, значение которых мы собираемся предсказать); в результате работы алгоритма будут с определенной вероятностью предсказаны неизвестные атрибуты.

Создание модели добычи данных может производиться с использованием инструментов: Business Intelligence Development Studio, Microsoft Excel, Microsoft Visio, SQL Server Management Studio. SQL Server поддерживает построение моделей добычи данных как на реляционных, так и на OLAP-источниках данных.

Использование (отображение) результатов работы моделей добычи данных может производиться с использованием Microsoft Excel, Microsoft Visio, SQL Server Reporting Services или разрабатываемого вами приложения (через средства OLE DB, ADOMD, XMLA, AMO).

Модель добычи данных может использовать для решения одной задачи различные альтернативные алгоритмы.

В SQL Server 2008 (Enterprise Edition) содержатся следующие алгоритмы интеллектуального анализа данных:

• алгоритм взаимосвязей;
• алгоритм кластеризации;
• алгоритм дерева принятия решений;
• алгоритм линейной регрессии;
• алгоритм логистической регрессии;
• упрощенный алгоритм Байеса;
• алгоритм нейронной сети;
• алгоритм кластеризации последовательностей;
• алгоритм временных рядов.

Подробную информацию об алгоритмах можно прочитать на ресурсе Microsoft Books Online.

Примеры интеллектуального анализа данных можно посмотреть на записи моего доклада «Обзор SQL Server Analysis Services 2008» на конференции «Платформа 2008». Про Data Mining говорится ровно с середины видео-записи.

Компоненты интеллектуального анализа данных SQL Server 2005/2008 содержат множество программных интерфейсов (API), которые можно использовать для включения функций интеллектуального анализа данных в приложения.

Из управляемого кода .NET можно использовать:

• AMO (Analysis Management Objects);
• ADOMD.NET (для клиентских приложений);
• ADOMD Server (для хранимых процедур на уровне сервера).

Из родного кода C++ можно использовать «OLE DB for Data Mining».

Для работы с Data Mining через Интернет можно использовать интерфейсы ASP.NET, .NET и XML для анализа (XMLA) напрямую через HTTP.

В собственных приложениях вы также можете использовать стандартные средства отображения моделей интеллектуального анализа данных (Data Mining Viewers), которые используются в Business Intelligence Development Studio и SQL Management Studio. Соответствующие управляющие элементы можно загрузить по этой ссылке.

Аналитические сервисы SQL Server 2005 Analysis Services имеют родной доступ ко всем объектам с использованием веб-сервисов через XML для анализа (XMLA). Таким образом, любая модель добычи данных может быть реализована в виде веб-сервиса.

Поддержка XML для анализа (XMLA) в SQL Server Data Mining позволяет получать доступ к своим функциям через SOAP-протоколы от клиентов, построенных не на платформе Windows.

В SQL Server 2005/2008 можно подключать собственные алгоритмы и средства визуализации для собственных или стандартных (встроенных) алгоритмов.

На сайте Microsoft доступно описание подключения алгоритмов интеллектуального анализа данных, а на сервере sqlserverdatamining.com – руководство с примерами кода.

Пример дополнительного алгоритма визуализации: Support Vector Machines for SQL Server Data Mining.

Интеллектуальный анализ текста (Text mining) производится в два шага.

Сначала необходимо использовать трансформации интеллектуального анализа текста (Term Extraction and Term Lookup) в Integration Services для построения словаря и извлечения ключевых слов и фраз из исходных текстовых данных в реляционные таблицы.

Вторым шагом необходимо применить алгоритмы интеллектуального анализа данных в Analysis Services непосредственно для анализа полученных данных.

Полное описание процесса интеллектуального анализа текста находится на ресурсе SQLServerDataMining.com.

Ссылки

Официальная информация от Microsoft:

• Интеллектуальный анализ данных на сайте Microsoft SQL Server 2008 на русском языке;
• Data Mining на сайте Microsoft SQL Server 2008 на английском языке;
• SQL Server Books Online на русском языке;
• Data Mining Add-Ins for Office 2007.

Онлайн-примеры DM находятся на ресурсе SQLServerDataMining.com, наполнением которого занимается команда разработки SQL Server Data Mining. Примеры доступны в разделе Live!Samples, а код примеров можно скачать в разделе Downloads.

Видео-записи докладов Рафаля Лукавецки на английском языке:

• Introduction to Data Mining;
• Working with Data Mining;
• Using Data Mining in Your IT Systems (Part 1) (требуется регистрация);
• Using Data Mining in Your IT Systems (Part 2) (требуется регистрация).

Прочие веб-касты на английском:

• TechNet Webcast: 24 Hours of SQL Server 2008: Data Mining (Level 200);
• TechNet Webcast: Mining for Quality: Apply Adaptive Data Quality with SQL Server Data Mining (Level 200);
• TechNet Webcast: Preparing Data for Use with SQL Server Data Mining (Level 200);
• TechNet Webcast: Mining for Quality: Apply Adaptive Data Quality with SQL Server Data Mining (Level 200);
• TechNet Webcast: Mastering Time Series Prediction with SQL Server 2008 Data Mining (Level 300);
• TechNet Webcast: Building and Validating Advanced Mining Models with SQL Server 2008 Data Mining (Level 200);
• MSDN Webcast: Extending and Customizing SQL Server Data Mining (Level 300)
• Predictive Intelligence to Create Smarter KPIs (Level 200);
• Understand SQL Server Data Mining Add-ins for the 2007 Office System (Level 200);
• Data Mining Add-ins for the 2007 Office System.

Видео-записи на русском языке:

• Косяков Иван. Обзор SQL Server Analysis Services 2008 (про Data Mining – ровно с середины видео-записи);
• Косяков Иван. Анализ скрытых закономерностей данных c помощью SQL Server 2008 Data Mining;
• Косяков Иван. Что такое Data Mining в SQL Server 2008.

Форумы:

• MSDN: All questions and discussions related to data-mining in SQL Server;
• Форум по технологиям OLAP и DWH на сайте SQL.RU.

Блоги:

• Data Mining Newsletter;
• JamieMac’s WebLog;
• Bogdan Crivat’s WebLog;
• Donald Farmer: Foraging in the Data Forest;
• Блог Ивана Косякова о Microsoft Business Intelligence.

Сообщества:

• Russian Business Intelligence User Group, PASS Chapter

Онлайн-примеры DM находятся на замечательном ресурсе SQLServerDataMining.com, который совсем недавно был переработан, и наполнением которого занимается команда разработки SQL Server Data Mining. Примеры доступны в разделе Live!Samples, а код примеров можно скачать в разделе Downloads.

Записи докладов Рафаля Лукавецки на английском языке:

• Introduction to Data Mining
• Working with Data Mining
• Using Data Mining in Your IT Systems (Part 1) (требуется регистрация)
• Using Data Mining in Your IT Systems (Part 2) (требуется регистрация)

Итак, в части многомерного анализа данных (Multi-Dimensional Analytics) это:

1. «Улучшения статистических схем» (новый конструктор агрегатов; упрощен и улучшен мастер статистических схем и мастер оптимизации с учетом использования; новые предупреждения объектов AMO)

2. «Улучшения в проектировании кубов» (мастер кубов)

3. «Улучшения конструктора измерений» (новый конструктор связей атрибутов; новые предупреждения объектов AMO; упрощенный и улучшенный мастер измерений; новое диалоговое окно «Ключевые столбцы»; поддержка ключевых столбцов в области свойств; обновлена вкладка «Структура измерений»)

4. «Улучшения резервного копирования и восстановления» (структур хранения и производительности)

5. «Модули персонализации служб Analysis Services»

Соответственно, в части интеллектуального анализа данных (Data Mining) улучшения следующие:

1. Создание моделей интеллектуального анализа:

• «Фильтрация по вариантам модели» – добавлена возможность присоединения фильтров к моделям интеллектуального анализа данных.
• «Расширения к алгоритму временных рядов (Майкрософт)» – с целью увеличения точности и стабильности некоторых прогнозов в моделях с временными рядами, к алгоритму временных рядов Майкрософт было добавлен новый алгоритм, построенный на основе хорошо известного алгоритма ARIMA и обеспечивающий лучшие долгосрочные прогнозы, чем ранее использовавшийся ARTxp.
• «Детализация до структуры и столбцов структуры интеллектуального анализа данных», благодаря которой, например, можно получить контактную информацию для клиентов в определенном кластере.
• «Создание псевдонимов для столбцов модели интеллектуального анализа данных» с целью облегчения понимания содержимого столбца и упрощения ссылок на столбцы в инструкциях расширений интеллектуального анализа данных.
• «Запрос набора строк схемы интеллектуального анализа данных»

2. Проверка точности моделей интеллектуального анализа:

• «Создание контрольных проверочных наборов» – при создании структуры интеллектуального анализа данных теперь можно автоматически разделить данные на обучающие и проверочные наборы. На мой взгляд, это самое существенное улучшение с точки зрения использования Business Intelligence Development Studio.
• «Перекрестная проверка нескольких моделей интеллектуального анализа данных» – при осуществлении проверки данные структуры интеллектуального анализа данных автоматически многократно секционируются в подмножества, на базе подмножеств строятся модели, затем измеряется точность модели для каждой секции.

3. Функционал для конечных пользователей: реализована  «поддержка надстроек интеллектуального анализа данных для Office 2007» позволяет создавать и использовать модели интеллектуального анализа данных из Microsoft Excel.

4. Функции администрирования:

• «Параллельная установка со службами SQL Server 2005 Analysis Services»
• «Создание и восстановление резервных копий баз данных служб Analysis Services» – уменьшены ограничения на размер баз; сократилось время резервного копирования и восстановления.

Еще одно изменение: аналитические базы и демонстрационные примеры решений расположены по адресу http://www.codeplex.com/SqlServerSamples.

Информация о возможностях, поддерживаемых различными выпусками SQL Server 2008, содержится на странице http://msdn.microsoft.com/ru-ru/library/cc645993.aspx. Различия Analysis Services нужно смотреть в подзаголовках «Многомерная аналитика» и «Интеллектуальный анализ данных». Если резюмировать, аналитические сервисы доступны в редакциях «Enterprise» и «Standard».

Итак, рассмотрим, каких функции есть в редакции «Enterprise», но нет в редакции «Standard».

С точки зрения многомерной аналитики (Multi-Dimensional Analytics) это:

1. «Финансовая статистическая обработка» (Financial aggregations)

2. «Секционированные заказчики» (Partitioned customers)

3. «Пользовательские свертки» (Custom rollups)

4. «Полуаддитивные меры» (Semi-additive measures) – возможность статистического вычисления мер вдоль некоторых, но не всех измерений, которые включены в группу мер, содержащую эту меру (подробнее).

5. «Измерения обратной записи» (Writeback dimensions) – возможность изменять содержимое измерения и сразу видеть результат этих изменений в иерархиях измерения (подробнее)

6. «Связанные меры и измерения» (Linked measures and dimensions) – возможность включения в куб измерений и групп мер из других кубов, которые могут находиться на том же или другом сервере (подробнее: связанные измерения и связанные группы мер).

7. «Двоичный и сжатый XML-транспорт» (Binary and compressed XML transport)

8. «Логика операций со счетами» (Account intelligence) – интеллектуальная обработка счетов в кубе или измерении с учетом стандартной классификации счетов, например «доходы» и «расходы», в элементах атрибута «счет», идентификация типов счетов (таких как «Актив» и «Долг») и назначение соответствующих статистических обработок каждому типу счета (подробнее)

9. «Перспективы» (Perspectives) – возможность создания упрощенных представлений существующих кубов, позволяющее пользователям сосредоточиться на наиболее значимых для них данных (подробнее)

10. «Общие масштабируемые базы данных служб Analysis Services» (Analysis Services shared, scalable databases)

С точки зрения интеллектуального анализа данных (Data Mining) это:

1. «Перекрестная проверка» (Cross validation) – возможность проверки надежности определенной модели интеллектуального анализа данных, проверки нескольких моделей в одной инструкции, построения нескольких моделей и определение лучшей из них на основе статистики (подробнее).

2. «Модели на фильтрованных подмножествах структур интеллектуального анализа данных» (Models on filtered subsets of mining structure data)

3. Улучшения в алгоритмы интеллектуального анализа данных:

• «Временные ряды: пользовательское объединение моделей ARTXP и ARIMA» (Time series: custom blending between ARTXP and ARIMA models)
• «Временные ряды: прогноз новых данных» (Time series: prediction with new data)
• «Временные ряды: прогноз перекрестных рядов» (Time series: cross-series prediction)
• «Прогнозирование последовательности» (Sequence prediction)
• «Множественные цели прогнозирования для упрощенного алгоритма Байеса, нейронной сети и логистической регрессии» (Multiple prediction targets for naïve Bayes, neural network, and logistic regression)
• «Неограниченное количество атрибутов для правил взаимосвязи» (Unlimited attributes for association rules)

4. «Неограниченные параллельные запросы интеллектуального анализа» (Unlimited concurrent datamining queries)

5. «Продвинутая настройка алгоритмов» (Advanced configuration and tuning for algorithms)

6. «API-интерфейс для подключаемых модулей алгоритмов» (Algorithm plug-in API)

7. «Параллельная обработка модели» (Parallel model processing)