Для миграции кубов Essbase в SSAS существуют ручной и автоматический вариант решения.

Ручной режим предполагает создание кубов SSAS вручную, возможно, с использованием стандарта XMLA для импорта структуры кубов Essbase. Так или иначе, в этом варианте потребуется ручная настройка кубов SSAS. Недостатки этого варианта:

• высокие трудозатраты;
• высокая вероятность внесенных ошибок (человеческий фактор);
• сложность внесения изменений и повторного тестирования в случае, если куб Essbase изменится в ходе проекта миграции.

Поэтому рекомендуется использовать автоматическую миграцию кубов Essbase с помощью решения компании ExoLogic под названием CubePort.

Преимущества этого варианта:

• после миграции обеспечивается целостность куба SSAS;
• в автоматическую процедуру миграции включены лучшие практики миграции кубов Essbase;
• минимальные трудозатраты;
• требуется минимум обучения;
• при изменении куба Essbase в ходе проекта миграции можно оперативно сформировать новую версию куба Essbase. При этом тестирование результирующего куба SSAS нужно проводить только один раз.

CubePort использует технологию «Analogy Mapping» для достижения прозрачного и простого в управлении перевода кубов.

Решение CubePort мигрирует кубы Essbase (ASO или BSO), «Hyperion® System™ 9 BI+™ Analytic Services», «Enterprise Analytics Server», «IBM DB/2 OLAP», «Showcase Essbase», «Oracle Business Intelligence Enterprise Edition Plus» (OBIEE or OBIEE Plus or OBIEE+), «EPM», «Essbase Plus Module». Другими словами, все модели Essbase поддерживаются и могут быть конвертированы в Microsoft Analysis Services. В состав поддерживаемых решением CubePort платформ входят как Windows, так и не Windows-платформы, такие как Windows Server Essbase, Unix Essbase, AS/400 Showcase Essbase и так далее.

CubePort конвертирует следующие объекты Essbase:

• структуру куба (Outlines);
• правила загрузки (Load Rules);
• Report Scripts;
• настройки безопасности (Security – пользователи, группы, фильтры);
• Substitution Variables;
• сложные функции расчета показателей (Complex Member Formulas).

Ключевые особенности CubePort:

• собственная процедура загрузки (и повторной загрузки) данных (Native Data Loads/Reloads);
• парсер (Grammar to Grammar Parser);
• библиотека соответствий (Equivalency Library);
• стоимость решения рассчитывается по количеству кубов (Per Cube Pricing);
• программа реконверсии конкурентов;
• после первоначальной конвертации повторная конвертация кубов бесплатна для неструктурных изменений в оригинал куба.

Последовательность демонстрации:

• создание пакета интеграции в BIDS;
• подключение к Microsoft Dynamics CRM с помощью партнерского коннектора компании CozyRoc;
• Fuzzy Lookup Transformation;
• загрузка данных в промежуточную область и в хранилище;
• модель аналитического куба;
• вид карты показателей в Dashboards Designer.

Дополнительная информация:
Инструменты разработчика решений Microsoft BI

Для этого в параметрах соединения к аналитическому кубу SQL Server Analysis Services небходимо добавить в строку соединения следующий текст: «;LocaleIdentifier=1049».

В SharePoint 2010 NTLM-аутентификация больше не поддерживается. Необходимо использовать Windows-аутентификацию по протоколу Kerberos.

Как это сделать можно узнать путем изучения материалов по приведенным ниже ссылкам.

• Принципы, оставшиеся неизменными в SharePoint 2010 (аналогичны тому, как это было в  SharePoint Server 2007):
  • http://technet.microsoft.com/en-us/library/cc280744.aspx
  • http://msdn.microsoft.com/en-us/library/ee191523.aspx
• Как настроить SharePoint Server 2007 и Excel Services для аутентификации Kerberos: http://support.microsoft.com/kb/953130
• Настройка аутентификации Kerberos в SharePoint 2010:
  • http://technet.microsoft.com/en-us/library/ee806870(office.14).aspx
  • http://technet.microsoft.com/en-us/magazine/ee914605.aspx
  • http://technet.microsoft.com/en-us/library/cc263449.aspx

Итак, Data Mining («добыча данных», англ.) – это технологии анализа больших объемов данных для обнаружения (очень сильно) скрытых закономерностей. Это достаточно молодая технология (возраст менее 20 лет), но эффективные алгоритмы были разработаны в результате исследования баз данных, хотя использует комбинацию давно известных методов статистики и теории вероятности.

Наиболее типичные примеры использования технологии Data Mining:

• поиск прибыльных клиентов;
• понимание потребностей пользователей;
• упреждение смены клиентов;
• предсказание продаж;
• построение эффективных маркетинговых кампаний;
• обнаружение и предотвращение мошенничества;
• исправление данных в процессе ETL.

Процесс интеллектуального анализа данных состоит из следующих шагов.

1. Создаем модель добычи данных с использованием определенного алгоритма, настроенная на некоторую входную выборку данных.

2. С помощью некоторых тренировочных данных (в которых известны как исходные атрибуты, так и те атрибуты, которые мы собираемся предсказывать в будущем) производим обучение модели добычи данных.

3. После обучения на вход модели добычи данных можно подавать предсказываемые данные (в которых неизвестны интересующие нас атрибуты, значение которых мы собираемся предсказать); в результате работы алгоритма будут с определенной вероятностью предсказаны неизвестные атрибуты.

Создание модели добычи данных может производиться с использованием инструментов: Business Intelligence Development Studio, Microsoft Excel, Microsoft Visio, SQL Server Management Studio. SQL Server поддерживает построение моделей добычи данных как на реляционных, так и на OLAP-источниках данных.

Использование (отображение) результатов работы моделей добычи данных может производиться с использованием Microsoft Excel, Microsoft Visio, SQL Server Reporting Services или разрабатываемого вами приложения (через средства OLE DB, ADOMD, XMLA, AMO).

Модель добычи данных может использовать для решения одной задачи различные альтернативные алгоритмы.

В SQL Server 2008 (Enterprise Edition) содержатся следующие алгоритмы интеллектуального анализа данных:

• алгоритм взаимосвязей;
• алгоритм кластеризации;
• алгоритм дерева принятия решений;
• алгоритм линейной регрессии;
• алгоритм логистической регрессии;
• упрощенный алгоритм Байеса;
• алгоритм нейронной сети;
• алгоритм кластеризации последовательностей;
• алгоритм временных рядов.

Подробную информацию об алгоритмах можно прочитать на ресурсе Microsoft Books Online.

Примеры интеллектуального анализа данных можно посмотреть на записи моего доклада «Обзор SQL Server Analysis Services 2008» на конференции «Платформа 2008». Про Data Mining говорится ровно с середины видео-записи.

Компоненты интеллектуального анализа данных SQL Server 2005/2008 содержат множество программных интерфейсов (API), которые можно использовать для включения функций интеллектуального анализа данных в приложения.

Из управляемого кода .NET можно использовать:

• AMO (Analysis Management Objects);
• ADOMD.NET (для клиентских приложений);
• ADOMD Server (для хранимых процедур на уровне сервера).

Из родного кода C++ можно использовать «OLE DB for Data Mining».

Для работы с Data Mining через Интернет можно использовать интерфейсы ASP.NET, .NET и XML для анализа (XMLA) напрямую через HTTP.

В собственных приложениях вы также можете использовать стандартные средства отображения моделей интеллектуального анализа данных (Data Mining Viewers), которые используются в Business Intelligence Development Studio и SQL Management Studio. Соответствующие управляющие элементы можно загрузить по этой ссылке.

Аналитические сервисы SQL Server 2005 Analysis Services имеют родной доступ ко всем объектам с использованием веб-сервисов через XML для анализа (XMLA). Таким образом, любая модель добычи данных может быть реализована в виде веб-сервиса.

Поддержка XML для анализа (XMLA) в SQL Server Data Mining позволяет получать доступ к своим функциям через SOAP-протоколы от клиентов, построенных не на платформе Windows.

В SQL Server 2005/2008 можно подключать собственные алгоритмы и средства визуализации для собственных или стандартных (встроенных) алгоритмов.

На сайте Microsoft доступно описание подключения алгоритмов интеллектуального анализа данных, а на сервере sqlserverdatamining.com – руководство с примерами кода.

Пример дополнительного алгоритма визуализации: Support Vector Machines for SQL Server Data Mining.

Интеллектуальный анализ текста (Text mining) производится в два шага.

Сначала необходимо использовать трансформации интеллектуального анализа текста (Term Extraction and Term Lookup) в Integration Services для построения словаря и извлечения ключевых слов и фраз из исходных текстовых данных в реляционные таблицы.

Вторым шагом необходимо применить алгоритмы интеллектуального анализа данных в Analysis Services непосредственно для анализа полученных данных.

Полное описание процесса интеллектуального анализа текста находится на ресурсе SQLServerDataMining.com.

Ссылки

Официальная информация от Microsoft:

• Интеллектуальный анализ данных на сайте Microsoft SQL Server 2008 на русском языке;
• Data Mining на сайте Microsoft SQL Server 2008 на английском языке;
• SQL Server Books Online на русском языке;
• Data Mining Add-Ins for Office 2007.

Онлайн-примеры DM находятся на ресурсе SQLServerDataMining.com, наполнением которого занимается команда разработки SQL Server Data Mining. Примеры доступны в разделе Live!Samples, а код примеров можно скачать в разделе Downloads.

Видео-записи докладов Рафаля Лукавецки на английском языке:

• Introduction to Data Mining;
• Working with Data Mining;
• Using Data Mining in Your IT Systems (Part 1) (требуется регистрация);
• Using Data Mining in Your IT Systems (Part 2) (требуется регистрация).

Прочие веб-касты на английском:

• TechNet Webcast: 24 Hours of SQL Server 2008: Data Mining (Level 200);
• TechNet Webcast: Mining for Quality: Apply Adaptive Data Quality with SQL Server Data Mining (Level 200);
• TechNet Webcast: Preparing Data for Use with SQL Server Data Mining (Level 200);
• TechNet Webcast: Mining for Quality: Apply Adaptive Data Quality with SQL Server Data Mining (Level 200);
• TechNet Webcast: Mastering Time Series Prediction with SQL Server 2008 Data Mining (Level 300);
• TechNet Webcast: Building and Validating Advanced Mining Models with SQL Server 2008 Data Mining (Level 200);
• MSDN Webcast: Extending and Customizing SQL Server Data Mining (Level 300)
• Predictive Intelligence to Create Smarter KPIs (Level 200);
• Understand SQL Server Data Mining Add-ins for the 2007 Office System (Level 200);
• Data Mining Add-ins for the 2007 Office System.

Видео-записи на русском языке:

• Косяков Иван. Обзор SQL Server Analysis Services 2008 (про Data Mining – ровно с середины видео-записи);
• Косяков Иван. Анализ скрытых закономерностей данных c помощью SQL Server 2008 Data Mining;
• Косяков Иван. Что такое Data Mining в SQL Server 2008.

Форумы:

• MSDN: All questions and discussions related to data-mining in SQL Server;
• Форум по технологиям OLAP и DWH на сайте SQL.RU.

Блоги:

• Data Mining Newsletter;
• JamieMac’s WebLog;
• Bogdan Crivat’s WebLog;
• Donald Farmer: Foraging in the Data Forest;
• Блог Ивана Косякова о Microsoft Business Intelligence.

Сообщества:

• Russian Business Intelligence User Group, PASS Chapter