24 октября в Екатеринбурге. Новое в SQL Server 2012 CTP3 для бизнес-аналитики

24 октября 2011 года в 18:00 в аудитории И-426 Кафедры Программных средств и систем Уральского федерального университета состоится вторая встреча Уральской группы пользователей Microsoft BI.

Докладчик — Иван Косяков

Тема: Новое в SQL Server 2012 CTP3 для бизнес-аналитики

Программа встречи:

60 минут:
1. Обзор нововведений
2. Создание моделей BISM
3. Интерактивный анализ с помощью Power View

Перерыв 15 минут.

60 минут:
4. Управление НСИ (MDS + надстройка для Excel)
5. Управление качеством данных (DQS)

30 минут:
Заключение и ответы на вопросы.

АДРЕС:

ул. Мира 19, главный корпус УрФУ, в главном корпусе направо, на второй этаж по лестнице, по коридору прямо, дойти до лестницы и на 4 этаж и на налево.

Обязательная регистрация по ссылке: http://ural-bi.ineta.ru/events/eventOneSessionInfo.aspx?Id=ef2ff1f4-7f88-454b-95ae-4c29d04f4c6c

Саммит PASS 2011 и раскрытие планов по SQL Server 2012

Итак, по традиции, публикую заметки с Саммита Ассоциации профессионалов по SQL Server (PASS Summit 2011). В настоящем обзоре я делаю акцент на теме бизнес-аналитики, хотя на конференции, разумеется, также глубоко раскрывались вопросы администрирования, разработки и внедрения транзакционных баз данных.

Конференция проходила в течение трех дней, каждый из которых начинался с ключевого доклада, и затем переходил к детальным сессиям. До открытия конференции в течение двух дней также проходили детальные однодневные предварительные сессии. В этом обзоре я на них останавливаться не буду.

Ключевые сессии проводились перед более чем 5 тысячами профессионалов в области SQL Server и Microsoft BI.

Ключевой доклад №1

Деятельность PASS

Конференцию открыл президент PASS Рушаб Мета (Rushabh Mehta) с обзора структуры и результатов деятельности PASS за последний год.

В частности, за этот год было проведено 430 тысяч часов тренингов, в PASS вступили 20 тысяч новых участников, в составе PASS появились советники правления по расширению глобального присутствия PASS на остальные 4 континента.

Рушаб также рассказал о типах деятельности PASS (24 Hours of PASS, SQL Saturday, SQL Rally, PASS Chapters, PASS Summit, PASS Virtual Chapters), партнерских организациях (SQL Server FAQ, SQL Bits) и спонсорах (Microsoft, Dell и другие).

В этот раз в ходе PASS Summit 2011 силами 204 докладчиков (из них 57 – Microsoft, 11 – SQL CAT) будет проведено 189 сессий (из них 57 – от Microsoft, 11 – от SQLCAT).

Новый мир данных

Основную часть ключевого доклада открыл главный вице-президент подразделения бизнес-платформы Тэд Куммерт (Ted Kummert).

После обзора основных компонентов SQL Server Тэд Кумерт сделал первый анонс – следующий выпуск платформы данных Microsoft будет называться SQL Server 2012 и выйдет в первой половине 2012 года.

Далее Тэд раскрыл концепцию платформы SQL Server 2012 как позволяющую работать с (1) любыми данными, (2) любого объема, (3) в любом месте.

Apache Hadoop

В части проблемы роста объемов данных (часть этих данных — неструктурированные), которые компании сейчас предпочитают не выбрасывать, Microsoft будет двигаться в сторону этой проблематики за счет плат распределенной платформы данных, поддерживая Apache Hadoop как часть платформы.

Уже сейчас доступны коннекторы к Apache Hadoop для SQL Server и SQL Server PDW, а в ближайшее время будет доступно распределение Apache Hadoop на базе Windows Server (CTP – в 2012 году) и Windows Azure (CTP – к концу 2001 года), соответствующие ODBC-драйвер и надстройка над Excel, а также JavaScript Framework. В части примера партнерства в части данного решения выступил генеральный директор компании HortonWorks Эрик Балдешвийлер (Eric Baldeschwieler).

Активизация новых типов данных

По вопросу использования для анализа новых типов данных совместно с Тэдом выступил главный программный менеджер Дэни Ли (Denny Lee). Дэнни продемонстрировал HiveQL – язык запросов для работы с данными Hadoop и ODBC Driver в PowerPivot (будет доступен в следующем месяце).

Исследование данных с помощью «Data Explorer»

По вопросу использования для анализа новых типов данных совместно с Тэдом выступили Главный менеджер группы Тим Малаллиу (Tim Mallalieu) и Главный программный менеджер Нино Байс (Nino Bice).

Они продемонстрировали продукт с кодовым именем «Data Explorer» — прототип решения, позволяющего клиентам обнаруживать знания, дополнять и предоставлять доступ к данным.

«Data Explorer» позволяет добавлять данные из внешних источников в Azure Marketplace, который затем будет предлагать данные на основании анализируемых вами данных. CTP решения будет доступен к концу 2011 года по адресу http://www.SQLAzureLabs.com.

 

Открывайте новое в данных

Технический партнер Амир Нетз (Amir Netz) рассказал о том, как Microsoft улучшает BI-решение путем предоставления интерактивных инструментов визуализации данных. Он продемонстрировал Power View (ранее известный как проект «Crescent») на множестве различных устройств (работающих на Windows Phone 7 и Windows 7) с возможностями интерфейса с поддержкой сенсорных экранов (touch-возможности; будут доступны к концу 2012 года).

 

Ключевой доклад №2

Сообщество

Ключевой доклад второго дня открыл Вице-президент PASS по финансам Билл Гразиано (Bill Graziano).

Билл раскрыл финансовые аспекты функционирования PASS, в частности, рост расходов PASS на различные виды мероприятий (например, на тренинги «SQL Saturday» и виртуальные отделения PASS).

SQL Server 2012 сегодня

Вице-президент Microsoft по базам данных Квентин Кларк (Quentin Clark) раскрыл планы компании в отношении облачных вычислений и анонсировал новые технологии, которые помогут клиентам достичь большей гибкости и масштабируемости в области реализаций общественного и частного и гибридного «облака». Квентин рассказал о новых возможностях платформы данных в части совместимости с SQL Azure и новыми программными комплексами.

От данных до аналитики (SSRS, DQS и индексы хранения колонок)

Главный программный менеджер группы баз данных Лана Рубелке (Lara Rubbelke) рассказала о новых функциях SSRS (таких как нотификации), о новом компоненте управления качеством данных DQS и индексах хранения данных (column store indexes).

Программные комплексы и консолидация данных

Квентини его коллега рассказали о существующих программно-аппаратных комплексах (помимо знакомых HP EDW, HP BDW и HP BDA, также показали новый комплекс от компании Dell под названием «Dell PDW») и ссылочных архитектурах (FastTrack DW). Далее они анонсировали выход в ноябре программного комплекса HP по консолидации баз данных для предприятий (HP Enterprise Database Consolidation Appliance), который предлагает готовое решение для ускорения внедрения и упрощает управление тысячами баз данных в частном «облаке». Этот первый в отрасли программно-аппаратный комплекс по консолидации позволит клиентам размещать базы данных в течение минут вместо недель; уменьшит стоимость функционирования до 75% через сохранения используемых площадей, энергии и инфраструктуры; не потребует изменений в базах данных при консолидации.

Прочее

В ходе своего выступления Квентин Кларк раскрыл наиболее важные функции продукта и назвал клиентов, которые уже разместили у себя SQL Server 2012.

Из демонстраций был показан статистический семантический поиск, функции высокой доступности AlwaysOn, а также было раскрыто название новых инструментов разработки – SQL Server Data Tools (ранее — проект «Jeneaue»).

Квентин в ходе доклада также раскрыл информацию о возможностях создания отчетов в «облаке» (SQL Azure Reporting – доступно в новом CTP); возможностью синхронизации локальных баз данных и баз в «облаке» (SQL Azure Data Sync – доступно в новом CTP); построения масштабируемых приложения в «облаке», работающих с распределенными базами данных с помощью SQL Azure Federation; увеличении размера базы данных в «облаке» до 150 Гбайт; возможности создания резервной копии баз данных в «облако» и т.д.

 

Ключевой доклад №3

Третий день начался с песни Роба Фарли и его коллеги про функции SQL Server.

Затем после выступил предыдущий президент PASS и была показана текущая организационная структура правления. Затем было объявлено о  начале регистрации на следующий Саммит PASS 2012, который состоится 6-9 ноября 2012 года в Сиэтле.

После этого вступления Технический партнер Microsoft Дэвит Дэвитт (David Dewitt) выступил с лекцией про Hadoop.

Сессии

Во второй половине каждого дня проходили сессии на 60 или 90  минут по более узким техническим темам. Нет возможности привести подробно обзор  всего, что было на Саммите, поэтому публикую некоторые фотографии и полный список  сессий по бизнес-аналитике.

Клиника SQL Server

Традиционно большой интерес вызвало мероприятие под названием «Клиника SQL», на котором эксперты по различным аспектам использования SQL Server давали советы по использованию применительно к задачам клиентов.

Выставка

На выставке можно было у увидеть программно-аппаратные комплексы и ссылочные архитектуры HP и Dell, стенды Microsoft, посвященные работе различных компонентов SQL Server 2012, а также партнерские решения (например, средства визуализации с поддержкой сенсорного ввода Smart eVision).

User Group and Interests Luncheons

Обед также проходил с пользой. На первом дне Саммита участники распределились по столам по географическому признаку (в обществе соответствующих лидеров отделений PASS), а на втором дне – по темам (в обществе экспертов по данной теме).

Книжный магазин

В холле Конвенционального центра можно было посетить книжный магазин PASS, где продавались наиболее значимые публикации на тему SQL Server и Microsoft BI. В определенные часы можно было получить автографы некоторых авторов.

Заключение

Подробнее про нововведения для бизнес-аналитики в SQL Server 2012 в ближайшее время я напишу в отдельной статье.

И… встретимся на Российской конференции PASS 2012!

Следите за анонсами… 🙂

Дополнительные материалы

  1. Видео-записи ключевых сессий PASS Summit 2011
  2. Microsoft News Center. Microsoft Expands Data Platform With SQL Server 2012, New Investments for Managing Any Data, Any Size, Anywhere
  3. Microsoft News Center. Microsoft Announces New Database Consolidation Appliance, Enhances Cloud Offerings
  4. Ted Kummert. Microsoft Expands Data Platform to Help Customers Manage the ‘New Currency of the Cloud’
  5. Download Center. Microsoft SQL Server Connector for Apache Hadoop
  6. Подборка ссылок на записи в блогах про PASS Summit 2011
  7. SQL Server Team Blog. Recap from PASS Summit 2011

Миграция кубов Oracle Essbase в кубы Microsoft SSAS

Необходимость миграции кубов Oracle Essbase в кубы Microsoft SSAS может быть обусловлена различными причинами. Данный перевод может уменьшить стоимость существующего решения, повысить производительность внесения изменений в кубы, использовать в аналитическом решении пользовательские инструменты Microsoft BI, такие как Crescent и так далее.

Для миграции кубов Essbase в SSAS существуют ручной и автоматический вариант решения.

Ручной режим предполагает создание кубов SSAS вручную, возможно, с использованием стандарта XMLA для импорта структуры кубов Essbase. Так или иначе, в этом варианте потребуется ручная настройка кубов SSAS. Недостатки этого варианта:

  • высокие трудозатраты;
  • высокая вероятность внесенных ошибок (человеческий фактор);
  • сложность внесения изменений и повторного тестирования в случае, если куб Essbase изменится в ходе проекта миграции.

Поэтому рекомендуется использовать автоматическую миграцию кубов Essbase с помощью решения компании ExoLogic под названием CubePort.

Преимущества этого варианта:

  • после миграции обеспечивается целостность куба SSAS;
  • в автоматическую процедуру миграции включены лучшие практики миграции кубов Essbase;
  • минимальные трудозатраты;
  • требуется минимум обучения;
  • при изменении куба Essbase в ходе проекта миграции можно оперативно сформировать новую версию куба Essbase. При этом тестирование результирующего куба SSAS нужно проводить только один раз.

CubePort использует технологию «Analogy Mapping» для достижения прозрачного и простого в управлении перевода кубов.

Решение CubePort мигрирует кубы Essbase (ASO или BSO), «Hyperion® System™ 9 BI+™ Analytic Services», «Enterprise Analytics Server», «IBM DB/2 OLAP», «Showcase Essbase», «Oracle Business Intelligence Enterprise Edition Plus» (OBIEE or OBIEE Plus or OBIEE+), «EPM», «Essbase Plus Module». Другими словами, все модели Essbase поддерживаются и могут быть конвертированы в Microsoft Analysis Services. В состав поддерживаемых решением CubePort платформ входят как Windows, так и не Windows-платформы, такие как Windows Server Essbase, Unix Essbase, AS/400 Showcase Essbase и так далее.

CubePort конвертирует следующие объекты Essbase:

  • структуру куба (Outlines);
  • правила загрузки (Load Rules);
  • Report Scripts;
  • настройки безопасности (Security – пользователи, группы, фильтры);
  • Substitution Variables;
  • сложные функции расчета показателей (Complex Member Formulas).

Ключевые особенности CubePort:

  • собственная процедура загрузки (и повторной загрузки) данных (Native Data Loads/Reloads);
  • парсер (Grammar to Grammar Parser);
  • библиотека соответствий (Equivalency Library);
  • стоимость решения рассчитывается по количеству кубов (Per Cube Pricing);
  • программа реконверсии конкурентов;
  • после первоначальной конвертации повторная конвертация кубов бесплатна для неструктурных изменений в оригинал куба.