Саммит PASS 2011 и раскрытие планов по SQL Server 2012

Итак, по традиции, публикую заметки с Саммита Ассоциации профессионалов по SQL Server (PASS Summit 2011). В настоящем обзоре я делаю акцент на теме бизнес-аналитики, хотя на конференции, разумеется, также глубоко раскрывались вопросы администрирования, разработки и внедрения транзакционных баз данных.

Конференция проходила в течение трех дней, каждый из которых начинался с ключевого доклада, и затем переходил к детальным сессиям. До открытия конференции в течение двух дней также проходили детальные однодневные предварительные сессии. В этом обзоре я на них останавливаться не буду.

Ключевые сессии проводились перед более чем 5 тысячами профессионалов в области SQL Server и Microsoft BI.

Ключевой доклад №1

Деятельность PASS

Конференцию открыл президент PASS Рушаб Мета (Rushabh Mehta) с обзора структуры и результатов деятельности PASS за последний год.

В частности, за этот год было проведено 430 тысяч часов тренингов, в PASS вступили 20 тысяч новых участников, в составе PASS появились советники правления по расширению глобального присутствия PASS на остальные 4 континента.

Рушаб также рассказал о типах деятельности PASS (24 Hours of PASS, SQL Saturday, SQL Rally, PASS Chapters, PASS Summit, PASS Virtual Chapters), партнерских организациях (SQL Server FAQ, SQL Bits) и спонсорах (Microsoft, Dell и другие).

В этот раз в ходе PASS Summit 2011 силами 204 докладчиков (из них 57 – Microsoft, 11 – SQL CAT) будет проведено 189 сессий (из них 57 – от Microsoft, 11 – от SQLCAT).

Новый мир данных

Основную часть ключевого доклада открыл главный вице-президент подразделения бизнес-платформы Тэд Куммерт (Ted Kummert).

После обзора основных компонентов SQL Server Тэд Кумерт сделал первый анонс – следующий выпуск платформы данных Microsoft будет называться SQL Server 2012 и выйдет в первой половине 2012 года.

Далее Тэд раскрыл концепцию платформы SQL Server 2012 как позволяющую работать с (1) любыми данными, (2) любого объема, (3) в любом месте.

Apache Hadoop

В части проблемы роста объемов данных (часть этих данных — неструктурированные), которые компании сейчас предпочитают не выбрасывать, Microsoft будет двигаться в сторону этой проблематики за счет плат распределенной платформы данных, поддерживая Apache Hadoop как часть платформы.

Уже сейчас доступны коннекторы к Apache Hadoop для SQL Server и SQL Server PDW, а в ближайшее время будет доступно распределение Apache Hadoop на базе Windows Server (CTP – в 2012 году) и Windows Azure (CTP – к концу 2001 года), соответствующие ODBC-драйвер и надстройка над Excel, а также JavaScript Framework. В части примера партнерства в части данного решения выступил генеральный директор компании HortonWorks Эрик Балдешвийлер (Eric Baldeschwieler).

Активизация новых типов данных

По вопросу использования для анализа новых типов данных совместно с Тэдом выступил главный программный менеджер Дэни Ли (Denny Lee). Дэнни продемонстрировал HiveQL – язык запросов для работы с данными Hadoop и ODBC Driver в PowerPivot (будет доступен в следующем месяце).

Исследование данных с помощью «Data Explorer»

По вопросу использования для анализа новых типов данных совместно с Тэдом выступили Главный менеджер группы Тим Малаллиу (Tim Mallalieu) и Главный программный менеджер Нино Байс (Nino Bice).

Они продемонстрировали продукт с кодовым именем «Data Explorer» — прототип решения, позволяющего клиентам обнаруживать знания, дополнять и предоставлять доступ к данным.

«Data Explorer» позволяет добавлять данные из внешних источников в Azure Marketplace, который затем будет предлагать данные на основании анализируемых вами данных. CTP решения будет доступен к концу 2011 года по адресу http://www.SQLAzureLabs.com.

 

Открывайте новое в данных

Технический партнер Амир Нетз (Amir Netz) рассказал о том, как Microsoft улучшает BI-решение путем предоставления интерактивных инструментов визуализации данных. Он продемонстрировал Power View (ранее известный как проект «Crescent») на множестве различных устройств (работающих на Windows Phone 7 и Windows 7) с возможностями интерфейса с поддержкой сенсорных экранов (touch-возможности; будут доступны к концу 2012 года).

 

Ключевой доклад №2

Сообщество

Ключевой доклад второго дня открыл Вице-президент PASS по финансам Билл Гразиано (Bill Graziano).

Билл раскрыл финансовые аспекты функционирования PASS, в частности, рост расходов PASS на различные виды мероприятий (например, на тренинги «SQL Saturday» и виртуальные отделения PASS).

SQL Server 2012 сегодня

Вице-президент Microsoft по базам данных Квентин Кларк (Quentin Clark) раскрыл планы компании в отношении облачных вычислений и анонсировал новые технологии, которые помогут клиентам достичь большей гибкости и масштабируемости в области реализаций общественного и частного и гибридного «облака». Квентин рассказал о новых возможностях платформы данных в части совместимости с SQL Azure и новыми программными комплексами.

От данных до аналитики (SSRS, DQS и индексы хранения колонок)

Главный программный менеджер группы баз данных Лана Рубелке (Lara Rubbelke) рассказала о новых функциях SSRS (таких как нотификации), о новом компоненте управления качеством данных DQS и индексах хранения данных (column store indexes).

Программные комплексы и консолидация данных

Квентини его коллега рассказали о существующих программно-аппаратных комплексах (помимо знакомых HP EDW, HP BDW и HP BDA, также показали новый комплекс от компании Dell под названием «Dell PDW») и ссылочных архитектурах (FastTrack DW). Далее они анонсировали выход в ноябре программного комплекса HP по консолидации баз данных для предприятий (HP Enterprise Database Consolidation Appliance), который предлагает готовое решение для ускорения внедрения и упрощает управление тысячами баз данных в частном «облаке». Этот первый в отрасли программно-аппаратный комплекс по консолидации позволит клиентам размещать базы данных в течение минут вместо недель; уменьшит стоимость функционирования до 75% через сохранения используемых площадей, энергии и инфраструктуры; не потребует изменений в базах данных при консолидации.

Прочее

В ходе своего выступления Квентин Кларк раскрыл наиболее важные функции продукта и назвал клиентов, которые уже разместили у себя SQL Server 2012.

Из демонстраций был показан статистический семантический поиск, функции высокой доступности AlwaysOn, а также было раскрыто название новых инструментов разработки – SQL Server Data Tools (ранее — проект «Jeneaue»).

Квентин в ходе доклада также раскрыл информацию о возможностях создания отчетов в «облаке» (SQL Azure Reporting – доступно в новом CTP); возможностью синхронизации локальных баз данных и баз в «облаке» (SQL Azure Data Sync – доступно в новом CTP); построения масштабируемых приложения в «облаке», работающих с распределенными базами данных с помощью SQL Azure Federation; увеличении размера базы данных в «облаке» до 150 Гбайт; возможности создания резервной копии баз данных в «облако» и т.д.

 

Ключевой доклад №3

Третий день начался с песни Роба Фарли и его коллеги про функции SQL Server.

Затем после выступил предыдущий президент PASS и была показана текущая организационная структура правления. Затем было объявлено о  начале регистрации на следующий Саммит PASS 2012, который состоится 6-9 ноября 2012 года в Сиэтле.

После этого вступления Технический партнер Microsoft Дэвит Дэвитт (David Dewitt) выступил с лекцией про Hadoop.

Сессии

Во второй половине каждого дня проходили сессии на 60 или 90  минут по более узким техническим темам. Нет возможности привести подробно обзор  всего, что было на Саммите, поэтому публикую некоторые фотографии и полный список  сессий по бизнес-аналитике.

Клиника SQL Server

Традиционно большой интерес вызвало мероприятие под названием «Клиника SQL», на котором эксперты по различным аспектам использования SQL Server давали советы по использованию применительно к задачам клиентов.

Выставка

На выставке можно было у увидеть программно-аппаратные комплексы и ссылочные архитектуры HP и Dell, стенды Microsoft, посвященные работе различных компонентов SQL Server 2012, а также партнерские решения (например, средства визуализации с поддержкой сенсорного ввода Smart eVision).

User Group and Interests Luncheons

Обед также проходил с пользой. На первом дне Саммита участники распределились по столам по географическому признаку (в обществе соответствующих лидеров отделений PASS), а на втором дне – по темам (в обществе экспертов по данной теме).

Книжный магазин

В холле Конвенционального центра можно было посетить книжный магазин PASS, где продавались наиболее значимые публикации на тему SQL Server и Microsoft BI. В определенные часы можно было получить автографы некоторых авторов.

Заключение

Подробнее про нововведения для бизнес-аналитики в SQL Server 2012 в ближайшее время я напишу в отдельной статье.

И… встретимся на Российской конференции PASS 2012!

Следите за анонсами… 🙂

Дополнительные материалы

  1. Видео-записи ключевых сессий PASS Summit 2011
  2. Microsoft News Center. Microsoft Expands Data Platform With SQL Server 2012, New Investments for Managing Any Data, Any Size, Anywhere
  3. Microsoft News Center. Microsoft Announces New Database Consolidation Appliance, Enhances Cloud Offerings
  4. Ted Kummert. Microsoft Expands Data Platform to Help Customers Manage the ‘New Currency of the Cloud’
  5. Download Center. Microsoft SQL Server Connector for Apache Hadoop
  6. Подборка ссылок на записи в блогах про PASS Summit 2011
  7. SQL Server Team Blog. Recap from PASS Summit 2011

Снова о Саммите PASS 2010

Наконец-то я выбрал время, чтобы завершить серию публикаций про PASS Summit 2010. А то, как приехал из США, столько дел навалилось…

Итак, что я еще не успел рассказать про это главное событие года по теме SQL Server и BI…

Post-session – Creating a BI solution from A to Z

Во-первых, в последний день Саммита я посетил пост-сессию (однодневный семинар) по теме «Создание BI-решения: от А до Я».

Сессию вел Дэвид Маури (David Mauri) из компании Solid Quality Mentors.

В целом сессия содержала множество полезной информации о практических подходах для построения аналитических решений командой разработки этого решения.

Первая часть сессии была посвящена базовым понятиям хранилищ данных.

Далее в части, посвященной построению хранилищ данных, Дэвид, в числе прочих вещей, рассказал о соглашениях в наименовании объектов BI-решения и том, что для создания хранилища данных нужны на самом деле 4 типа баз:

  • конфигурационная – для описания объектов в источниках данных;
  • промежуточная – для временного хранения загруженных данных, ETL-процедур и поддерживающих объектов, таких как таблицы с ошибками;
  • хранилище данных;
  • вспомогательная – для объектов, помогающих получить доступ к OLTP-базам.

…а также о том, какие схемы должны содержаться в этих базах.

Затем речь шла подробнее об этапах загрузки данных в хранилище.

Из интересных идей – для реального проекта часто полезно создавать представления над исходными таблицами, что позволит быстро вносить изменения в SSIS-проект командой разработки.

Вообще, было много интересных идей и советов, например, про вычисления контрольных сумм для «медленно меняющихся измерений» (Slowly Changing Dimensions) и про журналирование изменений (использование DTLoggedExec), нет возможности все пересказать…

Заключительные части сессии были про анализ данных, создание отчетности, размещение BI-решения и мониторинг загрузки.

Клиника SQL Server (SQL Server Clinic)

Сейчас я расскажу о том, что еще было на Саммите, особенно в первые три дня.

В комнате «SQL Server Clinic» («клиника SQL Server») участники конференции могли задать вопросы наилучшим инженерам сервиса и поддержки пользователей, а также сотрудникам элитной SQL Server Customer Advisory Teem – SQL CAT (команда консультирования клиентов).

Здесь в числе экспертов мы видим Алексея Халяко, который приезжал к нам на Russian BI Technical Conference 2010…

Выставка Microsoft и партнеров

Выставка проходила в течение двух дней конференции в большом холле.

Наибольшую площадь занимали стенды Microsoft, затем стенды Dell, HP, EMC, CA Technologies, Idera, Red Gate Software. Также было множество стендов других партнеров. В этом же зале находилась зона, где можно было пообщаться с экспертами.

Заключение

Если резюмировать, мероприятие было очень полезное и интересное. На Саммите можно получить множество полезной информации и пообщаться с интересными людьми.

Еще было много всего – место для общения с авторами книг и приобретения их книг с автографами, собрание лидеров PASS и прочее…

Ссылки других блоггеров

Разумеется, не я один решил поделиться своими наблюдениями с PASS Summit 2010. Вот ссылки на заметки других блоггеров (все заметки на английском языке):

PASS Summit 2010 — день третий

Третий день саммита прошел в более спокойном режиме. Все важные анонсы были сделаны в предыдущие дни, а ключевая сессия была сугубо технической и, я бы даже сказал, академической.

Большая часть сессий, которые я посетил, были посвящены существующим технологиям. Кроме последней сессии.

Но обо всем по порядку…

Ключевой доклад

Ключевой доклад третьего дня конференции начал Rick Heiges (вице-президент по маркетингу, PASS).

Rick Heiges (вице-президент по маркетингу, PASS)

В своей речи он:

  • озвучил новый состав президиума PASS;
  • рассказал о концепции работы PASS на ближайшие годы;
  • анонсировал новое событие PASS SQL Rally (www.sqlrally.com), которое представляет собой технический тренинг на несколько дней и пройдет 11-13 мая 2011 года в Орландо, Флорида;
  • анонсировал новый PASS Summit 2011.

PASS Summit 2011

Непосредственно ключевой доклад был посвящен теме оптимизации SQL-запросов. Эту тему представил David J. DeWitt (технический советник, подразделение платформы данных и хранения Microsoft).

David J. DeWitt начал с того, что задача оптимизации запросов (то есть преобразования SQL-запроса в наиболее эффективный план выполнения из возможных) является очень сложной задачей, которая впервые была сформулирована 30 лет назад Пэтом Силенгером (IBM Research).

Он привел пример запроса, который можно выполнить с помощью 22 млн. альтернативных планов, и в ходе своей презентации рассказал, как решается задача нахождения лучшего плана.

Если резюмировать, доклад о роли оптимизатора содержал информацию о том как формируются планы выполнения (логические и физические), почему в планах бывают неточности, как оценивается количество элементов в каждой ветке плана, как оценивается стоимость выполнения каждой ветки и плана в целом, как исключаются заведомо ненужные варианты планов.

Далее привожу несколько интересных слайдов. Доклад можно посмотреть по ссылке на странице http://www.sqlpass.org/summit/na2010/, а презентация доступна в блоге Дэвида.

Время выполнения различных физических планов

В заключительной части Дэвид рассказал о последних результатах исследований, которые позволят улучшить планы выполнения запросов.

Пространство результирующего плана

Сессия 1 – SSRS в интегрированном режиме SharePoint

Доклад Брайана Ларсона (Superior Consulting Services) был посвящен вопросам работы SSRS в интегрированном режиме SharePoint.

Брайан Ларсон (Superior Consulting Services)

В ходе доклада Брайан осветил вопросы:

  • архитектуры;
  • конфигурирования;
  • установки;
  • настройки библиотек SSRS;
  • использования ReportBuilder;
  • создания подписок;
  • версионности / check in-out / подтверждения контента;
  • создания копий отчетов со связью;
  • задания прав на отчеты;
  • создания нотификаций;
  • использования списков SharePoint в отчетах.

Сессия 2 – Хранимые процедуры Analysis Services

В своем докладе Стасия Миснер (Data Inspirations) подробно рассказала о том, как создавать, использовать и осуществлять отладку хранимых процедур SSAS, а также немного затронула тему использования функции OpenQuery.

Стасия Миснер (Data Inspirations)

Если резюмировать, процесс создания ASSP (Analysis Services Stored Procedure) состоит из трех шагов:

  • создание проекта .net для ASSP;
  • регистрация сборки;
  • запуск ASSP.

Создание проекта .net для ASSP

Варианты применения ASSP: статистические выборки, пространственные фильтры и прочее (примеры можно найти на www.codeplex.com).

Сессия 3 – Применение ReportBuilder и SharePoint PerformancePoint Services

На третьей сессии я побывал на двух докладах:

  • Bob Meyers. Использование ReportBuilder – подробности;
  • Craig Utley. Мониторинг и аналитика с помощью PerformancePoint Services.

В обоих докладах подробно раскрывались функции соответствующих продуктов, поэтому особенно комментировать нечего.

Bob Meyers. Использование ReportBuilder – подробности

Craig Utley. Мониторинг и аналитика с помощью PerformancePoint Services

Сессия 4 – Data Quality Services и Master Data Services

Наконец-то! Анонсы изменений в Master Data Services и нового компонента Data Quality Services…

Нововведения в Master Data Services представила Denise Draper (Microsoft).

Denise Draper (Microsoft)

Денис начала с рассказа об области задач Управления информацией предприятия (Enterprise Information Management — EIM). Понятно, что EIM – это скорее область знаний, но SQL Server «Denali» поддерживает ее требования с помощью:

  • компонента «Integration Services» для управления интеграцией приложений;
  • компонента «Master Data Services» для управления нормативно-справочной информацией предприятия;
  • нового компонента «Data Quality Services» для управления качеством данных;
  • набора инструментов анализа зависимостей и отслеживания определения источника появления данных.

EIM в проекте Denali

В части Integration Services SQL Server «Denali» обеспечит:

  • улучшение удобства использования инструментов разработки, таких как возможность настройки панели инструментов и undo-redo при редактировании пакетов интеграции;
  • улучшения механизмов отладки (журналирования и индикации ошибок), такие как история шагов выполнения потока управления и анализ отказов без перезапуска пакета;
  • управление проектами, конфигурациями и развертыванием за счет возможности отделить пакеты от конфигураций и новых возможностей управления и мониторинга.

Master Data Services в SQL Server «Denali» будет коробочным продуктом с возможностью управления мета информацией в Excel. Основная идея здесь состоит в том, что уже сейчас у подавляющего большинства клиентов справочники ведутся в Excel, и этот инструмент очень удобен для подобных задач.

Управление мета-информацией в Excel с помощью надстройки Master Data Services в SQL Server «Denali» - прототип

Будут также доступны инструменты для анализа влияния мета-информации, такие как «из какого источника получены эти колонки?» и «куда идут данные из этой таблицы?». Функции анализа влияния будут анализировать системы, находить таблицы, хранимые процедуры, пакеты и отчеты и записывать их взаимодействия.

Графический прототип просмотра зависимостей в SQL Server «Denali» Master Data Services

Далее Joseph Malka (директор по исследованиям и разработке DQ и MD, Microsoft) представил новый компонент SQL Server Denali — Data Quality Services.

Joseph Malka (директор по исследованиям и разработке DQ и MD, Microsoft)

Новый компонент позволит разрешить проблемы с качеством данных, такие как:

  • неверный формат данных;
  • несоответствие стандартным наименованиям;
  • неполнота, несоответствие и неполнота данных;
  • неверное значение некоторых атрибутов;
  • значения вне допустимых границ;
  • дубликаты.

Качество данных будет обеспечиваться за счет применения:

  • базы знаний по обеспечению качества данных (Data Quality Knowledge Base);
  • определения семантических моделей;
  • извлечение дополнительной информации из примеров данных и информации от пользователей системы;
  • открытость и расширяемость за счет внешних провайдеров ссылочных данных (например, на основании данных из SQL Azure Marketplace DataMart);
  • простота использования.

Далее Joseph Malka прокомментировал архитектуру решения и продемонстрировал работу существующего прототипа.

Архитектура Data Quality Services

В процессе демонстрации Joseph Malka показал создание предметной области, задания бизнес-правил, определение проекта, профилирование данных (прототип в виде изображения), авто-корректировку данных, просмотр и экспорт результатов обработки данных.

Задание соответствий

Объявление синонимов

Создание правила валидации

Онлайн доклады PASS Summit и раскрытие планов на 2011 год

Коллеги, как вы знаете, 8 ноября 2010 года стартовало главное образовательное событие года для тысяч профессионалов SQL Server – PASS Summit 2010.

С 9 по 11 ноября главные руководители направления SQL Server — Ted Kummert, Quentin Clark и David DeWitt выступят в главном зале конференции, чтобы рассказать о последних и наиболее значимых новостях по данной теме. В частности, будут раскрыты планы развития следующей версии SQL Server.

Эти главные сессии будут доступны в онлайне, поэтому рекомендую вам оперативно зарегистрироваться для их просмотра.

Что касается сегодняшнего дня, было несколько предварительных сессий.

Лично я посетил семинар ETL with SSIS Bootcamp (BIA-225-P), на котором Brian Knight и его коллега из компании Pragmatic Works раскрыли наиболее важные моменты использования данной технологии. Это была глубокая сессия на один день, но докладчики смогли сделать ее увлекательной и даже устроили соревнование между двумя половинами аудитории…