HDInsight поддерживает Hadoop 2.2 (preview)

Windows Azure HDInsight стал поддерживать кластеры на базе Hadoop 2.2. Пока это работает в стадии предварительного просмотра.

В новой версии на порядок увеличен отклик на запросы (до 40 раз), обеспечивается сжатие данных (до 80%).

В качестве операционной системы используется YARN, основными преимуществами которой являются:

  • возможность одновременного использования нескольких движков обработки данных: пакетного — MapReduce, интерактивного — Tez, онлайнового — HBase, потокового — Storm, графического — Giraf, исполняемого (runtime) — REEF и других;
  • наличие средств эффективного использования ресурсов кластера и сервисов: управление и мониторинг, возможность распределения ресурсов сервера между несколькими организациями (multi-tenancy), безопасность, высокая доступность, восстановление в случае сбоев.

Дополнительно:

  1. Windows Azure Documentation. Get started using Hadoop 2.2 clusters with HDInsight (preview)
  2. Hortonworks Labs. YARN
  3. Strata Conference. REEF — Retainable Evaluator Execution Framework
  4. MSDN.ru. Хранение и обработка данных, Big Data, HPC

Доступен Power View для многомерных аналитических моделей (BISM)

Рад сообщить о выпуске SQL Server 2012 Service Pack 1 Cumulative Update 4, который предоставляет возможность создавать отчеты Power View над многомерными аналитическими моделями (также называемыми ранее UDM, кубами). Для использования этой возможности необходимо обновить соответствующие компоненты, интегрированные с SharePoint Server 2010 или 2013: экземпляр базы Analysis Services и надстройку Reporting Services в режиме SharePoint. Подробнее: http://blogs.msdn.com/b/sqlrsteamblog/archive/2013/05/31/power-view-for-multidimensional-models-released.aspx

Запущен сайт Уральского BI-сообщества

Только что по адресу http://ural-bi.ineta.ru/ был запущен сайт Уральской группы пользователей Microsoft BI!

Лидер группы — Светлана Речкалова.

Уважаемые уральцы, регистрируйтесь! На сайте вы можете предложить темы, которые вам интересно было бы обсудить на встречах группы.

Доступны для скачивания бета-версии продуктов из стека Microsoft BI (SQL 2008 R2 CTP3, Office 2010 beta, MOSS 2010 beta)

В этом месяце стала доступна для загрузки новая волна продуктов Microsoft Business Intelligence в составе:

Далее перечислены основные новые функции в отношении Business Intelligence:

1. PowerPivot для Microsoft Excel:

  • расширения Field List, в том числе: автоматическое определение связей между колонками из не реляционных таблиц, поддержка поиска поля по имени, поддержка именованных наборов;
  • обновление данных и изменение параметров источников данных PowerPivot;
  • поддержка новых типов источников данных: Microsoft Access, Microsoft SQL Server Analysis Services, книги PowerPivot (опубликованные в Analysis Services, выполняющемся в интегрированном режиме SharePoint), текстовые файлы, книги Excel, Microsoft SQL Azure, Oracle, Teradata, Sybase, Informix, DB2, Enhanced Data Analysis eXpressions (DAX);
  • расширение функциональности DAX: лучшее обнаружение ошибок, упрощение создания формул DAX, новые функции работы с текстовыми данными и временными преобразованиями, улучшения автоматического перерасчета, обработка несоответствий связей между таблицами, автоматический выбор типов данных для выражений.

2. PowerPivot для Microsoft SharePoint Server:

  • панель управления для IT-службы, в том числе: опубликованы книги PowerPivot с отображением числе выполненных запросов и количества пользователей и размера на книгу, использования аппаратных ресурсов (в том числе процессоры и память), обновления данных;
  • расширения инфраструктуры: поддержка отслеживания запросов пользователей;
  • параллельное обновление данных PowerPivot, оптимизация производительности;
  • новые варианты отображения книг PowerPivot на портале SharePoint и возможность просмотра книг в браузере;



3. Новые BI-возможности в Excel 2010 beta в отношении Business Intelligence при подключении к аналитическим кубам: Slicers, Sparklines, Custom Sets, Write-back.

4. Новое в Reporting Services:

  • Report Part Gallery  — публикация областей отчета на сервере отчетов с возможностью повторного использования;
  • Shared Data Sets – наборы данных могут быть храниться, обрабатываться и кэшироваться отдельно от отчета;
  • Расширенная интеграция с SharePoint 2007 и SharePoint 2010;
  • Новые элементы визуализации данных (Data Bars, Sparklines, Indicators);

  • Расширения Business Intelligence Development Studio – поддержка отчетов и проектов отчетов для SQL Server 2008 и 2008 R2;
  • Агрегаты агрегатов – поддержка неограниченной вложенности;
  • Расширения в RDL Expression Language.

5. Новое в Integration Services 2008 R2 CTP3 по сравнению с CTP2:

  • В окне «ADO.NET Destination», появилась возможность включения функции “Use Bulk Insert when Possible”.

6. В CTP3 появились Master Data Services (MDS).

Дополнительная информация:

Комплексное BI-решение с использованием технологий компаний Panorama и Microsoft

Два дня назад (15.09.2009) состоялся веб-семинар компаний Microsoft и Panorama, посвященный комплексному BI-решению с ипользованием технологий этих компаний.

Основной акцент семинара был сделан на том, что решение компании Panorama под названием «Panorama NovaView 6» значительно расширяет платформу Business Intelligence компании Microsoft за счет:

  • дополнительных возможностей для аналитиков благодаря приложениям презентационного уровня (в том числе, средство интерактивного анализа с использованием технологии Flash);
  • возможностей интеграции для пользователей SAP;
  • автоматизации создания OLAP-кубов с использованием компонента Universal Data Connector, который позволяет офисным пользователям самостоятельно создавать многомерные модели на основании подключенных источников данных.

Рассмотрим архитектуру решения NovaVIew. Стандартными компонентами решения с точки зрения использования платформы Microsoft BI являются реляционные источники данных, на основании которых формируются аналитические кубы SSAS. 

 20090917-panorama-architect

20090917-panorama-udc

Компонент NovaVIew Universal Data Connector позволяет бизнес-пользователям самостоятельно строить аналитические кубы на основании подключенных источников, которыми могут быть реляционные базы, плоские файлы, приложения, веб-сервися и кубы SSAS.

NovaView BI Server содержит мета-информацию об используемых кубах, отвечает за формирование MDX-запросов к SSAS от приложений презентационного уровня, администрирование, безопасность, кэширование результатов запросов.

Далее рассмотрим приложения презентационного уровня.

20090917-panorama-module-a

NovaView Analytics позволяет производить простые запросы и анализ с использованием простого интерфейса. В числе функций компонента:

  • «мгновенные» расчетные показатели;
  • продвинутая обработка исключений;
  • «скользящие» фильтры;
  • анализ «что-если»;
  • интерактивное создание графиков;
  • продвинутые мастеры MDX;
  • переход к созданию регламентированной отчетности за один клик мыши;
  • географическая визуализация;
  • управление большими измерениями.

NovaView Flash Analytics является дружественным пользователю аналитическим клиентом, обладающим следующими характеристиками:

  • анимированное исследование данных;
  • интуитивный интерфейс и интерактивная помощь;
  • интерактивный анализ;
  • простота публикации и совместной работы;
  • дружественный и изысканный пользователский интерфейс;
  • полная интеграция с Panorama NovaView Dashboards.

 20090917-panorama-flash-ana

Следует также заметить, что решение интегрировано в MOSS 2007.

20090917-panorama-module-od

NovaView Operational Dashboards позволяет создавать приборные панели с графиками и ключевыми показателями эффективности. Созданные приборные панели могут быть интегрированы в Sharepoint Server.

 

20090917-panorama-module-sr

NovaView Smart Reporting позволяет создавать и форматировать отчеты для печати. Переход в режим создания отчета производится одним кликом мыши. Отчеты остаются полностью интерактивными, позволяют оперативно добавлять в отчет объекты визуализации. Имеются возможности задани расписания и распространения отчетов.

20090917-panorama-report

20090917-panorama-module-ed

NovaView Executive Dashboards предоставляет пользователям, принимающим решения, высоко интерактивные приборные панели, работающие на технологии Flash. Есть возможность загрузки шаблонов приборных панелей с сайта онлайн-сообщества Panorama.

20090917-panorama-module-sv

NovaView SharedViews – это новый продукт, которые позволяет пользователям и организациям осуществлять совместную работу с людьми в том числе и за пределами firewall’ов , ровно как и публиковать информацию для поставщиков и партнеров в более налаженным и контролируемым путем. Опубликованные отчеты могут затем отображаться веб-браузером с помощью интуитивного flash-интерфейса.

20090917-panorama-module-sl

NovaView Spotlight позволяет добавлять наиболее важные показатели и ключевые индикаторы эффективности в Outlook.

 

 

20090917-panorama-module-sc

NovaView Scorecards позволяет создавать карты показателей и осуществлять детализацию ключевых показателей эффективности до влияющих на них первичных данных, что позволяет понять причины текущего значения показателя.

 

20090917-panorama-module-av

NovaView Advanced Visuals – это непосредственно различные графики и средства визуализации данных, в том числе построенные с использованием технологии Flash.

 

Таким образом, можно сделать вывод, что решение Panorama NovaView 6 позволяет значительно расширить платформу Microsoft BI в составе SQL Server (Integrations Services, Database Engine, Analysis Services, Reporting Services), Microsoft Excel, Microsoft Office Sharepoint Server 2007.

В первую очередь решается проблема сложности использования офисными пользователями MOSS 2007 для интерактивного анализа информации и публикации результатов анализа на портале. Понятно, что все это связано с тем, что MOSS 2007 является серьезным портальными решением с большим набором функций. Но в результате процесс подготовки аналитических запросов и их публикации на портале в MOSS 2007 сложен для офисных пользователей (для некоторых компаний это может быть важно). NovaView позволяет решить эту проблему.

Далее, благодаря NovaView Smart Reporting появляется возможность более интуитивной подготовки регламентированной отчетности, чем это делается в SSRS.

NovaVIew Universal Data Connector на мой взгляд является приятным дополнением в сторону развития Self Service BI…

Источник: материалы сайта http://www.panorama.com

Бесплатное обучение SQL Server 2008 Analysis Services

logo_appdev

В течение ограниченного количества времени есть возможность пройти бесплатное двухчасовое онлайн-обучение SSAS 2008. Курс ведет эксперт Ann Weber — MCT, MCITP по технологии SQL Server, MCSE.

Обучение включает пошаговые демонстрации, лабораторные работы, материалы курса для вывода на печать, экзаменационные вопросы.

В состав тем курса входят следующие темы:

  • что такое Bisiness Intelligence;
  • обзор клиента SSAS;
  • многомерное модлирование (OLAP);
  • моделирование в BIDS;
  • использование BIDS;
  • создание аналитических кубов.

Источник: MSDN Flash Newsletter

Предварительный релиз Gemini (Self-Service BI в составе SQL Server 2008 R2 August CTP)

Команда разработки Gemini анонсировала предварительный релиз Gemini (Self-Service Business Intelligence (BI) в составе августовского предварительного просмотра SQL Server 2008 R2).

20090819-gemini

Скачать Gemini CTP можно по ссылке: http://www.microsoft.com/officebusiness/office2010/Default.aspx?vid=Gemini. Для работы с Gemini предварительно должен быть установлен Office 2010, следовательно, нужно также зарегистрироваться на предварительный просмотр Office 2010 (см. подробнее запись «Анонсирован предварительный просмотр технологии (technology preview) Office 2010»).

Сейчас еще можно участвовать в Gemini CTP, даже если вы не являетесь участником Office 2010 Tech Preview.  Для этого зайдите по ссылке на Microsoft Connect, зарегистрируйтесь, заполните анкету номинанта. Если останутся места участника предварительного просмотра, и анкета удовлетворит условиям отбора, информация по загрузке CTP будет выслана по почте.

Ссылки по теме:

SQL Server 2008 R2 Report Builder 3.0, Августовский CTP

Появилась возможность загрузки пакета MSI для установки Report Builder 3.0 (Августовский CTP). Загрузить пакет можно по адресу: http://go.microsoft.com/fwlink/?LinkID=160384

Источник: Robert M. Bruckner, SQL Server Reporting Services Team Blog

Августовский технологический просмотр сообществом (CTP) SQL Server 2008 R2

20090811-SQL08r2

 

 

Команда разработки SQL Server анонсировала августовский технологический просмотр сообществом (CTP — Community Technology Preview) SQL Server 2008 R2.

SQL Server 2008 R2 – это новая версия платформы баз данных Microsoft SQL Server, запланированная к выпуску в первой половине 2010 года.

После загрузки CTP вы можете:

  • исследовать расширенные возможности управления базами данных в SQL Server Management Studio;
  • ознакомиться с новой комплексной технологией обработки событий под названием «SQL Server StreamInsight»;
  • запустить SQL Server на более чем 64 процессорных ядрах;
  • отправить ранний отзыв команде разработки.

Загрузка версии для подписчиков TechNet/MSDN доступна с 10 августа, и для всех желающих – с 12 августа. Загрузить версию можно с официальной страницы релиза.

Источник: Microsoft TechNet Newsletter

24 часа бесплатного онлайн-обучения технологии SQL Server

20090807-24-hours-of-sql

Профессиональная ассоциация SQL Server (PASS) открыла регистрацию на бесплатный онлайновый семинар для технологического сообщества «24 часа PASS» («24 Hours of PASS»). Семинар ведут лучшие в истории лекторы по теме SQL Server и Business Intelligence (BI). В программе семинара:

  • использование имеющихся возможностей SQL Server;
  • детальное освещение актуальных тем про SQL Server и BI, включая производительность SQLCLR, проектирования реляционных баз данных, улучшение производительности  (включая способы диагностики), безопасность SQL Server 2008, использование Reporting Services в приложениях, советы по использованию SSIS, работа с пространственными данными, интеллектуальный анализ текста (text mining), хранилища данных и другое.

Вы также сможете задать свои собственные вопросы в онлайне.

Список докладов:

  • Session 01 (Dev) — 10 Big Ideas in Database Design (Paul Nielsen / Louis Davidson)
  • Session 02 (DBA) — Using Powershell to Get the Most Out of SQL Server (Allen White)
  • Session 03 (PD) — Team Management Fundamentals (Kevin Kline)
  • Session 04 (BI) — Delivering Good Performance Consistently with SSIS (John Welch)
  • Session 05 (DBA) — Using SQLdiag to Troubleshoot SQL Server Problems (Brad McGehee)
  • Session 06 (DBA) — The SQL Server 2008 Vanishing Act (Peter Ward)
  • Session 07 (BI) — Text Mining (Dejan Sarka)
  • Session 08 (Dev) — Tips and Tricks for Writing SET Based Queries (Jacob Sebastian)
  • Session 09 (DBA) — Implementing a Bullet proof  Backup Strategy for Mirrored Databases (Thomas Grohser)
  • Session 10 (Dev) — Working with Spatial Data in SQL Server 2008 (Greg Low)
  • Session 11 (DBA) — Effective Indexing (Gail Shaw)
  • Session 12 (BI) — Reporting Services Inside Out the Things You Should Know (Simon Sabin)
  • Session 13 (Dev) — Query Performance Tuning 101 (Grant Fritchey)
  • Session 14 (BI) — Reporting from Analysis Services Cubes Using Excel 2007 (Peter Myers)
  • Session 15 (BI) — Data Warehousing: Laying the Foundation to Success (Erik Veerman)
  • Session 16 (DBA) — Database Compatibility Settings: What They Really Do .. and Don’t Do (Don Vilen)
  • Session 17 (PD) — Building a Better Blog (Steve Jones)
  • Session 18 (Dev) — Building Flexible Data Services for the Web Using the ADO .NET Data Services Framework (Artemakis Artemiou)
  • Session 19 (Dev) — SQLCLR or T-SQL? A Brief Survey of Performance Options (Adam Machanic)
  • Session 20 (BI) — Loading a Data Warehouse in SSIS (Brian Knight)
  • Session 21 (DBA) — What’s Simple about Simple Recovery Model (Kalen Delaney)
  • Session 22 (Dev) — What’s New, Harder, and Easier in SQL Server 2008 Security (Don Kiely)
  • Session 23 (DBA) — Analyzing File and Wait Statistics (Andrew Kelly)
  • Session 24 (BI) — Embed Reporting Services into your Applications (Jessica Moss)

Блок часовых презентаций продолжительностью 24 часа начнется 2 сентября 2009 года в 00:00 GMT (UTC).

Зарегистрироваться на семинар можно (нужно) уже сейчас по ссылке: http://24hours.sqlpass.org.

Если Вы являетесь участником «Russian Business Intelligence PASS Chapter» (http://rubi.ineta.ru), пожалуйста, указывайте этот факт при регистрации.