Russian PASS Conference 2012

Опубликовано в Январь 30, 2012 от Ivan Kosyakov

Во второй половине апреля запланировано проведение Russian PASS Conference 2012.

Кратко о конференции:

  • 200-250 участников;
  • ключевой доклад – 1-1,5 часа;
  • 9 докладов по 60 минут по темам администрирование, разработка и бизнес-аналитика в SQL Server 2012.

Сейчас мы активно ищем спикеров. Коллеги, если вы хотели бы выступить с докладом, пожалуйста, напишите мне. И перешлите, пожалуйста, тем людям, которые могут этим заинтересоваться.

Любые предложения, идеи, комментарии приветствуются.

Filed under: Анонсы | Метки: | Комментарии (1) »

Материалы по SQL Server 2012 в открытом доступе

Опубликовано в Январь 30, 2012 от Ivan Kosyakov

Filed under: Ресурсы | Оставьте комментарий »

Управление информацией организаций

Опубликовано в Январь 12, 2012 от Ivan Kosyakov

Управление информацией организаций (Enterprise Information Management, EIM) является отдельной областью знаний, которая специализируется на решениях по оптимальному использованию информации в пределах организаций, например, для поддержки управленческих решений или операционной деятельности, требующей наличия знаний.

В составе платформы данных Microsoft SQL Server 2012 цикл управления информацией организаций (обнаружение, получение, наращивание и управление) поддерживается следующими продуктами:

  1. Компонент «Project Barcelona» позволяет автоматически собрать информацию об имеющихся источниках данных, интеграционных проектах, сервисах, порталах и службах отчетности, а затем проследить связи между этими объектами.
  2. Компонент «Integration Services» служит для организации загрузки и преобразования данных между различными системами (в том числе, для загрузки данных в хранилище данных).
  3. Компонент «Data Quality Services» предоставляет стандартные средства очистки и сопоставления данных, на основании имеющихся баз знаний.
  4. Компонент «Master Data Services» предоставляет возможности по управлению нормативно-справочной информацией как на уровне дружественных Excel- и Web-интерфейсов, так и на уровне программных интерфейсов.

В результате применения перечисленных выше технологий процесс управления информацией организации может осуществляться в следующей последовательности:

  1. С помощью проекта Barcelona можно проанализировать имеющиеся базы данных, систематизировать эту информацию, выявить похожие сущности и т.д. На основании этой информации можно разрабатывать интеграционные проекты.
  2. В интеграционном проекте Integration Services по загрузке данных в хранилище данных первым шагом выполняется извлечение данных в промежуточную область.
  3. Следующим шагов данные во временных таблицах прогоняются через Data Quality Services, чтобы очистить в автоматическом режиме имеющиеся некорректные данные.
  4. Далее поток данных (колонки со справочными данными) сопоставляется с сущностями в Master Data Services.
  5. Если соответствие с нормативно-справочной информацией не найдено, эти записи можно сохранить в отдельном месте хранения и затем сопоставить/дедуплицировать c помощью Data Quality Services в ручном режиме, например, с использованием Excel и надстройки MDS с функциями DQS.
  6. Откорректированные данные с помощью SSIS публикуются в системе-потребителе (например, в хранилище данных).
  7. С помощью проекта Barcelona можно произвести автоматическую инвентаризацию имеющихся данных, интеграционных проектов и отчетных систем, что позволит в будущем учесть все зависимые системы при внесении изменений в структуры данных.

Пример такого интеграционного проекта с применением MDS и DQS показан в следующей демонстрации.

Filed under: Статьи | Метки: , , , | Оставьте комментарий »

Примеры использования Power View в открытом доступе

Опубликовано в Январь 10, 2012 от Ivan Kosyakov

Если вам интересно самостоятельно попробовать Power View в действии, вы можете использовать общедоступный BI портал. На портале в настоящий момент доступны модели BISM по нефтегазу, школе, а также по продаже вертолетов, продуктов питания и автомобилей. Ссылки на модели доступны на странице «More demos of Power View available» (в таблице сценариев нажмите на соответствующую ссылку в правой колонке).

Filed under: Примеры | Метки: | Оставьте комментарий »

Новогодняя встреча Уральской группы пользователей Microsoft BI

Опубликовано в Декабрь 28, 2011 от Ivan Kosyakov

Очередная встреча Уральской группы пользователей Microsoft BI переносится на 9 января 12:00. Встреча будет посвящена использованию следующих компонентов SQL Server 2012 SQL Server 2012: Project Barcelona, SSIS, DQS, MDS, BISM.

Место проведения: г. Екатеринбург, ул. Большакова, д. 70 (Корин-центр), офис Microsoft

Состав докладов:

  1. 12:00-13:00. Иван Косяков. Совместное использование Project Barcelona, SSIS, DQS и MDS (60 минут).
  2. 13:00-14:00. Иван Косяков. Варианты использования BISM (60 минут).

Ввиду того, что старый сайт группы не работает, все новости доступны на сайте группы: http://www.facebook.com/groups/191313497612346/. Пожалуйста, вступите в состав этой группы. С этой страницы необходимо перейти на страницу мероприятия и зарегистрироваться.

Filed under: Uncategorized | Оставьте комментарий »

Новогодняя встреча Russian BI PASS Chapter

Опубликовано в Декабрь 19, 2011 от Ivan Kosyakov

Очередная встреча Russian BI PASS Chapter переносится на 28 декабря и будет называться «Новогодняя встреча Russian BI PASS Chapter».

Состав докладов:

  1. 16:00-17:00. Иван Косяков. Совместное использование Project Barcelona, SSIS, DQS и MDS (60 минут)
  2. 17:05-17:25. Максим Гончаров. Применение методов Data Mining для анализа результатов выборов (20 минут)
  3. 17:30 – 18:00. Иван Косяков и Сергей Вдовин. Сообщества PASS, представление лидера Russian BI PASS Chapter, обсуждение дальнейшей работы группы (30 минут)

Ввиду того, что старый сайт группы не работает, все новости доступны на сайте группы: http://www.facebook.com/groups/148075185212163/. Пожалуйста, вступите в состав этой группы. С этой страницы необходимо перейти на страницу мероприятия и зарегистрироваться.

Filed under: Анонсы, Конференции и доклады | Метки: | Оставьте комментарий »

Рекомендованные архитектуры FastTrack DW

Опубликовано в Декабрь 1, 2011 от Ivan Kosyakov

Введение

FastTrack Data Warehouse (FastTrack DW) представляет собой в первую очередь набор рекомендованных конфигураций, оптимизированных для решения задач хранилищ данных.

Часто программно аппаратные решения для хранилищ данных, разработанные самостоятельно, бывают не оптимизированы по стоимости и производительности. В первом случае, например, могут использоваться слишком мощные сервер и система хранения, для имеющейся системы ввода-вывода. Во втором случае (в части программной реализации) может использоваться, например, неправильная стратегия размещения данных в файловых группах базы данных (неправильная методика загрузки данных в ХД).

FastTrack DW предназначен для решения этих проблем предоставляя:

  • метод построения эффективной по затратам, сбалансированной системы для загрузки, типично для хранилищ данных;
  • эталонные аппаратные конфигурации разработаны с поставщиками оборудования;
  • рекомендации размещения, загрузки и управления  данными.

Стандартная конфигурация FTDW

Рекомендованные аппаратные архитектуры FastTrack DW основаны на выделенной системе хранения. Ввод-вывод обеспечивается через независимые выделенные полки системы хранения и процессоры. Передачу данных между сервером и полками системы хранения обеспечивает Fiber Switch, т.е. внутри FastTrack DW организуется сеть Fiber Channel.

В качестве программного обеспечения для FastTrack DW используется Windows Server 2008 и SQL Server 2008 R2 со специализированными настройками.

Стек базы данных в FastTrack DW 3.0 состоит из следующих элементов:

  • физических дисковых массивов (RAID 1+0 на 4-х дисках);
  • связанных логических дисков на уровне операционной системы (LUN);
  • баз данных: пользовательских, TempDB, Log.

Выбор эталонных аппаратных конфигураций

В настоящее время существует не менее 12-ти ссылочных аппаратных конфигураций FastTrack DW от поставщиков HP, Dell, Bull, IBM и EMC.

Стоимость хранения данных на этих конфигурациях начинается от 11 тысяч долларов за терабайт информации. Существуют конфигурации общим объемом от 4 до 80 Тбайт.

Для выбора подходящей конфигурации можно использовать Fast Track 3.0 System Sizing Tool (27KB, XLSX).

В качестве примера ниже приведен внешний вид ссылочной архитектуры Fast Track DW на 20 Tбайт на базе сервера ProLiant DL585 G7 и 6-ти полок с массивом данных StorageWorks P2000 G3 MSA SFF.

Тестирование компонентов FastTrack DW

Тестирование компонентов FastTrack DW проводится в две фазы (подробнее см. Fast Track Data Warehouse 3.0 Reference Guide (1.35MB, DOCX)).

Фаза начальной оценки аппаратного обеспечения состоит из следующих шагов:

  1. Проверить пропускную способность Fiber Channel.
  2. Проверить пропускную способность LUN и RAID.
  3. Проверить общую пропускную способность.

Фаза проверки базы данных FastTrack DW состоит из двух метрик оценки производительности SQL Server для нагрузки на хранилище данных:

  1. Maximum CPU Consumption Rate, (MCR) – измеряет максимальную пропускную способность ввода-вывода;
  2. Benchmark CPU Consumption Rate (BCR) – измеряет фактическую пропускную способность для запроса или нагрузки, основанной на запросах.

Организация загрузки данных в хранилище

В решении на базе рекомендаций FastTrack DW при загрузке данных в хранилище ставится цель обеспечения последовательного размещения данных и минимизации фрагментации данных. В рекомендациях по загрузке рассматриваются различные стратегии загрузки (миграция данных или инкрементальная загрузка), типы целевых таблиц (без индекса или с кластерным индексом), геометрия секций и файловых групп, архитектура источников данных и т.д.

В результате выполнения этих рекомендаций при выполнении запросов SQL Server обеспечивается последовательное сканирование данных на всех дисках системы хранения с данными, что обеспечивает максимальную скорость выполнения запроса в реализации FastTrack DW.

Дополнительные ресурсы

  1. Официальный сайт FastTrack DW
  2. SQL Server 2008 R2 Fast Track Portal
  3. Fast Track Data Warehouse 3.0 Reference Guide (1.35MB, DOCX)
  4. Fast Track 3.0 System Sizing Tool (27KB, XLSX)
  5. HP Fast Track Datasheet
  6. Dell Fast Track Datasheet
  7. IBM Reference Configurations for SQL Server Fast Track Data Warehouse 3.0
  8. Bull FastTrack DW
  9. EMC Storage Servers

Filed under: Статьи | Метки: | Оставьте комментарий »

Голосование за нового лидера Russian BI PASS Chapter

Опубликовано в Ноябрь 30, 2011 от Ivan Kosyakov

В период с 1 по 15 декабря объявляется голосование за лидера Russian BI PASS Chapter. Три участника сообщества выдвинули свои кандидатуры на позицию лидера (президента) группы. Привожу их в порядке поступления.

Михаил Комаров

«Недавно приехал в Москву из Красноярска, где в течение 2-х лет возглавлял местный MCP клуб. Также являюсь MCT тренером и так вышло MVP: Virtual machine (так что ожидайте активной виртуализации BI). Мои труды можно посмотреть на сайте www.itband.ru набрав в поиске комаров, аналогично на TechDays. Заниматься BI начал в далеком 1999 году. В последнее время немного отстал, но думаю это дело поправимое. Так что желающим спросить меня о 2012 будет дан адекватный ответ в духе Microsoft.»

Сергей Минюров

Сертифицированный разработчик программного обеспечения и тренер по продуктам Microsoft. Опыт полного цикла разработки: анализ требований и разработка архитектуры решений, разработка и тестирование приложений, внедрение и поддержка пользователей, управление проектами.

Выполнил более 40 проектов по разработке заказных решений и программных продуктов в предметных областях: коммерческая и производственная логистика, корпоративный учет и финансы, бизнес-процессы, разработка требований и управление проектами по разработке и внедрению программных решений.

Преподает учебные курсы: Microsoft Visual Studio, Microsoft SQL Server, Microsoft BizTalk, Microsoft SharePoint и Microsoft Project.

Сергей Вдовин

«Более 6 лет специализируюсь на создании востребованных решений бизнес аналитики на стеке Microsoft Business Intelligence (Microsoft BI Stack). Более 10 лет – разрабатываю решения на Microsoft SQL Server. Закончил аспирантуру РАН, в рамках которой, в международном институте прикладного и системного анализа в Австрии технологии Data Mining, входящие в состав Microsoft SQL Server, были успешно использованы для изучения и предсказания распространения крупнейшей сети магазинов Wal-Mart.

В числе текущих интересов, тесно связанных с созданием решений с использованием всего стека MS BI находятся:

  • Обеспечение управляемости жизненного цикла BI проектов использующих весь стек Microsoft BI с использованием технологий управления метаданными
  • Технологии работы с бизнес заказчиками при внедрении BI проектов на стеке Microsoft BI
  • Разработка best practices шаблонов решений представления информации конечному пользователю с использованием стека Microsoft BI.

Дополнительная информация обо мне располагается на сайте http://sergeyavdovin.ru»

Filed under: Голосования | Метки: | Комментарии (6) »

Виртуальная машина SQL Server 2012 CTP3

Опубликовано в Ноябрь 25, 2011 от Ivan Kosyakov

Виртуальная машина SQL Server 2012 CTP3 («Denali» CTP3) содержит полностью сконфигурированные сервисы и интеграцию с SharePoint 2010 и Office 2010. Судя по дате публикации, ей можно будет пользоваться до середины апреля 2012 года.

На виртуальной машине, в том числе, доступы такие компоненты как DQS и новый MDS. Можно посмотреть 2 примера модели BISM  и соответствующих отчетов Power View (Crescent).

Ссылка для скачивания: http://www.microsoft.com/download/en/details.aspx?id=27740

Дополнительная информация:

  1. MicrosoftBI.ru. Новые возможности в SQL Server 2012 CTP3 для бизнес-аналитики (Microsoft BI)
  2. One Click BI Blog. Getting Started with the SQL Server “Denali” CTP3 Image

Filed under: Примеры | Метки: , , , , | Комментарии (1) »

Выборы нового лидера Russian BI PASS Chapter

Опубликовано в Ноябрь 10, 2011 от Ivan Kosyakov

Последнее обновление: 19 декабря 2011 года.

Коллеги, как я уже ранее говорил, мы ищем нового лидера Russian BI PASS Chapter, а также людей, которые помогут ему в управлении группой.

Лидер группы и люди, помогающие в ее управлении и функционировании, в том числе докладчики, получают следующие преимущества:

  • общественное признание и известность;
  • дополнительный аргумент при получении статуса MVP;
  • внутренние технические материалы от Microsoft;
  • различные призы за участие в проведении встреч;
  • бесплатный билет на PASS Summit, наиболее крупную конференцию по SQL Server, которая проходит в США (один или, в особых случаях, несколько, на группу в течение года).

Пожалуйста, высылайте информацию по данному вопросу на адрес ivank@microsoft.com с темой «RuBI». Заявки собираются до 25 ноября 2011 года включительно.

В результате мы сможем выбрать нового лидера группы и, возможно, руководителя по содержанию встреч, менеджера сайта группы и так далее. Я также буду продолжать помогать функционированию российского отделения PASS и перейду в должность «Immediate Past President» (Экс-президент).

Привожу возможные должности в пределах группы.

  1. President. The President shall preside at all meetings of the chapter or group and the Executive Board; shall call special meetings of the chapter or group and the Executive Board when necessary; shall be the principle executive officer with responsibility for the general administration of the affairs of the chapter or group; shall be the official spokesman for the chapter or group; and shall  appoint committees and assign chairperson(s) of such committees with the consent of the chapter or group or Board.
  2. Vice-President. The Vice-President shall, in the absence of the President, preside at all meetings of the chapter or group and the Executive Board and shall perform such other duties as may be assigned from time to time by the President or by the Executive Board.
  3. Director of Membership. The Director of Membership shall collect, manage, and utilize data
    collected about the members of the chapter or group; shall act in the capacity of secretary of the chapter or group, as such, shall prepare, distribute and keep the minutes of the meetings of the members and the Executive Board in one or more books provided for that purpose; shall ensure that all notices are duly given in accordance with the provisions of these bylaws or as required by law; and shall serve as custodian of the records of the chapter or group.
  4. Treasurer. The Treasurer shall receive and give receipts for monies due and payable to the chapter or group from any sources whatsoever, and shall deposit all such monies in the name of the chapter or group in such banks, trust companies, or other depositories as shall be selected in accordance with the provisions of these bylaws; shall submit financial reports to the Executive Board at its regular meetings and to the membership at the Annual Meeting.
  5. Director of Programs. Schedule and coordinate presentations and presenters for the regular meetings. Coordinate with the President to determine the content of future meetings. Work with the Director of Membership to determine specific expertise from within the chapter or group, identify potential external presenters, and identify vendors for presentations. Identify potential social-gathering events outside the recurring monthly meetings. Organize catering of the monthly meetings.
  6. Director of Corporate Development. The Director of Corporate Development shall work with the President to coordinate with vendors of interest to the membership to provide support of the chapter or group through sponsorship and support of its meetings and other events; shall manage those items received from vendors to be used for contests and giveaways at regular membership meetings.
  7. Immediate Past President. The Immediate Past President shall perform such duties and responsibilities as requested by the President or the Executive Board.

28 декабря проведем очередную встречу под названием «Новогодняя встреча Russian BI PASS Chapter«.

С уважением, Иван Косяков.

Filed under: Анонсы | Метки: | Оставьте комментарий »

Следующая страница →
Follow

Get every new post delivered to your Inbox.