Грид — сын интернета

Слово «грид» все чаще произносится в стенах учреждений Национальной академии наук Украины. Недавно в Институте металлофизики НАНУ прошел семинар, на котором Евгений Мартынов изложил современное состояние и перспективы использования грид-технологий в Украине.

«Грид» переводится с английского как «решетка». Само его появление чем-то напоминает рождение более века назад электросетей. В то время каждый более-менее крупный потребитель электроэнергии строил для себя электростанцию. Это было дорого и неудобно. Необходимость сделать поставку электричества более надежной привела к появлению электрических сетей, которые могли по мере необходимости быстро перебрасывать электроэнергию из одного места в другое.

Грид представляет собой мощную разветвленную вычислительную среду, которая в случае перегрузок пересылает решение задачи в свободные кластеры. Фактически это дальнейшая эволюция Интернета, открывающая доступ пользователю к мощностям десятков тысяч компьютеров на любой территории, участвующей в гриде. Теперь задачу можно разбить на части и решать на распределенных процессорах в любом месте. И не важно — по соседству или в другой стране распределенный ресурс: пользователь может находиться в одном месте, задание выполняться в другом, базы данных — в третьем. Важно иметь скоростные каналы связи между отдельными элементами сети.

Из письма в редакцию:

«Какой минимальный взнос необходим, чтобы НИИ стал участником грида в Украине?»

Ответ доктора физико-математических наук Евгения Мартынова (ИТФ НАНУ):

«Нужны два сервера: управляющий и вычислительный и наличие оптоволокна со скоростью 5 Мгбит в секунду. Все это можно организовать, имея для начала около 100 тысяч гривен».

Сегодня в мире работает более полумиллиарда компьютеров. Однако используются они лишь на 15 процентов. Грид позволяет исправить это положение, задействовав свободные ресурсы в мощных программах. В грид-системах создаются объединения, получившие название виртуальных организаций (ВО). Пожалуй, наиболее мощной и известной в мире является ВО в ЦЕРНе WLCG (http://lcg.web.cern.ch). В ней объединены десятки тысяч мощных компьютеров, задача которых — обрабатывать и анализировать небывалый объем экспериментальных данных, которые в скором времени будут поступать с ускорителя.

Представление о потоке информации, который хлынет только от одного эксперимента (а в ЦЕРНе четыре экспериментальных установки, работающих параллельно), дает такой пример: для хранения этой информации потребуется 14 тысяч килограммов дисков!

А чтобы обрабатывать этот гигантский поток, грид объединит кластеры всех физических институтов мира. К счастью, если где-то сбой, в такой грид-системе легко поменять исполнителей простым переключением. Подсчитано, если бы не было грида, на решение некоторых задач уходило бы более 100 лет! Если же ее распределят на множество вычислительных объектов в разных странах, время сократится до нескольких часов.

Грид развивается намного быстрее, чем Интернет. Ведущие страны мира быстро наращивают свои вычислительные мощности. К примеру, в Японии создаются два специальных центра только для обслуживания нанотехнологий. Если в Европе в 2003 году на развитие грида было затрачено 250 млн. долларов, то в 2008 году уже пять миллиардов долларов.

Параллельно с физиками грид начал бурно развиваться и другими науками: астрофизиками, биологами, представителями нанотехнологий. Появился даже специальный термин — электронные науки — для тех направлений, которые требуют особо мощных вычислений. Грид создает основу для новой организации самой науки, хай-тэк-производств, экологии, экономики, социальной жизни, более эффективного управления ресурсами общества.

Первый грид-узел в Украине появился, как это ни удивительно, не в Институте кибернетики, где были для этого материальные и идейные предпосылки. Ведь именно здесь когда-то появилась пионерская идея распределенных вычислений. В Украине им стали пользоваться в 2002 году в Национальном научном центре «Харьковский физико-технический институт» НАНУ в рамках сотрудничества с Объединенным институтом ядерных исследований в Дубне. По сути, он был частью российского грида. В ННЦ ХФТИ готовятся обрабатывать данные с церновского коллайдера LHC. Однако на этом пути могут возникнуть препятствия. Так, если не хватит мощности соединительных каналов, харьковский грид может быть не зарегистрирован в международной сети. Положение, видимо, будет исправлено с введением в действие достаточно мощного оптоволоконного канала связи «Харьков—Пятихатки», который свяжет грид-узел ХФТИ с украинским гридом.

Еще одним центром развития грида в нашей стране стал Институт теоретической физики НАНУ (http://uag.bitp.kiev.ua). Сюда известие о новшестве привез из ЦЕРНа профессор Г.Зиновьев. Идея была поддержана коллегами, директором института академиком А.Завгородним. Физики-теоретики правильно сориентировали развитие грида в Украине не только на задачи физики высоких энергий, но и на решение более широкого круга проблем, позволяющих развить эффективное международное сотрудничество в различных сферах человеческой деятельности.

К апрелю 2006 года была разработана концепция грид-структуры НАН Украины. ИТФ через оптоволоконный канал связи получил выход в академическую интернет-сеть УАРНЕТ. Сразу же начали решаться первые задачи, поступающие с кластера из ЦЕРНа и из других стран мира. Грид-узел получил сертификат грид-организации, обслуживающей эксперимент ALICE в ЦЕРНе. Пока сертификация украинских грид-узлов происходит в Институте теоретической физики, но планируется переход на международные стандарты и доступ в мировой грид.

Первую проверку на крепость нервов грид-узел Института теоретической физики получил сразу после открытия, подвергшись атаке хакеров. Она была успешно отбита. К счастью, грид работает в Линоксе и опасность столкнуться с подобными приключениями здесь меньше. К тому же пользователи грида защите уделяют большое внимание.

На сегодня уже десятки институтов НАНУ входят в украинскую грид-систему. За два миллиона гривен для нее закуплено лицензионное программное обеспечение для использования в грид-системе.

Продолжается построение грид-узлов и платформ доступа в грид в институтах с тем, чтобы каждый сотрудник мог запустить свою задачу в сеть. Уже зарегистрировано 20 грид-узлов институтов, к ним присоединился и Детский кардиологический центр МЗ Украины. Это открывает совершенно новые перспективы перед медициной: врач на своем компьютере в кабинете, к примеру, может просмотреть все рентгены и анализы от рождения пациента, получить консультацию из мировых медицинских центров.

Параллельно очень интенсивно шло развитие грида в Национальном техническом университете (проект УРАН—GEANT в НТТУ «КПИ»). Предпринимаются попытки объединить все системы в единый национальный грид и войти в Европейскую грид-систему.

В ближайшее время правительство намерено выделить 100 млн. гривен на национальную грид-инициативу.

«Без развития собственной национальной грид-сети и участия в мировом гриде, — подвел итог семинара директор Института металлофизики, академик Анатолий Шпак, — дальнейшее занятие наукой в нынешнем мире просто теряет смысл».

Александр РОЖЕН, Филипп РОЖЕН

http://www.zn.ua/…/3300/62505/

Так есть ли GRID в Украине?

С большим интересом прочитали мы статью «Grid как четвертый этап развития информатизации» («ЗН», №8, 2007 г.). В ней сделан краткий обзор тех национальных и международных грид-проектов, которые уже работают или создаются в различных странах. В целом приведенный материал хотя и неполно, все же отражает состояние грида в мире.

А вот то, что написано в следующем разделе статьи — «Grid в Украине», удивляет. Из публикации профессора А.Петренко можно сделать вывод, что Украина — это гридовская целина. Весь мир, по крайней мере десятки стран, успешно развивает и внедряет гридтехнологии в науку, производство, бизнес, медицину и образование, а в Украине — тишь да гладь. И только специалисты НТУУ КПИ, изучив проблему, предлагают себя украинской научной общественности в качестве проводников в мир новых технологий. Оказывается, в НТУУ КПИ уже подготовлен проект UGRID — Gridинфраструктуры Украины, более того, существует национальная программа, в которой предусмотрено развитие гридтехнологий.

Действительно, такая программа утверждена КМ Украины, но в ней в качестве соисполнителей и ответственных за внедрение указаны МОН и НАН Украины. По-видимому, основанием для претензий специалистов НТУУ КПИ на руководящую роль во внедрении грид-технологий является недавно созданный в этом университете большой вычислительный кластер. Однако наличие кластера — лишь одно из необходимых условий для участия в грид-организации, но этого далеко не достаточно. Уверены, специалистам из киевского политеха хорошо известно, что в ближайшее время в Институте кибернетики НАН Украины начнет работать более мощный, чем в КПИ, кластер. Может быть, в КПИ или у кого-то из участников проекта уже существует и работает грид?

Поэтому хотелось бы восстановить приоритеты и осветить реальное положение дел с грид-технологиями в Украине.

Первый грид-кластер в Украине был создан группой физиков из ННЦ ХФТИ в 2002 году. Но до сих пор по ряду объективных причин (в частности, из-за слабости интернет-каналов) он связан с российским гридом (конкретно с Объединенным институтом ядерных исследований, Дубна).

Осенью 2004 года специалисты Института теоретической физики (ИТФ) совместно с сотрудниками Вычислительного центра Киевского национального университета имени Тараса Шевченко построили экспериментальную грид-платформу из двух серверов.

В начале 2005 года благодаря усилиям тогда народного депутата Украины академика НАН Украины И.Юхновского, который сразу же воспринял и активно поддержал идеи грид-технологий, ИТФ получил значительное финансирование и к концу года построил грид-кластер из десяти двухпроцессорных серверов. С 1 апреля 2006 года ИТФ получил скоростной доступ в Интернет, и следовательно, в грид, через оптоволоконный канал (2 Мбит/с, сейчас — 8 Мбит/с). Со стороны ЦЕРНа было проведено полномасштабное тестирование обоих кластеров (ИТФ и КНУ), они были включены в официальные вычислительные ресурсы AliEn-Grid и WLCG.

По инициативе ИТФ в 2005 году состоялось заседание координационного совета по информатизации НАН Украины, на котором впервые был представлен проект внедрения грид-технологий в НАН Украины. Проект одобрили, было дано поручение разработать соответствующую программу.

Следует подчеркнуть, что инициативная группа физиков ИТФ во главе с директором института академиком А.Загородним и профессором Г.Зиновьевым с самого начала решила не замыкаться на построении грид-кластера для своих узкоспециальных интересов. Мы привлекли к грид-технологиям ученых разных специальностей, прежде всего астрономов и биологов, и намерены привлекать не только их. Однако считали и считаем, что начать нужно с научных приложений грид-технологий, а уж затем внедрять их в другие сферы деятельности.

В ЦЕРНе состоялось заседание комитета WLCG, на котором (опять же по инициативе ИТФ) Украина в лице Национальной академии наук стала полноправным членом этой организации. ЦЕРН и НАН Украины подписали меморандум о взаимопонимании.

В конце 2006 года были построены новые грид-кластеры в Институте клеточной биологии и генетической инженерии (ИКБГИ), Институте микробиологии и генетики (ИМБГ) и Главной астрономической обсерватории (ГАО). Были усилены и модернизированы кластеры в ИТФ, ХФТИ (Харьковском физико-техническом институте) и в ИФКС (Институте физики конденсированных систем).

Сейчас на кластере ИТФ ежедневно, помимо задач сотрудников института, решается до 50 задач, приходящих из ЦЕРНа и стран-участников AliEn-grid (на снимке с компьютерного дисплея показана карта мониторинга этого грида и количество задач, которые считались на кластере ИТФ в момент копирования изображения). В ИТФ создана лаборатория грид-вычислений в физике. Фактически усилиями сотрудников именно этой лаборатории создан первый грид-сегмент НАНУ, который объединил кластеры ИТФ, ИКБГИ, ИМБГ, ГАО и КНУ. В марте-апреле к этому сегменту будут подключены Институт кибернетики, выразивший намерение выделить часть ресурсов нового кластера для использования в гриде, Институт космических исследований и львовский ИФКС.

Планами на 2007 год предусмотрена (для этого уже выделено финансирование) реализация следующего этапа программы «Внедрение грид-технологий и создание кластеров в НАН Украины»: создание восьми новых грид-кластеров в академических институтах Киева, Харькова, Днепропетровска.

Следует отметить очень важную составляющую грид-инфраструктуры — скоростные оптоволоконные каналы. Эту часть работы успешно выполняет УАРНЕТ, который не только создает и эксплуатирует магистральные оптоволоконные каналы (например, Киев—Львов с выходом в Польшу, Киев—Харьков с пропускной способностью 2,5 Гбит/с), но и прокладывает оптоволоконные линии до конкретных институтов. Если запланированная на этот год работа будет выполнена своевременно, к грид-сети НАН Украины будет подсоединен и ХФТИ, который находится в Пятихатках, в 15 км от Харькова, а также Радиоастрономический институт и Институт сцинтилляционных материалов НАН Украины.

Таким образом, этот далеко не полный перечень сделанного в НАНУ за последние три года показывает: грид-сегмент в Академии наук — это не планы и проекты, а уже работающая и развивающаяся система. Наличие академической грид-инфраструктуры позволяет активизировать международные связи институтов НАН Украины. Помимо упомянутого сотрудничества с ЦЕРНом, имеется и выполняется соглашение ГАО с AstroGrid-D (Германия), ведутся работы по проекту виртуальной астрофизической лаборатории «Интеграл» (ИТФ—КНУ—Университет Женевы, Швейцария), готовятся совместные проекты по биологии.

Теперь, имея созданный грид-сегмент и практический опыт работы в грид-сети (а не только проекты и планы), мы с полным на то основанием и ответственностью предлагаем всем украинским организациям и отдельным энтузиастам, заинтересованным в развитии и использовании грид-технологий, объединить усилия и ликвидировать отставание Украины от других стран в этом направлении. Несомненно, Украина имеет для этого и интеллектуальный, и материальный потенциал.

Евгений МАРТЫНОВ, доктор физико-математических наук, заведующий лабораторией грид-вычислений в физике Института теоретической физики им.Н.Боголюбова

Сергей СВИСТУНОВ, кандидат технических наук, старший научный сотрудник лаборатории грид-вычислений в физике Института теоретической физики им.Н.Боголюбова

http://www.zn.ua/…/3100/56116/

Украинский академический грид

http://uag.bitp.kiev.ua/?…

Очень хорошие, весьма информативные, а, главное, очень поучительные публикации… Ведь если это так важно для Украины, то это в десятки раз важнее для развития науки и техники в нашей стране – с её более развитым н.-т. потенциалом и значительно бОльшими масштабами. И от решения проблем в ЭТОЙ специфической области немалую выгоду получат и НИОКР в области развития нанотехнологий. Вон, говорят ведь, что все ведущие страны мира быстро наращивают свои вычислительные мощности, а в Японии создаются даже два специальных центра только для обслуживания нанотехнологий. Так что руководителям нашей науки, ГК «Роснанотех» и др. наверняка стОит рассмотреть весь этот комплекс проблем и учесть опыт, накопленный в мире, в частности, на Украине…