Задача систем искусственного интеллекта — дополнять интеллект человека, и сегодня мы делаем еще один шаг на пути к тому, чтобы сделать ИИ более доступным каждому. Встречайте IBM Watson Studio.

Представляем IBM Watson Studio

Специалисты начинают пользоваться искусственным интеллектом для превращения нашего самого ценного ресурса — данных — в новые формы ведения бизнеса. Искусственный интеллект дает нам возможность закончить битву с данными и начать пользоваться ими для подготовки убедительных рекомендаций, ускорения научных исследований и повышения качества взаимодействия с клиентами в удобной для них форме. Задача систем искусственного интеллекта — дополнять интеллект человека, и сегодня мы делаем еще один шаг на пути к тому, чтобы сделать ИИ более доступным каждому. Встречайте IBM Watson Studio.

Watson Studio: полезно для организаций, работающих с искусственным интеллектом

Watson Studio ускоряет рабочие процессы, связанные с машинным и глубоким обучением, необходимые для интеграции ИИ в бизнес и поддержки инноваций. В состав решения входят инструменты для экспертов по анализу данных, разработчиков приложений и профильных экспертов, помогающие организовать совместную обработку данных и крупномасштабную компоновку, обучение и развертывание моделей. Для успешной реализации проектов ИИ нужны алгоритмы, данные, специалисты и очень мощная вычислительная инфраструктура.

До сегодняшнего дня существовал барьер между экспертами по данным и профильными экспертами. Только технические специалисты высшей квалификации могли систематизировать и анализировать огромные объемы данных. Только профильные эксперты могли трансформировать данные в знания, необходимые искусственному интеллекту. Однако они работали независимо друг от друга, пользовались разными инструментами и не могли обмениваться результатами работы. В итоге искусственному интеллекту не удавалось по-настоящему дополнять интеллект человека.

Watson Studio ликвидирует этот барьер и позволяет сформировать единую среду генерирования новых идей на основе знаний, содержащихся в данных. Watson Studio дает возможность организовать взаимодействие экспертов разного профиля в масштабах всей организации. Опыт работы с клиентами по всему миру убедил нас, что комплексное взаимодействие — ключ к реализации всего потенциала ИИ.

Полный набор инструментов для комплексной разработки приложений с использованием ИИ

Watson Studio содержит разнообразные средства организации полного жизненного цикла ИИ, включая лучшие в своем классе open source инструменты, а также инструменты от IBM. Функциональные компоненты могут требовать или не требовать необходимость в разработке кода и дают возможность компоновать и обучать собственные модели машинного обучения (МО) и глубокого обучения (ГО), а также проводить повторное обучение и настройку заранее обученных API Watson. Предусмотрены обширные возможности по тонкой настройке моделей, управлению ими и автоматизации цикла обратной связи, что позволяет моделям со временем становиться более умными и постоянно адаптироваться к изменению внешних условий.

Подключение и подготовка данных

Применение искусственного интеллекта начинается с подключения и загрузки данных. Эксперты по анализу данных тратят до 80% времени на поиск и подготовку данных; при этом 57% экспертов указали в ходе опроса, что чистка и систематизация данных — самая неприятная часть их работы. И с этой проблемой сталкиваются не только они. Бизнес-аналитики испытывают похожие трудности с получением данных, необходимых для подготовки отчетов. Порой им приходится ждать по несколько недель, пока сотрудники отдела ИТ извлекут нужные данные из исходных систем.

Для решения проблемы с очисткой и обработкой данных мы разработали средство Data Refinery, позволяющее организовать быструю самостоятельную подготовку данных. В состав Watson Studio входят свыше 35 интерфейсов для подключения к источникам данных из IBM Cloud, облаков других поставщиков, приложений и локальных систем.

Инструменты и обученные модели Watson

После подключения к данным необходимо скомпоновать и обучить модели. Разработчики приложений могут начать с проверенных, обученных и оптимизированных API Watson. Эти модели понимают настроение, классифицируют темы в тексте, выявляют особенности личностей и распознают объекты на фотографиях. Мы предоставляем доступ к подробно документированным API с примерами и фрагментами кода на распространенных языках программирования.

Не все компании располагают специалистами и ресурсами для разработки инновационных технологий машинного и глубокого обучения. Поэтому мы предлагаем простые инструменты, помогающие наполнять Watson знаниями из ваших собственных данных. Первый встроенный инструмент — Watson Visual Recognition. Он позволяет обучать специальные модели с помощью своих собственных изображений для решения индивидуальных задач в сфере распознавания образов.

Выбор фреймворков и лучшие в своем классе инструменты

Машинное и глубокое обучение постоянно эволюционируют. Watson Studio поддерживает большинство популярных инструментов обучения, сохранения, развертывания и автоматизации повторного обучения моделей. Эти инструменты входят в состав продукта, причем наше решение обеспечивает управление инфраструктурой, чтобы вы могли сконцентрироваться на своих проектах.

Пользуйтесь Python, R и Scala в Jupyter Notebooks. Ноутбуки — популярная среда разработки и обмена документами с кодом, математическими вычислениями, визуализацией и комментариями. Они применяются для очистки и трансформации данных, численного моделирования, статистического моделирования, машинного обучения и многого другого.

Вместе с командой RStudio мы создали самую популярную в мире среду статистических вычислений R с открытым кодом. В состав Watson Studio входит флагманский продукт RStudio — популярная среда разработки, упрощающая анализ данных с помощью языка R.

Инструменты визуального моделирования для тех, кто не любит программировать

Хотя среды с открытым кодом Python и R популярны за счет своей низкой стоимости, гибкости и широких возможностей, качественное программирование и тестирование кода могут занимать много времени и требовать больших усилий. Мы побеседовали со многими клиентами и поняли, что не все они — программисты. Поэтому мы предлагаем два инструмента для тех, кто предпочитает визуальное моделирование:

• SPSS Modeler: простой и удобный интерфейс, ориентированный на всех — от бизнес-пользователей до экспертов по анализу данных. Он помогает быстро извлекать ценные идеи, создавая визуальные модели с помощью мыши. Тысячи пользователей Modeler могут импортировать потоки SPSS в Watson Studio, и они будут правильно работать!
• Neural Network Modeler: простой и удобный графический интерфейс разработки структур нейронных сетей. Этот интерфейс ускоряет разработку, избавляя от необходимости вручную писать и отлаживать код. Нейронные сети можно экспортировать в TensorFlow, Keras, PyTorch и Caffe, а также в формате JSON для публикации в блогах и загрузки кода в GitHub.

Гибкие вычислительные среды для крупномасштабного обучения моделей

Современные модели ИИ отличаются высокой сложностью и могут требовать терабайты данных для обучения. Идет активная работа по повышению вычислительной мощности процессоров, графических адаптеров, инструментов распределенного обучения и других средств. Watson Studio дает возможность самостоятельно выбрать аппаратное обеспечение для экспериментов и обучать модели с максимальной скоростью. Можно быстро масштабировать вычислительные ресурсы и настраивать зависимости пакетов в средах вычислений.

Каждая вычислительная среда выделена конкретному участнику проекта, чтобы не нужно было бороться за ресурсы. Наше решение поддерживает управление пакетами — для настройки применяются определения популярной среды conda. Вычислительные среды рассматриваются в качестве ресурсов проекта, и ими могут пользоваться все члены команды для проведения воспроизводимых исследований.

Поскольку вычислительные среды находятся в IBM Cloud, вы платите только за то, чем пользуетесь. Наша эластичная инфраструктура легко справляется с любыми пиковыми нагрузками и рассчитана на поддержку самых требовательных проектов.

Управление жизненным циклом моделей

Развертывание модели в производственной среде — это, как правило, непростая задача, требующая помощи занятых ИТ-специалистов. Когда на развертывание может уходить несколько недель, неудивительно, что эксперты по анализу данных предпочитают оставить свою новейшую модель и перейти на следующий проект вместо того, чтобы вновь и вновь обучать и развертывать имеющиеся модели.

В Watson Studio можно автоматизировать повторное обучение моделей и осуществлять мониторинг производительности моделей во времени. Это непрерывное обучение — уникальное достоинство нашей платформы. Можно настроить пороги, и если производительность будет падать, пользователи будут получать предупреждения и уведомления, чтобы эксперт по анализу данных мог принять необходимые меры.

Модели представляют собой динамические ресурсы, нуждающиеся в регулярном обновлении. Поэтому очень важно наличие средств контроля версий, позволяющих при необходимости возвращаться к предыдущим версиям. Эти средства должны быть доступны через API и пользовательский интерфейс.

Быстрый обмен результатами с помощью панелей мониторинга

Панели мониторинга Watson Studio упрощают визуализацию данных в приложениях. Пользователи могут самостоятельно создавать визуальные модели для поиска новых идей.

Интерактивные панели мониторинга обеспечивают визуализацию данных в режиме реального времени. Умные средства анализа данных и визуализации помогают находить закономерности и смысл в представленных данных. Также можно пользоваться фильтрами и средствами навигации по данным. Для максимального удобства работы пользователей панели мониторинга можно интегрировать в контекст приложений.

Интеграция с Watson Knowledge Catalog

Решение Watson Studio рассчитано на поддержку самых требовательных задач, которые могут быть реализованы с помощью искусственного интеллекта в организации. В частности, в состав решения входит интеллектуальная служба каталогов, позволяющая интегрировать и готовить аналитические ресурсы, включая структурированные и неструктурированные данные, где бы они ни находились (в локальной инфраструктуре или в облаке), для повышения продуктивности анализа данных, машинного обучения и искусственного интеллекта.

Объедините все информационные ресурсы в единый каталог с обширными метаданными. Искусственный интеллект Watson порекомендует оптимальные ресурсы, исходя из понимания Watson взаимосвязей между ресурсами и того, что с ними делают пользователи.

Мощный интегрированный механизм активации политик данных обеспечивает автоматическую защиту конфиденциальной информации согласно правилам, установленным в вашей организации.

Еще больше мощностей для ИИ

Watson Studio дает моделям шанс выполнить свое предназначение: учиться. Непрерывное обучение моделей с помощью новейших данных позволяет гарантировать постоянное соответствие моделей меняющимся обстоятельствам и дает организации знания, необходимые для принятия более обоснованных решений и реализации конкурентных преимуществ.

Watson Studio — продукт тесного взаимодействия IBM Research и других команд IBM Cloud. Надеемся, что вам понравится наш продукт, и с нетерпением ждем возможности узнать, что вы создадите с его помощью.

Автор: Александр Гаврин