10:35, 23 мая 2023

В облачной платформе Yandex Cloud открылся доступ к обновленной версии сервиса для полного цикла машинного обучения Yandex DataSphere. Благодаря этому разработчики могут использовать для ML-задач в сервисе выделенные виртуальные машины. IТ-специалисты, которые привыкли работать с алгоритмами в собственной инфраструктуре, смогут легче переносить ML-вычисления в облако. Кроме того, в Yandex DataSphere стало удобнее настраивать среду разработки. Это позволяет программистам быстрее обучать и выводить модели в продакшн.

С новым режимом работы Yandex DataSphere Dedicated пользователь может зарезервировать виртуальную машину в облаке и работать необходимое ему количество времени. Привычная работа с вычислительными ресурсами в режиме Dedicated позволяет ускорить разработку моделей машинного обучения по анализу данных. Например, для управления рисками в компании или обнаружения поломок оборудования.

Кроме нового режима Dedicated при обучении моделей в Yandex DataSphere можно выбрать режим Serverless. Технология бессерверных вычислений позволяет автоматически подключать виртуальную машину нужного типа только на время непосредственных расчётов (обучение моделей, запуск и других вычислений). Режим Serverless позволяет пользователю оптимизировать расходы на вычисления, так как оплачивать вычислительные мощности нужно только во время реального обучения.

В Yandex DataSphere также появилась новая версия Jupyter Notebook. Это наиболее популярный редактор кода для ML-разработки. С Jupyter Notebook стало удобнее работать благодаря обновленному интерфейсу и предустановленным расширениям (например, навигация по блокноту внутри ноутбука). Более того, в Yandex DataSphere можно настроить прозрачную визуализацию использования ресурсов. Например, отслеживать в режиме реального времени доступные ресурсы на используемых ресурсах и как они утилизируются.

Yandex DataSphere имеет все необходимые инструменты для полного цикла разработки машинного обучения. Кроме того, есть интеграции с другими облачными сервисами платформы - Data Proc (управление Apache Spark) и Data Transfer (инструмент для передачи данных). Внутри сервиса ML-специалист может подключать необходимые библиотеки для параллельной обработки данных на кластерах Spark и напрямую - различные облачные хранилища для анализа и хранения данных. Yandex DataSphere подходит и для командной работы. Кроме основного пользователя к проектам можно подключить других ML-разработчиков и специалистов, задействованных в работе с моделями машинного обучения. Например, инженер поддержки может корректировать настройки для эксплуатации модели, а администратор – управлять настройками доступа.