На форуме Innovative Data Infrastructure (IDI) в Мюнхене компания Huawei анонсировала решение AI Data Lake, предназначенное для хранения и обработки данных, с целью ускорения внедрения искусственного интеллекта в различных отраслях. Платформа ориентирована на обучение больших языковых моделей (LLM), инференс и другие ИИ-нагрузки.
Аппаратная часть AI Data Lake включает три типа систем хранения данных: OceanStor A Series для быстрого доступа, OceanStor Pacific для nearline-хранения с динамическим распределением по уровням и OceanProtect для резервного копирования данных из системы Pacific. Например, OceanProtect E8000 способен вмещать до 16 Пбайт данных с пропускной способностью до 255 Тбайт/ч.
Над аппаратной инфраструктурой функционируют два программных уровня: слой управления данными и слой ИИ-инструментов. Уровень управления основан на движке Data Management Engine (DME) и включает три продукта: DME Omni-Dataverse, DME IQ и eDataInsight. Они обеспечивают функции векторных баз данных, каталогизации данных, управления версиями, контроля доступа и другие.
Аппаратная часть AI Data Lake включает три типа систем хранения данных: OceanStor A Series для быстрого доступа, OceanStor Pacific для nearline-хранения с динамическим распределением по уровням и OceanProtect для резервного копирования данных из системы Pacific. Например, OceanProtect E8000 способен вмещать до 16 Пбайт данных с пропускной способностью до 255 Тбайт/ч.
Над аппаратной инфраструктурой функционируют два программных уровня: слой управления данными и слой ИИ-инструментов. Уровень управления основан на движке Data Management Engine (DME) и включает три продукта: DME Omni-Dataverse, DME IQ и eDataInsight. Они обеспечивают функции векторных баз данных, каталогизации данных, управления версиями, контроля доступа и другие.
Omni-Dataverse представляет собой глобальную файловую систему и фреймворк управления данными, устраняющий разрозненность информации в географически распределённых дата-центрах, предоставляя единое пространство имён. Это формирует единый виртуальный репозиторий, охватывающий несколько хранилищ в публичном облаке, на площадке клиента или в гибридной среде.
Omni-Dataverse предоставляет средства для получения, индексации и обработки данных, а также их предоставления для обучения LLM, инференса и других задач. По заявлениям Huawei, система способна индексировать и извлекать наборы данных в масштабе экзабайт, обрабатывать более 100 млрд файлов за считаные секунды с использованием более 15 критериев поиска. Omni-Dataverse поддерживает динамическое распределение данных между системами хранения OceanStor A Series и OceanStor Pacific, удаляя устаревшие и неиспользуемые файлы.
Omni-Dataverse предоставляет средства для получения, индексации и обработки данных, а также их предоставления для обучения LLM, инференса и других задач. По заявлениям Huawei, система способна индексировать и извлекать наборы данных в масштабе экзабайт, обрабатывать более 100 млрд файлов за считаные секунды с использованием более 15 критериев поиска. Omni-Dataverse поддерживает динамическое распределение данных между системами хранения OceanStor A Series и OceanStor Pacific, удаляя устаревшие и неиспользуемые файлы.
DME IQ — облачная система, основанная на аналитике больших данных и AIOps, предназначенная для автоматизированного оповещения о неполадках и отслеживания проблем в режиме реального времени.Программный уровень ИИ-инструментов предоставляет наборы данных из хранилища для обработки различными аппаратными движками, такими как Huawei iData, ModelEngine и другими.
Концепция виртуализации дата-центра DCS (Data Center Solution) объединяет вычисления, хранение, сетевые технологии и управление. Задействованы средства eSphere с использованием Omni-Dataverse для доступа к единому глобальному пространству имён.
Концепция виртуализации дата-центра DCS (Data Center Solution) объединяет вычисления, хранение, сетевые технологии и управление. Задействованы средства eSphere с использованием Omni-Dataverse для доступа к единому глобальному пространству имён.
