На форуме Innovative Data Infrastructure (IDI) 2025 в Мюнхене компания Huawei представила комплексное решение AI Data Lake, предназначенное для хранения и обработки данных искусственного интеллекта. Платформа ориентирована на ускорение внедрения ИИ в различных секторах — от обучения больших языковых моделей (LLM) и инференса до обработки массивов данных экзабайтного масштаба.
Архитектурная основа: OceanStor + OceanProtect
Huawei AI Data Lake объединяет три ключевых компонента инфраструктуры хранения:
- OceanStor A Series — обеспечивает быстрый доступ к часто используемым данным;
- OceanStor Pacific — выступает в роли Nearline-хранилища с интеллектуальным распределением по уровням;
- OceanProtect E8000 — система резервного копирования, поддерживающая до 16 Пбайт данных и скорость передачи до 255 ТБ/ч.
Такое сочетание обеспечивает баланс производительности, экономичности и надёжности при работе с критически важными ИИ-нагрузками.
Программный уровень: DME и Omni-Dataverse
Поверх аппаратной инфраструктуры работает двухуровневая программная среда:
- Уровень управления данными на базе движка DME (Data Management Engine). Он включает продукты DME Omni-Dataverse, DME IQ и eDataInsight — отвечающие за каталогизацию, контроль доступа, управление версиями и работу с векторными базами данных.
- Omni-Dataverse формирует глобальную файловую систему и единое пространство имён, устраняя фрагментацию данных в распределённых дата-центрах. Решение способно индексировать более 100 млрд файлов за секунды и обрабатывать данные экзабайтного уровня.
- DME IQ — облачная система мониторинга на базе AIOps. Она анализирует большие массивы данных в реальном времени, выявляет сбои и уведомляет администраторов о проблемах.
Интеллектуальная автоматизация и интеграция ИИ
AI Data Lake не только хранит, но и обеспечивает подготовку данных для обучения и инференса. Платформа интегрируется с инструментами Huawei iData, ModelEngine и другими ИИ-движками, предоставляя полный цикл: от сбора и индексирования информации до подачи готовых наборов данных.
Концепция Data Center Solution (DCS)
Huawei AI Data Lake является частью концепции DCS (Data Center Solution), которая объединяет:
- вычисления,
- хранение,
- сетевые технологии,
- управление инфраструктурой.
Используя eSphere в связке с Omni-Dataverse, компании получают сквозной доступ к глобальному пространству имён и формируют централизованную, гибкую и масштабируемую инфраструктуру нового поколения.
Преимущества Huawei AI Data Lake
- Высокая производительность — поддержка обучения LLM и инференса с обработкой экзабайтных данных.
- Единое пространство данных — интеграция OceanStor и Omni-Dataverse.
- Надёжность и защита — резервирование с OceanProtect E8000 и поддержка технологий WORM.
- Интеллектуальное управление — мониторинг и аналитика в реальном времени на базе DME IQ и AIOps.
- Гибкость — поддержка гибридных, локальных и облачных сценариев использования.
Заключение
Huawei AI Data Lake — это шаг к созданию единой интеллектуальной инфраструктуры для работы с данными ИИ. Решение объединяет передовые технологии хранения, резервного копирования и управления, позволяя компаниям ускорить цифровую трансформацию и повысить эффективность использования данных.
