[Xitoy, Shenchjen, 2023-yil 14-iyul] Bugun Huawei keng ko‘lamli modellar davri uchun o‘zining yangi sun’iy intellektni saqlash yechimini taqdim etdi, u asosiy modellarni o‘qitish, sanoatga oid modellarni o‘qitish va segmentlangan stsenariylarda xulosa chiqarish uchun optimal saqlash yechimlarini taqdim etadi. yangi AI imkoniyatlarini ishga tushirish.
Keng ko'lamli namunaviy ilovalarni ishlab chiqish va amalga oshirishda korxonalar to'rtta asosiy muammoga duch kelishadi:
Birinchidan, ma'lumotlarni tayyorlash uchun talab qilinadigan vaqt uzoq, ma'lumotlar manbalari tarqoq va yig'ish sekin, yuzlab terabayt ma'lumotlarni oldindan qayta ishlash uchun taxminan 10 kun davom etadi. Ikkinchidan, katta hajmli matn va tasvir maʼlumotlar toʻplamiga ega boʻlgan koʻp modali katta modellar uchun katta hajmdagi kichik fayllar uchun joriy yuklash tezligi 100MB/s dan kam, bu esa oʻquv toʻplamini yuklash samaradorligining pastligiga olib keladi. Uchinchidan, katta modellar uchun parametrlarni tez-tez sozlash, beqaror o'quv platformalari bilan bir qatorda, har 2 kunda bir marta mashg'ulotlarning uzilishiga olib keladi, bu esa Tekshirish nuqtasi mexanizmini mashg'ulotlarni davom ettirishni talab qiladi, tiklanish esa bir kun davom etadi. Nihoyat, katta modellar uchun yuqori amalga oshirish chegaralari, murakkab tizimni sozlash, resurslarni rejalashtirish muammolari va GPU resurslaridan foydalanish ko'pincha 40% dan past.
Huawei keng ko‘lamli modellar davridagi sun’iy intellektni rivojlantirish tendensiyasiga moslashib, turli sohalar va stsenariylar uchun moslashtirilgan yechimlarni taklif qilmoqda. U OceanStor A310 Deep Learning Data Lake Storage va FusionCube A3000 Training/Inference Super Converged Appliance-ni taqdim etadi. OceanStor A310 Deep Learning Data Lake Storage ham asosiy, ham sanoat darajasidagi yirik model maʼlumotlar koʻli stsenariylarini maqsad qilib qoʻyadi, maʼlumotlarni yigʻish, oldindan qayta ishlashdan modelga oʻqitish va xulosa chiqarish ilovalarigacha boʻlgan AI maʼlumotlarini kompleks boshqarishga erishadi. OceanStor A310, bitta 5U stendda, tarmoqdagi yetakchi 400 Gb/s tarmoqli kengligi va 12 million IOPS gacha, chiziqli miqyosi 4096 tugungacha bo‘lgan holda protokollararo uzluksiz aloqani ta’minlaydi. Global fayl tizimi (GFS) mintaqalar bo'ylab aqlli ma'lumotlarni to'plashni osonlashtiradi, ma'lumotlarni yig'ish jarayonlarini soddalashtiradi. Yaqin atrofdagi kompyuterlar yaqin atrofdagi ma'lumotlarni oldindan qayta ishlashni amalga oshiradi, ma'lumotlar harakatini kamaytiradi va qayta ishlash samaradorligini 30% ga oshiradi.
FusionCube A3000 Training/Inference Super-Converged Appliance sanoat darajasidagi katta modellarni oʻqitish/chiqarish stsenariylari uchun moʻljallangan boʻlib, milliardlab parametrlarga ega modellarni oʻz ichiga olgan ilovalarga xizmat qiladi. U OceanStor A300 yuqori unumli saqlash tugunlarini, o'qitish/inferensial tugunlarni, kommutatsiya uskunalarini, AI platformasi dasturiy ta'minotini va boshqaruv va operatsion dasturiy ta'minotni birlashtirib, yirik model hamkorlariga bir martalik yetkazib berish uchun plagin va o'rnatish tajribasini taqdim etadi. Foydalanishga tayyor, uni 2 soat ichida joylashtirish mumkin. Har ikkala o'quv / xulosa va saqlash tugunlari har xil model miqyosi talablariga mos kelish uchun mustaqil va gorizontal ravishda kengaytirilishi mumkin. Shu bilan birga, FusionCube A3000 GPU-larni almashish uchun bir nechta modellarni o'rgatish va xulosa chiqarish vazifalarini bajarish uchun yuqori unumdor konteynerlardan foydalanadi, bu esa resurslardan foydalanishni 40% dan 70% gacha oshiradi. FusionCube A3000 ikkita moslashuvchan biznes modelini qo‘llab-quvvatlaydi: Huawei Ascend One-Stop Solution va ochiq hisoblash, tarmoq va sun’iy intellekt platformasi dasturiy ta’minotiga ega uchinchi tomon hamkori bir martalik yechim.
Huawei kompaniyasining maʼlumotlarni saqlash mahsulot liniyasi prezidenti Chjou Yuefeng shunday dedi: “Katta modellar davrida maʼlumotlar sunʼiy intellektning balandligini belgilaydi. Ma'lumotlar tashuvchisi sifatida ma'lumotlarni saqlash AI keng ko'lamli modellari uchun asosiy poydevor infratuzilmasiga aylanadi. Huawei Data Storage innovatsiyalarni davom ettiradi, sunʼiy intellektning yirik modellari davri uchun diversifikatsiyalangan yechimlar va mahsulotlarni taqdim etadi va keng sohalarda sunʼiy intellektni kuchaytirish uchun hamkorlar bilan hamkorlik qiladi”.
Yuborilgan vaqt: 2023 yil 01-avgust
