Aytishlaricha, texnologiya kompaniyalari GPUlar uchun kurashmoqda yoki ularni sotib olish yo'lida. Aprel oyida Tesla bosh direktori Elon Mask 10 000 ta grafik protsessor sotib oldi va kompaniya NVIDIA dan katta miqdorda GPU sotib olishda davom etishini aytdi. Korxona tomonida, IT xodimlari ham investitsiyalarning daromadliligini oshirish uchun GPU-lardan doimiy ravishda foydalanishni ta'minlash uchun qattiq harakat qilmoqdalar. Biroq, ba'zi kompaniyalar GPU soni ortib borishi bilan birga, GPU ishlamay qolishi jiddiyroq bo'lishini aniqlashi mumkin.
Agar tarix bizga yuqori samarali hisoblash (HPC) haqida biror narsa o'rgatgan bo'lsa, u holda saqlash va tarmoqni hisoblashga juda ko'p e'tibor qaratish hisobiga qurbon qilmaslik kerak. Agar sizda dunyodagi eng ko'p GPU bo'lsa ham, saqlash ma'lumotlarni hisoblash birliklariga samarali uzata olmasa, siz optimal samaradorlikka erisha olmaysiz.
Small World Big Data tahlilchisi Mayk Matchettning so'zlariga ko'ra, kichikroq modellar xotirada (RAM) bajarilishi mumkin, bu esa hisoblashga ko'proq e'tibor berishga imkon beradi. Biroq, milliardlab tugunlari bo'lgan ChatGPT kabi kattaroq modellarni yuqori narx tufayli xotirada saqlab bo'lmaydi.
"Siz milliardlab tugunlarni xotiraga sig'dira olmaysiz, shuning uchun saqlash yanada muhimroq bo'ladi", deydi Matchett. Afsuski, rejalashtirish jarayonida ma'lumotlarni saqlash ko'pincha e'tibordan chetda qoladi.
Umuman olganda, foydalanish holatidan qat'i nazar, modelni o'qitish jarayonida to'rtta umumiy nuqta mavjud:
1. Model tayyorlash
2. Xulosa qo'llash
3. Ma'lumotlarni saqlash
4. Tezlashtirilgan hisoblash
Modellarni yaratish va qo'llashda ko'pchilik talablar modelni o'qitishni boshlash uchun kontseptsiyani tez isbotlash (POC) yoki sinov muhitiga ustunlik beradi, ma'lumotlarni saqlashga katta e'tibor berilmaydi.
Biroq, qiyinchilik shundaki, o'qitish yoki xulosa chiqarish bir necha oy yoki hatto yillar davom etishi mumkin. Ko'pgina kompaniyalar bu vaqt ichida o'zlarining model o'lchamlarini tezda kengaytiradilar va infratuzilma o'sib borayotgan modellar va ma'lumotlar to'plamlarini joylashtirish uchun kengayishi kerak.
Google tomonidan olib borilgan millionlab ML o'quv yuklamalari bo'yicha olib borilgan tadqiqotlar shuni ko'rsatadiki, o'quv vaqtining o'rtacha 30% kirish ma'lumotlarini uzatishga sarflanadi. O'tgan tadqiqotlar mashg'ulotlarni tezlashtirish uchun GPU-larni optimallashtirishga qaratilgan bo'lsa-da, ma'lumotlar uzatish liniyasining turli qismlarini optimallashtirishda hali ham ko'plab muammolar mavjud. Katta hisoblash quvvatiga ega bo'lsangiz, natijalarga erishish uchun hisob-kitoblarga ma'lumotlarni qanchalik tez kiritishingiz mumkin bo'lsa, haqiqiy qiyinchilik paydo bo'ladi.
Xususan, maʼlumotlarni saqlash va boshqarishdagi muammolar maʼlumotlarning oʻsishini rejalashtirishni talab qiladi, bu sizga maʼlumotlarning qiymatini doimiy ravishda olish imkonini beradi, ayniqsa chuqur oʻrganish va neyron tarmoqlar kabi ilgʻor foydalanish holatlariga kirganingizda. sig'im, unumdorlik va miqyoslilik nuqtai nazaridan saqlash.
Ayniqsa:
Masshtablilik
Mashinani o'rganish katta hajmdagi ma'lumotlar bilan ishlashni talab qiladi va ma'lumotlar hajmi oshgani sayin modellarning aniqligi ham yaxshilanadi. Bu shuni anglatadiki, korxonalar har kuni ko'proq ma'lumot to'plashi va saqlashi kerak. Saqlash hajmini kengaytira olmasa, ma'lumotni ko'p talab qiladigan ish yuklari qiyinchiliklarni keltirib chiqaradi, ishlashni cheklaydi va qimmat GPU bo'sh vaqtini keltirib chiqaradi.
Moslashuvchanlik
Bir nechta protokollarni (jumladan, NFS, SMB, HTTP, FTP, HDFS va S3) moslashuvchan qo'llab-quvvatlash turli xil tizimlarning ehtiyojlarini qondirish uchun zarurdir, balki bitta turdagi muhit bilan cheklanishdan ko'ra.
Kechikish
Ma'lumotlar bir necha marta o'qilishi va qayta o'qilishi sababli modellarni yaratish va ulardan foydalanish uchun kiritish-chiqarish kechikishi juda muhimdir. Kirish/chiqarish kechikishini kamaytirish modellarni o'qitish vaqtini kunlar yoki oylarga qisqartirishi mumkin. Modelni tezroq ishlab chiqish biznesning katta afzalliklariga olib keladi.
O'tkazish qobiliyati
Saqlash tizimlarining o'tkazuvchanligi modellarni samarali o'qitish uchun juda muhimdir. O'quv jarayonlari odatda soatiga terabaytlarda katta hajmdagi ma'lumotlarni o'z ichiga oladi.
Parallel kirish
Yuqori o'tkazuvchanlikka erishish uchun o'quv modellari faoliyatni bir nechta parallel vazifalarga ajratadi. Bu ko'pincha mashinani o'rganish algoritmlari bir vaqtning o'zida bir nechta jarayonlardan (ehtimol bir nechta jismoniy serverlarda) bir xil fayllarga kirishini anglatadi. Saqlash tizimi ishlashga putur etkazmasdan bir vaqtda talablarni bajarishi kerak.
Kam kechikish, yuqori oʻtkazuvchanlik va keng koʻlamli parallel kiritish-chiqarish boʻyicha oʻzining ajoyib imkoniyatlari bilan Dell PowerScale GPU tezlashtirilgan hisoblash uchun ideal saqlash vositasi hisoblanadi. PowerScale ko'p terabaytli ma'lumotlar to'plamini o'rgatish va sinovdan o'tkazuvchi tahlil modellari uchun zarur bo'lgan vaqtni samarali ravishda qisqartiradi. PowerScale to'liq flesh xotirasida tarmoqli kengligi 18 baravar ko'payib, kirish/chiqarishdagi to'siqlarni bartaraf qiladi va katta hajmdagi tuzilmagan ma'lumotlarning qiymatini tezlashtirish va ochish uchun mavjud Isilon klasterlariga qo'shilishi mumkin.
Bundan tashqari, PowerScale-ning ko'p protokolli kirish imkoniyatlari ish yuklarini bajarish uchun cheksiz moslashuvchanlikni ta'minlaydi, ma'lumotlarni bitta protokol yordamida saqlashga va boshqa protokol yordamida kirishga imkon beradi. Xususan, PowerScale platformasining kuchli xususiyatlari, moslashuvchanligi, kengaytirilishi va korporativ darajadagi funksionalligi quyidagi muammolarni hal qilishga yordam beradi:
- Innovatsiyalarni 2,7 martagacha tezlashtirish, modelni o'qitish siklini qisqartirish.
- Kiritish-chiqarish muammolarini bartaraf qiling va modelni tezroq o'rgatish va tekshirishni, yaxshilangan model aniqligini, ma'lumotlar fanining yuqori mahsuldorligini va korporativ darajadagi xususiyatlar, yuqori unumdorlik, parallellik va kengayish imkoniyatlaridan foydalangan holda hisoblash investitsiyalaridan maksimal daromad olishni ta'minlang. Bitta klasterda 119 PB gacha samarali saqlash sig‘imidan foydalanish orqali chuqurroq, yuqori aniqlikdagi ma’lumotlar to‘plamlari yordamida model aniqligini oshiring.
- Kichik va mustaqil ravishda miqyosli hisoblash va saqlashni boshlash, ishonchli ma'lumotlarni himoya qilish va xavfsizlik imkoniyatlarini taqdim etish orqali keng miqyosda joylashtirishga erishing.
- Tezroq, past xavfli joylashtirish uchun o'z joyidagi tahlillar va oldindan tasdiqlangan echimlar yordamida ma'lumotlar fanining samaradorligini oshiring.
- NVIDIA GPU tezlashtirish va NVIDIA DGX tizimlari bilan mos yozuvlar arxitekturalarini o'z ichiga olgan eng zo'r texnologiyalarga asoslangan tasdiqlangan dizaynlardan foydalanish. PowerScale-ning yuqori unumdorligi va parallelligi mashinani o'rganishning har bir bosqichida, ma'lumotlarni yig'ish va tayyorlashdan modelni o'rgatish va xulosa chiqarishgacha saqlash samaradorligi talablariga javob beradi. OneFS operatsion tizimi bilan birgalikda barcha tugunlar bir xil OneFS klasterida muammosiz ishlashi mumkin, unumdorlikni boshqarish, ma'lumotlarni boshqarish, xavfsizlik va ma'lumotlarni himoya qilish kabi korporativ darajadagi funktsiyalar bilan biznes uchun modelni o'qitish va tekshirishni tezroq yakunlash imkonini beradi.
Xabar vaqti: 2023 yil 03 iyul
