A Red Hat, a nyílt forráskódú megoldások vezető szállítója bejelentette a Red Hat AI 3.0 elérhetőségét, ami új lehetőségeket nyit a vállalatok számára az elosztott mesterséges intelligencia (AI) inferencia éles környezetben történő alkalmazására. Az új verzió célja, hogy leegyszerűsítse és skálázhatóvá tegye a nagy teljesítményű AI-modellek futtatását konténerizált környezetekben, különösen a Red Hat OpenShift platformon.
Mi az újdonság a Red Hat AI 3.0-ban?
A Red Hat AI 3.0 egyik legfontosabb újítása az elosztott inferencia támogatása, amely lehetővé teszi, hogy a nagy méretű AI-modellek több GPU-n és csomóponton párhuzamosan fussanak. Ez különösen fontos a generatív AI-alkalmazások, például a nagy nyelvi modellek (LLM-ek) esetében, amelyek jelentős számítási kapacitást igényelnek.
A Red Hat AI 3.0 a Ray Serve technológiát használja az inferencia elosztására, amelyet a Red Hat OpenShift AI platformba integráltak. Ez a megoldás lehetővé teszi a vállalatok számára, hogy AI-alkalmazásaikat rugalmasan, megbízhatóan és hatékonyan futtassák éles környezetben.
Főbb képességek és előnyök
-
Elosztott inferencia Ray Serve segítségével: A Red Hat AI 3.0 támogatja a Ray Serve alapú inferenciát, amely lehetővé teszi a modellek horizontális skálázását több csomóponton.
-
OpenShift-integráció: A Red Hat OpenShift AI platform biztosítja a konténerizált AI-alkalmazások kezelését, skálázását és biztonságos futtatását.
-
Nyílt forráskódú ökoszisztéma: A Red Hat továbbra is elkötelezett a nyílt technológiák mellett, így a Red Hat AI 3.0 kompatibilis a PyTorch, TensorFlow, OpenVINO és más népszerű AI-keretrendszerekkel.
-
Vállalati szintű biztonság és megfelelőség: A platform megfelel a vállalati IT-követelményeknek, beleértve a biztonságot, auditálhatóságot és szabályozási megfelelést.
AI a gyakorlatban: éles környezetre tervezve
A Red Hat AI 3.0 célja, hogy a vállalatok ne csak kísérleti projektekben, hanem valódi, üzletkritikus környezetekben is hatékonyan alkalmazhassák a mesterséges intelligenciát. A platform támogatja a teljes AI-életciklust – a modellfejlesztéstől kezdve az éles inferenciáig –, miközben biztosítja a skálázhatóságot, megbízhatóságot és integrálhatóságot a meglévő IT-infrastruktúrával.
Együttműködés és jövőkép
A Red Hat AI 3.0 fejlesztése során a vállalat szorosan együttműködött olyan iparági szereplőkkel, mint az Intel és az NVIDIA, hogy biztosítsa a legmodernebb hardverek és szoftverek támogatását. A Red Hat célja, hogy a nyílt forráskódú AI-megoldások révén demokratizálja a mesterséges intelligenciát, és lehetővé tegye annak széles körű, biztonságos és hatékony alkalmazását a vállalati szektorban.