Intel AI Analytics Toolkit fyrir Linux

Upplýsingar um vöru

AI Kit er verkfærasett sem inniheldur mörg conda umhverfi fyrir vélanám og djúpnámsverkefni. Það inniheldur umhverfi fyrir TensorFlow, PyTorch og Intel oneCCL Bindings. Það gerir notendum kleift að stilla kerfið sitt með því að stilla umhverfisbreytur, nota Conda til að bæta við pökkum, setja upp grafíkrekla og slökkva á hangcheck. Verkfærakistuna er hægt að nota í stjórnlínuviðmóti (CLI) og auðvelt er að samþætta það inn í núverandi verkefni án sérstakra breytinga.

Vörunotkun

1. Stilltu kerfið þitt með því að stilla umhverfisbreytur áður en þú heldur áfram.
2. Til að vinna við stjórnlínuviðmót (CLI), notaðu setvars.sh forskriftina til að stilla verkfærin í oneAPI verkfærasettunum í gegnum umhverfisbreytur. Þú getur fengið setvars.sh handritið einu sinni í hverri lotu eða í hvert skipti sem þú opnar nýjan flugstöðvarglugga. Setvars.sh forskriftina er að finna í rótarmöppunni á oneAPI uppsetningunni þinni.
3. Virkjaðu mismunandi conda umhverfi eftir þörfum með skipuninni „conda active “. AI Kit inniheldur conda umhverfi fyrir TensorFlow (CPU), TensorFlow með Intel Extension fyrir Sample TensorFlow (GPU), PyTorch með Intel Extension fyrir PyTorch (XPU) og Intel oneCCL Bindings fyrir PyTorch (CPU).
4. Kannaðu hvert umhverfi sem tengist því að byrja SampLeið sem er tengt í töflunni í notendahandbókinni til að fá frekari upplýsingar um hvernig eigi að nota hvert umhverfi.

Eftirfarandi leiðbeiningar gera ráð fyrir að þú hafir sett upp Intel® oneAPI hugbúnaðinn. Vinsamlegast skoðaðu Intel AI Analytics Toolkit síðuna fyrir uppsetningarvalkosti. Fylgdu þessum skrefum til að byggja og keyra semample með Intel® AI Analytics Toolkit (AI Kit):

1. Stilltu kerfið þitt.
2. Byggja og reka Sample.

ATH: Hefðbundnar Python uppsetningar eru fullkomlega samhæfðar AI Kit, en Intel® Distribution for Python* er valinn.
Engar sérstakar breytingar á núverandi verkefnum þínum eru nauðsynlegar til að byrja að nota þau með þessu verkfærasetti.

Hlutir þessa verkfærasetts

AI Kit inniheldur

• Intel® Optimization fyrir PyTorch*: Intel® oneAPI Deep Neural Network Library (oneDNN) er innifalið í PyTorch sem sjálfgefið stærðfræðikjarnasafn fyrir djúpt nám.
• Intel® Extension for PyTorch: Intel® Extension for PyTorch* eykur PyTorch* getu með uppfærðum eiginleikum og fínstillingum til að auka afköst á Intel vélbúnaði.
• Intel® Optimization fyrir TensorFlow*: Þessi útgáfa samþættir frumefni frá oneDNN inn í TensorFlow keyrslutímann fyrir hraðari afköst.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* er misleitt, afkastamikið djúpnámsviðbót sem byggir á TensorFlow PluggableDevice viðmóti. Þessi viðbót viðbætur koma Intel XPU (GPU, CPU, osfrv) tæki inn í TensorFlow opinn uppspretta samfélagið fyrir gervigreind vinnuálagshröðun.
• Intel® dreifing fyrir Python*: Fáðu hraðari frammistöðu Python forrita beint úr kassanum, með lágmarks eða engum breytingum á kóðanum þínum. Þessi dreifing er samþætt Intel® Performance Libraries eins og Intel® oneAPI Math Kernel Library og Intel®oneAPI Data Analytics Library.
• Intel® dreifing á Modin* (aðeins fáanlegt í gegnum Anaconda), sem gerir þér kleift að skala forvinnslu óaðfinnanlega yfir marga hnúta með því að nota þetta snjalla, dreifða gagnarammasafn með eins API og pöndur. Þessi dreifing er aðeins fáanleg með því að setja upp Intel® AI Analytics Toolkit með Conda* pakkastjóranum.
• Intel® taugaþjöppu: notaðu fljótt lágnákvæmar ályktunarlausnir á vinsælum djúpnámsramma eins og TensorFlow*, PyTorch*, MXNet* og ONNX* (Open Neural Network Exchange) keyrslutíma.
• Intel® Extension for Scikit-learn*: Óaðfinnanleg leið til að flýta fyrir Scikit-learn forritinu þínu með því að nota Intel® oneAPI Data Analytics Library (oneDAL).
  Patching scikit-learn gerir það að vel hentugri vélrænni ramma til að takast á við raunveruleg vandamál.
• XGBoost fínstillt af Intel: Þessi vel þekkti vélanámspakki fyrir ákvarðanatré sem eykur halla felur í sér óaðfinnanlega, fall-in hröðun fyrir Intel® arkitektúr til að flýta verulega fyrir líkanaþjálfun og bæta nákvæmni fyrir betri spár.

Stilltu kerfið þitt – Intel® AI Analytics Toolkit

Ef þú hefur ekki þegar sett upp AI Analytics Toolkit, skoðaðu Uppsetning Intel® AI Analytics Toolkit. Til að stilla kerfið þitt skaltu stilla umhverfisbreytur áður en þú heldur áfram.

 

Stilltu umhverfisbreytur fyrir CLI þróun
Til að vinna við stjórnlínuviðmót (CLI) eru verkfærin í oneAPI verkfærasettunum stillt í gegnum
Umhverfisbreytur. Til að stilla umhverfisbreytur með því að útvega setvars handritinu:

Valkostur 1: Fáðu setvars.sh einu sinni í hverri lotu
Heimild fyrir setvars.sh í hvert skipti sem þú opnar nýjan flugstöðvarglugga:

Þú getur fundið setvars.sh forskriftina í rótarmöppunni á oneAPI uppsetningunni þinni, sem er venjulega /opt/intel/oneapi/ fyrir kerfisuppsetningar og ~/intel/oneapi/ fyrir einkauppsetningar.

Fyrir kerfisuppsetningar (krefst rótar- eða sudo-réttinda):

• . /opt/intel/oneapi/setvars.sh

Fyrir einkauppsetningar:

• . ~/intel/oneapi/setvars.sh

Valkostur 2: Einskiptisuppsetning fyrir setvars.sh
Til að hafa umhverfið sjálfkrafa sett upp fyrir verkefnin þín skaltu láta skipunaruppsprettu fylgja með
/setvars.sh í ræsingarforskriftu þar sem það verður kallað sjálfkrafa (skipta um
með slóðinni að oneAPI uppsetningarstaðnum þínum). Sjálfgefnar uppsetningarstaðsetningar eru /opt/
intel/oneapi/ fyrir kerfisuppsetningar (krefst rótar- eða sudo-réttinda) og ~/intel/oneapi/ fyrir einkauppsetningar.
Til dæmisample, þú getur bætt við upprunanum /setvars.sh skipunina í ~/.bashrc eða ~/.bashrc_pro þinnfile eða ~/.profile file. Til að gera stillingarnar varanlegar fyrir alla reikninga á kerfinu þínu skaltu búa til einnar línu .sh forskrift í /etc/pro kerfisins þínsfile.d möppu sem gefur setvars.sh (fyrir frekari upplýsingar, sjá Ubuntu skjöl um umhverfisbreytur).

ATH
Setvars.sh forskriftinni er hægt að stjórna með því að nota stillingar file, sem er sérstaklega gagnlegt ef þú þarft að frumstilla sérstakar útgáfur af bókasöfnum eða þýðandanum, frekar en að fara sjálfgefið í „nýjustu“ útgáfuna. Fyrir frekari upplýsingar, sjá Notkun stillingar File til að stjórna Setvars.sh.. Ef þú þarft að setja umhverfið upp í skel sem er ekki POSIX, skoðaðu þá uppsetningu á OneAPI þróunarumhverfi fyrir fleiri stillingarvalkosti.

Næstu skref

• Ef þú ert ekki að nota Conda, eða þróar fyrir GPU, smíðaðu og keyrðu SampLe Project.
• Fyrir Conda notendur, haltu áfram í næsta hluta.
• Til að þróa á GPU, haltu áfram til GPU notenda

Conda umhverfi í þessu verkfærasetti
Það eru mörg conda umhverfi innifalin í AI Kit. Hverju umhverfi er lýst í töflunni hér að neðan. Þegar þú hefur stillt umhverfisbreytur á CLI umhverfi eins og áður var kennt geturðu virkjað mismunandi conda umhverfi eftir þörfum með eftirfarandi skipun:

• conda virkja

Fyrir frekari upplýsingar, vinsamlegast skoðaðu hvert umhverfi sem tengist Byrjun Sample tengdur í töflunni hér að neðan.

Notaðu Conda Clone aðgerðina til að bæta við pökkum sem notandi sem ekki er rót
Intel AI Analytics verkfærakistan er sett upp í oneapi möppunni, sem krefst rótarréttinda til að stjórna. Þú gætir viljað bæta við og viðhalda nýjum pakka með Conda*, en þú getur ekki gert það án rótaraðgangs. Eða þú gætir haft rótaraðgang en vilt ekki slá inn rótarlykilorðið í hvert skipti sem þú virkjar Conda.

Til að stjórna umhverfinu þínu án þess að nota rótaraðgang, notaðu Conda klónavirknina til að klóna pakkana sem þú þarft í möppu fyrir utan /opt/intel/oneapi/ möppuna:

1. Frá sama flugstöðvarglugga og þú keyrðir setvars.sh, auðkenndu Conda umhverfið á kerfinu þínu:
   • conda env listi
     Þú munt sjá niðurstöður svipaðar þessum:
2. Notaðu klónaaðgerðina til að klóna umhverfið í nýja möppu. Í fyrrvample fyrir neðan, nýja umhverfið er nefnt usr_intelpython og umhverfið sem verið er að klóna er nefnt base (eins og sýnt er á myndinni hér að ofan).
   • conda búa til –nafn usr_intelpython –klón grunn
     Klónaupplýsingarnar munu birtast:

1. Virkjaðu nýja umhverfið til að gera kleift að bæta við pökkum. conda virkjaðu usr_intelpython
2. Staðfestu að nýja umhverfið sé virkt. conda env listi
   Þú getur nú þróað með því að nota Conda umhverfið fyrir Intel Distribution fyrir Python.
3. Til að virkja TensorFlow* eða PyTorch* umhverfið:

TensorFlow

• conda virkja tensorflow

PyTorch

• conda virkja pytorch

Næstu skref

• Ef þú ert ekki að þróa fyrir GPU skaltu byggja og keyra SampLe Project.
• Til að þróa á GPU, haltu áfram til GPU notenda.

GPU notendur
Fyrir þá sem eru að þróa á GPU, fylgdu þessum skrefum:

Settu upp GPU bílstjóri
Ef þú fylgdir leiðbeiningunum í uppsetningarhandbókinni til að setja upp GPU rekla geturðu sleppt þessu skrefi. Ef þú hefur ekki sett upp reklana skaltu fylgja leiðbeiningunum í uppsetningarhandbókinni.

Bæta notanda við myndbandshóp
Fyrir GPU tölvuvinnuálag hafa notendur sem eru ekki rótar (venjulegir) venjulega ekki aðgang að GPU tækinu. Gakktu úr skugga um að bæta venjulegum notendum þínum við myndbandshópinn; annars mistakast tvíþættir sem settir eru saman fyrir GPU tækið þegar þeir eru keyrðir af venjulegum notanda. Til að laga þetta vandamál skaltu bæta notandanum sem ekki er rót í myndbandshópinn:

• sudo usermod -a -G myndband

Slökktu á Hangcheck
Slökktu á hangcheck fyrir forrit með langvarandi GPU tölvuvinnuálag í innfæddu umhverfi. Ekki er mælt með þessu fyrir sýndarvæðingar eða aðra staðlaða notkun á GPU, svo sem leiki.

Vinnuálag sem tekur meira en fjórar sekúndur fyrir GPU vélbúnað að framkvæma er langvarandi vinnuálag. Sjálfgefið er að einstakir þræðir sem falla undir langvarandi vinnuálag eru taldir hengdir og þeim er lokað. Með því að slökkva á biðtímanum geturðu forðast þetta vandamál.

ATH: Ef kjarninn er uppfærður er hangcheck sjálfkrafa virkt. Keyrðu ferlið hér að neðan eftir hverja kjarnauppfærslu til að tryggja að hangcheck sé óvirkt.

1. Opnaðu flugstöð.
2. Opnaðu græjuna file í /etc/default.
3. Í kjafti file, finndu línuna GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. Sláðu inn þennan texta á milli gæsalappanna (“”):
5. Keyra þessa skipun:
   sudo update-grub
6. Endurræstu kerfið. Hangcheck er áfram óvirk.

Næsta skref
Nú þegar þú hefur stillt kerfið þitt skaltu halda áfram í Byggja og keyra SampLe Project.

Byggja og reka Sample Með því að nota stjórnlínuna

Intel® AI Analytics Toolkit
Í þessum hluta muntu keyra einfalt „Halló heimur“ verkefni til að kynna þér ferlið við að byggja verkefni og byggja síðan þitt eigið verkefni.

ATH: Ef þú hefur ekki þegar stillt þróunarumhverfið þitt skaltu fara í Stilla kerfið þitt og fara aftur á þessa síðu. Ef þú hefur þegar lokið skrefunum til að stilla kerfið þitt skaltu halda áfram með skrefunum hér að neðan.

Þú getur notað annað hvort flugstöðvarglugga eða Visual Studio Code* þegar þú vinnur frá skipanalínunni. Fyrir upplýsingar um hvernig á að nota VS kóða á staðnum, sjá Grunnnotkun Visual Studio kóða með oneAPI á Linux*. Til að nota VS kóða fjarlægt, sjá Remote Visual Studio Code Development with oneAPI á Linux*.

Byggja og reka SampLe Project
SampLesið hér að neðan verður að vera klónað í kerfið þitt áður en þú getur smíðað sampLe verkefni:

Til að sjá lista yfir íhluti sem styðja CMake, sjá Notaðu CMake til með oneAPI forritum.

Byggðu þitt eigið verkefni
Engar sérstakar breytingar á núverandi Python verkefnum þínum eru nauðsynlegar til að byrja að nota þau með þessu verkfærasetti. Fyrir ný verkefni fylgir ferlið náið ferlinu sem notað er til að búa til sample Hello World verkefni. Sjáðu Halló heimur README files fyrir leiðbeiningar.

Hámarka árangur
Þú getur fengið skjöl til að hjálpa þér að hámarka afköst fyrir annað hvort TensorFlow eða PyTorch.

Stilltu umhverfi þitt

ATH: Ef sýndarumhverfið þitt er ekki tiltækt, eða ef þú vilt bæta pökkum við sýndarumhverfið þitt, vertu viss um að þú hafir lokið skrefunum í Notaðu Conda Clone aðgerðina til að bæta við pökkum sem notanda sem ekki er rót.

Ef þú ert að þróa utan íláts skaltu fá eftirfarandi skriftu til að nota Intel® Distribution fyrir Python*:

• • /setvars.sh
• hvar er þar sem þú settir upp þetta verkfærasett. Sjálfgefið er uppsetningarskráin:
• Root eða sudo uppsetningar: /opt/intel/oneapi
• Staðbundnar notendauppsetningar: ~/intel/oneapi

ATH: Setvars.sh forskriftinni er hægt að stjórna með því að nota stillingar file, sem er sérstaklega gagnlegt ef þú þarft að frumstilla sérstakar útgáfur af bókasöfnum eða þýðandanum, frekar en að fara sjálfgefið í „nýjustu“ útgáfuna. Fyrir frekari upplýsingar, sjá Notkun stillingar File að stjórna Setvars.sh. Ef þú þarft að setja umhverfið upp í skel sem er ekki POSIX, sjáðu uppsetningu oneAPI þróunarumhverfis fyrir fleiri stillingarvalkosti.

Til að skipta um umhverfi verður þú fyrst að slökkva á virka umhverfinu.
Eftirfarandi frvampLe sýnir hvernig umhverfið er stillt, TensorFlow* virkjað og síðan farið aftur í Intel Distribution fyrir Python:

Sækja gám

Intel® AI Analytics Toolkit
Gámar gera þér kleift að setja upp og stilla umhverfi til að byggja, keyra og sniðganga oneAPI forrit og dreifa þeim með myndum:

• Þú getur sett upp mynd sem inniheldur umhverfi sem er fyrirfram stillt með öllum þeim verkfærum sem þú þarft, og síðan þróað í því umhverfi.
• Þú getur vistað umhverfi og notað myndina til að færa það umhverfi í aðra vél án frekari uppsetningar.
• Þú getur útbúið gáma með mismunandi settum af tungumálum og keyrslutíma, greiningarverkfærum eða öðrum verkfærum, eftir þörfum.

Sækja Docker* mynd
Þú getur halað niður Docker* mynd frá Containers Repository.

ATH: Docker myndin er ~5 GB og getur tekið ~15 mínútur að hlaða niður. Það mun þurfa 25 GB af plássi.

1. Skilgreindu myndina:
   image=intel/oneapi-aikit docker draga „$image“
2. Dragðu myndina.
   docker draga „$image“

Þegar myndinni þinni hefur verið hlaðið niður skaltu halda áfram í Notkun gáma með skipanalínunni.

Notkun gáma með skipanalínunni
Intel® AI Analytics Toolkit Sæktu forsmíðaða gáma beint. Skipunin hér að neðan fyrir CPU mun skilja þig eftir við skipanakvaðningu, inni í ílátinu, í gagnvirkum ham.

CPU
image=intel/oneapi-aikit docker keyra -það “$image”

Notaðu Intel® Advisor, Intel® Inspector eða VTune™ með gámum
Þegar þessi verkfæri eru notuð þarf að veita ílátinu auka möguleika: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Notkun Cloud CI Systems

Cloud CI kerfi gera þér kleift að smíða og prófa hugbúnaðinn þinn sjálfkrafa. Sjá endurhverfan í github fyrir tdamples af stillingum files sem nota oneAPI fyrir vinsælu CI skýjakerfin.

Úrræðaleit fyrir Intel® AI Analytics Toolkit

Tilkynningar og fyrirvarar

Intel tækni gæti þurft virkan vélbúnað, hugbúnað eða þjónustuvirkjun. Engin vara eða hluti getur verið algerlega örugg.
Kostnaður þinn og niðurstöður geta verið mismunandi.

© Intel Corporation. Intel, Intel lógóið og önnur Intel merki eru vörumerki Intel Corporation eða dótturfélaga þess. Önnur nöfn og vörumerki má gera tilkall til sem eign annarra.

Upplýsingar um vöru og árangur

Afköst eru mismunandi eftir notkun, uppsetningu og öðrum þáttum. Frekari upplýsingar á www.Intel.com/PerformanceIndex.
Tilkynning endurskoðun #20201201

Ekkert leyfi (beint eða óbeint, með estoppel eða á annan hátt) til neinna hugverkaréttinda er veitt með þessu skjali. Vörurnar sem lýst er geta innihaldið hönnunargalla eða villur sem kallast errata sem geta valdið því að varan víki frá birtum forskriftum. Núverandi einkennandi errata eru fáanlegar ef óskað er.

Intel afsalar sér öllum óbeinum og óbeinum ábyrgðum, þar með talið, án takmarkana, óbeinum ábyrgðum um söluhæfni, hæfni í ákveðnum tilgangi og að ekki sé brotið, sem og hvers kyns ábyrgð sem stafar af frammistöðu, viðskiptum eða notkun í viðskiptum.

Skjöl / auðlindir

Intel AI Analytics Toolkit fyrir Linux [pdfNotendahandbók AI Analytics Toolkit fyrir Linux, AI Analytics Toolkit, Analytics Toolkit fyrir Linux, Analytics Toolkit, Toolkit

Heimildir

• Notendahandbók