Interaktyvi mokomoji medžiaga · M1-T1-MLC2

Gilusis mokymasis

Dirbtiniai neuroniniai tinklai

Autorė: Mária Hartyányi„iTStudy Hungary“ mokymo ir tyrimų centras
Recenzentas: Zsolt Lengyel„iTStudy Hungary“ mokymo ir tyrimų centras

Šuns vaizdas apdorojamas biologinius neuronus primenančiame tinkle, tada – dirbtiniuose neuronuose; išvestis – „Šuo“. — Natūralių neuroninių tinklų įkvėptas matematinis modelis.

Mokymosi tikslas

Norint atsakingai naudoti dirbtinį intelektą, būtina suprasti jo veikimo principus. Šios medžiagos tikslas – aiškiai pristatyti pažangių dirbtinio intelekto sistemų veikimo principus taip, kad jiems suprasti nereikėtų išsamių matematikos ar programavimo žinių.

Išnagrinėję medžiagą, gebėsite

paaiškinti dirbtinio neuroninio tinklo, giliojo mokymosi, mokymo duomenų ir parametrų sąvokas;
apibūdinti, kaip neuroninis tinklas apdoroja įvestis, pateikia išvestis ir mokosi iš klaidų;
palyginti modelius pagal išteklių poreikį bei našumą;
paaiškinti modelių ribotumus ir kritiškai vertinti jų atsakymus.

Įkvėpimo šaltinis – žmogaus smegenys

Veiksmingiausių mašininio mokymosi metodų kūrimą įkvėpė žmogaus smegenyse vykstančių procesų tyrimai. Neuromokslininkai pastebėjo, kad mokantis ryšiai tarp neuronų kinta: vieni stiprėja, o kiti silpnėja.

Ši įžvalga paskatino kurti dirbtinius neuroninius tinklus, angliškai vadinamus Artificial Neural Networks; lietuviška santrumpa – DNT.

Nuo mašininio mokymosi iki giliojo mokymosi

Dirbtinis intelektas (AI): plati sąvoka, apimanti kompiuterinius sprendimus, imituojančius su žmogaus intelektu siejamus gebėjimus.

Mašininis mokymasis (ML): DI sritis, kurioje sistema atpažįsta duomenų dėsningumus, užuot veikusi vien pagal iš anksto rankiniu būdu nustatytas taisykles.

Gilusis mokymasis (DL): siauresnė mašininio mokymosi sritis, grindžiama dirbtiniais neuroniniais tinklais su keliais duomenų apdorojimo sluoksniais.

Kiekviena giliojo mokymosi sistema kartu yra ir mašininio mokymosi, ir dirbtinio intelekto sprendimas. Ne kiekvienas mašininio mokymosi metodas naudoja neuroninį tinklą.

Viena į kitą įtrauktos sritys: mašininis mokymasis yra dirbtinio intelekto dalis, o gilusis mokymasis – mašininio mokymosi dalis. — Angliškos santrumpos: AI – dirbtinis intelektas · ML – mašininis mokymasis · DL – gilusis mokymasis.

Perceptronas – ankstyvasis pasiekimas

Vienas ankstyvųjų neuroninių tinklų istorijos pasiekimų buvo perceptronas. Kornelio universiteto mokslininkas Frankas Rosenblattas mokytis galinčią sistemą pristatė XX a. 6-ojo dešimtmečio pabaigoje; perceptrono modelį paskelbė 1958 m.

„Mark I Perceptron“ buvo elektromechaninė mašina. Jos 20 × 20 fotoelementų matrica fiksavo įvesties vaizdą 400 taškų. Ryšių stiprumas buvo saugomas ir koreguojamas elektromechaniniais įtaisais.

Kontroliuojamomis sąlygomis sistema išmoko atskirti paprastus vaizdinius požymius. Ji taikė mokymąsi su mokytoju: operatorius kiekvienai įvesčiai pateikdavo teisingą kategoriją, o perceptronas ją palygindavo su savo atsakymu. Suklydęs jis pakoreguodavo ryšių svorius.

Frankas Rosenblattas šalia „Mark I Perceptron“ jutiklių skydelio ir laidų. — Frankas Rosenblattas ir perceptronas. Nuotraukos šaltinis – Kompiuterių istorijos muziejus.

Ką skaičiuoja dirbtinis neuronas?

Kiekvienai įvesties reikšmei (x) priskiriamas svoris (w). Neuronas įvestis padaugina iš jų svorių, sudeda rezultatus ir tada taiko aktyvavimo funkciją išvesčiai apskaičiuoti.

Svoriai lemia įvesčių įtaką išvesčiai. Mokymosi metu jie ir kitos išmokstamos skaitinės reikšmės, pavyzdžiui, poslinkiai, koreguojami: juos vadiname modelio parametrais.

Perceptrono išvestis 0 arba 1 reiškia vieną iš dviejų kategorijų. Palyginę ją su teisinga žyma sužinome, ar prognozė buvo teisinga.

Įvestys x dauginamos iš svorių w; svertinė suma perduodama aktyvavimo funkcijai f, kad būtų gauta išvestis y. — Įvestis → svertinė suma → aktyvavimas → išvestis.

Išbandykite!

Kaip svoris keičia sprendimą?

Šiame paprastame pavyzdyje x₁ = 1 ir x₂ = 1. Jei svertinė suma yra bent 1, išvestis lygi 1; kitu atveju – 0. Pastumkite slankiklius!

Pirmasis svoris (w₁): 0,4 Antrasis svoris (w₂): 0,4

Išvestis:

Šis pavyzdys iliustruoja skaičiavimą. Slankiklių reguliavimas rankiniu būdu nėra automatinis mokymasis.

Daugiasluoksniai neuroniniai tinklai ir jų parametrai

Kitas žingsnis buvo sujungti kelis dirbtinius neuronus ir apdoroti duomenis keliuose nuosekliuose sluoksniuose. Padidėję skaičiavimo pajėgumai taip pat leido mokyti sudėtingesnius tinklus.

Paslėptieji sluoksniai yra tarp įvesties ir išvesties sluoksnių. Jie apdoroja vieni kitų išvestis: paskesni sluoksniai gali sieti paprastesnius ankstesnių sluoksnių požymius ir nustatyti sudėtingesnius dėsningumus.

Žodis „gilusis“ reiškia daug nuoseklių apdorojimo sluoksnių. Jų veikimas vis tiek grindžiamas matematinėmis operacijomis ir išmokstamais parametrais.

Daugiasluoksnis tinklas su žaliais įvesties neuronais, trimis violetiniais paslėptaisiais sluoksniais ir raudonais išvesties neuronais. — **Daugiasluoksnis dirbtinis neuroninis tinklas**Įvesties sluoksnis - Paslėptieji sluoksniai - Išvesties sluoksnis

01

Įvestis

Apdorojami duomenys, pavyzdžiui, vaizdo pikselių reikšmės.

02

Paslėptieji sluoksniai

Nuoseklus duomenų transformavimas naudojant išmoktus svorius.

03

Išvestis

Užduoties rezultatas, pavyzdžiui, prognozuojama kategorija.

Nuo kontūrų iki veido atpažinimo

Ankstyvieji vaizdų atpažinimo tinklo sluoksniai gali apdoroti paprastus vaizdinius požymius, pavyzdžiui, kontūrus ir kontrastus. Paskesni sluoksniai juos sieja į formas ir detales, o vėliau – į sudėtingesnius objektų ar veidų dėsningumus.

Tinklas „nemato“ vaizdo žmogaus akimis. Jis transformuoja skaitines reikšmes ir naudoja mokymo metu išmoktus dėsningumus.

Veido atpažinimo sluoksniai: įvesties veido vaizdas transformuojamas į kontūrus, veido požymius ir galiausiai – visą veidą atspindinčius dėsningumus. — Nuoseklūs požymių lygiai veido atpažinimo pavyzdyje. Šaltinis: NVIDIA.

Mokymasis iš klaidų

Klaidos sklidimo atgal algoritmas suteikė plačiai pritaikomą būdą veiksmingai mokyti daugiasluoksnius tinklus.

Mokymo metu tinklo atsakymas palyginamas su norimu rezultatu. Judant atgal nuo išvesties klaidos, apskaičiuojama, kaip klaida priklauso nuo kiekvieno parametro. Optimizavimo algoritmas pagal šią informaciją pakoreguoja svorius.

Daug kartų kartojant mokymo procesą siekiama sumažinti klaidą. Išmokytą modelį galima išbandyti su naujais duomenimis, kurių jis mokymo metu negavo.

Išsamesnis paaiškinimas: IBM – kaip veikia klaidos sklidimas atgal.

Pirmasis animacijos kadras: neuroninis tinklas apdoroja katės vaizdą, o išvesties prognozė yra 0,7. — Šuns ir katės atpažinimo animacijoje ryšių linijų storis rodo svorius, o išvesties reikšmė iliustruoja modelio apskaičiuotą katės kategorijos tikimybę.

01

Skaičiavimas pirmyn

Įvesties vaizdas apdorojamas tinkle ir gaunama prognozė.

02

Klaidos skaičiavimas

Prognozė palyginama su teisinga mokymo pavyzdžio žyma.

03

Svorių koregavimas

Judant atgal apskaičiuojama, kaip klaida priklauso nuo kiekvieno parametro, ir parametrai pakoreguojami.

Ką parodo parametrų skaičius?

Modelio dydis dažnai apibūdinamas parametrų ir sluoksnių skaičiumi. Svarbus ir sluoksnių plotis, t. y. neuronų skaičius kiekviename sluoksnyje.

Didesnis parametrų skaičius reiškia daugiau išmokstamų skaitinių reikšmių. Tačiau vien šis skaičius neįrodo, kad modelis geriau atliks konkrečią užduotį.

Našumą lemia tinklo architektūra, mokymo duomenų apimtis ir kokybė, aktyvavimo funkcijos, mokymo algoritmai ir pačios užduoties pobūdis.

Šuns ir katės vaizdų atpažinimo modelio dydis taip pat priklauso nuo pasirinktos architektūros. Nėra bendro reikalavimo, kad kiekvienam tokiam modeliui reikėtų bent vieno milijono parametrų.

Skirtingos užduotys – skirtingi tinklai

Atsiradus perceptronui, buvo sukurta daugybė neuroninių tinklų architektūrų. Jų struktūra priklauso nuo sprendžiamos problemos: sekų ir laiko eilučių apdorojimo, vaizdų atpažinimo, duomenų glaudinimo ar naujo turinio kūrimo.

Neuroninių tinklų ir mašininio mokymosi architektūrų palyginimas, įskaitant konvoliucinius, generatyviuosius ir liekamuosius tinklus. — Skirtingi modeliai ir ryšių struktūros. Paveiksle parodyta atraminių vektorių mašina (SVM) yra mašininio mokymosi metodas, o ne neuroninis tinklas. Dokumente nurodytas paveikslo šaltinis: deep-learning-site.com.

01

Vaizdų apdorojimas

Vaizdinių požymių, formų ir objektų atpažinimas.

02

Sekos

Susijusių kalbos arba laiko eilučių duomenų apdorojimas.

03

Transformavimas

Glaudinimas, dėsningumų atpažinimas ir naujo turinio kūrimas.

Kurį „variklį“ rinktis?

Daugumoje DI programų galima rinktis iš kelių modelių. Toje pačioje programoje tai skirtingi „varikliai“, pritaikyti skirtingiems gebėjimams, veikimo greičiui ir užduotims.

Tikslumas

Samprotavimas

Kelių etapų uždaviniui gali reikėti modelio, nuosekliai įvertinančio sąlygas ir sąryšius.

Atsakymo laikas

Greitis

Paprastam klausimui ar trumpam teksto perrašymui greitas atsakymas gali būti svarbesnis už sudėtingą analizę.

Specializacija

Programavimas ir matematika

Modeliai gali skirtis gebėjimu programuoti, ieškoti klaidų ir atlikti skaičiavimus.

Kontekstas

Teksto suvokimas

Dirbant su ilgais dokumentais svarbu, kiek teksto modelis gali apdoroti ir kaip gerai seka detales.

Kūrimas

Kūrybiškumas

Generuojant idėjas, rašant tekstus ir kuriant mokomąją medžiagą svarbūs stilius, įvairovė ir nurodymų laikymasis.

Konfigūracija

Įrankių naudojimas

Paieškos internete, failų analizės ir kitų įrankių prieinamumas taip pat priklauso nuo programos ir paskyros nuostatų.

Giliojo mokymosi išteklių poreikis

Nuo dirbtinio neurono, apdorojančio kelias įvestis, pažengėme iki sistemų su daugybe milijardų parametrų, kurios apdoroja tekstą, vaizdus ir garsą. Giliojo mokymosi pasiekimams reikia daug duomenų ir skaičiavimo išteklių.

Mokymas

Modelio kūrimas

Dideliems modeliams mokyti gali reikėti didelio našumo grafikos procesorių, ilgo darbo laiko ir daug energijos. Duomenų rinkimas, valymas ir parengimas taip pat sudaro didelę sąnaudų dalį.

Mokymo trukmė priklauso nuo modelio dydžio, duomenų apimties ir turimos įrangos; didžiausi modeliai gali būti mokomi kelis mėnesius.

Naudojimas · išvadų darymas

Išmokyto modelio naudojimas

Vienam atsakymui sugeneruoti paprastai reikia gerokai mažiau išteklių nei visam modeliui išmokyti. Tačiau naudojant modelį itin intensyviai bendrosios sąnaudos gali būti didelės.

Kaina priklauso nuo pasirinkto modelio, įvesties ir išvesties ilgio, įrankių naudojimo ir programos kainodaros.

Svarbu, kurį modelį pasirenkate

Paprasta užduotis

„Kokia yra Prancūzijos sostinė?“

Trumpam klausimui apie gerai žinomą faktą dažnai pakanka greito, mažiau išteklių naudojančio modelio.

Visada naudojant didžiausią modelį paprastoms užduotims gali be reikalo ilgėti laukimo laikas ir didėti išteklių sąnaudos.

Sudėtinga užduotis

„Išanalizuok šią aštuoniasdešimties puslapių paraišką, nustatyk prieštaravimus ir pasiūlyk patobulinimų pagal ES vertinimo kriterijus“

Prieštaravimams nustatyti ir patobulinimams pagal ES vertinimo kriterijus pasiūlyti reikia kelių veiksmų, ilgo teksto apdorojimo ir kruopštaus samprotavimo.

Čia svarbūs modelio gebėjimai, aiškiai apibrėžti kriterijai ir žmogaus atliekama rezultatų peržiūra.

Užtikrintas atsakymas gali būti klaidingas

Išmokyti modeliai pateikia įverčius. Jų našumą riboja mokymo duomenys, metodai ir naujų situacijų skirtumai. Geresni algoritmai gali sumažinti klaidų skaičių, tačiau negarantuoja teisingų atsakymų visais atvejais.

Objektų atpažinimo programos šalia kategorijos dažnai rodo skaitinę reikšmę. Tai modelio pasitikėjimo įvertis; jis nebūtinai sutampa su tikrąja prognozės teisingumo tikimybe.

Tekstiniai atsakymai taip pat gali būti klaidingi, net jei pasitikėjimo reikšmė nerodoma. Sklandi formuluotė nėra teisingumo įrodymas.

Žmonių ir valties atpažinimas burlaivyje, su žymomis „žmogus“ ir „valtis“ bei įvairiais pasitikėjimo įverčiais. — Objektų atpažinimo sistema vaizdo dalims priskiria kategorijas ir įverčius. Paveikslo šaltinis: Arteries.

Kada ir kaip tikrinti?

Klausimas „ChatGPT“

Kaip galime pasitikėti DI atsakymais, jei jis dažnai klysta?

Atsakymas

Nereikėtų juo aklai pasitikėti, tačiau jis vis tiek gali būti labai naudingas įrankis. Vertėtų jį laikyti itin daug žinančiu, greitu ir paslaugiu asistentu, kuris dažniausiai atsako gerai, bet kartais gali užtikrintai pateikti klaidingą atsakymą.

Pasitikėjimo lygis taip pat priklauso nuo klausimo pobūdžio.

01

Didelis patikimumas

Matematika (jei nepadaroma skaičiavimo klaida), programavimas, gramatika, bendrosios mokslo žinios ir sąvokų aiškinimas.

02

Vidutinis patikimumas

Istorinės detalės, mažiau žinomi faktai ir profesinės santraukos.

03

Mažesnis patikimumas be išorinio patikrinimo

Naujausios žinios, galiojantys teisės aktai, akcijų rinkos duomenys, retai skelbiami statistiniai duomenys, konkrečios citatos ir tikslios nuorodos.

Žinių patikrinimas

Pasitikrinkite, ką išmokote!

Pasirinkite po vieną atsakymą į kiekvieną klausimą, tada peržiūrėkite rezultatą ir paaiškinimus.

1Kaip susiję DI, mašininis mokymasis ir gilusis mokymasis? Visos trys sąvokos reiškia tą patį. Gilusis mokymasis yra mašininio mokymosi dalis, o šis – DI dalis. Kiekviena DI sistema taiko gilųjį mokymąsi.

2Kas keičiasi perceptronui mokantis? Teisinga mokymo pavyzdžio žyma pakeičiama taip, kad sutaptų su modelio prognoze. Neuronas tampa tikra biologine nervine ląstele. Išmokstami ryšių svoriai koreguojami pagal klaidas.

3Ką daro klaidos sklidimo atgal algoritmas? Judėdamas atgal nuo išvesties klaidos apskaičiuoja, kaip klaida priklauso nuo parametrų. Ištrina visus klaidingus mokymo vaizdus. Garantuoja, kad išmokytas modelis niekada daugiau nesuklys.

4Kuris teiginys apie parametrų skaičių teisingas? Daugiau parametrų garantuoja geresnius rezultatus atliekant bet kurią užduotį. Skaičius yra svarbus dydžio rodiklis, tačiau našumą lemia ir architektūra bei mokymo duomenys. Parametrų skaičius sutampa su naudotojų skaičiumi.

5Ką reiškia didelis vaizdų atpažinimo modelio pasitikėjimo įvertis? Modelis tvirtai palaiko tą kategoriją, tačiau prognozė gali būti klaidinga. Rezultatas tikrai teisingas ir jo tikrinti nereikia. Modelis vaizdą supranta taip pat kaip žmogus.

6Kaip pasirinkti modelį ilgai paraiškai analizuoti? Tik pagal modelio pavadinimą. Visada rinktis modelį, pateikiantį trumpiausią atsakymą. Pagal teksto apdorojimą, samprotavimą, įrankius, kainą ir savo bandymo rezultatus.

Rengėjai ir priedai

Rengėjai ir autorių teisės

Autorė: Mária Hartyányi„iTStudy Hungary“ mokymo ir tyrimų centras
Recenzentas: Zsolt Lengyel„iTStudy Hungary“ mokymo ir tyrimų centras
Projektas: 2025-1-LT01-KA220-VET-000362456
Mokomoji medžiaga: M1-T1-MLC2

Priedai

Atsisiųsti mokomąją medžiagą lietuvių kalbaM1-T1-MLC2-TEXT-LT.pdf Atsisiųsti praktinę užduotįM1-T1-MLC2-EXC-LT.pdf

„Creative Commons“ priskyrimo ir analogiško platinimo emblema

Šį kūrinį galima pakartotinai naudoti ir adaptuoti pagal „Creative Commons“ priskyrimo ir analogiško platinimo 4.0 tarptautinės licencijos (CC BY-SA 4.0) sąlygas.

Finansuoja Europos Sąjunga. Išsakytos nuomonės ir požiūriai priklauso tik autoriui (-iams) ir nebūtinai atspindi Europos Sąjungos ar nacionalinės agentūros nuomonę.