Szakképzési innováció – tanítás a mesterséges intelligencia eszközeivel
Interaktív tananyag · M1-T1-MLC2
Mélytanulás
Mesterséges neurális hálózatok
Szerző
Lengyel ZsoltiTStudy Hungary Oktató- és Kutatóközpont
Lektor
Hartyányi MáriaiTStudy Hungary Oktató- és Kutatóközpont
A természetes ideghálózat ihlette matematikai modell.
Tanulási cél
A mesterséges intelligencia felelős használatához meg kell ismerni a működését irányító mechanizmusokat. Ez a tananyag világos képet nyújt a fejlett MI-rendszerek működésének alapelveiről, mély matematikai vagy programozási ismeretek nélkül.
A tananyag végére képes leszel
értelmezni a mesterséges neurális hálózat, a mélytanulás, a tanítóadat és a paraméter fogalmát;
elmagyarázni, hogyan jut el egy neurális hálózat a bemenettől a kimenetig, és hogyan tanul a hibákból;
különbséget tenni a modellek között teljesítmény és erőforrásigény alapján;
megindokolni a modellek korlátait, és tudatosan ellenőrizni a válaszaikat.
Az ötletet az agy adta
A hatékony gépi tanulási módszerek fejlesztését az emberi agyban zajló folyamatok tanulmányozása is inspirálta. Az idegtudósok megfigyelték, hogy tanulás közben az idegsejtek közötti kapcsolatok átalakulnak: egyes kapcsolatok megerősödnek, mások gyengülnek.
Ez a felismerés vezetett a mesterséges neurális hálózatok kifejlesztéséhez. Angol nevük Artificial Neural Networks, röviden ANN.
A mesterséges hálózat erősen leegyszerűsített matematikai modell.
A gépi tanulástól a mélytanulásig
Mesterséges intelligencia (MI, angolul AI): átfogó fogalom. Olyan számítógépes megoldásokat foglal magában, amelyek az emberi intelligenciához kapcsolódó valamely képességet modellezik.
Gépi tanulás (ML): az MI egyik részterülete. A rendszer adatokból ismer fel mintázatokat, ahelyett, hogy minden szabályt előre, kézzel megadnánk.
Mélytanulás (DL): a gépi tanulás szűkebb területe, amely több feldolgozási réteggel működő mesterséges neurális hálózatokra épít.
Minden mélytanulási rendszer gépi tanulás és egyben MI-megoldás is. Nem minden gépi tanulási módszer használ neurális hálózatot.
AI = mesterséges intelligencia · ML = gépi tanulás · DL = mélytanulás.
A modern nyelvi modellek mélytanulással sajátítanak el nyelvi mintázatokat. Ez teszi lehetővé, hogy az MI-alkalmazásokkal hétköznapi emberi nyelven kommunikáljunk.
A perceptron: egy korai mérföldkő
A neurális hálózatok történetének egyik korai mérföldköve a perceptron. Frank Rosenblatt, a Cornell Egyetem kutatója az 1950-es évek végén mutatta be a tanulásra képes rendszerét; 1958-ban publikálta a perceptron modelljét.
A Mark I Perceptron elektromechanikus berendezés volt. A 20 × 20-as fotocellaháló a bemeneti képet 400 érzékelési ponttal rögzítette. A kapcsolatok erősségét elektromechanikus eszközök tárolták és módosították.
A rendszer ellenőrzött körülmények között egyszerű vizuális mintázatok megkülönböztetésére tanult. Felügyelt tanulást alkalmazott: a kezelő megadta a bemenethez tartozó helyes kategóriát, a perceptron pedig összehasonlította ezt a saját válaszával. Hibás válasz esetén módosította a kapcsolatok súlyait.
Frank Rosenblatt és a perceptron. Képforrás: Computer History Museum.
Mit számol egy mesterséges neuron?
Minden bemeneti értékhez (x) egy súly (w) tartozik. A neuron megszorozza a bemeneteket a súlyaikkal, összeadja őket, majd egy aktivációs függvény segítségével kimenetet állít elő.
A súlyok azt szabályozzák, hogyan járuljanak hozzá a bemenetek a kimenethez. A tanulás során ezek és más tanulható számértékek, például az eltolások, módosulnak: ezeket nevezzük paramétereknek.
A perceptron 0 vagy 1 kimenete két kategória egyikét jelöli. A helyes címkével való összehasonlításból derül ki, hogy jól tippelt-e.
Bemenet → súlyozott összeg → aktiváció → kimenet.
Próbáld ki!
Hogyan változtatja meg a súly a döntést?
Ebben az egyszerű példában x₁ = 1, x₂ = 1. Ha a súlyozott összeg legalább 1, a kimenet 1; egyébként 0. Mozgasd a csúszkákat!
Kimenet:
A példa a számítást szemlélteti. A csúszkák kézi állítása önmagában nem automatikus tanulás.
A többrétegű neurális hálók és paramétereik
A továbblépést az jelentette, hogy több mesterséges neuront kapcsoltak össze, és a feldolgozást több egymást követő rétegben végezték. A növekvő számítási kapacitás összetettebb hálózatok tanítását is lehetővé tette.
A bemeneti és a kimeneti réteg közé rejtett rétegek kerülnek. Ezek egymás kimeneteit dolgozzák fel: a korábbi rétegek egyszerűbb jellemzőiből a későbbiek összetettebb mintázatokat építhetnek.
A „mély” szó a feldolgozás sok egymásra épülő rétegére utal. A háttérben továbbra is matematikai műveletek és tanulható paraméterek állnak.
A feldolgozandó adat, például egy kép képpontjainak értékei.
02
Rejtett rétegek
Az adatok egymásra épülő átalakításai, a tanult súlyokkal.
03
Kimenet
A feladathoz tartozó eredmény: például egy kategória becslése.
Az élektől az arc felismeréséig
Egy képfelismerő hálózat kezdeti rétegei egyszerű vizuális jellemzőket, például éleket és kontrasztokat dolgozhatnak fel. A következő rétegek ezekből alakzatokat és részleteket, később pedig összetettebb tárgy- vagy arcmintázatokat állíthatnak össze.
A hálózat nem emberi szemmel „nézi” a képet. Számértékeket alakít át, és a tanítás során megtanult összefüggésekkel dolgozik.
Egymásra épülő jellemzők egy arcfelismerő példában. Forrás: NVIDIA.
Tanulás a hibákból
A többrétegű hálózatok hatékony tanítását a hibavisszaterjesztés, angolul backpropagation, tette széles körben használhatóvá.
A tanítás során a hálózat válaszát összehasonlítjuk a kívánt eredménnyel. A kimeneti hibából visszafelé haladva a hibavisszaterjesztés kiszámítja, hogyan függ a hiba az egyes paraméterektől. Az optimalizáló algoritmus ez alapján módosítja a súlyokat.
A sokszor megismételt tanítás célja a hiba csökkentése. A kész modell ezután új, a tanításban nem szereplő adatokon is kipróbálható.
A kutya–macska példát bemutató animációban a kapcsolatok vastagsága a súlyokat, a kimeneti érték a macska kategória becsült valószínűségét szemlélteti.
01
Előrehaladás
A bemeneti kép átjut a hálózaton, és megszületik a becslés.
02
Hibaszámítás
Összehasonlítjuk a becslést a tanítóadat helyes címkéjével.
03
Súlymódosítás
Visszafelé kiszámítjuk a hiba érzékenységét, majd módosítjuk a paramétereket.
Mit mond el a paraméterszám?
A modellek méretét gyakran a paraméterek és a rétegek számával jellemzik. A rétegek szélessége, vagyis a bennük található neuronok száma szintén fontos.
A nagyobb paraméterszám több tanulható számértéket jelent. Önmagában azonban nem bizonyítja, hogy a modell egy adott feladatot jobban old meg.
A teljesítményt a hálózat felépítése, a tanítóadat mennyisége és minősége, az aktivációs függvények, a tanítási eljárás és a feladat jellege együtt befolyásolja.
Egy kutya–macska képfelismerő mérete is a választott architektúrától függ. Nincs minden ilyen modellre érvényes, kötelező egymilliós paraméterminimum.
Sokféle feladat, sokféle hálózat
A perceptron óta sokféle neurális hálózati architektúra alakult ki. A felépítés attól függ, milyen problémát szeretnénk megoldani: sorozatokat és időbeli adatokat feldolgozni, képeket felismerni, adatokat tömöríteni vagy új tartalmat létrehozni.
Eltérő modellek és kapcsolati szerkezetek. A forrásábrán szereplő SVM gépi tanulási módszer, nem neurális hálózat. Képforrás a dokumentum szerint: deep-learning-site.com.
01
Képfeldolgozás
Vizuális jellemzők, alakzatok és objektumok felismerése.
02
Sorozatok
Egymáshoz kapcsolódó nyelvi vagy időbeli adatok feldolgozása.
03
Átalakítás
Tömörítés, mintázatkeresés és új tartalom létrehozása.
Melyik „motorral” dolgozzunk?
Sok MI-alkalmazásban több modell közül választhatunk. Ugyanabban az alkalmazásban ezek különböző „motorok”: eltérő képességekre, sebességre és feladattípusokra optimalizálták őket.
Pontosság
Következtetés
Egy több lépésből álló problémához olyan modell lehet megfelelő, amely következetesen kezeli a feltételeket és az összefüggéseket.
Válaszidő
Sebesség
Egyszerű kérdésnél vagy rövid szöveg átírásánál a gyors válasz fontosabb lehet a bonyolult elemzésnél.
Szakterület
Kód és matematika
A programozásban, hibakeresésben és számításban mutatott teljesítmény modellenként eltérhet.
Összefüggések
Szövegértés
Hosszú dokumentumoknál számít, mennyi szöveget tud a modell kezelni, és milyen jól követi annak részleteit.
Alkotás
Kreativitás
Ötletelésnél, szövegírásnál és tananyagkészítésnél a stílus, a változatosság és az utasítások követése is fontos.
Konfiguráció
Eszközhasználat
A webes keresés, fájlelemzés és más eszközök elérhetősége az alkalmazás és a fiók beállításaitól is függ.
A mélytanulás erőforrásigénye
A néhány bemenetet kezelő mesterséges neurontól a sok milliárd paramétert használó, szöveget, képet és hangot feldolgozó rendszerekig jutottunk. A mélytanulás sikerei mögött jelentős adat- és számítási igény áll.
Betanítás
A modell létrehozása
A nagy modellek tanítása nagy teljesítményű grafikus processzorokat, hosszú futási időt és jelentős energiafelhasználást igényelhet. Az adatok gyűjtése, tisztítása és előkészítése is nagy költség.
A tanítás időtartama a modell méretétől, az adatmennyiségtől és a rendelkezésre álló hardvertől függ; a legnagyobb modelleknél hónapokra is szükség lehet.
Használat · következtetés
A kész modell futtatása
Egy válasz előállítása általában jóval kevesebb erőforrást igényel, mint a teljes modell betanítása. Nagy forgalomnál a használat összesített költsége is jelentős lehet.
A költséget a választott modell, a bemenet és a kimenet hossza, az eszközhasználat, valamint az alkalmazás díjazása együttesen befolyásolja.
Nem mindegy, melyik modellt választod
Egyszerű feladat
„Mi Franciaország fővárosa?”
Egy ismert tényre vonatkozó rövid kérdéshez gyakran egy gyors, kisebb erőforrásigényű modell is elegendő.
Ha egyszerű feladatokra mindig a legnagyobb modellt használod, feleslegesen növekedhet a várakozási idő és a fogyasztás.
Összetett feladat
„Elemezd ezt a nyolcvan oldalas pályázatot, keresd meg az ellentmondásokat, majd javasolj javításokat az EU-s értékelési szempontok alapján”
Ellentmondások keresése és az EU-s értékelési szempontok szerinti javítás több lépést, hosszú szöveg kezelését és gondos következtetést igényel.
Itt számít a modell képessége, a megadott szempontok pontossága és az eredmény emberi ellenőrzése.
A magabiztos válasz is lehet hibás
A tanult modellek becsléseket készítenek. Teljesítményüket a tanítóadatok, a módszer és az új helyzetek eltérései korlátozzák. A jobb algoritmusok csökkenthetik a hibákat, de nem garantálnak minden helyzetben tévedhetetlen választ.
Az objektumfelismerő alkalmazások gyakran számértéket is megjelenítenek a kategória mellett. Ez a modell bizonyossági pontszáma; nem feltétlenül egyezik meg a valós helyesség valószínűségével.
A szöveges válaszoknál is fennáll a hiba lehetősége, akkor is, ha nem látszik bizonyossági érték. A gördülékeny megfogalmazás nem bizonyíték a helyességre.
Az objektumfelismerő a kép részleteihez kategóriákat és pontszámokat rendel. Képforrás: Arteries.
Úgy használd, mint egy gyors, sokféle feladatban segítő eszközt, amelynek eredményeit a feladat tétjéhez mérten ellenőrzöd. Kérj forrásokat, ellenőrizd a hivatkozásokat, futtasd le a számításokat vagy kódot, és különítsd el a tényeket az értelmezésektől. Az MI által megadott forrás létezését is ellenőrizni kell.
Mikor és hogyan ellenőrizzünk?
Prompt a ChatGPT-hez
Hogyan bízhatunk meg az MI válaszaiban, ha gyakran téved?
Válasz
Nem szabad vakon megbízni benne, de ettől még nagyon hasznos eszköz lehet. Érdemes úgy tekinteni rá, mint egy rendkívül művelt, gyors és segítőkész asszisztensre, aki általában jól válaszol, de néha magabiztosan tévedhet.
A bizalom szintje attól is függ, hogy milyen típusú kérdésről van szó.
01
Magas megbízhatóság
Matematika (ha nincs számolási hiba), programozás, nyelvtan, általános természettudományos ismeretek és fogalmak magyarázata.
02
Közepes megbízhatóság
Történelmi részletek, kevésbé ismert tények és szakmai összefoglalók.
03
Külső ellenőrzés nélkül alacsonyabb megbízhatóság
Friss hírek, aktuális jogszabályok, tőzsdei adatok, ritka statisztikák, konkrét idézetek és pontos hivatkozások.
Tudáspróba
Ellenőrizd, mit tanultál!
Jelölj meg minden kérdésnél egy választ, majd nézd meg az eredményt és a magyarázatokat.
Közreműködők és csatolmányok
Impresszum és szerzői jog
Szerző
Lengyel ZsoltiTStudy Hungary Oktató- és Kutatóközpont
Lektor
Hartyányi MáriaiTStudy Hungary Oktató- és Kutatóközpont
Az Európai Unió finanszírozásával. A kifejtett nézetek és vélemények kizárólag a szerző(k)éi, és nem feltétlenül tükrözik az Európai Unió vagy a Nemzeti Ügynökség álláspontját.
