Hej tamo! Kao dobavljač transformatora, postavljao sam puno pitanja o tome kako se pozicioni kodiranje koriste u transformatoru. Dakle, pomislio sam da ću uzeti trenutak da to razbijem na način koji je lako razumljiv.
Prvo, razgovarajmo o tome što je transformator. Ako ste u električnom svijetu poput mene, transformator je uređaj koji prenosi električnu energiju između dva ili više krugova putem elektromagnetske indukcije. Ali u kontekstu strojnog učenja, transformator je vrsta arhitekture neuronske mreže koja je zaista dobra u rukovanju sekvencijalnim podacima, poput teksta. Upoznat je u radu "Pažnja je sve što trebate" i od tada je postala glavna u zadacima obrade prirodnog jezika.
Sada, pozicijski kodiranje. U transformatoru, ulazni podaci obično su niz tokena, poput riječi u rečenici. Ali tu je stvar: sama arhitektura transformatora nema nikakvu izgrađenu - na način da shvati redoslijed tih tokena. Za razliku od nekih drugih arhitektura neuronske mreže poput ponavljajućih neuronskih mreža (RNNS) koje obrađuju podatke uzastopno, transformator istovremeno obrađuje sve tokene u nizu. Tu dolaze pozicijski kodiranje.
Pozicijski kodiranje način je za ubrizgavanje podataka o položaju svakog tokena u slijedu u model. Dodaju se u unose ugradnje tokena. Ideja je dati modelu osjećaj gdje se svaki token nalazi u nizu.
Jedan od uobičajenih načina generiranja pozicijskih kodiranja je korištenje funkcija sinus i kosinusa. Pozicijsko kodiranje za token na položaju (POS) u nizu i dimenziji (I) izračunava se na sljedeći način:
Za čak dimenzije ((i = 2k)):
(PE _ {(POS, 2K)} = \ sin \ lijevo (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}} \ desno))
Za neobične dimenzije ((i = 2k + 1)):
(PE _ {(POS, 2K+1)} = \ cos \ lijevo (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}}} \ desno))
Ovdje je (d_ {model}) dimenzija ugradnje modela. Ovaj pristup ima nekoliko prednosti. Prvo, omogućuje modelu da nauči relativne položaje između tokena. Na primjer, razlika između pozicijskih kodiranja dva tokena ovisi samo o njihovim relativnim položajima, a ne o njihovim apsolutnim položajima u nizu. Drugo, računalno je učinkovit i može podnijeti nizove proizvoljne duljine.
Dakle, kako transformator koristi ove pozicijske kodiranja? Pa, nakon što se generiraju pozicijski kodiranje, oni se jednostavno dodaju element - mudri u ugradnja tokena. Dakle, ako je (e_ {POS}) pozicioniranje kodiranja za token na položaju (POS) i (T_ {POS}) je token ugradnja, ulaz u transformatorski koder ili sloj dekodera za taj token je (i_ {POS {{POS}+e_ {POS}).
Jednom kada se ulaz s pozicioniranim informacijama unosi u transformator, mehanizam samo -pažnje može početi raditi. Mehanizam samo -pažnje omogućuje modelu da odmjera važnost različitih tokena u nizu prilikom obrade svakog tokena. S pozicijskim kodiranjem, model sada može uzeti u obzir ne samo semantičko značenje tokena, već i njihove položaje u nizu.
Recimo da radite na zadatku za prijevod u tekstu. Bez pozicijskih kodiranja, model bi se mogao boriti za razumijevanje ispravnog redoslijeda riječi u rečenici. Na primjer, na engleskom jeziku rečenica "pas juri mačku" ima drugačije značenje od "mačka juri psa". Pozicijski kodiranje pomažu modelu razlikovati ove dvije različite sekvence i generirati preciznije prijevode.
U poslovanju s električnim transformatorima također se bavimo različitim vrstama transformatora kako bismo zadovoljili različite potrebe. Na primjer, imamo167 KVA transformator telefona. Ova vrsta transformatora dizajnirana je za instaliranje na telefonskim stupovima i prikladna je za određene aplikacije za distribuciju niskog napona.
Također nudimo20kV trofazno ulje - uronjeni distribucijski transformatori. Ovi se transformatori koriste u tri fazne elektroenergetske sustave i uronjeni su u ulje za bolju izolaciju i hlađenje. A ako tražite nešto s nižim ocjenom napona, naše10kV ulje - uronjeni distribucijski transformatorisu sjajna opcija. Naširoko se koriste u lokalnim distribucijskim mrežama.
Ako ste na tržištu za transformatore, bilo da se radi o vašem istraživanju strojnog učenja ili električnoj infrastrukturi, tu smo da pomognemo. Imamo širok raspon transformatora visoke kvalitete. Naš tim stručnjaka može vam pomoći u odabiru pravog transformatora za vaše specifične zahtjeve. Ne ustručavajte se pružiti savjetovanje i započnimo razgovor o vašim potrebama. Spremni smo raditi s vama kako bismo pronašli najbolja rješenja.
REFERENCE:
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... ... & Polosukhin, I. (2017). Pažnja je sve što trebate. Napredak u sustavima za obradu neuronskih informacija,