Višezadatno učenje
Višezadatno učenje (engl. Multi-task learning, MTL) je potpolje machine learning u kome se istovremeno rešava više zadataka za učenje, uz iskorišćavanje zajedničkih svojstava i razlika između zadataka. Ovo može dovesti do poboljšane efikasnosti učenja i tačnosti predviđanja za modele specifične za zadatak, u poređenju sa odvojenom obukom modela.[1][2][3] U suštini, učenje sa više zadataka je problem optimizacije sa više ciljeva koji ima kompromise između različitih zadataka.[4] Rane verzije MTL-a su se zvale „nagoveštaji“.[5][6]
U široko citiranom radu iz 1997, Rič Karuana je dao sledeću karakterizaciju:
Višezadatno učenje je pristup induktivnom prenosu koji poboljšava generalizaciju korišćenjem informacija o domenu sadržanih u signalima obuke povezanih zadataka kao induktivnom pristrasnošću. To radi tako što paralelno uči zadatke dok koristi zajedničku reprezentaciju; ono što se nauči za svaki zadatak može pomoći da se drugi zadaci bolje nauče.[3]
U kontekstu klasifikacije, MTL ima za cilj da poboljša performanse višestrukih klasifikacionih zadataka učeći ih zajedno. Jedan primer je filter za neželjenu poštu, koji se može tretirati kao različiti, ali povezani zadaci klasifikacije među različitim korisnicima. Da bi ovo bilo konkretnije, uzmite u obzir da različiti ljudi imaju različite distribucije funkcija koje razlikuju neželjene e-poruke od legitimnih, na primer, govornik engleskog može otkriti da su svi mejlovi na ruskom spam, a ne za one koji govore ruski. Ipak, postoji određena sličnost u ovom zadatku klasifikacije među korisnicima, na primer, jedna zajednička karakteristika može biti tekst koji se odnosi na transfer novca. Zajedničko rešavanje problema klasifikacije neželjene pošte svakog korisnika putem MTL-a može omogućiti rešenjima da se međusobno informišu i poboljšaju performanse. Dalji primeri podešavanja za MTL uključuju višeklasnu klasifikaciju i klasifikaciju sa više oznaka.[7]
Učenje sa više zadataka funkcioniše zato što regularizacija izazvana zahtevom da algoritam dobro obavlja srodni zadatak može biti superiornija od regularizacije koja sprečava prekomerno prilagođavanje tako što će svu složenost kažnjavati ujednačeno. Jedna situacija u kojoj MTL može biti od posebnog značaja je ako zadaci imaju značajne zajedničke karakteristike i generalno su malo manje uzorkovani.[8] Međutim, kao što je objašnjeno u nastavku, MTL se takođe pokazao korisnim za učenje nepovezanih zadataka.[8][9]
Reference
[уреди | уреди извор]- ^ Baxter, J. (2000). A model of inductive bias learning" Journal of Artificial Intelligence Research 12:149--198, On-line paper
- ^ Thrun, S. (1996). Is learning the n-th thing any easier than learning the first?. In Advances in Neural Information Processing Systems 8, pp. 640--646. MIT Press. Paper at Citeseer
- ^ а б Caruana, R. (1997). „Multi-task learning” (PDF). Machine Learning. 28: 41—75. doi:10.1023/A:1007379606734
.
- ^ Multi-Task Learning as Multi-Objective Optimization Part of Advances in Neural Information Processing Systems 31 (NeurIPS 2018), https://proceedings.neurips.cc/paper/2018/hash/432aca3a1e345e339f35a30c8f65edce-Abstract.html
- ^ Suddarth, S., Kergosien, Y. (1990). Rule-injection hints as a means of improving network performance and learning time. EURASIP Workshop. Neural Networks pp. 120-129. Lecture Notes in Computer Science. Springer.
- ^ Abu-Mostafa, Y. S. (1990). „Learning from hints in neural networks”. Journal of Complexity. 6 (2): 192—198. doi:10.1016/0885-064x(90)90006-y .
- ^ Ciliberto, C. (2015). „Convex Learning of Multiple Tasks and their Structure”. arXiv:1504.03101 [cs.LG].
- ^ а б Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NIPS 2018), Montréal, Canada. arXiv:1810.09433
- ^ Romera-Paredes, B., Argyriou, A., Bianchi-Berthouze, N., & Pontil, M., (2012) Exploiting Unrelated Tasks in Multi-Task Learning. http://jmlr.csail.mit.edu/proceedings/papers/v22/romera12/romera12.pdf
Spoljašnje veze
[уреди | уреди извор]- The Biosignals Intelligence Group at UIUC
- Washington University in St. Louis Depart. of Computer Science[мртва веза]
- The Multi-Task Learning via Structural Regularization Package[мртва веза]
- Online Multi-Task Learning Toolkit (OMT) A general-purpose online multi-task learning toolkit based on conditional random field models and stochastic gradient descent training (C#, .NET)