No EPFL jauns multimodāls modelis elastīgākam AI

Neatkarīgi no tā, vai mēs runājam par OpenAI vai ChatGPT, lielākā daļa tērzēšanas robotu ģeneratīvais mākslīgais intelekts ir balstīti uz t.s Lielo valodu modelis (LLM), modeļi no dziļa mācīšanās plašā mērogā apmācīti sniegt atbildes uz viņiem uzdotajiem jautājumiem, apgūstot informāciju, izmantojot lielu teksta daudzumu.

Pēdējā robežaĢeneratīvais AI ir multimodālie modeļi, kas apvieno valodas izpratni un attēlus, video un audio, lai piedāvātu vēl progresīvāku pieredzi un pakalpojumu.

Tomēr to izveide rada vairākas problēmas, jo īpaši, ja nolūks ir izveidot multimodālus modeļus mazā mērogā: bieži trūkstošo datu klātbūtne informācijas nepieejamības dēļ, gandrīz vienmēr resursu daļējas pieejamības dēļ.

Īsāk sakot, risks ir tāds, ka modelis mācās, pamatojoties uz trūkumu, un ka aprēķini un prognozes tiek izkropļotas. Un šeit EPFL sāka savu jauno projektu.

No Lozannas Tehniskās universitātes un Cīrihes koalīcija zaļajai enerģijai
3D formātā tehnoloģiskais cimds, kas virtuālo realitāti padarīs taustāmu

MultiModN, modulārais multimodālais modelis, kas dzimis Lozannā

Pētnieki Lozannas federālā politehniskā augstskola (EPFL), kas ir viena no labākajām universitātēm pasaulē inženierzinātņu un informācijas tehnoloģiju ziņā, faktiski ir attīstījušās MultiModN, unikāls modulārs multimodāls modelis, kas nesen tika prezentēts NeurIPS2023.

Pētnieki no mašīnmācības izglītības (ML4ED) un mašīnmācīšanās un optimizācijas (MLO) laboratorijām EPFL Datorzinātņu un komunikācijas skolā nolēma izstrādāt un pārbaudīt tieši pretēju lielai, bet domāt mazākā mērogā.

Skolotājas vadībā Mērija Anne Hārtlija, MLO un Jēlas Medicīnas skolas kopīgi rīkotās Globālās viedo veselības tehnoloģiju laboratorijas direktors un profesors Tanja Kāsere, ML4ED direktors, komanda izveidoja multimodālu modeli, kas var mācīties no teksta, attēliem, video un skaņām, bet kas, atšķirībā no esošajiem, sastāv no mainīgs mazāku moduļu skaits, autonoma un specifiska ievade.

Pēdējo var atlasīt, pamatojoties uz pieejamo informāciju, un pēc tam apvienot jebkura skaitļa, kombinācijas vai ievades veida secībā. Tāpēc tas var radīt jebkuru prognožu skaitu vai kombināciju.

"Mēs novērtējām MultiModN desmit reālas darbības, tostarp atbalsts medicīniskajai diagnostikai, akadēmiskā sasnieguma prognozēšanai un laikapstākļu prognozēšanai. viņš paskaidroja Vinitra Svamija, ML4ED un MLO doktorants un pirmais projekta līdzautors.

"Izmantojot šos eksperimentus, mēs uzskatām, ka MultiModN ir pirmā būtībā interpretējamā un trūkstošo datu izturīga pieeja multimodālai modelēšanai".

EPFL "recepte" jaudīgākiem kvantu datoriem
No mākslīgā intelekta izšķirošs stimuls kriptovalūtām?

Pirmais lietošanas gadījums: klīniskie lēmumi medicīnas personālam

Pirmais MultiModN lietošanas gadījums būs kā atbalsta sistēma klīniskie lēmumi medicīnas personālam ierobežotu resursu apstākļos.

Faktiski veselības aprūpes nozarē klīnisko datu bieži trūkst, iespējams, ierobežoto resursu dēļ (pacients nevar atļauties veikt īpašu pārbaudi) vai, gluži pretēji, resursu un informācijas pārpilnības dēļ. MultiModN spēj mācīties no šiem reālās pasaules datiem, neabsorbējot tā sauktos novirzes, un pielāgot prognozes jebkurai ievades kombinācijai vai skaitam.

"Trūkstošie dati ir raksturīga iezīme ierobežotu resursu kontekstā, un, modeļiem apgūstot šos trūkstošos modeļus, tie var iekodēt kļūdas savās prognozēs. viņš norādīja Mērija Anne Hārtlija.

“MultiModN iedvesmoja nepieciešamība pēc elastības, ņemot vērā neparedzami pieejamos resursus.".

Nozīmīgākajā pasākumā AI un mašīnmācīšanās ietekme uz pakalpojumiem
Visi iemesli AI pieaugošajai ietekmei digitālajā mākslā

No laboratorijas uz reālo dzīvi: notiek pneimonijas un tuberkulozes izmēģinājums

Tomēr publikācija ir tikai pirmais solis ceļā uz ieviešanu un testēšanu uz vietas. Profesors Hārtlijs strādāja kopā ar kolēģiem Lozannas Universitātes slimnīcā (CHUV) un Inselspital, Bernes Universitātes slimnīcā, lai vadītu klīniskie pētījumi koncentrējas uz pneimonijas un tuberkulozes diagnostiku ierobežotos resursos, un pašlaik tiek pieņemti darbā tūkstošiem pacientu Dienvidāfrika, Tanzānija, Namībija e Benina.

Pētniecības grupas uzņēmās plašu apmācību iniciatīvu, mācot vairāk nekā 100 ārstu sistemātiski vākt multimodālus datus, tostarp ultraskaņas attēlus un video, lai MultiModN varētu apmācīt būt jutīgam pret reāliem datiem no reģioniem ar zemu resursu patēriņu.

“Mēs apkopojam tieši tādus sarežģītus multimodālus datus, kādus MultiModN ir paredzēts apstrādāt”, teica ārsts Noemija Boillat-Blanko, CHUV infekcijas slimību speciālists.

“Mēs esam priecīgi redzēt modeli, kas spēj novērtēt trūkstošo resursu sarežģītība mūsu kontekstā un sistemātiskā ikdienas klīnisko novērtējumu trūkuma dēļ", piebilda ārsts Kristīna Keitela no Inselspital, universitātes slimnīcas Šveices galvaspilsētā.

AI drošība? Bletchley Park paziņojums ir ļoti svarīgs
Aksels Springers-OpenAI ass AI žurnālistikas dienestā

Mašīnmācība sabiedrības labā

MultiModN izstrāde un apmācība ir turpinājums EPFL centieniem pielāgot mašīnmācīšanās rīkus realitātei un sabiedrības interesēm, un tā notiek neilgi pēc programmas uzsākšanas. Meditrons, mākslīgā intelekta modelis, kas īpaši izstrādāts medicīnas nozarei.

Meditron pieder arī lielo valodu modeļu (LLM) kategorijai, taču atšķirībā no vispārējiem modeļiem, kas apkalpo plašu uzdevumu klāstu, tas ir vērsts uz medicīnas joma, un izmēra ziņā ir kompaktāks, tomēr tikpat efektīvs.

Meditrona mērķis ir demokratizēt piekļuvi medicīniskajai informācijai augstas kvalitātes, tādējādi palīdzot pieņemt klīniskus lēmumus.

EPFL pētnieki izstrādāja divas versijas ar attiecīgi 7 miljardiem un 70 miljardiem parametru, un modeļi tika apmācīti, izmantojot atlasītus, augstas kvalitātes medicīnisko datu avotus, tostarp recenzētu zinātnisko literatūru un dažādas klīniskās vadlīnijas, nodrošinot plašu un precīzu zināšanu bāzi.

Tāpēc gan Meditron, kas tika prezentēts 2023. gada novembrī, gan MultiModN atbilst EPFL jaunā mākslīgā intelekta centra misijai, kas koncentrējas uz to, kā atbildīgs un efektīvs mākslīgais intelekts var veicināt tehnoloģiskās inovācijas visu sabiedrības nozaru labā.

Revolucionārie sensori, kas var ietaupīt miljoniem bateriju
AI: karš, kas drīz sāksies, nebūs tāds, kā mēs gaidām…