Mašīnmācīšanās izmantošanas problēmas, lai attēlos noteiktu dzimumu

Pēdējos gados arvien plašāk izplatītas ir datorizētas attēlu atpazīšanas sistēmas, kas automātiski atpazīst un klasificē cilvēku priekšmetus. Šīs algoritmiskās sistēmas tiek pielietotas daudzos apstākļos - sākot no palīdzības sociālo mediju vietnēs, lai uzzinātu, vai lietotājs ir kaķa īpašnieks vai suņa īpašnieks, līdz atsevišķu cilvēku identificēšanai pārpildītās publiskās telpās. Mašīnizlūkošanas forma, ko sauc par dziļu mācīšanos, ir šo attēlu atpazīšanas sistēmu, kā arī daudzu citu mākslīgā intelekta centienu pamats.

Šī eseja parstundas, kuras mēs apguvām par dziļu mācību sistēmām un dzimumu atzīšanuir viena daļa no trīs daļām izskatāmo jautājumu, kas saistīti ar mašīnredzības tehnoloģiju. Skatīt arī:

Interaktīvs: kā dators “redz” dzimumu?Sistemātiski aptverot vai 'aizsedzot' atsevišķu cilvēku seju fotoattēlu daļas un pēc tam ievadot šos attēlus mūsu izveidotajā datora modelī, mēs varētu redzēt, kuri sejas elementi ir vissvarīgākie, lai palīdzētu modelim klasificēt vīriešus un sievietes. Mēs izveidojām interaktīvu funkciju, kurā varat atjaunot šo analīzi un redzēt, kuras izmaiņas mūsu dziļās mācīšanās algoritmā maina minējumu par attēlā redzamās personas dzimumu.

Sabiedrības viedokļa aptauja par sejas atpazīšanu.Sejas atpazīšanas sistēmas, kas var noteikt personu identitāti, pamatojoties uz fotoattēlu vai videoklipu, ir viena no vispretrunīgākajām mašīnvīzijas lietojumprogrammām (modeļi, kurus mēs izmantojām šim projektam, var klasificēt dzimumu, bet nespēj identificēt atsevišķus cilvēkus). Centrs nesen veica aptauju ar pieaugušajiem ASV, pētot sabiedrības viedokli par sejas atpazīšanas tehnoloģiju un to, kā to izmanto reklāmdevēji, tiesībaizsardzības iestādes un citi. Skatiet mūsu ziņojumu par šo aptauju šeit.

Dziļo mācību sistēmas bieži tiek “apmācītas” šo uzdevumu veikšanai, iepazīstinot ar daudziem attēlu, objektu vai scenāriju piemēriem, kurus cilvēki jau ir apzīmējuši kā “pareizi” vai “nepareizi”. Aplūkojot pietiekami daudz piemēru, šīs sistēmas galu galā var iemācīties identificēt iezīmētus objektus vai scenārijus, ar kuriem vēl nekad nav saskārušies. Šie apzīmētie piemēri, kas palīdz sistēmai mācīties, tiek saukti par “apmācības datiem”, un tiem ir galvenā loma, nosakot šo sistēmu kopējo precizitāti.

Šīs sistēmas piedāvā sarežģītus uzdevumus veikt tādā ātrumā un mērogā, kas tālu pārsniedz cilvēku iespējas. Bet atšķirībā no cilvēkiem dziļās mācību sistēmas parasti nevar sniegt paskaidrojumus vai pamatojumu viņu individuālajai izvēlei. Un atšķirībā no tradicionālajām datorprogrammām, kuru sasniegšanai tiek izmantoti ļoti noteikti soļu kopumi, šīs sistēmas dažkārt ir tik sarežģītas, ka pat datu zinātnieki, kas tās izstrādājuši, pilnībā nesaprot, kā viņi pieņem lēmumus.



Rezultātā šīs sistēmas var izgāzties tādā veidā, kas šķiet grūti saprotams un grūti prognozējams - piemēram, parādot augstāku kļūdu līmeni cilvēkiem ar tumšāku ādu nekā tiem, kuriem ir gaišāka āda, vai klasificējot ievērojamus Kongresa locekļus kā noziedzniekus . Šo sistēmu izmantošana tādās jomās kā veselības aprūpe, finanšu pakalpojumi un krimināltiesības ir izraisījusi bažas, ka algoritmiskās neitralitātes aizsegā tās var beigties ar esošo kultūras un sociālo neobjektivitāti.

Pew Research Center nesen izmantoja dziļas mācīšanās metodes vairākos ziņojumos, kuros tika pētīta dzimumu pārstāvība Google attēlu meklēšanas rezultātos un attēlos no ziņu ziņām Facebook. Tā kā cilvēku pētniekiem nebija iespējams kārtot un klasificēt tūkstošiem šo tiešsaistes sistēmu radīto attēlu, mēs izveidojām savu rīku, lai automātiski atrastu un kategorizētu cilvēku dzimumu attēlos, kurus atradām.

Neatkarīgi no apmācības datiem, visi modeļi labāk identificēja vienu dzimumu nekā otruVeidojot dziļu mācību sistēmu, lai attēlos attēlotu dzimumu dažādās cilvēku sejās, mēs no pirmavotiem uzzinājām grūtības saprast, kā šīs sistēmas darbojas; izaicinājumi tos pielāgot, lai tie darbotos precīzāk; un to apmācībai izmantoto datu kritiskā loma, liekot tiem efektīvāk (vai mazāk) efektīvi darboties. Mēs apmācījām un pārbaudījām vairāk nekā 2000 unikālus modeļus, kuru pamatā ir kopīga dziļas mācīšanās arhitektūra, un šajā procesā atklājām daudz dažādu šo modeļu spēju precīzi noteikt dzimumu dažādos attēlu komplektos.

Viens kopīgs ierobežojums daudzām dzimumu klasifikācijas sistēmām (ieskaitot sistēmu, kuru mēs izmantojām, lai veiktu paši savus pētījumus) ir tas, ka tās nevar ņemt vērā personas, kuras neidentificē sevi kā sievieti vai vīrieti, un viņiem nav dzimuma identitātes jēdziena, kas būtu atšķirīgs no dzimuma ārējais izskats. Bet pat pārsniedzot šos zināmos ierobežojumus, mēs uzzinājām, ka apmācības datiem, ko izmanto šo modeļu apmācībai, ir liela nozīme. Modeļi, kurus mēs apmācījām, izmantojot daudzveidīgākus attēlu komplektus (kas ietver viņu demogrāfisko sastāvu, kā arī katrā komplektā izmantoto attēlu kvalitāti un veidus), labāk identificēja dzimumu līdzīgi daudzveidīgā fotoattēlu grupā nekā modeļi, kas tika apmācīti vairāk ierobežoti dati.

Mēs arī pamanījām šo modeļu veiktspējas atšķirības, kas dažreiz bija pārsteidzošas un grūti izskaidrojamas. Piemēram, pat ja modeļi, kas tika apmācīti, izmantojot lielāku dažādību, bijalielākā daļaprecīzi, daži modeļi, kas tika apmācīti mazāk atšķirīgiem attēliem, bija precīzāki nekā citi. Tāpat daži no šiem modeļiem labāk identificēja vīriešus nekā sievietes, bet citi pārspēja sievietes, nevis vīriešus.

Kā mēs veidojām mašīnmācīšanās modeļus, izmantojot dažādus attēlus

Šajā analīzē izmantotās datu kolekcijas

Centrs izmantoja septiņas datu kolekcijas, lai apmācītu mūsu modeļus. Katrai kolekcijai ir savas unikālās īpašības, tāpēc neviena kolekcija neatspoguļo pasaules iedzīvotāju daudzveidību. Kolekcijās ietilpst:

Brazīlijas politiķi:Augstas kvalitātes attēli ar Brazīlijas politiķiem, kas vērsti pret kameru, kas samontēti no vietnes, kurā tiek rādīti pašvaldību līmeņa vēlēšanu rezultāti.

Marķētas sejas savvaļā:Sejas fotogrāfiju datu bāze, kuru Masačūsetsas universitātes pētnieki apkopoja sejas atpazīšanas tehnoloģijas izpētei.

Bainbridge:Sejas fotogrāfiju kolekcija, kas atbilst 1990. gada ASV tautas skaitīšanas demogrāfiskajiem datiem, ko Wilma Bainbridge un līdzstrādnieki apkopoja sejas neaizmirstamības izpētei.

Āzijas slavenības:Centra apkopoti 30 slavenu Āzijas personu (15 vīriešu un 15 sieviešu) attēli.

Melnās slavenības:Centra apkopoti 22 slavenu melnu cilvēku (11 vīriešu un 11 sieviešu) attēli.

Slaveni seniori:Centra salikti 21 slavenību senioru (11 vīriešu un 10 sieviešu) attēli.

Attēlu meklēšana pēc valsts un dzimuma:Centra apkopotie vīriešu un sieviešu attēli katrai no 100 visapdzīvotākajām pasaules valstīm.

Mašīnmācīšanās modeļi parasti sākas kā tukši raksti, kuriem nav parādīti dati un kuri nespēj veikt klasifikāciju vai citus uzdevumus. Modeļi, par kuriem mēs runājam šajā esejā, tika veidoti, izmantojot tehniku, ko sauc par “pārnešanas mācīšanos”, kas viņiem sniedz pamatinformāciju par to, kā identificēt kopīgus objektus, bet ne vienmēr informāciju, kas īpaši svarīga dzimuma novērtēšanai. Neatkarīgi no izmantotā mašīnmācīšanās īpašā veida, datu zinātnieki parasti sāk veidot modeli, izvēloties datu kopu, kurā attēloti daudzi pareizi izpildīta uzdevuma vai klasifikācijas gadījumi. Pēc tam, kad ir redzams pietiekami daudz šo tā dēvēto apmācības datu piemēru, modelis galu galā identificē sistemātiskos modeļus un izstrādā savu pieeju, lai atšķirtu “pareizās” atbildes no “nepareizajām”. Pēc tam tā var izmantot šo pieeju, lai veiktu uzdevumu, kas tam ir apmācīts, lai veiktu datus, kurus tā nekad nav redzējusi.

Tomēr piemēri, kas ir tendenciozi vai precīzi neatspoguļo plašāku personu grupu, ar kuru var saskarties, var iemācīt sistēmai negaidītus un bezjēdzīgus modeļus, liekot tai izstrādāt pieeju, kas nedarbojas labi ar jauniem datiem. Piemēram, modelis, kas apmācīts pēc attēliem, kuros katrs vīrietis nēsā brilles, varētu būt pārliecināts, ka brilles valkāšana ir spēcīgs signāls, ka kāds ir vīrietis. Lai gan šis piemērs varētu šķist acīmredzams, var būt grūti iepriekš zināt, vai apmācības dati sastāv no sliktiem uzdevuma piemēriem vai arī tie nav reprezentatīvi.

Tā kā mēs vēlējāmies, lai mūsu analīze attēlos atšķirtu vīriešus un sievietes, mūsu apmācības dati sastāvēja no vienāda lieluma vīriešu un sieviešu attēlu komplektiem, kuros katrs attēls tika apzīmēts kā vīrietis vai sieviete. Mēs vēlējāmies uzzināt, kā apmācības datu izvēle ietekmēja mūsu modeļu kopējo precizitāti, tāpēc tiešsaistē meklējām dažādas cilvēku seju attēlu kolekcijas. Galu galā mēs savācām septiņas attēlu kolekcijas, kuras izmantojām savu modeļu apmācībai. Katra kolekcija sastāvēja no personu apzīmētiem attēliem, taču katrai no tām bija savs unikāls vecuma diapazonu, rasu un tautību sajaukums, kā arī tādu attēlu īpašību sajaukums kā attēla kvalitāte un indivīda novietojums.

Izmantojot šīs kolekcijas kā sākumpunktu, mēs pēc tam izveidojām astoņas dažādas apmācību datu kopas mūsu dziļo mācību modeļiem. Septiņas apmācības datu kopas sastāvēja no attēliem, kas iegūti tikai no vienas oriģinālkolekcijas (dažādu veidu simulācijas)mazākdažādi apmācības dati), kamēr vienu no apmācības datu kopām veidoja attēli, kas iegūti no visu septiņu kolekciju kombinācijas (vairākdažādi apmācības dati). Būtiski, ka visas astoņas apmācībai izmantotās datu kopas bija vienāda izmēra un saturēja vienādu skaitu vīriešu un sieviešu.

Kā šie modeļi darbojās, identificējot dzimumu dažādos attēlu komplektos

Pēc tam, kad katrs modelis tika apmācīts no vienas no astoņām apmācību datu kopām, kuras mēs izveidojām šim projektam, mēs to pārbaudījām. Lai salīdzinātu dažādu modeļu veiktspēju, mēs izveidojām unikālu datu kopu, kas sastāv no attēliem, kas ņemti no visām septiņām sākotnējām datu kolekcijām, bet kas nekad netika izmantoti neviena atsevišķa modeļa apmācībai. Šāda veida datu kopu sauc par “testēšanas datiem”, un to izmanto, lai novērtētu un salīdzinātu dažādu modeļu veiktspēju. Šī projekta testēšanas datos bija vienāds skaits attēlu no katras septiņas datu kolekcijas, kā arī vienāds skaits attēlu, kas identificēti kā sievietes un vīrieši katrā atsevišķā kolekcijā.

Kad mēs izmantojām savus apmācītos modeļus, izmantojot testēšanas datus, mēs atklājām, ka daži no modeļiem ir veikti precīzāk nekā citi. Vissvarīgākais bija tas, ka vislabākais sniegums bija modelim, kurš tika apmācīts par attēliem, kas uzņemti no visām septiņām atsevišķām kolekcijām (tas ir, modelis, kas apmācīts pēc visdažādākajiem apmācības datu kopumiem). Tas precīzi noteica pareizo dzimumu 87% apmācības datu attēlu, savukārt modeļi, kas apmācīti, izmantojot tikai vienu no individuālajām datu kolekcijām, sasniedza precizitāti no 74% līdz 82%.

Mašīnmācīšanās modeļi, kas apmācīti vairākos datu avotos, bija precīzāki nekā tie, kas apmācīti vienā datu avotā

Citiem vārdiem sakot, modelis, kas tika apmācīts uz dažādiem avotiem, darbojās ievērojami labāk nekā tie, kas apmācīti uz atsevišķiem avotiem, lai gan katrs modelis redzēja vienādu kopējo attēlu skaitu un vienādu vīriešu un sieviešu attiecību. Tas nav pārsteidzoši, jo gan dažādie apmācības dati, gan testēšanas dati saturēja septiņu datu kolekcijas. Tas izceļ centrālo izaicinājumu tiem, kas sastopas ar šāda veida modeļu veidošanu vai izmantošanu: Modeļi, kas veidoti, izmantojot apmācības datus, kas atšķiras no reālās pasaules datiem, un visa ar to saistītā reālās pasaules daudzveidība var nedarboties, kā paredzēts.

Lai arī visprecīzāk darbojās modelis, kurš tika apmācīts pēc visdažādākajiem pieejamajiem datiem, ne visi modeļi, kas apmācīti pēc mazāk atšķirīgiem datiem, darbojās vienādi slikti. Sliktāk no modeļiem, kas apmācīti uz vienu datu avotu, tika sasniegta tikai 74% precizitāte, bet šo modeļu labākie rādītāji šo punktu palielināja par 8 procentpunktiem. Kā minēts iepriekš, šie attēli atšķiras dažādos veidos, izņemot attēlos redzamo cilvēku demogrāfisko stāvokli, piemēram, attēla kvalitāte, attēla izšķirtspēja, fotoattēla orientācija un citi grūti kvantitatīvi nosakāmi faktori. Tas izceļ otro izaicinājumu, ar kuru saskaras šo sistēmu lietotāji un dizaineri: Ir grūti iepriekš paredzēt, cik precīzi šie modeļi būs balstīti tikai uz datiem, uz kuriem viņi ir apmācīti. Tomēr mēs varam paredzēt, ka daudzveidīgāki paraugi mēdz būt stingrāki.

Mēs arī pārbaudījām, cik precīzi katrs modelis bija vīriešu un sieviešu identificēšanā, un atklājām, ka katrs modelis bija vismaz nedaudz precīzāks, lai identificētu vienu dzimumu, nekā tas bija citā - lai arī katrs modelis tika apmācīts par vienādu sieviešu un vīriešu attēlu skaitu . Šīs neatbilstības nav acīmredzamas, neveicot šo sīkāku analīzi: Modeli varētu uzrādīt kā precīzu par 76%, neatklājot, ka tas pareizi klasificē tikai 60% sieviešu, bet pareizi klasificē 93% vīriešu.

Plašā līmenī šiem modeļiem bija grūtības identificēt sievietes: seši no astoņiem (ieskaitot modeli, kas tika veidots, izmantojot pēc iespējas dažādākus apmācības datus), precīzāk identificēja vīriešus nekā sievietes. Bet divi no modeļiem bija daudz precīzāki, lai identificētu sievietes nekā vīriešus. Tāpat kā ar viņu vispārējo precizitāti, nav pilnīgi skaidrs vai paredzams, kāpēc daži modeļi varētu labāk identificēt vīriešus nekā sievietes, vai otrādi.

Ietekme uz mašīnas redzamības izpēti

Ir svarīgi atzīmēt, ka šim pētījumam ir vairāki ierobežojumi, kas jāpatur prātā, interpretējot secinājumus. Pirmkārt, mūsu izmantotā pārejas mācīšanās pieeja balstās uz informāciju, kas jau pastāv iepriekš apmācītos modeļos. Otrkārt, tā kā mēs šim projektam izveidojām vairāk nekā 2000 modeļu - un modeļu, kas apmācīti, izmantojot lielāku treniņu datu daudzumu, izveide prasa ilgāku laiku, katra modeļa apmācībai mēs izmantojām salīdzinoši nelielu attēlu skaitu. Rezultātā šie modeļi var būt mazāk precīzi nekā sistēmas, kurās tiek izmantotas sarežģītākas modelēšanas stratēģijas vai vairāk apmācības datu. Treškārt, attēli, kurus mēs izmantojām apmācībai un testēšanai, nav domāti, lai reprezentētu visu iespējamo cilvēku seju daudzveidību. Drīzāk šī projekta mērķis bija iemūžināt pietiekami daudzveidīgu attēlu kopumu, lai varētu veikt jēgpilnus salīdzinājumus par veidu, kādā šāda veida sistēmas mācās par dzimumu.

Visbeidzot, ir svarīgi atzīmēt, ka šie modeļi tika izstrādāti ļoti specifiskam uzdevumam: klasificēt cilvēku attēlus kā sievietes vai vīriešus, pamatojoties tikai uz viņu ārējām, fiziskajām īpašībām. Kā jau minēts iepriekš, mūsu rīks spēja cilvēkus piešķirt tikai vienai no šīm divām bināro kategorijām un nespēja uzskaitīt citu dzimumu cilvēkus, tostarp ne bināras personas. Tam nebija arī fundamentālas izpratnes par dzimumu vai dzimuma identitāti kā jēdzieniem, un tā nevarēja atšķirt kāda fizisko izskatu un viņa personīgo dzimuma identitāti. Lai arī šīs analīzes plašie varianti ir piemērojami jebkura veida mašīnmācīšanās sistēmai, šeit norādītie konkrētie rezultāti var netikt vispārināti attiecībā uz cita veida sistēmām, kas paredzētas dzimuma klasificēšanai, vai tām, kas paredzētas pilnīgi citu uzdevumu veikšanai.

Tomēr, neskatoties uz šiem iebildumiem, šī analīze var sniegt ieskatu par šāda veida mašīnmācīšanās modeļa būtību un ierobežojumiem. Var sagaidīt, ka šie modeļi ir nepilnīgi. Kas var būt mazāk acīmredzams, ir tas, ka dažām grupām tās var būt ievērojami mazāk uzticamas nekā citām - un ka šīs atšķirības ne vienmēr nosaka intuitīvi vai acīmredzami faktori. Kopumā ir svarīgi, lai šie modeļi tiktu apmācīti par datiem, kas atspoguļo situāciju dažādību reālajā pasaulē, cik vien tas ir iespējams. Ja modelis tiks aicināts darboties, piemēram, vairākos vecumos, sacīkstēs un citās īpašībās, ir svarīgi, lai modeli apmācītu līdzīgi dažādos treniņu komplektos. Galu galā cilvēkiem, kuri paļaujas uz šo sistēmu pieņemtajiem lēmumiem, būtu jāpieiet viņu radītajiem rezultātiem, apzinoties, ka viņi, iespējams, slēpj problēmas vai aizspriedumus, kurus ir grūti iepriekš paredzēt vai paredzēt iepriekš.

Lūdzu, skatiet metodiku, lai iegūtu sīkāku informāciju par to, kā centrs veica šo analīzi. Mēs vēlamies pateikties Besheer Mohamed, Onyi Lam, Brian Broderick, Skye Toor, Adam Hughes un Peter Bell par viņu nenovērtējamo ieguldījumu šajā projektā. Informatīvās grafikas autore Selena Qian.

Facebook   twitter