Paras algoritmi kamppailee edelleen mustien kasvojen tunnistamisessa


Ranskan yritys Idemia's Miljoonat algoritmit skannaa kasvot. Yrityksen kasvojentunnistusohjelmisto palvelee poliisia Yhdysvalloissa, Australiassa ja Ranskassa. Idemia-ohjelmisto tarkistaa joidenkin risteilyalusten matkustajien kasvot Yhdysvalloissa tulli- ja rajavalvontatietueita vastaan. Vuonna 2017 ylimmän FBI: n virkamies kertoi kongressille, että 30 miljoonaa mugshotia Idemiateknologiaa hyödyntävä kasvojentunnistusjärjestelmä "suojaa amerikkalaisia."

Mutta Idemian algoritmit eivät aina näe kaikkia kasvoja yhtä selvästi. Heinäkuun kansallisen standardi- ja teknologiainstituutin testitulokset osoittivat, että kaksi Idemian viimeisintä algoritmia sekoitti huomattavasti mustien naisten kasvot kuin valkoiset naiset tai mustat tai valkoiset miehet.

NIST-testi haastoi algoritmeja varmistaakseen, että kaksi kuvaa näytti saman kasvot, kuten raja-asiamies tarkistaa passeja. Herkkyysasetuksissa, joissa Idemian algoritmit sovittelivat väärin eri valkoisten naisten kasvoihin nopeudella yksi 10 000, se sovitti mustat naisten kasvot väärin noin kerran 1 000–10 kertaa useammin. Kasvojentunnistusjärjestelmien arvioinnissa käytetään usein 10 000 vääriä sovitusnopeuksia.

Donnie Scott, joka johtaa Yhdysvaltain yleisen turvallisuuden osastoa Idemiassa, aiemmin tunnettu nimellä Morpho, sanoo, että NIST: n testaamia algoritmeja ei ole julkaistu kaupallisesti, ja että yritys tarkistaa demografiset erot tuotekehityksen aikana. Hän sanoo, että erilaiset tulokset tulivat todennäköisesti insinööreiltä, ​​jotka painostivat tekniikkaansa saadakseen NIST: n tarkasti katsottujen testien parhaan yleisen tarkkuuden. ”Ihmisissä on fyysisiä eroja ja algoritmit paranevat eri ihmisillä eri nopeuksilla”, hän sanoo.

Tietokonevision algoritmit eivät ole koskaan olleet niin hyviä erottamaan ihmisen kasvoja. NIST sanoi viime vuonna, että parhaat algoritmit saivat 25 kertaa paremmin löytää henkilön suuresta tietokannasta vuosien 2010 ja 2018 välillä, ja missään todellisessa ottelussa vain 0,2 prosenttia ajasta. Tämä on auttanut levittämään laajaa käyttöä hallituksessa, kaupassa ja gadgeteissa, kuten iPhonessa.

Mutta NIST: n testit ja muut tutkimukset ovat toistuvasti havainneet, että algoritmeilla on vaikeampi tunnistaa ihmisiä, joilla on tummempi iho. Viraston heinäkuun raportissa käsiteltiin yli 50 yrityksen koodia. Monet tämän raportin huippututkijat osoittavat samanlaisia ​​suorituskyvyn aukkoja Idemian 10-kertaiselle erolle mustavalkoisten naisten virhetasolle. NIST on julkaissut kasvojentunnistusalgoritmien demografisten testien tuloksia vuoden 2017 alusta lähtien. Se on myös jatkuvasti havainnut, että ne toimivat vähemmän naisilla kuin miehillä, mikä uskotaan johtuvan ainakin osittain meikkien käytöstä.

"Valkoiset miehet … on väestörakenne, joka yleensä antaa pienimmän FMR: n", tai virheellinen vastaavuusmäärä, raportti toteaa. "Mustat naiset … on väestö, joka yleensä antaa korkeimman FMR: n." NIST suunnittelee yksityiskohtaisen raportin tänä syksynä siitä, miten tekniikka toimii eri väestöryhmissä.

NIST: n tutkimuksia pidetään kasvojentunnistusalgoritmien arvioinnin kulta-standardina. Yritykset, jotka käyttävät hyvin tuloksia markkinoinnissa. Kiinalaiset ja venäläiset yritykset ovat pyrkineet hallitsemaan yleistä tarkkuutta, ja niiden NIST-tulokset tulevat voittamaan liiketoiminnan kotona. Idemia julkaisi maaliskuussa lehdistötiedotteen, jonka mukaan Yhdysvaltain liittovaltion sopimukset ovat kilpailijoita paremmin.

Monet kasvojentunnistusalgoritmit sekoittavat mustat kasvot todennäköisemmin kuin valkoiset kasvot. Jokainen kaavio edustaa eri standardien ja teknologian instituutin testaamaa algoritmia. Ne, joilla on vankka punainen viiva, jotka eivät vastaa oikein mustien naisten kasvoja, ovat muita ryhmiä enemmän.

NIST

Sisäisen turvallisuuden laitos on myös havainnut, että tummempi iho haastaa kaupallisen kasvojen tunnistamisen. Helmikuussa DHS: n henkilökunta julkaisi 11 kaupallisen järjestelmän testauksen tuloksia, joiden tarkoituksena oli tarkistaa henkilön identiteetti, kuten lentoaseman turvatarkastuspisteessä. Koehenkilöiden ihon pigmentti mitattiin. Testatut järjestelmät kesti yleensä kauemmin aikaa käsittelemään ihmisiä, joilla oli tummempi iho ja jotka olivat vähemmän tarkkoja tunnistettaessa niitä, vaikka jotkut toimittajat olivat paremmin kuin toiset. Viraston sisäinen tietosuojavalvoja on ilmoittanut, että DHS: n olisi julkisesti ilmoitettava käytettyjen kasvojentunnistusjärjestelmien, kuten lentoasemien kokeiden, suorituskyvystä eri rotu- ja etnisiin ryhmiin.

Hallitus raportoi kriittisesti 2018 tutkimusta ACLU: n ja MIT: n tutkijoilta avoimesti varovaisena tekniikasta. He raportoivat algoritmeja Amazonilta, Microsoftilta, ja IBM oli vähemmän tarkka tummemmalla iholla.

Nämä havainnot ovat herättäneet kasvavaa kansallista keskustelua kasvojen tunnistamisen asianmukaisesta ja epäasianmukaisesta käytöstä. Jotkut kansalaisvapauksien puolestapuhujat, lainsäätäjät ja poliittiset asiantuntijat haluavat rajoittaa tai kieltää, että hallitus käyttää teknologiaa, kuten San Franciscossa ja kahdessa muussa kaupungissa. Niiden huolenaiheita ovat yksityisyyttä koskevat riskit, kansalaisten ja valtioiden välisen vallan tasapaino sekä rodun erimielisyydet tuloksissa. Vaikka kasvojen tunnistaminen olisi toiminut yhtä hyvin kaikilla kasvoilla, olisi silti syytä rajoittaa teknologiaa, jotkut arvostelijat sanovat.

Paisuvasta keskustelusta huolimatta kasvojen tunnistaminen on jo monissa liittovaltion, valtion ja paikallishallinnon virastoissa, ja se leviää. Yhdysvaltain hallitus käyttää kasvojen tunnistusta tehtäviin, kuten rajavalvontaan ja dokumentoimattomien maahanmuuttajien löytämiseen.

Aiemmin tänä vuonna Los Angelesin poliisilaitos vastasi kotona tapahtuneeseen hyökkäykseen, joka kohosi kuolemaan. Yksi epäilty pidätettiin, mutta toinen pakeni. Detektiivit tunnistivat pakolaisen käyttämällä online-valokuvaa etsimään mugshot-kasvojentunnistusjärjestelmää, jota ylläpitää Los Angelesin läänin Sheriffin toimisto.

Sheriffin toimiston luutnantti Derek Sabatini sanoo, että tapaus osoittaa järjestelmän arvon, jota käyttävät yli 50 maakuntatoimistoa ja etsii yli 12 miljoonan mugshot-tietokannan. Etsivä ei ehkä ole löytänyt epäiltyä yhtä nopeasti ilman kasvojen tunnistusta, Sabatini sanoo. ”Kuka tietää, kuinka kauan se olisi kestänyt, ja ehkä tämä kaveri ei olisi ollut siellä karkottamassa”, hän sanoo.

”Kun nämä järjestelmät toimivat yhtä hyvin eri väestötieteissä tai jopa ymmärretään, onko tämä mahdollista, on todella pitkän aikavälin tavoite.”

Michael King, Florida Institute of Technology

LA County -järjestelmä on rakennettu Cognitecin, saksalaisen yrityksen, joka vastaa Idemian tavoin kasvojentunnistuksesta eri puolilla maailmaa, kasvojen sovitusalgoritmin ympärille. Kuten Idemia, CISTITECin algoritmien NIST-testaus osoittaa, että ne voivat olla vähemmän tarkkoja naisille ja väreille. Herkkyyskynnyksissä, jotka johtivat siihen, että valkoiset naiset olivat väärin sovitettuja kerran 10 000: ssa, kaksi testattua Cognitec-algoritmia NIST oli noin viisi kertaa todennäköisempää väärin tunnistaa mustat naiset.

Thorsten Thies, Cognitecin algoritmin kehittämisen johtaja, tunnusti eron, mutta sanoo, että on vaikea selittää. Yksi tekijä voisi olla se, että on vaikeampi ottaa hyvä kuva tummasta ihosta, kuin se on valkoiselle henkilölle, hän sanoo.

Sabatini hylkää huolenaiheet siitä, että – riippumatta taustalla olevasta syystä – vääristyneet algoritmit saattavat johtaa rotuerojen eroihin poliisitoiminnassa. Virkailijat tarkistavat ehdotetut ottelut huolellisesti ja etsivät vahvistavia todisteita ennen toiminnan aloittamista. ”Olemme käyttäneet sitä täällä vuodesta 2009, eikä meillä ole ollut mitään ongelmia: ei oikeusjuttuja, ei tapauksia, mitään valituksia”, hän sanoo.

Huoli kasvojen tunnistamisen ja rodun risteyksestä ei ole uusi. Vuonna 2012 FBI: n ylin kasvojentunnistusasiantuntija toimi tutkimuspapereissa, joissa havaittiin, että kaupalliset kasvojentunnistusjärjestelmät olivat vähemmän tarkkoja mustille ihmisille ja naisille. Georgetownin tutkijat varoittivat ongelmasta vaikuttavassa 2016 raportissa, jonka mukaan FBI voi etsiä noin puolet Yhdysvaltain väestöstä.

Kysymys on saanut uuden yleisön, koska kasvojen tunnistaminen on yleistynyt, ja politiikan asiantuntijat ja päättäjät ovat kiinnostuneempia teknologian rajoituksista. MIT: n tutkijan ja aktivistin Joy Buolamwinin työ on ollut erityisen vaikuttavaa.

Vuoden 2018 alussa Buolamwini ja AI-tutkija Timnit Gebru osoittivat, että Microsoftin ja IBM: n palvelut, jotka yrittävät havaita kuvien kasvojen sukupuolen, olivat lähes täydellisiä miehille, joilla oli vaalea iho, mutta epäonnistui yli 20 prosenttia ajasta tummalla iholla olevilla naisilla; myöhemmässä tutkimuksessa havaittiin samanlaiset mallit Amazon-palveluun. Tutkimuksissa ei testattu algoritmeja, jotka yrittävät tunnistaa ihmisiä – jotain Amazonia, jota kutsutaan "harhaanjohtavaksi" aggressiivisessa blogipostissa.

Buolamwini oli tähti todistaja toukokuun kuulemistilaisuudessa House Oversight and Reform -komiteassa, jossa lainsäätäjät osoittivat kaksipuolista kiinnostusta kasvojen tunnistamisen sääntelyyn. Puheenjohtaja Elijah Cummings (D-Maryland) totesi, että testitulosten rotuerot erottivat huolestuneisuutensa siitä, miten poliisi oli käyttänyt kasvojentunnistusta Baltimoressa vuoden 2015 protestien aikana mustan miehen Freddie Greyn kuoleman vuoksi. Myöhemmin Jim Jordan (R-Ohio) ilmoitti, että kongressin on tehtävä "jotain" hallituksen käyttämästä tekniikasta. ”[If] kasvojentunnistusjärjestelmä tekee virheitä, ja nämä virheet vaikuttavat suhteettomasti afrikkalaisamerikkalaisiin ja värillisiin henkilöihin, [it] minusta näyttää olevan suora rikkomus amerikkalaisten ensimmäisestä tarkistuksesta ja neljännestä muutosvapaudesta ”, hän sanoi.

Miksi kasvojentunnistusjärjestelmät toimivat eri tavoin tummempien ihon sävyjen osalta, on epäselvä. Buolamwini kertoi kongressille, että monet yritykset käyttävät kasvojen analysointijärjestelmien testaamiseen tai kouluttamiseen käytettyjä aineistoja asianmukaisesti. Helpoin paikka kerätä valtavia kasvojenkokoelmia on verkosta, jossa sisältö vinoaa valkoista, miespuolista ja länsimaista. IBM: n arvioinnin mukaan kolme akateemisissa tutkimuksissa eniten mainittuja kasvokuvakokoelmia ovat 81 prosenttia tai enemmän ihmisiä, joilla on kevyempi iho.

Patrick Grother, joka on NIST: n testausta johtava laajalti tunnustettu kasvojentunnistus, kertoo, että tummemman ihon tarkkuutta voi olla muita syitä. Yksi on valokuvan laatu. Valokuvaustekniikka ja -tekniikat on optimoitu kevyemmälle iholle värikalvon alusta digitaaliseen aikakauteen. Hän esitti myös provokatiivisemman hypoteesin marraskuussa pidetyssä konferenssissa: että mustat kasvot ovat tilastollisesti enemmän samankaltaisia ​​kuin valkoiset kasvot. "Saatat olettaa, että ihmisen luonto on saanut jotain tekemistä sen kanssa", hän sanoo. ”Eri väestöryhmillä voi olla eroja geenien fenotyyppisessä ilmentymässä.”

Michael King, Floridan teknillisen instituutin apulaisprofessori, joka aiemmin hallinnoi Yhdysvaltain tiedustelupalvelujen tutkimusohjelmia, jotka sisälsivät kasvojen tunnistamista, on vähemmän varma. ”En ole valmis keskustelemaan tässä vaiheessa. Emme ole juuri saaneet tarpeeksi pitkälle tutkimuksessamme ”, hän sanoo.

Kuninkaan uusimmat tulokset, kollegoiden kanssa FIT: stä ja Notre Dame -yliopistosta, kuvaavat haasteita selittää demografinen epäjohdonmukaisuus kasvojentunnistusalgoritmeissa ja mitä tehdä siihen.

Niiden tutkimuksessa testattiin neljä kasvojentunnistusalgoritmia – kaksi kaupallista ja kaksi avointa lähdettä – 53 000 mugshotsilla. Virheet, jotka olivat virheellisesti sovitettu kahdelle eri henkilölle, olivat yleisempiä mustien kasvojen kohdalla, mutta virheitä, joissa vastaavia kasvoja ei havaittu, olivat yleisempiä valkoisissa kasvoissa. Suurempi osa mustien ihmisten mugshotista ei täyttänyt ID-valokuvien standardeja, mutta se yksin ei voinut selittää vääristettyä suorituskykyä.

Tutkijat löysivät, että he voisivat saada algoritmit suorittamaan tasapuolisesti mustat ja valkoiset – mutta vain käyttämällä eri herkkyysasetuksia kahdelle ryhmälle. On epätodennäköistä, että se olisi käytännöllinen laboratorion ulkopuolella, koska pyytämällä etsivien tai rajavalvojien valitsemaa erilaista asetusta eri ihmisryhmille aiheutuisi omat syrjintäriskinsä, ja se voisi vedota oikeusjuttuihin, joissa väitetään rodullista profilointia.

Kun kuningas ja muut huolellisesti tutkivat laboratoriossa olevia algoritmeja, poliittiset taistelut kasvojen tunnistamisen suhteen liikkuvat nopeasti. Kongressin jäsenet käytävän molemmilla puolilla ovat luvanneet toimia teknologian hillitsemiseksi viittaamalla huoleen vähemmistöjen tarkkuudesta. Tiistai, Oakland tuli kolmanneksi Yhdysvaltain kaupunki kieltää sen virastojen käyttämästä teknologiaa toukokuun jälkeen, kun Somerville, Massachusetts ja San Francisco.

Kuningas sanoo, että tiedetään, miten algoritmeja voidaan tehdä samoin kaikilla kasvoilla, jatkuu omassa tahdissaan. ”Koska nämä järjestelmät toimivat yhtä hyvin eri väestötieteissä tai jopa ymmärtävät, olisiko tämä mahdollista, on todella pitkän aikavälin tavoite”, hän sanoo.


Lisää suuria WIRED-tarinoita