Facebookin AI ei voinut havaita joukkomurhaa – TechCrunch


Facebook on antanut uuden päivityksen toimenpiteistään ja mitä enemmän se tekee sen jälkeen, kun kaukana oikean terroristin aseiden joukkomurhasta on elävöitynyt video, joka tappoi 50 ihmistä kahdessa moskeijassa Christchurchissa, Uudessa-Seelannissa.

Aiemmin tällä viikolla yritys sanoi, että videot videotapauksista olivat nähty alle 200 kertaa itse live-lähetyksen aikana, ja noin 4 000 kertaa ennen kuin se poistettiin Facebookista – virtaa ei raportoitu Facebookille 12 minuutin kuluttua sen päättymisestä .

Yksikään käyttäjistä, jotka katsoivat, että tappiot näkyivät yrityksen alustalla reaaliajassa, ilmeisesti ilmoitti virrasta yritykselle yrityksen mukaan.

Se on myös aiemmin sanonut poistaneensa 1,5 miljoonan version videosta sivustostaan ​​ensimmäisten 24 tunnin aikana elävän virran jälkeen, 1,2 miljoonalla latauspaikalla pyydetyistä, mikä tarkoittaa, että se ei pystynyt lopettamaan 300 000 latausta. Kuten aikaisemmassa kertomuksessamme huomautimme, nämä tilastot ovat salakirjoitettuja – ja ne edustavat vain videoita, jotka Facebook on tunnistanut. Löysimme videon muita versioita, jotka liikkuvat edelleen alustallaan 12 tuntia myöhemmin.

Elollisen terrori-iskun jälkeen Facebook on jatkanut maailman johtajien kehotuksia tehdä enemmän varmistaakseen, että tällainen sisältö ei ole levinnyt sen alustalle.

Uuden-Seelannin pääministeri Jacinda Ardern kertoi eilen tiedotusvälineille, että videota "ei pitäisi levittää, käyttää, pystyä katsomaan", kopioimalla sitä: "Horrendous."

Hän vahvisti Facebookin olevan yhteydessä hänen hallitukseensa, mutta korosti, että hänen mielestään yritys ei ole tehnyt tarpeeksi.

Myöhemmin hän kertoi myös Uuden-Seelannin parlamentille: ”Emme voi yksinkertaisesti istua ja hyväksyä, että nämä alustat ovat olemassa ja että niistä, joita heistä sanotaan, ei ole vastuussa siitä, missä ne julkaistaan. Ne ovat julkaisija. Ei vain postimies.

Kysyimme Facebookilta vastauksen Ardernin pyyntöön, jonka mukaan online-sisältöalustoja pyydetään hyväksymään julkaisijan tason vastuu jakamastaan ​​sisällöstä. Sen tiedottaja vältteli kysymystä – viittasi sen sijaan uusimpaan kriisipiiriinsä, jota se nimitti: "Uusi päivitys Uuden-Seelannin terroristihyökkäykselle".

Siinä kerrotaan, että "ihmiset haluavat ymmärtää, miten Facebookin kaltaisia ​​verkkoympäristöjä käytettiin hirvittävien videoiden levittämiseen terroristihyökkäyksestä", sanoen sen vuoksi, että "halusi antaa lisätietoa tarkastelustamme siitä, miten tuotteitamme käytettiin ja miten voimme parannettava eteenpäin ”, ennen kuin toistetaan monta aiemmin esittämistään yksityiskohdista.

Mukaan lukien, että joukkomurhavideo jaettiin nopeasti 8chan-viestikortille käyttäjällä, joka julkaisi linkin videon kopioon tiedostojen yhteiskäyttöpaikalla. Tämä oli ennen kuin Facebook itse ilmoitettiin, että video lähetetään sen alustalla.

Se viittaa siihen, että 8chan oli videon laajemman jakamisen keskus, väittäen, että: ”Useiden myöhemmin lähetettyjen videoiden rikostekniset tunnisteet, kuten kuvaruudussa näkyvä kirjanmerkkityökalu, vastaavat 8chanin lähettämää sisältöä.”

Niinpä se pyrkii selkeästi varmistamaan, että poliittiset johtajat eivät korostaneet sitä, että ne suhtautuvat poliittisiin ratkaisuihin online-vihan ja terrorismin sisällön aiheuttamaan haasteeseen.

Tarkemmat tiedot, joita se haluaa päivittää päivityksessä, ovat, miten AI: t, joita se käyttävät auttamaan merkityn Facebook Live Streamin henkilökohtaisen sisällön tarkasteluprosessissa, on itse asiassa viritetty "havaitsemaan ja priorisoimaan videoita, jotka todennäköisesti sisältävät itsemurha- tai haitallisia tekoja" – AI työntää tällaisia ​​videoita ihmisen moderaattorien sisällön kasojen päälle, ennen kaikkea muiden asioiden, joita heidän on myös tarkasteltava.

On selvää, että Uuden-Seelannin terrori-iskut olivat mukana "haitallisissa teoissa". Facebookin AI ei kuitenkaan pystynyt havaitsemaan joukkomurhaa reaaliajassa. Massa tappaminen, johon liittyy automaattinen ase, liukui suoraan robotin tutkan alle.

Facebook selittää tämän sanomalla, että sillä ei ole koulutusta koskevia tietoja sellaisen algoritmin luomiseksi, joka ymmärtää, että se tarkastelee massamurhaa reaaliajassa.

Se merkitsee myös, että AI: n kouluttaminen tällaisen kauhean skenaarion saamiseksi pahenee videokuvien lisääntymisellä ensimmäisen henkilön ampuja-videopeleissä online-sisältöympäristöissä.

Se kirjoittaa:[T]hänen erityinen video ei käynnistänyt automaattisia tunnistusjärjestelmiä. Tämän saavuttamiseksi meidän on tarjottava järjestelmämme suuria määriä tietyntyyppistä sisältöä, mikä on vaikeaa, koska nämä tapahtumat ovat onneksi harvinaisia. Toinen haaste on, että tämä sisältö havaitaan automaattisesti visuaalisesti samankaltaisesta, vaarattomasta sisällöstä – esimerkiksi jos järjestelmämme ilmoittavat tuhansia videoita suoratoistetuista videopeleistä, meidän arvostelijoidemme voi jättää huomiotta tärkeät tosiasialliset videot, joissa voisimme varoittaa ensimmäisistä vastaajista saat apua maahan. ”

Videopelielementti on harkittava yksityiskohta.

Se viittaa siihen, että haitallinen tosielämän teko, joka jäljittelee väkivaltaista videopeliä, voi vain sekoittua taustaan ​​AI-moderaatiojärjestelmien osalta; näkymätön vaarattomien, käytännöllisesti katsoen väkivaltaisten sisältöjen merellä, joita pelaajat ovat hukuttaneet. (Tämä puolestaan ​​herättää ihmettelemään, voiko Christchurchin Internet-jyrkkä tappaja tietää tai epäilee, että hyökkäyksen kuvaaminen videopelien ensiluokkaisen ampuja-näkökulman näkökulmasta saattaa tarjota ongelman, kun Facebookin epätäydelliset AI-valvontakeskukset ovat.)

Facebook-postitse on kaksinkertainen painoarvo siitä, että AI ei ole täydellinen eikä ole koskaan täydellinen.

”Ihmiset ovat edelleen osa yhtälöä, olipa tiimimme henkilöt, jotka tarkastelevat sisältöä, tai ihmiset, jotka käyttävät palveluitamme ja raportoivat sisältöä meille”, se toistaa vielä kerran, että hänellä on ~ 30 000 henkilöä työskentelemässä ” turvallisuus ja turvallisuus ”, joista noin puolet tekee sisällön tarkastelun hikoilua kiusallista.

Tämä on, kuten olemme sanoneet monta kertaa aikaisemmin, fantastisesti pieni määrä inhimillisiä moderaattoreita, koska Facebookin 2.2BN + -käyttöympäristössä ladattu sisältö on laaja.

Facebookin muuttaminen pysyy toivottomana tehtävänä, koska niin harvat ihmiset tekevät sitä.

Lisäksi AI ei voi todella auttaa. (Myöhemmin blogikirjoituksessa Facebook kirjoittaa myös epämääräisesti, että sen sivustolla lähetetään päivittäin ”miljoonia” livestreaseja, joten lyhyen lähetyksen viivästymisen lisääminen – kuten TV-asemat eivät – auttaisi lainkaan epäasianmukaisia ajan sisältö.)

Samaan aikaan Facebookin päivitys selventää, kuinka paljon sen turvallisuus- ja turvajärjestelmät luottavat myös maksamattomiin ihmisiin: Aka Facebook -käyttäjät vievät aikaa ja mieltä ilmoittaakseen haitallisesta sisällöstä.

Jotkut saattavat sanoa, että tämä on erinomainen argumentti sosiaalisen median verosta.

Se, että Facebook ei saanut yksittäistä raporttia Christchurchin joukkomurhasta, vaikka terroristihyökkäys avattiin, sisältö ei ollut tärkeysjärjestyksessä "nopeutetulle tarkistukselle" sen järjestelmissä, ja se selittää etusijalle raportit, jotka on liitetty videoihin, joita edelleen lähetetään – koska " jos on olemassa tosiasiallista haittaa, meillä on paremmat mahdollisuudet varoittaa ensimmäisistä vastaajista ja yrittää saada apua paikan päällä ”.

Vaikka se sanoo myös, että se laajensi kiihtyvyyslogiikkaansa viime vuonna, "se kattaa myös viime aikoina elävät videot viime vuosina".

Mutta jälleen kerran se tehtiin keskittyen itsemurhien ehkäisemiseen – mikä tarkoittaa sitä, että Christchurchin video olisi merkitty vain kiihtyvyyden tarkasteluun sen jälkeen, kun virta on päättynyt, jos se olisi ilmoitettu itsemurha-aineena.

Niinpä "ongelma" on, että Facebookin järjestelmät eivät priorisoida joukkomurhaa.

"Sisään [the first] raportti ja muutamat myöhemmät raportit, video on raportoitu muista syistä kuin itsemurhasta, ja näin ollen sitä käsiteltiin eri menettelyjen mukaisesti ”, se kirjoittaa, lisäämällä sen” oppimisen tästä ”ja” tarkastelemalla uudelleen raportointilogiikkaa ja kokemuksia sekä elävien että äskettäin elävien videoiden osalta, jotta laajennettaisiin nopeutettuun luokkaan kuuluvia kategorioita.

Ei paskaa.

Facebook käsittelee myös sen epäonnistumista pysäyttää verilöylyvideon versiot uudestaan ​​pinnoituksesta, sillä se on – kuten se kertoo – "niin tehokkaaksi" estääkseen propagandan leviämisen terroristijärjestöistä, kuten ISIS: ltä, käyttämällä kuvien ja videoiden yhteensopivuutta. .

Siinä väitetään, että "huono toimijat" loivat tekniikansa tässä tapauksessa monien eri muokattujen versioiden luomiseksi yrittäen torjua suodattimia sekä eri tavoin "laajempi joukko ihmisiä jaettiin videon ja tahattomasti vaikeutti kopiot ”.

Näin ollen hirvittävän tapahtuman "virality" loi liian monta versiota videosta Facebookin vastaavaan tekniikkaan.

”Jotkut saattavat nähdä videon tietokoneella tai televisiossa, kuvattiin puhelimella ja lähettäneet sen ystävälle. Toiset saattavat kuitenkin katsella videonsa tietokoneestaan, tallentaa näytön ja läpäisseet sen. Verkkosivustot ja sivut, jotka haluavat saada videon etsivien ihmisten huomion, leikata ja tallentaa videon uudelleen eri formaatteihin ”, se kirjoittaa, että se lukee kuten toinen yritys levittää syytä vahvistuksen rooliin, jonka sen 2.2BN + käyttäjä alusta pelaa.

Kaikissa Facebookissa kerrotaan, että se on löytänyt ja estänyt yli 800 visuaalisesti erillistä videota, jotka levittivät sen alustalla.

Se paljastaa, että se käytti ääntä vastaavaa teknologiaa yrittäessään havaita visuaalisesti muutettuja videoita, joilla oli sama ääniraita. Ja jälleen väittää, että se yrittää oppia ja kehittää parempia tekniikoita sellaisten sisältöjen estämiseksi, joita yksityishenkilöt jakavat laajalti ja jotka ovat yleisradiolähetyksissä. Joten kaikenlaiset suuret uutisetapahtumat, pohjimmiltaan.

Seuraavissa vaiheissa olevassa osiossa Facebook sanoo, että sen etusijalla on sen vastaavan teknologian parantaminen, jotta estetään epäoikeudenmukaisen leviämisen estäminen.

Äänen yhteensovittaminen ei kuitenkaan selvästikään auta, jos haitalliset uudelleenjakajat muokkaavat vain visuaalisia kuvia ja vaihtavat ääniraita myös tulevaisuudessa.

Se myöntää myös, että sen on pystyttävä reagoimaan nopeammin tämäntyyppiseen sisältöön suoratoistetussa videossa – vaikka sillä ei ole myöskään kiinteitä korjauksia, jotka tarjoavat siellä, sanomalla vain, että se tutkii, voidaanko AI: tä käyttää ja miten sitä voidaan käyttää näissä tapauksissa ja miten pääset käyttäjän raportteihin nopeammin ”.

Toinen painopiste, jonka se väittää "seuraavien vaiheiden" joukossa, on taistelemaan kaikenlaista vihaa puhuttavaa alustaa vastaan, sanomalla, että siihen kuuluu yli 200 valkoista ylivoimaa edustavaa järjestöä maailmanlaajuisesti, joiden sisältö poistetaan proaktiivisen tunnistustekniikan avulla.

Samalla on myös paljon kritiikkiä, vaikka myös tutkimukset, jotka viittaavat kiellettyihin kaukana oleviin vihamielisiin saarnaajiin, pystyvät helposti välttämään havaintonsa alustallaan. Plus sen oma jalka vetää sulkemalla kaukana oikeat ääriliikkeet. (Facebook lopulta kieltää viime viikolla vain yhden surullisen UK: n oikeanpuoleisen aktivistin.)

Viimeisessä PR-ohjelmassaan Facebook sanoo sitoutuneensa laajentamaan teollisuusyhteistyötä, jotta voidaan torjua vihaa käsittelevää keskustelua terrorismin vastaisen maailmanlaajuisen foorumin (GIFCT) kautta, joka syntyi vuonna 2017, kun poliitikot puristivat ISIS-sisältöä – kollektiivisesti yrittää pysäyttää tiukempi sääntely.

”Kokeilemme URL-osoitteiden jakamista systemaattisesti eikä vain sisällön hajallaan, pyrimme käsittelemään verkossa toimivia terroristeja ja väkivaltaisia ​​ääriliikkeitä, ja aiomme tarkentaa ja parantaa kykyämme tehdä yhteistyötä kriisissä”, Facebook kirjoittaa nyt ja tarjoaa epämääräisempiä kokeiluja poliitikkojen vaatimuksena sisällön vastuulle.