Alt som kan telles

På en ferjekai er det typisk et yrende liv av mennesker, biler og lastekjøretøy i ulike fasonger og størrelser. Ferjeselskapene (og myndighetene) ønsker i stadig større grad en automatisert billettkontroll. I nye ferjekontrakter vil det ikke være mannskap på dekk. Men hvordan holde styr på eksakt hvor mange mennesker og hva slags kjøretøy som er ombord? Det har bergensbedriften Counting Hero funnet en løsning på.

Automatisk telling

Utgangspunktet var et prosjekt ferjeselskapet Fjord1 gjennomførte med tanke på å innføre Autopass for å telle og billettere kjøretøy automatisk. Et vesentlig problem var imidlertid å ha nøyaktig kontroll på antall passasjerer. Dermed ble trondheimsbedriften BitReactive og Jone Rasmussen koplet inn. I forbindelse med dette prosjektet traff Rasmussen Ruben Patel fra CodeLab Bergen, og sammen etablerte de selskapet Counting Hero.

Teller folk - i bilene

- Vi har laget en løsning som gjør det mulig å ikke bare telle biler, lengde på kjøretøy og folk på ferjelemmen, vi kan også telle antall mennesker inne i bilene, forteller Rasmussen. – Ved hjelp av flere kamera «ser» vi inn i bilene, og bruker kunstig intelligens til å gjenkjenne mennesker, forklarer han. – På et typisk ferjested gir løsningen sikker informasjon i hastigheter på 40-50 km/t, men vi har testet at vi også klarer motorveghastigheter, legger han til.

Trafikkovervåking

I tillegg har selskapet startet et samarbeidsprosjekt med Troms og Finnmark Fylkeskommune for trafikkovervåking og –analyse, der man også kan tenke seg å bruke eksisterende trafikkamera langs vegene. – Vi har et mål om å bruke rimelige, standard kamera til denne anvendelsen. Her kan vi utnytte relativt lav kvalitets video, ned til 640 x 640 piksler, mener Patel. – Nå skal vi samarbeide koble på flere vegmyndigheter for å finne riktig kost/presisjon/nytte-forhold, påpeker han.

Rimelige sensorer

Hensikten med dette prosjektet er å skille ut forskjellige trafikkparametre, med hensyn på tetthet og type kjøretøy. Løsningen består, som de øvrige, foruten selve kamera(ene) av datafangst med sporing av bevegelser og sceneforståelse, analyse basert på maskinlæring og et dashboard for avlesning. Systemet skal gi vesentlig bedre informasjon og være lettere å installere enn dagens konkurrerende løsninger basert på nedgravde sensorkabler i veien.

Maskinlæring

Det spesielle er at alle disse løsningene skal kunne realiseres med relativt rimelige bildesensorer. Den virkelige verdien ligger i bildeprosesseringen og maskinlæringsalgoritmene som tygger gjennom bildeinformasjonen for å detektere kjøretøy og personer. Og mulighetene er nesten ubegrensede, får vi høre.

Måler dekkmønster i fart

- Vi har blant annet gjort forsøk med å kontrollere bildekk i samarbeid med Statens Vegvesen, ved å ta bilde av dekk i fart. Allerede nå klarer vi å lese teksten på siden av dekket – for eksempel om det er sommer- eller vinterdekk, dimensjoner osv., forklarer Patel. Ikke nok med det; Neste steg er å måle slitasje: - Det er meningen å utvide med å kunne sjekke mønsterdybde. Målet er å «se» hele rulleflaten, og dermed ikke bare se generell slitasje, men også eventuelle skader på dekket, fortsetter han.

AI i veikanten

Dette er en løsning som potensielt kan gjøre tekniske kontroller i felt mer effektive, ved at kun biler med reelle mangler plukkes ut. Men Rasmussen understreker at løsningen ikke nødvendigvis skal brukes til å «ta» folk: - Det viktigste er jo å gjøre sjåføren oppmerksom på dårlige dekk, eller at de nærmer seg utskifting, poengterer han. – «AI i veikanten» kan være nyttig på mange måter, mener han. Selskapet tester også ut lytteverktøy, for å skille ut kjøretøy med piggdekk, kjettinger osv.

Personvern

Det er vanskelig å snakke om kamera og kunstig intelligens uten å komme inn på personvern. – Dette oppfattes gjerne som en form for overvåking, og mange vil unngå det, fordi det kan være utfordrende, sier Rasmussen. – Vi bruker mye tid for å sikre at personopplysninger som kan fanges opp av kamera ikke blir lagret eller havner på avveie. Prosessen er enkel, datamaskinen analyserer en video, passasjertantallet hentes ut og videoen slettes. Ananlysen skjer på en datamaskin i nærheten av kameraet og blir ikke sendt over internett, supplerer Patel.

Må trå varsomt

- Det hender det må plukkes ut bilder der det er uklart hvor mange som er i bilen, eller der det er en hindring (bagasje el.l.) i veien. Disse kan hentes opp i appen vi har utviklet til formålet, men bilder av personer og nummerskilt er sladdet automatisk, forteller Rasmussen. - Det finnes mange muligheter teknologisk når det gjelder anvendelse av AI i veikanten, men de må begrunnes godt, understreker han.

Sanntid

Ifølge Patel kan man skille mellom to hovedarkitekturer for denne typen løsninger: Der det er krav til sanntidsinformasjon, og all signalbehandling og prosessering må befinne seg i felten, eller «nettverkskanten», og mindre sanntidskritiske anvendelser der man kan strømme data fra eksterne kamera og gjøre analyse sentralt eller i skyen. I sistnevnte tilfelle blir alle data fra kamera «vasket» for eventuelle personopplysninger og bakgrunn.

GPU

I dag brukes en mer eller mindre standard GPU-enhet for å analysere bildene, forteller Rasmussen. Han forteller videre at preprosessering av dataene er et spesielt viktig trinn i analysen – dvs. å sørge for at inndata er så gode som mulig. – Det er noe av det viktigste vi gjør. I tillegg er det viktig å ha god arbeidsmetodikk og gjenbruksrutiner, sier Patel. – Vi løste mange nye prosjekter på kort tid, nettopp fordi vi har mange elementer klare, fremholder han. – I tillegg er det viktig med erfaring med maskinlæring. Det er blitt mye finjustering for å få løsningene raske nok, understreker han.

Rekrutterer

Planen videre er først og fremst å bli gode i Norge. Deretter står resten av verden for tur. Selskapet har nå 2 av 4 norske ferjerederier som kunder. I år skal flere referanseapplikasjoner på plass, og produktene skal industrialiseres videre blant annet gjennom å hente erfaringer fra leverandører i nærområdet. Målet er å gå globalt, ifølge Rasmussen

– Vi ramper opp, og trenger flere folk!