Fleksibel KI i nettverkskanten

Det vil være få områder som ikke blir berørt av kunstig intelligens (KI). Ved siden av de mange bruksområdene på bedriftsnivå, dukker det opp en rekke applikasjoner for maskinlæring og KI for kant-datamaskiner og enheter for tingenes internett (IoT), ofte i kombinasjon med signal- og bildebehandling. Sikkerhet og trygghet driver mange av applikasjonene. Teknologien gir mulighet til å utføre inntrengerdeteksjon og, i større skala, å finne mengdeavvik som kan gi varsler om situasjoner som krever menneskelig inngripen.

Måle virkelig verden

Andre sektorer, alt fra industriell styring til landbruk, tilbyr mange bruksområder der én eller flere KI-modeller tar informasjon fra flere sensorer og samler dem i én enkelt, sammenhengende modell som kan oppdage mønstre. De mange måtene komponenter kan svikte på, gjør det vanskelig å bruke deterministiske modeller for å vurdere tilstanden til et maskinverktøy. Trening av en maskinlæringsmodell bruker derimot data fra den virkelige verden for å måle når og av hvilken grunn et bestemt verktøy vil trenge vedlikehold.

Kvalitetskontroll

KI gir muligheten til å forbedre kvalitetskontrollen i produksjon og i forsyningsselskaper, slik som vannforsyning. En modell som er trent på forventede strømninger og avvik kan vise når produksjonen beveger seg utenfor toleransegrensene lenge før kvaliteten forringes til det punktet hvor deler og delsystemer må kasseres eller repareres.

Kommunikasjon og brukergrensesnitt

Å kombinere KI med signalbehandling gir muligheter innen nettverk og kommunikasjon. Maskinlæring og KI kan bruke treningsdata til å optimalisere kanalforhold og ta informerte rutebeslutninger som minimerer overbelastning.

Utover de sensorfokuserte applikasjonene gir KI muligheten for dramatiske forbedringer av brukergrensesnittet ved hjelp av tale- og håndbevegelseskontroll. I miljøer der håndfri betjening er viktig, kan disse funksjonene forbedre sikkerhet, hygiene og produktivitet.

One size does not fit all

Det finnes så mange applikasjoner, så det finnes ingen universell KI-løsning som passer alle. Hvert brukstilfelle vil trenge en modell som har det beste settet med funksjoner for å støtte det. Tale- og gestkontroll vil dra nytte av den samme språkmodellteknologien som nå ligger til grunn for generativ KI. Sensororienterte applikasjoner vil oftere stole på konvolusjonelle nevrale nettverksarkitekturer (CNN), selv om noen kan dra nytte av den ekstra funksjonaliteten som tilbys av implementeringer basert på Vision Transformers, om enn på bekostning av behovet for høyere ytelse.

Mer ytelse

KI har vist en tørst etter økt ytelse. Før generativ KI kom, økte den årlige modellkapasitetsveksten med en faktor på tre. Transformatorbaserte modeller økte denne veksten til mer enn ti ganger hvert år. Serverbasert KI gir tilgang til de mest effektive modellene. Men i mange innvevde og industrielle applikasjoner er ikke tilgangen til disse systemene ideell. Operatører og brukere ønsker sikkerhet for dataene sine – og i mange tilfeller er ikke nettverkstilkoblinger i felten pålitelige nok til å støtte skybasert KI.

Lokal prosessering

Brukere trenger muligheten til å kjøre KI-modeller på enheten. Denne muligheten kommer delvis fra bruken av innvevde prosessorer med høyere ytelse som er optimalisert for målmiljøet, noe som gir økt datasikkerhet og lavere ventetid. Siden kant-KI ikke trenger en pålitelig internettforbindelse, utmerker den seg i slike miljøer. En annen bidragsyter til KI på enheten kommer fra måten eksperter på feltet har tilpasset serverbaserte modeller for å kjøre mer effektivt i innvevde systemer.

Mer effektiv

Forskere utviklet CNN-arkitekturer som ResNet og Mobilenet, for å tilby høy nøyaktighet i bildegjenkjenning ved å bruke færre matrisemultiplikasjoner enn tidligere modeller utviklet for serverimplementering. Disse modellarkitekturene deler store, beregningsmessig dyre filtre i mindre todimensjonale konvolusjoner. De benyttet seg også av teknikker som lagfusing, der suksessive operasjoner trakterer data gjennom vektberegninger og aktiveringsoperasjoner på mer enn ett lag. Disse teknikkene utnytter datalokalitet for å unngå ekstern minnetilgang som er kostbar med tanke på energi og latens.

Nye teknikker

Designere har koblet disse og andre kantoptimaliserte modellarkitekturer med teknikker som nettverksbeskjæring og kvantisering. Beskjæring reduserer det totale antallet operasjoner som trengs for å behandle hvert lag. Men det passer ofte dårlig for de svært optimaliserte matrisemultiplikasjonsmotorene som er utviklet for nevral prosessering. I praksis gir bruk av kvantisering bedre resultater med lavere administrasjonskostnader, og drar nytte av SIMD-aritmetiske motorer (single-instruction multiple-data) designet for matrise- og vektoroperasjoner.

Mindre ordbredder

Ved å bruke 8-bits heltallsaritmetikk, og muligens enda mindre ordbredder, i stedet for de mye bredere flyttallformatene som brukes under modelltrening, resulterer det i massive reduksjoner i behovet for beregning og energi. Siden det er mulig å bruke mange 8-bits aritmetiske motorer parallelt i stedet for en enkelt høypresisjons flyttallsenhet, kan en innvevd prosessor levere store forbedringer i gjennomstrømning for samme energi og silisiumkostnad.

Utforsking av Qualcomm-arkitekturen

Qualcomms Hexagon nevrale prosessorenhet (NPU) utnyttet disse teknikkene i deres Snapdragon-serie av System-on-Chips (SoC) for mobiltelefoner. Dette lar SoCene støtte funksjoner som ansikts- og talegjenkjenning. Den samme prosessoren er nå tilgjengelig for industrielle brukere gjennom Dragonwing-serien av SoCer, som sitter sammen med Arm-baserte Cortex-A-serie applikasjonskjerner og Adreno grafikkprosessorenhet (GPU).

Langsiktig satsing

De nåværende generasjonene av Hexagon gjenspeiler en langsiktig satsing på signalbehandling, maskinlæring og KI-arbeidsbelastninger. Den første iterasjonen av Hexagon dukket opp i 2007, og støttet i utgangspunktet arbeidsbelastninger for digital signalbehandling (DSP) med en skalar motor basert på en arkitektur med svært lange instruksjonsord (VLIW) for å levere høy datagjennomstrømning. En viktig innovasjon som går tilbake til denne implementeringen er bruken av symmetrisk multitråding (SMT). Ved å utnytte parallellisme på trådnivå skjuler arkitekturen mange av problemene forårsaket av latens i eksternt minne. Denne designfilosofien har blitt gjennomført gjennom påfølgende generasjoner av Hexagon, sammen med et fokus på å skape en enhetlig arkitektur som lar utviklere dra full nytte av Hexagons maskinvareressurser.

Fleksibilitet

Senere generasjoner av Hexagon NPU la til støtte for parallell vektoraritmetikk og deretter flerdimensjonale tensorer, kombinert med en full skalarprosessor som kan kjøre Linux uten behov for å lene seg til støtte fra Arm CPUene i SoCen hvis applikasjonen trenger det. Sammenslåing av skalar-, vektor- og tensormotorene, som alle deler tilgang til et sentralt minne, gir høy fleksibilitet.

Støtter mindre KI-modeller

NPUen er også utstyrt med «micro-tile»-inferens, en teknikk som gjør det mulig å støtte mindre KI-modeller effektivt der bruksscenariet krever ultralavt strømforbruk. Dette kan la en enkel modell kjøre over lange perioder i en lavenergitilstand for å oppdage visse typer lyd, for eksempel en menneskelig stemme. Flere slike «mikrofliser» kan kjøres samtidig, slik at denne modellen kan fortsette å kjøre mens andre modeller tar på seg jobben med talegjenkjenning. Fellesminnearkitekturen lar utviklere dra full nytte av teknikker som lagfusjon. Denne teknikken kan kombineres som ti eller flere lag for å eliminere behovet for å skrive mellomresultater til eksternt minne.

Fortsatt satsing

Qualcomms nylige bud på å kjøpe Edge Impulse signaliserer en fortsatt satsing på kant- og innvevd-markedet for KI, sammen med lanseringen av SoCer i Dragonwing-serien som distribuerer forskjellige versjoner av Hexagon-, Adreno- og Cortex-A-kjernene for å tilfredsstille ulike ytelsespunkter.

Stort modellutvalg

I erkjennelse av behovet for tilgang til et utvalg av modeller, tilbyr Qualcomms AI Hub tilgang til hundrevis av forskjellige modellimplementeringer, hver optimalisert for Snapdragon- og Dragonwing-plattformene. Brukere trenger bare å velge og laste ned modeller for å komme i gang med KI, slik at de kan prøve ut forskjellige tilnærminger for å se hvilken som passer best til målapplikasjonen. Et ytterligere hjelpemiddel for rask prototyping og utvikling er tilgjengeligheten av maskinvare basert på den åpne SMARC-standarden i form av prosessormoduler. Trias partnerskap med Qualcomm gir et alternativ for å tilpasse moduler basert på denne standarden, samtidig som det muliggjør kortere tid til markedet og økt skalerbarhet når det gjelder CPU og minne. Prosessorer som for tiden er tilgjengelige i dette formatet inkluderer QCS5490 og QCS6490, sammen med den større Vision AI-KIT. IQ9075-prosessoren i Vision AI-KIT er optimalisert for høyytelses videobehandling og kan levere 100 TOPs (teraoperasjoner per sekund) med ytelse.

Økt spredning

I takt med at KI fortsetter å spre seg på tvers av kant- og innvevde applikasjoner, trenger utviklere enkel tilgang til et bredest mulig utvalg av modeller og ytelsespunkter for å matche kostnads- og tjenesteforventningene. Tilgjengeligheten av Qualcomms Dragonwing KI-akseleratorer på moduler kombinert med et omfattende bibliotek av modeller og støtteprogramvare vil bidra til at denne spredningen får ytterligere momentum.