Ørehøjtalere – forskning, design og udvikling

Valve Index-ørehøjtalerne er optimeret til de specifikke oplevelsesmål for VR, hvilket har gjort, at designet adskiller sig fra traditionelle ørehøjtalere på en interessant måde.

Tidligt i vores VR-eksperimenter stod det klart, at for at en VR-bruger kan acceptere og tilsidesætte sin mistro* til oplevelsen, kræves der mere end de fortællende, miljømæssige og følelsesmæssige metoder fra traditionelle spil og film. VR involverer nemlig en helt ny kategori af specifikke fysiologiske udfordringer, som er unik for VR. Når vi tager et headset på for at spille Budget Cuts, forventer vi, at VR vil give os fornemmelsen af, at vores krop er blevet transporteret til et kontor fyldt med morderiske robotter frem for blot at vise os miljøet gennem en statisk skærm.

Gennem forskning og spiltestning lærte vi også, at maksimal fordybende lyd stillede lige så mange krav til udformningen af lydkomponenter som til 3D-sporingssystemet eller skærmpanelerne. Designarbejdet rundt om disse krav indebar accept af nogle interessante afvejninger, hvilket blandt andet påvirkede højtalernes placering, driverens vægt, formen på driverens membran, den industrielle udformning af højtalerafskærmningen og til og med den grundlæggende frekvenskarakteristik.

*Vi har kaldt denne accept og tilsidesættelse af mistro for "nærvær" (presence) i andre sammenhænge, men udtrykket kan bruges i andre betydninger i lydverdenen, så det bruges ikke i resten af denne artikel.

Både hardware og software

Overbevisende omsluttende lyd kan kun opnås ved at bruge software og hardware samtidigt. For at vide, hvor grænsen skulle trækkes mellem det, som hardwaren (lydenheder) var ansvarlig for, og det, som softwaren (spil, VR-oplevelser) var ansvarlig for, var det nødvendigt at have et holistisk overblik over hele VR-forløbet – fra hvordan VR-lydindhold blev skabt, til hvordan det blev gengivet af spilmotorer, til alle de måder, det kan nå øret på.

På softwaresiden har spillydsingeniører og forskere arbejdet på at skabe overbevisende omsluttende lydindhold, siden spillerrelativ panorering kom frem i 90'erne (Doom, Half-Life, Aureal3D osv.). Siden har vi set store forbedringer af rumlige lydteknologier takket være den nuværende generations VR. Binaural rendering og plugins til fysikbaseret lydsimulation såsom SteamAudio gør det muligt for udviklere at skabe endnu større positionsnøjagtighed for lyden, fysisk korrekt virtuel rumklang, lydokklusion og at overføre det gennem almindelige stereohovedtelefoner. Da vi overvejede den optimale lytteenhed til VR, anvendte vi følgende viden og forskning i simulation af lydsoftware:

• VR-indhold leveres oftest i stereo – en venstre og en højre lydkanal. Kanalerne kan indeholde indlejrede binaurale og HRTF-klangfarver i forhold til, hvor spilleren retter sit blik.
• Vores ydre ører, hovedform og ansigtsgeometri giver en bestemt tonal signatur, som hjælper hjernen med at identificere virkelig lyd vs. indbildt lyd, samt hvor lydkilderne er i forhold til os (bagved, over, under, til venstre, til højre osv.).
• Kvaliteten på mellemhøj-/højfrekvent lyd er meget vigtig.
  • Binaurale simuleringer er afhængige af meget små ændringer i farveklangen (1 kH - 8 kHz) for at formidle lydkildens position i forhold til spilleren. Hvis en lytteenhed tilføjer sin egen dæmpede frekvensfarve, vil det forstyrre spillerens evne til at placere lyden.
  • Mennesker er generelt meget følsomme over for lyde i området 2 kHZ - 5 kHz. Hvis en virtuel lyds frekvens ikke stemmer overens med det, vi forventer, at den skal være i virkeligheden, er vi mere tilbøjelige til at identificere lyden som "ikke ægte". Dette er især tilfældet, hvis man sammenligner, hvor nemt det er at fornemme, om en persons stemme sendes gennem en højtaler, eller om personen står og snakker ved siden af dig.
• Kvaliteten på lavfrekvent lyd er vigtig.
  • Selvom lavfrekvent lyd ikke forekommer i naturen så ofte, forekommer det jævnligt i VR og underholdningsindhold (musik, buldren, eksplosioner, skydevåben, hjerteslag, kollisioner, trylleformularer osv.). Bas er afgørende for at formidle en fornemmelse af størrelse og skala. Det forbedrer den visuelle effekt af VR og fremkalder visse følelsesmæssige vink – fare, respekt, isolation, internalisering osv. Derfor var det vigtigt, at vores lytteenhed opretholdt en god basgengivelse.

Hvorfor ikke hovedtelefoner?

Traditionelle hovedtelefoner udmærker sig ved at være gode til at levere direkte, spillerrelativt stereolydindhold direkte ind i hvert øre. Spillere kan se i en hvilken som helst retning i den virtuelle verden, og 3D-spilmotorer med lydsimuleringsplugins afgiver det nødvendige stereosignal for at formidle den virtuelle lydkildes placering korrekt. Dette er grunden til, at spillere i e-sport (f.eks. CS:GO) bruger hovedtelefoner i stedet for højtalere – hovedtelefoner giver mere direkte rumlig lydinformation. To outputkanaler (V/H), til to hovedtelefonshøjtalere (V/H), til to ører (V/H) – enkelt.

Men generelt er traditionelle lydenheder sjældent designet med den fordybende lydoplevelse som det primære mål. Personlige enheder såsom ørepropper og hovedtelefoner, som sidder på eller over øret, er optimeret til lytning til musik og underholdning på steder, som ikke egner sig til højtalere, og ofte er strømkravene meget lave (f.eks. mobiltelefoner og batteridrevne enheder). Fokus ligger ofte på lydisolering, energieffektivitet, støjreduktion og overdrevne frekvenskarakteristika. Vores antagelse var, at mange af disse optimeringer ikke giver så meget værdi i rumomspændende VR i dag, hvor det generelle lyttemiljø er et dedikeret rum (f.eks. et indendørs rum med let baggrundsstøj), hvor en lille smule lydlækage måske ikke gør så meget. Vi har adgang til meget strøm, og frekvenskarakteristikaene skal understøtte antagelserne om binaurale lydsimuleringer.

Hovedtelefoner og ørepropper skal have kontakt med eller omgive øret for at fungere optimalt. Dette kan påvirke følelsen af fordybende lyd på følgende måder:

• Levering af lyd direkte i ørekanalen omgår den naturlige lytteproces, hvor øret og hovedet interagerer med rigtige lydbølger. Lyttere går glip af den tonale lydsignatur, som skabes af ørerne, hovedet og personlig geometri. Dette kan gøre, at lyden virker indbildt, eller at den kommer indefra i hovedet, også selvom lydindholdet er meget spatielt og fysisk simuleret. Vi spår, at softwaresimuleringer med tiden vil tage højde for dette.
• Trykket på ørerne kan blive smertefuldt og ubehageligt efter lange perioder, og dette kan få folk til at opgive VR.
• Nogle spiltestere har rapporteret, at det, at hovedtelefonerne rører ørerne, signalerer, at lyden ikke er ægte.
• Indkapsling af øret med hovedtelefoner, som sidder over ørerne, kan fange varme og gøre, at VR-headsettet føles varmere, end brugeren ville gøre i virkeligheden.
• Den tonale lydkvalitet i nogle hovedtelefoner kan forstyrre de subtile frekvensfarver i binaurale simuleringer. Med hovedtelefoner, hvor mellemfrekvenser enten er overdrevne eller dæmpede, vil de sandsynligvis forstyrre raffinerede HRTF-filtre, hvilket resulterer i en dårlig lydretning i spil og VR.

Hvorfor ikke højtalere?

Vi overvejede også detailhandelens højtalere og stråledannende højtalere i almindelige stereo- eller surroundsoundopsætninger. Højtalere undgår mange af problemerne med bekvemmelighed, som følger med hovedtelefoner, og de afgiver lyd, som vi nemt kan opfatte som ekstern i forhold til vores eget hoved, men der er flere ting, som står i vejen for deres anvendelse:

• Konfigurationer med eksisterende eksterne højtalere antager, at højtalerne vender fremad, så lyd afspilles, som om man var i et publikum og lyttede til et band på en scene eller så TV fra sofaen. Dette er okay med musik og film på en skærm, men VR- og stereospilindhold udsendes med en antagelse om, at V/H-kanalerne rammer begge sider af lytterens hoved samtidigt.
• Almindelige 5.1 og 7.1 surroundsoundsystemer begrænser afspilning til et horisontalt felt, hvorimod lydindhold fra VR og spil stort set kan placeres hvor som helst omkring lytteren.
• Højtalersystemer tager tid og plads at konfigurere korrekt, hvilket skaber yderligere friktion ved opsætning af VR.
• Højtalere kræver, at spilleren holder sig inden for et lille "perfekt område" for nøjagtig spatial afspilning. VR kræver nogle gange, at spillere flytter sig inden for et stort område.
• Højtalere kan påvirkes af akustikken i det virkelige rum, hvilket kan komme i konflikt med den ønskede akustik i den virtuelle verden.
• Højtalere kan få lyden til at føles, som om den er for langt væk, hvilket kan stride imod placeringen af den virtuelle lydkilde, som måske er meget tæt på spillerens ører.

Idéen

Da vi gennemgik alle afvejningerne ovenfor, stod det klart, at den optimale løsning til VR kan være et par "near-field" fuldregisterhovedtelefoner med off-ear-design. Tæt nok på øret til at efterligne spillerrelative stereohovedtelefoner og understøtte outputformatet i aktuelt VR-indhold, men langt nok væk, til at ørerne og hovedet kan give lyden deres egen klangfarve, samtidigt med at det øger komforten og afhjælper trykket på ørerne. Det var denne indsigt, kombineret med inspiration fra et barndomsminde om at være helt fordybet i lyden, mens man lå mellem to hi-fi-højtalere, der pegede ind mod en, som resulterede i den første prototype.

Evolutionen

Den første prototype blev lavet ved at tape to små stationære højtalerdrivere sammen på siden af en skateboardhjelm. En gammel Vive blev fastspændt på ydersiden af hjelmen. Højtalerne var drevet af USB og lydafspilningen via højtalerstikket på HTC Vive. Denne primitive prototype var overraskende god til at demonstrere øget fordybning i lyden og det ydre, når vi tillod vores ører og hoved at fortolke lyden naturligt. Det er svært at måle følelsen af fordybning kvantitativt, så på dette stadie brugte vi kvalitativ feedback fra kolleger og spiltestere til at beskrive lydens forskel mellem denne prototype og et par KOSS Porta Pro on-ear-hovedtelefoner i VR. Svarene var i overbevisende grad så positive over for højtalerne, at vi følte os godt tilpas med at fortsætte med dette design. Der opstod dog flere problemer:

• Meget begrænset basgengivelse.
• Små variationer i højtalerplacering, f.eks. når hvis man tog hjelmen anderledes på eller bevægede sig rundt i VR, ændrede lydstyrken, frekvenskarakteristikaene og lydbalancen betydeligt.
• Vægt og størrelse. Højtalerne var for tunge – (70 g hver), hvilket var i strid med målet om at gøre vores headset let og behageligt. Dette var nok den største bekymring i starten.
• Lydlækage.

Med vægt i tankerne undersøgte vi muligheden for at bruge hovedtelefondrivere i stedet for højtalerdrivere. Selvom de var lettere og mere energieffektive, leverede de ikke nok lydstyrke, når de blev holdt i luften væk fra øret. Selvom vi allerede vidste, at det ville være tilfældet, var det interessant at høre balancen mellem omsluttende lyd vs. afstand fra øret vs. frekvenskarakteristika og lydstyrke.

Vi ønskede at vide, hvor store hovedtelefondriverne skulle være for at imødekomme kravene til lydstyrke og frekvenskarakteristika. Vi talte med Audeze, som udviklede et par magnetostatiske hovedtelefoner for at hjælpe os med at finde ud af det. Resultatet lød utroligt, men vægten, størrelsen og omkostningen passede ikke med produktionsmålene for Valve Index.

Vi gik tilbage til at bruge højtalerdrivere som basis for vores design. En af fordelene ved tidlig forskning og udvikling i lyd på dette stadie var at kunne arbejde uafhængigt af resten af Valve Index-headsetsystemet. Med hjælp fra en maskiningeniør skabte vi en fritstående formfaktor til hovedtelefoner. Vi var i stand til hurtigt at lave iterationer af basgengivelse, kalibrering, orientering i forhold til øret, afstand fra øret og A/B-teste højtalerdrivere. Denne prototype var den første 3D-printede hovedtelefon med ørehøjtalere. Internt kaldte vi dem "hummingbirds" (kolibrier).

Disse farverige hummingbirds blev skabt ud fra tanken om at evaluere forskellige slags drivere til små fuldregisterhøjtalere. Frem til dette tidspunkt havde vi genbrugt hele detailhøjtaler- og hovedtelefonsystemer. Køb og evaluering af færdige dele krævede, at vi begyndte at bygge grundlaget for det underliggende lydsystem: forstærkere, lydchips, DSP (Digital Signal Processing) og mikrofoner. Samtidigt definerede vi vores mål for levering med hensyn til afstand fra øret, rotation, vægt, højtalerdimensioner og frekvenskarakteristika.

Vi opdagede BMR-højtalere (Balance Mode Radiator) i vores driverevalueringsfase og så straks adskillige positive fordele: De reducerede farveændringer fra forkert placerede højtalere, de havde næsten optimal vægt, havde gode frekvenskarakteristika ved høje og mellemhøje intervaller (vigtigt for binaurale simuleringer), og de var meget tyndere end traditionelle højtalerdrivere. Vi begyndte at arbejde med Tectonic for at designe en brugerdefineret driver til brug som off-ear-højtaler.

Internt var der stigende bekymring for, hvor meget lyd der ville slippe ud i miljøet fra ørehøjtalerne, og også hvor meget lyd der ville komme ind. For at få en idé om, hvilken indvirkning det ville have på kundernes oplevelse, byggede vi over 20 hummingbirds og lånte dem ud til kolleger, så de kunne teste dem derhjemme. Ingen havde lyst til at returnere deres hummingbirds (Chet). Dette var selvfølgelig et godt tegn sammen med den overvældende positive feedback fra spiltestere. Spiltesterne sagde, at fordelen ved, at der ikke var noget, der rørte øret, og den øgede følelse af omsluttende lyd kompenserede for problemer forårsaget af indgående ekstern lyd og/eller udgående intern lyd. Vi besluttede at fortsætte med dette design, men samtidig huske på disse bekymringer.

Produktet

Vi havde nu et fungerende undersystem til ørehøjtalere, som klarede sig godt i spiltest og opfyldte vores mål for kvalitet, pris og design. Vi påbegyndte processen med at forene ørehøjtalerdesignet med Valve Index-headsettet. Her blev det vigtigt at starte med akustisk at måle vores lydsystems ydeevne i forhold til headsettet. Ved at foretage nøjagtige målinger kunne vi registrere trinvise forbedringer samt identificere problemer i lydundersystemet. Først brugte vi vores mannequin ”Mr. HATS” til at foretage frekvensresponsmålinger for ørehøjtalerne. Blå tape på ansigtet markerer headsettets nøjagtige placering på modellen for at sikre, at de første målinger var konsekvente.

Frekvensresponsen og basforlængelsen blev målt og finjusteret dagligt for at maksimere lydkvaliteten. Mens vi hos Valve arbejdede på at forbedre basforlængelsen gennem DSP med EQ og algoritmer såsom psykoakustisk bas, arbejdede Tectonic på at forbedre bassen mekanisk ved at optimere selve højtalerdriveren. Kombinationen af disse aktiviteter gjorde os i stand til at nå og overgå vores mål for lydkvalitet og basrespons.

Ved at bruge BMR-drivere kan vi sikre en konsekvent lydkvalitet, uden misfarvning, selvom højtalerne er lidt forkert placeret på siden af hovedet. Dette skyldes den unikke måde, som BMR-højtalere udsender lyd på. Ved lave frekvenser opfører de sig som traditionelle højtalere. Det elektriske signal kommer ind, og hele membranen (den forreste del af højtaleren) bevæger sig frem og tilbage og sporer signalets form. Men den virkelige magi opstår ved højere frekvenser. Når bølgelængden fra bøjningsbølgerne, der bevæger sig igennem membranen, svarer til størrelsen på membranen, begynder traditionelle drivere at gå i en "opløsningstilstand", der får membranen til at bøje og vride, hvilket skaber meget skarpe toppunkter og fald i frekvensresponsen, og dels lyder det dårligt, dels er det også meget placeringsfølsomt. BMR-designet udnytter membranens naturlige bevægelse og kompenserer for vibrationer fra forskellige områder gennem optimeret materialevalg, massebelastning og omfattende designsimulation. Dette sikrer dybest set, at dine ører altid modtager den komplette lydinformation, selvom de ikke er i den perfekte vinkel til BMR-højtalerne.

Derudover var Tectonic også i stand til mekanisk at minimere lydlækage. Eftersom Valve Index-højtalerenheden er åben bagtil, kan trykket fra forsiden interagere med trykket fra bagsiden, og disse er pr. definition i modfase med hinanden. Men selve driverenheden giver en vis grad af "selvdæmpning" gennem sin samlede diameter af højtalerskærmen. For alle højtalerenheder hjælper den ydre diameter med til at forhindre, at trykket fra forsiden møder trykket fra bagsiden. Dette hjælper dog kun, når længden af lydbølgerne i luften er mindre end denne "selvdæmpning" fra driverens diameter. Når bølgelængden bliver større end driverens diameter, interagerer trykket fra forsiden direkte med trykket fra bagsiden, og der sker stærk støjfiltrering. Enhedens samlede diameter er ca. 5 cm. Det betyder, at der ikke er nogen støjfiltrering over ca. 3 kHz, men som vi ved, er der mindre og mindre lydindhold over denne frekvens. Det meste lydindhold ligger under 3 kHz, og her er støjfiltreringen stærk, så lyd ikke generer andre personer i nærheden. "Lytterens ører er så nær driverenheden ("near-field"), at støjfiltreringen ikke opfattes, da trykket fra forsiden er RELATIVT meget tættere på øret end trykket fra bagsiden." Tim Whitwell, CTO hos Tectonic.

Mikrofonen

Det var nemt for os at definere målet om, at headsettet skulle have mikrofoner af høj kvalitet til streamere og multiplayeroplevelser. På grund af off-ear-designet forventede vi dog, at mikrofonydelsen ville være en stor udfordring. Til vores overraskelse viste det sig ikke at være tilfældet. Takket være flere af ørehøjtalernes unikke funktioner kunne vi undgå at bruge en større mængde støjreducerende DSP på mikrofonsignalet, hvilket gjorde, at vi kunne opretholde en meget høj samplingfrekvens på mikrofonen på 48 kHz. Her er en liste med funktioner, som var med til at give mikrofoninput af høj kvalitet:

• Dobbelt mikrofonmatrice for at mindske retningskarakteristikken og øge fokus på signalet (brugerens mund) samt eliminere anden ydre lyd. Den dobbelte, retningsbestemte mikrofonmatrice fokuserer opsamlingen på brugerens mund og ekskluderer al ekstern lyd.
• BMR-driverens egen lydisolering reducerer ekstern lydforurening meget mere end traditionelle højtalere.
• Både højtaler- og mikrofonakustik blev udformet med henblik på at reducere ikke-lineære akustiske feedbackstier markant. Spillerens eget hoved absorberer meget af den første lydenergi fra BMR-højtalerne.
• Mikrofoner og lydstier med høj signalstøj.
• Mikrofoner af høj kvalitet og lydisolering.
• Dynamisk komprimering af indgående lyd for at undgå klipning af høje stemmer.

Afsluttende tanker

Al denne forskning, iterative udvikling og feedback får os til at tro, at designet af Valve Index-ørehøjtalerne er så tæt, som man kan komme i dag, på at give en optimal balance mellem afvejninger og funktioner, der specifikt er designet til afspilning af lyd i rumomspændende VR. Vi er meget tilfredse med lydoplevelsen, selvom der som sagt stadig er meget mere at lære og flere forbedringer, vi kan lave.

Hvis du brænder for lyd og kunne tænke dig at arbejde sammen med os på at løse problemer som disse, så se nærmere på de forskellige lydrelaterede domæner, eller send en e-mail til jobs@valvesoftware.com