Ørehøyttalere – forskning, utforming og utvikling

Valve Index-ørehøyttalerne er optimerte for VR-opplevelser, og dette fører til at utformingen skiller seg fra tradisjonelle hodetelefoner på interessante måter.

Tidlig i eksperimenteringen med VR ble det tydelig at å hjelpe en bruker med å sette sin skepsis* til side ikke bare krevde bruk av de fortellende, miljømessige og følelsesmessige metodene fra tradisjonelle videospill og filmer, men også en helt ny kategori av fysiologisk problemløsning som er unik for VR. Når vi tar på oss et hodesett for å spille Budget Cuts, forventer vi at VR får oss til å føle oss som at kroppen vår er blitt forflyttet til et kontor fullt av morderiske roboter, heller enn å bare vise oss miljøet deres gjennom en statisk skjerm.

Forskningen og spilltestingen vår viste at å oppnå maksimal lydlig omslutning krevde like mye fra utformingen på lydkomponentene som det gjorde på 3D-sporingssystemet eller skjermpanelene. Vi fant også ut at å utvikle for disse kravene førte til at vi måtte akseptere noen interessante kompromisser som påvirket f.eks. plasseringen av høyttalerne, tyngden på driveren, utformingen av driverens membran, formen på høyttalerskjermen og til og med grunnleggende frekvensresponskarakteristikker.

*Vi kalte denne tilsidesettingen av skepsis «tilstedeværelse» i andre sammenhenger, men det begrepet har andre betydninger innenfor lydmiljøet. Derfor unnlater vi å bruke det i resten av denne artikkelen.

Både maskinvare og programvare

Overbevisende lydomslutning kan bare oppnås ved bruk av både programvare og maskinvare i samspill. Å vite hvor man skal trekke grensen mellom oppgavene til maskinvaren (lydenheter) og programvaren (spill, VR-opplevelser) krevde en helhetlig vurdering av hele forløpet – fra hvordan lydinnhold i VR skapes, til hvordan spillmotorer mater det ut, til alle måtene det kan nå øret på.

På maskinvaresiden har lydingeniører og forskere jobbet hardt med å skape overbevisende og omsluttende lydinnhold siden spillerrelativ panorering kom på banen på 90-tallet (Doom, Half-Life, Aureal3D osv.). Siden har vi sett store forbedringer i romlig lydteknologi takket være nåtidens VR-teknologi. Binaural gjengivelse og programtillegg til fysikkbasert lydsimulering, som f.eks. SteamAudio, gir utviklere muligheten til å skape enda bedre lydlig nøyaktighet, virkelighetstro romklang, lydokklusjon og overføring ved bruk av vanlige hodetelefoner i stereo. Da vi vurderte den beste lytteenheten for nåværende VR, brukte vi denne kunnskapen og forskning på simulasjon av programvarelyd:

• VR-innhold er vanligvis i stereo – én kanal for venstre og én for høyre. Disse kanalene kan inneholde innebygde binaurale og HRTF-klangfarger relativt til hvor spilleren retter blikket.
• De ytre ørene, hodefasongen og ansiktsgeometrien gir en bestemt lydlig signatur som hjelper hjernene våre med å identifisere ekte lyd mot innbilt lyd, samt hvor lydkildene befinner seg i forhold til oss (bak, over, nedenfor, venstre, høyre osv.).
• Naturtro gjengivelse ved mellomhøye og høye lydfrekvenser er veldig viktig.
  • Binaurale simuleringer avhenger av små endringer i klangfargen (1 kHz – 8 kHz) for å gjengi plasseringen til en lydkilde relativt til spilleren. Hvis en lytteenhet legger til en egen dempet frekvensfarging vil dette forstyrre spillerens evne til å plassere lyd.
  • Mennesker er i hovedsak veldig følsomme for lyder innenfor 2 kHZ – 5 kHz. Hvis frekvensen til en virtuell lyd ikke samsvarer med det vi forventer at den skal være i virkeligheten, er det mer sannsynlig at vi identifiserer lyden som «ikke ekte». Dette hører man spesielt hvis man sammenligner hvor lett det er å høre om stemmen til noen sendes gjennom en høyttaler, mot noen som snakker rett ved siden deg.
• Naturtro gjengivelse ved lave lydfrekvenser er viktig.
  • Selv om lave frekvenser ikke dukker opp i naturen så ofte, dukker de ofte opp i VR- og underholdningsinnhold (musikk, risting, eksplosjoner, skuddveksling, hjerterytmer, sammenstøt, magi osv.). Bass er helt nødvendig for å formidle en fornemmelse av størrelse og skala. Den utbedrer visuell omslutning i VR og fremkaller spesifikke følelsessignaler – fare, ærefrykt, isolasjon, internalisering osv. Derfor var det viktig at lytteenheten vår opprettholdt en god bassrespons.

Hvorfor ikke hodetelefoner?

Tradisjonelle hodetelefoner er veldig bra på å levere direkte, spillerrelativt stereolydinnhold rett til hvert øre. Spillere kan se i alle retninger i den virtuelle verden, og 3D-spillmotorer med plugins for lydsimulering vil mate ut et stereosignal for å formidle riktig plassering av den virtuelle lydkilden. Dette er grunnen til at spillere i e-sport (f.eks. CS:GO) bruker hodetelefoner istedenfor høyttalere. Hodetelefoner gir mer romlig lydinformasjon. To utgangskanaler (V / H) til to øretelefoner (V / H) til to ører (V / H) – så enkelt.

Men i hovedsak er tradisjonelle lydenheter sjelden utformet med lydomslutning som hovedmål. Personlige enheter, som øreplugger og hodetelefoner som sitter på eller over øret, er optimaliserte for lytting til musikk og underholdning i områder hvor høyttalere ikke er passende, og har ofte ekstremt lave energikrav (f.eks. mobiltelefoner, batteridrevne enheter). Fokuset ligger ofte på lydisolering, energibesparing, støydemping og overdreven frekvensrespons. Vi hadde inntrykk av at mange av disse optimaliseringene ikke gir like mye mening i sammenheng med nåværende VR i romskala, der lyttemiljøet er et avgrenset rom (f.eks. et innendørs rom med lett bakgrunnsstøy), hvor bittelitt lydlekkasje kan gå greit. Vi hadde tilgang til mye energi, og frekvensresponsene måtte støtte antakelsene fra binaurale lydsimuleringer.

Hodetelefoner og øreplugger må ha kontakt med eller omringe øret for å fungere optimalt. Vi opplevde at dette av og til kan motarbeide lydomslutningen på følgende måter:

• Å sende lyd direkte inn i ørekanalen omgår den naturlige lytteprosessen hvor øre og hode interagerer med lydbølger. Lyttere går glipp av den tonale lydsignaturen som skapes av ørene, hodet og personlig geometri. Dette kan føre til at lyden oppleves som innbilt eller som at den kommer fra innsiden av hodet, selv om lydinnholdet er romlig og fysisk simulert i høy grad. Vi ser for oss at programvaresimuleringer etter hvert vil ta høyde for dette.
• Trykket på ørene kan bli smertefullt og ukomfortabelt etter lengre perioder, noe som trekker folk ut av VR-opplevelsen.
• Enkelte spilltestere rapporterte at det at hodetelefonene rører ørene gav en antydning om at lyden ikke er ekte.
• Å forsegle øret med hodetelefoner som dekker øret kan fange varme og gjøre at VR-hodesettet føles varmere enn brukeren ville følt i virkeligheten.
• De tonale lydegenskapene til enkelte hodetelefoner kan forstyrre små frekvensfarger i binaurale simuleringer. For eksempel vil hodetelefoner med overdrevne eller dempede mellomhøye og høye frekvenser forstyrre HRTF-filtrene, noe som gir upresis lydretning i spill og VR.

Hvorfor ikke høyttalere?

Vi vurderte også høyttalere og stråledannende høyttalere med vanlige stereo- og surroundlydoppsett. Høyttalere unngår mange av problemene med komfort som er forbundet med hodetelefoner, og avgir lyd som vi lett kan oppfatte som ekstern i forhold til vårt eget hode, men byr også på flere problemer:

• Eksisterende stereohøyttaleroppsett går ut ifra at høyttalerne vender fremover, slik at lyden spilles av som om man var i et publikum og hører på et band på en scene, eller ser på TV fra sofaen. Dette fungerer for musikk og film på en skjerm, men VR og spillinnhold i stereo spilles av med en antakelse om at V- / H-kanalene treffer siden på hodet til lytteren umiddelbart.
• Vanlige 5.1- og 7.1-surroundlydsystemer begrenser avspillingen til et vannrett felt, mens VR og spillinnhold kan være virtuelt plassert hvor som helst rundt spilleren.
• Høyttalersystemer kan ta tid og rom for brukeren å sette opp riktig, og dette skaper ytterligere friksjoner ved installasjon av VR.
• Høyttalere krever at spilleren forblir innenfor et lite «perfekt område» for presis romlig gjengivelse, mens VR kan av og til kreve at personer beveger seg rundt i et stort område.
• Høyttalere kan påvirkes av akustikken i det virkelige rommet de er plassert i, og dette kan komme i konflikt med ønsket akustikk i den virtuelle verden.
• Høyttalere kan få lyden til å høres ut som den er for langt borte, noe som kan stride imot plasseringen av den virtuelle lydkilden, som kan være veldig nær spillerens ører.

Idéen

Etter å ha gjort vurderingene ovenfor ble det tydelig at den beste løsningen for VR ville være et par «near-field»-fullregisterhodetelefoner med off-ear-design. Tett nok på øret til å etterligne spillerrelative stereohodetelefoner og støtte utgangsformatet i nåværende VR-innhold, men langt nok borte til å la ørene og hodet gi lyden sin egen klangfarge. Dette øker også komforten og begrenser trykket. Det var denne innsikten, sammen med et barndomsminne om å være fullstendig lydlig omsluttet mellom to hi-fi-høyttalere, som førte til de første prototypene.

Utviklingen

Den første prototypen ble laget ved å teipe to små stasjonære høyttalerdrivere på siden av en skateboardhjelm. En gammel Vive ble festet på utsiden av hjelmen. Høyttalerne ble drevet av USB, og lydavspillingen gikk gjennom jackpluggen til HTC Vive. Denne primitive prototypen gjorde en overraskende god jobb med å demonstrere økningen i lydfordypning og -eksternalisering da vi lot våre egne ører og hode tolke lyden naturlig. Følelsen av omslutning er vanskelig å måle kvantitativt, så på dette stadiet brukte vi kvalitative tilbakemeldinger fra kollegaer og spilltestere for å beskrive den lydlige forskjellen mellom prototypen og et par KOSS Porta Pro-hodetelefoner i VR. Tilbakemeldingene var sterkt nok i høyttalernes favør til at vi følte oss komfortable med å fortsette med dette designet. Men flere problemer dukket opp:

• Veldig begrenset bassrespons.
• Små variasjoner i høyttalerplassering, f.eks. når man tok på seg hjelmen på forskjellige måter eller beveget seg i VR, som førte til at volumet, frekvensresponsen og lydbalansen endret seg.
• Vekt og størrelse. Høyttalerne var for tunge (70 g hver), og dette kom i konflikt med produksjonsmålet om å gjøre hodesettet vårt lett og komfortabelt. Dette var sannsynligvis vår største bekymring til å begynne med.
• Lydlekkasje.

Med tanke på vekt utforsket vi muligheten for å bruke hodetelefondrivere heller enn høyttalerdrivere. Disse er lettere og mer energibesparende, men leverte ikke nok lyd når de ble holdt i luften bort fra øret. Selv om vi allerede visste at dette kom til å være tilfellet, var det interessant å høre kompromissene mellom lydomslutning vs. avstand til øret vs. frekvensrespons og volum.

Vi ville vite hvor store hodetelefondrivere vi trengte for å oppfylle kravene våre for volum og frekvensrespons. Vi snakket med Audeze som utviklet et par magnetostatiske hodetelefoner for å hjelpe oss med å finne ut av det. Resultatet hørtes utrolig ut, men vekten, størrelsen og kostnaden passet ikke med produksjonsmålene for Valve Index.

Vi gikk tilbake til å bruke høyttalerdrivere som grunnlag for designet vårt fremover. En av fordelene med tidlig forskning og utvikling av lyd på dette stadiet var at det ble mulig å jobbe uavhengig av resten av Valve Index-hodesettsystemet. Med hjelp fra en maskiningeniør skapte vi en frittstående formfaktor til hodetelefoner. Vi var i stand til å raskt utføre iterasjoner på bassrespons, kalibrering, orientering i forhold til øret, avstand til øret og A/B-testevalueringer av høyttalerdriverne. Denne prototypen var den første 3D-printede hodetelefonen med ørehøyttalere. Internt kaller vi dem «Hummingbirds».

Disse fargerike Hummingbirdsene ble laget med mål om å vurdere forskjellige slags små fullregisterhøyttalere. Frem til dette tidspunktet hadde vi gjenbrukt hele høyttaler- og hodetelefonsystemer. Kjøp og evaluering av ferdige deler krevde at vi måtte begynne å bygge grunnlaget for det underliggende lydsystemet: forsterkere, kretskort, digital signalbehandling og mikrofoner. Samtidig kom vi nærmere å definere leveringsmålene våre for optimal avstand til øret, rotasjon, vekt, dimensjon og frekvensrespons.

Vi støtte på BMR (Balance Mode Radiator)-høyttalere i vurderingsfasen vår for drivere, og la umiddelbart merke til flere positive sider. De reduserte forvrengninger forårsaket av feilplassering av høyttalerne, var nesten innenfor vektmålet vårt, hadde god frekvensrespons ved høye og mellomhøye intervaller (viktig for binaurale simuleringer) og var mye tynnere enn tradisjonelle høyttalerdrivere. Vi begynte å jobbe sammen med Tectonic for å utforme en tilpasset driver til bruk for ørehøyttalere.

Internt økte bekymringen om lydlekkasje og hvor mye ekstern lyd de ville slippe inn. For å finne ut av hvilken innvirkning dette kunne ha på kundenes opplevelse, bygget vi over 20 Hummingbirds og lånte dem ut til kollegaer så de kunne teste dem hjemme. Ingen hadde lyst til å levere tilbake Hummingbirden sin (Chet). Dette var naturligvis et godt tegn, i tillegg til de overveldende positive tilbakemeldingene fra spilltestere. Spilltesterne kommenterte at fordelene med å ikke ha noe som rørte øret og følelsen av omsluttende lyd, kompenserte for problemer forårsaket av innkommende ekstern lyd, eller intern lyd som lekket ut. Vi bestemte oss for å fortsette med dette designet, men med disse aspektene i bakhodet.

Produktet

Vi hadde nå et fungerende undersystem for ørehøyttalere som gjorde det bra i spilltest, og oppfylte målene våre for kvalitet, pris og design. Vi begynte prosessen med å forene høyttalerutformingen med Valve Index-hodesettet. Her ble det viktig å akustisk måle undersystemets ytelse i forhold til hodesettet. Ved å ta nøyaktige målinger kunne vi fange opp trinnvise forbedringer, samt identifisere problemer med undersystemet. Til å begynne med brukte vi testmodellen vår «Mr. HATS» for å foreta frekvensresponsmålinger for ørehøyttalerne. Blå teip på ansiktet markerte hodesettets nøyaktige plassering på modellen slik at de første målingene ble konsekvente.

Bassforlengelsen og frekvensresponsen ble målt og bearbeidet daglig for å få best mulig lydkvalitet. Mens vi hos Valve jobbet med å forbedre bassforlengelsen gjennom digital signalbehandling ved bruk av EQ og algoritmer som psykoakustisk bass, jobbet Tectonic med å forbedre bassen mekanisk ved å optimere selve høyttalerdriveren. Kombinasjonen av disse innsatsene gjorde det mulig for oss å oppnå og overskride målene våre for lydkvalitet og bassrespons.

Ved å bruke BMR-drivere kan vi sikre en konsekvent lydkvalitet uten forvrengning, selv om høyttalerne er feilplasserte på siden av hodet. Dette er på grunn av den unike måten BMR-er sender ut lyd på. Ved lave frekvenser fungerer de som tradisjonelle høyttalere. Det elektriske signalet kommer inn, og hele membranen (fremste del på høyttaleren) beveger seg frem og tilbake i takt med signalet. Men den virkelige magien skjer ved høyere frekvenser. Når bølgelengden på bøyningsbølgene som beveger seg gjennom membranen er like stor som størrelsen til membranen, går tradisjonelle drivere inn i en «oppløsningstilstand» som får membranen til å vri seg. Dette skaper veldig skarpe høyder og fall i frekvensresponsen som, i tillegg til at det høres dårlig ut, er veldig plasseringsfølsomt. BMR-designet utnytter membranens naturlige bevegelse og balanserer vibreringer fra forskjellige områder gjennom optimalisert valg av materiale, massebelastning og omfattende designsimulering. Dette sørger for at ørene dine alltid mottar den fullstendige lydinformasjonen, selv om de ikke er perfekt plasserte i forhold til BMR-høyttalerne.

I tillegg var Tectonic i stand til å minimere lydlekkasje mekanisk. Ettersom Valve Index-høyttalerenheten er åpen bak, kan trykket fra fremsiden interagere med trykket fra baksiden, og disse er per definisjon faseforskjøvet mot hverandre. Men den totale diameteren til driverenheten gir en viss grad av selvdemping. For alle høyttalerenheter hjelper den ytre diameteren med å forhindre trykket fra fremsiden å møte trykket fra baksiden. Dette fungerer bare når bølgelengden til lydbølgene er mindre enn selvdempingen fra driverens diameter. Når bølgelengden blir større enn dette, vil trykket fra fremsiden interagere med trykket fra baksiden, og en sterk støyfiltrering oppstår. Diameteren til driverenheten er ca. 5 cm. Dette betyr at det ikke er noen støyfiltrering over 3 kHz, men som vi vet finnes det mindre og mindre lydinnhold over denne frekvensen. Det aller meste av lydinnhold er under 3 kHz, hvor støyfiltreringen er sterk. Dette forhindrer at personer i nærheten plages av lyden. «Ørene til lytteren er så nær driverenheten (near-field) at støyfiltreringen ikke oppfattes, ettersom trykket fra fremsiden er relativt mye nærmere ørene enn trykket fra baksiden.» Tim Whitwell, IT-sjef hos Tectonic.

Mikrofonen

Målet vårt om å ha mikrofoner av høy kvalitet for å støtte strømmere og flerspilleropplevelser var viktig å oppfylle. Men på grunn av off-ear-designet regnet vi med at mikrofonytelsen ville bli en utfordring. Til vår overraskelse viste dette seg ikke å være tilfellet. Takket være ørehøyttalerens unike funksjoner kunne vi unngå å bruke store mengder støydempende digital lydprosessering på mikrofonsignalet, noe som gjorde det mulig å opprettholde en høy samplingfrekvens på mikrofonen på 48 kHz. Her en liste med spesifikasjoner som gjorde det mulig å få til mikrofoninput i høy kvalitet:

• Dobbel mikrofonrekke for å begrense retningsrespons og fokusere på signalet (brukerens munn), samt fjerne annen ekstern støy. Den doble mikrofonrekken fokuserer lydopptaket på brukerens munn og ekskluderer all ekstern lyd.
• Selvdempingen til BMR-driverne reduserer ekstern støy mye mer enn tradisjonelle høyttalere.
• Akustikken til høyttaleren og mikrofonen ble utformet for å sterkt redusere eventuell ikke-lineær tilbakemelding. Spillerens eget hode absorberer mye av den første lydenergien fra BMR-høyttalerne.
• Mikrofoner og lydveier med høyt signal-til-støyforhold.
• Mikrofoner og lydisolering i høy kvalitet.
• Dynamisk komprimering av innkommende lyder for å unngå klipping av høye stemmer.

Endelige tanker

All forskningen, iterasjonene og tilbakemeldingene får oss til å tro at designet på Valve Index-ørehøyttaleren er så nær som det for øyeblikket er mulig å nå en optimal balansegang mellom kompromisser og funksjoner spesifikt utformet for lydavspilling i romskalert VR. Vi er svært fornøyde med lydopplevelsen, selv om det fremdeles er mye å lære seg og flere forbedringer vi kan gjøre.

Hvis du har lidenskap for lyd og har lyst til å jobbe sammen med oss for å løse problemer av denne typen, kan du utforske de forskjellige lydrelaterte domenene eller sende en e-post til jobs@valvesoftware.com