Öronhögtalare – Forskning, design och utveckling

Valve Index öronhögtalare har optimerats för upplevelser i VR och designen avviker därför på intressanta sätt från detaljhandelns traditionella hörlurar.

Tidigt i våra experiment med virtual reality, blev det tydligt att många olika bitar krävs för att en VR-spelare ska acceptera och inte ifrågasätta trovärdigheten av upplevelsen*. Det är nödvändigt att förlita sig på berättande och miljömässiga och känslomässiga metoder från traditionella spel och filmer, men med VR kommer även en helt ny kategori specifika fysiologiska problem. När vi sätter på ett headset för att spela Budget Cuts, vill vi att VR ska få oss att känna som om vår kropp har transporterats till ett kontor fullt av mordiska robotar, snarare än att helt enkelt visa oss en miljö på en statisk skärm.

Tack vare vår forskning och speltestning förstod vi att maximal ljudomslutning ställde lika många krav på utformningen av ljudkomponenter som på 3D-spårningssystemet eller på skärmpanelerna. Att designa kring dessa krav innebar acceptans av några intressanta avvägningar, vilket påverkade saker som högtalarnas placering, drivrutinens vikt, formen på drivrutinens membran, den industriella utformningen av högtalarhöljet och till och med den grundläggande frekvensåtergivningen.

*Vi har kallat denna acceptans och frånvaro av vantro för just ”närvaro” (presence) i vissa sammanhang, men uttrycket har andra betydelser i ljudvärlden så det används inte i resten av denna artikel.

Både hårdvara och mjukvara

Övertygande omslutning av ljud kan endast uppnås genom att förlita sig på både mjukvaru- och hårdvarudomäner samtidigt. Att veta var man ska dra gränsen mellan hårdvarans (ljudenheter) och mjukvarans (spel, VR-upplevelser) ansvar krävde en helhetssyn över hela förloppet: från hur VR-ljudinnehåll skapas, till hur det matas ut av spelmotorer och alla sätt det kan nå örat.

På mjukvarusidan har spelljudsingenjörer och forskare arbetat för att skapa övertygande uppslukande ljudinnehåll sedan spelarrelativ panorering dök upp på 90-talet (Doom, Half-Life, Aureal3D, osv). Vi har sett stora förbättringar av spatiala ljudteknologier tack vare den nuvarande generationens VR. Binaural rendering och fysikbaserade ljudsimuleringstillägg som SteamAudio tillåter utvecklare att skapa ännu större sonisk positionsprecision, fysiskt korrekta virtuella efterklanger, ljudocklusion och överföring genom vanliga stereohörlurar. När vi övervägde den optimala lyssningsenheten för VR, använde vi följande kunskap och forskning inom simuleringar av ljudprogramvara:

• VR-innehåll levereras oftast i stereo, dvs en vänster och en höger ljudkanal. Dessa kanaler kan innehålla inbäddade binaurala toner och HRT-toner i förhållande till var spelaren riktar sin blick.
• Våra yttre öron, vår huvudform och ansiktsgeometri lägger till en specifik tonal signatur som hjälper våra hjärnor att identifiera verkligt ljud gentemot inbillat ljud, liksom placeringen av ljudkällor relativt till vår position (bakom, ovan, nedan, vänster, höger, osv.).
• Kvalitén på mellanhög-/högfrekvent ljud är mycket viktig.
  • Binaurala simuleringar förlitar sig på subtila förändringar i tonfärg (1 kH–8 kHz) för att förmedla positionen av en ljudkälla i relation till spelaren. Om en lyssnarenhet lägger till sin egen dämpade frekvensfärgning, stör det spelarens förmåga att lokalisera ljud.
  • Människor är i allmänhet mycket känsliga för ljud inom 2 kHZ–5 kHz. Om frekvensen för ett virtuellt ljud inte stämmer med hur vi förväntar oss att den ska vara i verkligheten, är det mer troligt att vi identifierar ljudet som ”inte på riktigt”. Tänk på hur lätt det är att urskilja om någons röst sänds via en högtalare gentemot om någon pratar bredvid dig.
• Kvaliteten på lågfrekvent ljud är viktig.
  • Även fast lågfrekvensljud inte förekommer så ofta i naturen, förekommer det ofta i VR- och underhållningsinnehåll (t.ex. musik, muller, explosioner, skottvapen, hjärtslag, kollisioner, magiska trollformler). Bas är avgörande för att förmedla en känsla av storlek och skala. Det förstärker den visuella slagkraften av VR och kan framkalla känslomässiga ledtrådar för fara, vördnad, isolering, internalisering, osv. Därför var det viktigt att vår lyssningsenhet upprätthöll en bra mängd basåtergivning.

Varför inte hörlurar?

Traditionella hörlurar utmärker sig genom att leverera direkt, spelarrelativt stereoljudinnehåll rakt in i varje öra. Spelare kan titta i valfri riktning i den virtuella världen, och 3D-spelmotorer med ljudsimuleringstillägg matar ut den nödvändiga stereosignalen för att förmedla rätt plats till den virtuella ljudkällan. Detta är anledningen till att konkurrenskraftiga e-sportspelare (t.ex. i CS:GO) använder hörlurar istället för högtalare; hörlurar ger mer direkt spatial ljudinformation. Två utgångskanaler (V/H), för två hörlurar (V/H), för två öron (V/H). Enkelt!

I allmänhet är traditionella ljudenheter dock sällan utformade med sonisk omslutning som det primära målet. Personliga enheter som öronsnäckor, on-ear-hörlurar och over-ear-hörlurar är utformade för att lyssna på musik och underhållning på platser där högtalare inte är lämpliga och ofta är strömkraven extremt låga (t.ex. mobiltelefoner, batteridrivna enheter). Fokus ligger ofta på ljudisolering, energieffektivitet, brusreducering och överdriven frekvensåtergivning. Vi ansåg att många av dessa optimeringar inte erbjuder mycket för nuvarande VR i rumsskala, där den allmänna lyssnarmiljön är ett dedikerat utrymme (t.ex. ett rum inomhus med lätt bakgrundsljud), där en liten mängd av ljudläckage kan vara okej. Vi har tillgång till massor av kraft, och frekvensåtergivningar måste stödja antagandena om binaurala ljudsimuleringar.

Hörlurar och öronsnäckor måste ha kontakt med örat eller omge örat för att fungera optimalt. Detta kan negativ inverka på känslan av ljudomslutning på följande sätt:

• Att leverera ljud direkt in i hörselgången kringgår den naturliga lyssningsprocessen där öron och huvud interagerar med verkliga ljudvågor. Lyssnarna går miste om den tonala ljudsignaturen som skapas av öronen, huvudet och personlig geometri. Detta kan resultera i att ljudet verkar som om det är inbillat, eller att det kommer inifrån huvudet, även om ljudinnehållet är mycket spatialt och fysiskt simulerat. Vi förutspår att programvarusimuleringar så småningom kommer att ta hänsyn till detta.
• Trycket på öronen kan bli smärtsamt och obekvämt efter längre perioder och detta kan få spelare att släppa taget om den virtuella världen.
• Några speltestare rapporterade att det signalerar till dem att inkommande ljud inte är på riktigt när de känner hörlurarna på örat.
• Att försegla örat med over-ear-hörlurar kan stänga inne värme, vilket gör att VR-headsetet känns varmare än vad användaren skulle göra i verkligheten. Även detta kan minska ens förankring i den virtuella världen.
• Den tonala ljudkvaliteten hos vissa hörlurar kan störa de subtila frekvensfärgningarna i binauralsimuleringar. Med hörlurar där mellanhöga frekvenser antingen är överdrivna eller dämpade, stör de troligtvis raffinerade HRTF-filter, vilket resulterar i en dålig känsla för ljudets riktning i spel och VR.

Varför inte högtalare?

Vi tittade även på detaljhandelns högtalare och strålformande högtalare i typiska stereo- eller surroundljudkonfigurationer. Högtalare undviker många av de problem med bekvämlighet som kommer med hörlurar och de avger ljud som vi lätt kan uppfatta som externa till våra egna huvuden. Flera saker hindrade dock användningen:

• Befintliga stereohögtalarkonfigurationer är riktade framåt, så att ljud spelas upp som om man är i en publik och lyssnar på ett band på scen eller tittar på tv från en soffa. Detta är okej för musik och film på en skärm, men innehåll från stereo- och VR-spel matas ut under förutsättning att V/H-kanaler anländer omedelbart till varje sida av lyssnarens huvud.
• Surroundljudsystem 5.1 och 7.1 begränsar uppspelning av ljud till ett horisontellt fält, medan ljudinnehåll från spel eller VR kan placeras praktiskt taget var som helst runt lyssnaren.
• Högtalarsystem tar upp utrymme och tar tid att konfigurera korrekt, vilket skapar ytterligare friktion vid VR-installation.
• Högtalare kräver att spelaren håller sig på en liten ”perfekt punkt” för exakt spatial uppspelning. VR kräver ibland att människor rör sig i ett stort utrymme.
• Högtalare kan påverkas av akustiken i det verkliga rummet, vilket kan hamna i konflikt med den önskade akustiken i den virtuella världen.
• Högtalare kan göra att ett ljud låter för långt borta, vilket kan strida mot placeringen av en virtuell ljudkälla, som kan vara mycket nära spelarens öron.

Idén

När vi granskade alla avvägningar ovan, blev det uppenbart att den optimala lösningen för VR kan vara ett par near-field fullregisterhörlurar med off-ear-design. Tillräckligt nära örat för att efterlikna spelarrelativa stereohörlurar och stödja utmatningsformatet för aktuellt VR-innehåll, men tillräckligt långt borta för att låta öronen och huvudet lägga sin egen tonfärg på ljudet, samtidigt som det ökar bekvämlighet. Det var denna insikt, kombinerat med inspiration från ett barndomsminne om att vara helt soniskt omsluten medan man låg mellan två inåtvända hi-fi-högtalare, som resulterade i att de första prototyperna skapades.

Evolutionen

Den första prototypen gjordes genom att tejpa två små stationära högtalardrivrutiner för datorer på en skateboardhjälm. En gammal Vive var fastspänd på hjälmens utsida. Högtalarna drivs av USB och ljuduppspelning via hörlursuttaget på HTC Vive. Denna primitiva prototyp gjorde ett förvånansvärt bra jobb med att visa ökningen av sonisk omslutning och utläggning när vi tillät våra egna öron och huvud att tolka ljudet naturligt. Känslan av omslutning är svår att mäta kvantitativt, så i detta skede förlitade vi oss på kvalitativ feedback från kollegor och speltestare för att beskriva den soniska skillnaden mellan denna prototyp och ett par KOSS Porta Pro-hörlurar i VR. Svaren var tillräckligt övertygande till förmån för högtalarna att vi kände oss bekväma att fortsätta med denna design. Men flera problem uppstod:

• Mycket begränsad basåtergivning.
• Små variationer i högtalarplacering, t.ex. om man satte på sig hjälmen annorlunda eller flyttade omkring i VR, förändrades volymen, frekvensåtergivningen och ljudbalansen avsevärt.
• Vikt och storlek. Högtalarna var för tunga (vardera 70 g), vilket var i konflikt med målet att göra vårt headset lätt och bekvämt. Detta var förmodligen den största oron.
• Ljudläckage.

Med vikten i åtanke, undersökte vi möjligheten att använda drivrutiner för hörlurar istället för drivrutiner för högtalare. Trots att de var lättare och mer energieffektiva, så gav de inte tillräckligt med ljudvolym när de hölls i luften, ifrån örat. Även om vi redan visste att det skulle bli så, var det intressant att höra avvägningen mellan omslutande ljud kontra avstånd från örat, kontra frekvensåtergivning och volym.

Vi ville veta hur stora hörlurarnas drivrutiner behövde vara för att börja uppfylla kraven på volym och frekvensåtergivning. Vi pratade med Audeze, som utvecklade ett par magnetostatiska hörlurar för att hjälpa oss ta reda på det. Resultatet lät otroligt men varken vikten, storleken eller kostnaden var lämplig för Valve Index.

Vi återvände till att använda högtalardrivrutiner som grund för vår design. En av fördelarna med tidig forskning och utveckling av ljud i detta skede var att kunna arbeta oberoende av resten av Valve Index headset-system. Med hjälp av en maskiningenjör, skapade vi en fristående svävande formfaktor. Vi kunde snabbt iterera basåtergivning, kalibrering, orientering relativt till örat, avstånd från örat och utföra A/B-utvärderingar av testhögtalarens drivrutiner. Denna prototyp var den första 3D-printade hörluren med öronhögtalare. Internt kallar vi dem ”hummingbirds” (kolibrier).

Dessa färgglada hummingbirds skapades med tanken att utvärdera olika typer av drivrutiner för små fullregisterhögtalare. Fram till denna tidpunkt hade vi återanvänt detaljhandelns högtalar- och hörlurssystem. Att köpa och utvärdera färdiga delar krävde att vi byggde grunden för ljudets undersystem: förstärkare, kretsar, DSP (digital signal processing) och mikrofoner. Samtidigt definierade vi våra mål för leverans, med optimalt avstånd från örat, rotation, vikt, högtalardimension och frekvensåtergivning.

Vi stötte på BMR-högtalare(Balance Mode Radiator) under vår utvärdering av drivrutiner och märkte omedelbart flera positiva fördelar: De minskade tonskiftningar som sker med felplacerade högtalare, de hade nästan optimal vikt, de hade bra frekvensåtergivning i höga och mellanhöga intervaller (viktigt för binaurala simuleringar) och de var mycket tunnare än traditionella högtalardrivrutiner. Vi började arbeta med Tectonic för att designa en anpassad drivrutin för användning som öronhögtalare.

Internt ökade oron över hur mycket ljud som skulle läcka ut ur öronhögtalarna och även hur mycket externt ljud de skulle släppa in. För att få en uppfattning om vilken inverkan detta skulle ha på kunders upplevelse, byggde vi över 20 hummingbirds och lånade ut dem till kollegor att testa hemma. Inte en enda av dem ville lämna tillbaka sin hummingbird (Chet). Detta var naturligtvis ett bra tecken, tillsammans med den överväldigande positiva feedbacken från speltestare. Speltestarna sa att fördelarna med att inte ha någonting vid örat och den ökade känslan av omslutande ljud, kompenserade för problem orsakade av inkommande externt ljud och/eller utgående internt ljud. Vi bestämde oss för att fortsätta med denna design, men ha dessa bekymmer i åtanke.

Produkten

Vi hade nu ett fungerande undersystem för öronhögtalare som speltestare lovordade och som i runda slängar uppnådde våra mål för kvalitet, kostnad och design. Vi började processen att slå ihop högtalardesignen med Valve Index headset. Här blev det viktigt att akustiskt mäta undersystemets prestanda med headsetet. Genom att göra exakta mätningar, blev det möjligt för oss att upptäcka stegvisa förbättringar samt identifiera problem i undersystemet. Först använde vi vår provdocka “Mr. HATS” för att mäta frekvensåtergivningen för öronhörlurarna. Blå tejp på ansiktet markerade den exakta placeringen av headsetet på dockan, så att de första mätningarna blev konsekventa.

För att maximera ljudkvaliteten, mättes och förfinades frekvensåtergivningen och basförlängningen dagligen. Medan vi i Valve arbetade för att förbättra basförlängning genom DSP, med hjälp av EQ och algoritmer som psykoakustisk bas, arbetade Tectonic med att förbättra basen mekaniskt genom att optimera själva högtalardrivrutinen. Kombinationen av dessa ansträngningar gjorde det möjligt för oss att uppnå och överskrida våra mål för ljudkvalitet och basåtergivning.

Genom att använda BMR-drivrutiner kan vi säkerställa jämn ljudkvalitet utan tonskiftningar, även om högtalarna är något felaktigt placerade på huvudet. Detta beror på det unika sättet som BMR utstrålar ljud. Vid låga frekvenser beter de som traditionella högtalare. Den elektriska signalen kommer in, och hela membranet (högtalarens främre del) rör sig fram och tillbaka och spårar signalens form. Men den verkliga magin sker vid högre frekvenser. När våglängden för de böjande vågorna som rör sig genom membranet liknar själva membranets storlek, börjar traditionella drivrutiner att gå in i ”upplösningslägen” som får membranet att böjas och krusas, vilket skapar mycket skarpa toppar och nedgångar i frekvensåtergivningen. Förutom att detta låter dåligt, är det även mycket placeringskänsligt. BMR:er är utformade att utnyttja membranets naturliga beteende och balanserar vibrationerna från olika områden genom optimerat materialval, ljuddämpning och omfattande designsimulering. I grund och botten, ser det till att dina öron alltid får fullständig ljudinformation, även om de inte är perfekt placerade i förhållande till BMR-högtalarna.

Dessutom kunde Tectonic mekaniskt minimera ljudläckage. Eftersom Valve Index högtalarenheter är öppna, kan ljudtrycket från framsidan interagera med trycket från baksidan, som per definition är i motfas. Emellertid ger drivrutinenheten, via dess totala diameter, en viss grad av ”självdämpning”. För alla högtalarenheter, hjälper den yttre diametern att förhindra att ljudtrycket som kommer framifrån möter trycket som kommer bakifrån. Dock hjälper detta enbart om längden på ljudvågorna i luften är mindre än självdämpningen från diametern. När våglängden blir större än drivrutinenhetens diameter, kommer trycket framifrån i direkt kontakt med trycket som kommer bakifrån och starkt brusfiltrering äger rum. Den totala diametern på enheten är cirka 5 cm. Detta innebär att det inte finns något brusfiltrering över 3 kHz, men det finns mindre och mindre ljudinnehåll över denna frekvens. Majoriteten av ljudinnehållet är under 3 kHz och det finns stark brusfiltrering här, vilket förhindrar att ljudet stör människor i närheten. ”Lyssnarens öron är så nära drivrutinenheten (”near-frield”) att brusfiltreringen inte uppfattas, eftersom trycket som kommer framifrån är relativt mycket närmare örat än baksidan.” Tim Whitwell, IT-chef för Tectonic.

Mikrofonen

Målet att ha headsetmikrofoner av hög kvalitet för streamare och onlinespel kändes självklart. På grund av högtalarens off-ear-utformning, förväntade vi oss dock att mikrofonprestandan skulle bli en svår utmaning. Till vår överraskning visade det sig inte vara fallet. På grund av flera av öronshögtalarnas unika funktioner, kunde vi undvika att använda en större mängd brusfiltrerande DSP på mikrofonsignalen, vilket i sin tur gjorde det möjligt för oss att hålla samplingsfrekvensen för mikrofonen mycket hög vid 48 kHz. Här är en lista med funktioner som hjälpte till att bygga mikrofoninmatning av hög kvalitet:

• Dubbla mikrofoner för att minska riktad återgivning och öka fokus på signalen (användarens mun) plus eliminera annat yttre brus. Den dubbelriktade mikrofonmatrisen fokuserar upphämtningen på användarens mun och utesluter alla externa ljud.
• BMR-drivrutinernas ”självdämpning” reducerar externt buller till mycket högre grad än traditionella högtalare.
• Både högtalar- och mikrofonakustik utformades för att avsevärt minska alla icke-linjära akustiska rundgångar. Spelarens eget huvud absorberar mycket av den initiala ljudenergin från BMR-högtalarna.
• Mikrofoner och ljudvägar med hög grad av SNR (Signal-To-Noise).
• Mikrofoner av hög kvalitet och ljudisolering.
• Dynamisk komprimering av inkommande ljud för att undvika att klippning av högt talljud.

Avslutande tankar

All denna forskning, iteration och feedback får oss att tro att Valve Index öronhögtalare är så nära som det för närvarande är möjligt att nå en optimal balans mellan avvägningar och funktioner specifikt utformade för ljuduppspelning i rumsskalig VR. Vi är mycket nöjda med ljudupplevelsen, fast det som sagt finns mycket kvar att lära sig och fler förbättringar att göra.

Om du har en passion för ljud och vill arbeta med oss ​​för att lösa problem som dessa, kan du utforska de olika ljudrelaterade domänerna eller mejla till jobs@valvesoftware.com