Oorluidsprekers - Onderzoek, ontwerp en evolutie

De oorluidsprekers van de Valve Index zijn geoptimaliseerd met het oog op de specificiteit van ervaringen in de virtuele realiteit, waardoor hun ontwerp op interessante manieren afwijkt van dat van gewone hoofdtelefoons die je standaard in de winkel kunt vinden.

Het werd ons al vroeg in onze experimenten met VR duidelijk dat om een gebruiker in de virtuele realiteit een voldoende gevoel van authenticiteit te geven, van echt opgaan in de ervaring,* het niet enkel nodig was om de narratieve, scenografische en psychologische methodes van traditionele spellen en films in te zetten, maar daarbovenop ook een volledig nieuwe categorie van fysiologische probleemoplossing eigen aan de virtuele realiteit. Wanneer we een headset opzetten om Budget Cuts te spelen, verwachten we van VR de sensatie dat ons lichaam echt is getransporteerd naar een kantoor vol moordzuchtige robots, niet dat het ons die omgeving gewoon toont zoals op een statisch scherm.

Ons onderzoek en onze speltesten hielpen ons inzien dat een maximale geluidsimmersie evenveel eisen oplegt aan het ontwerp van de audio-elementen als aan het 3D-volgingssysteem en de beeldschermpanelen. We leerden ook dat ontwerpen met die vereisten in het achterhoofd een aantal interessante compromissen onvermijdbaar maakt. Compromissen die, bijvoorbeeld, een invloed hadden op de positie van de luidsprekers, het gewicht van het luidsprekerelement, de vorm van het diafragma van het luidsprekerelement, het industriële ontwerp van de behuizing van de luidspreker en zelfs de fundamentele eigenschappen van de frequentierespons.

*We hebben deze authentiek aanvoelende, lichamelijke ervaring van fictie als realiteit in een andere context eerder 'aanwezigheid' (presence) genoemd. Dat woord heeft echter andere connotaties in de wereld van geluid, en daarom zullen we het in de rest van deze Deep Dive verder niet gebruiken.

Zowel hardware als software

Een overtuigend onderdompelende geluidservaring kan enkel tot stand komen door je tegelijk te beroepen op software én op hardware. Om precies de grens te kunnen trekken tussen wat we van de hardware konden vragen (de geluidsapparatuur) en wat van de software (spellen en VR-ervaringen), moesten we de hele pipeline voor geluid in VR op een holistische manier analyseren. Dat ging van hoe geluidsinhoud voor VR tot stand komt, over hoe de output werkt in spelengines, tot alle mogelijke manieren waarop geluid je oor kan bereiken.

Aan de softwarekant wordt er al sinds de eerste ervaringen met door spelers gestuurde panoramische bewegingen uit de jaren 90 (bijv. in Doom, Half-Life, Aural3D etc.) gewerkt aan het creëren van geloofwaardig, immersief geluid. Vervolgens zagen we dankzij de huidige generatie van VR enorme technologische sprongen voorwaarts op het vlak van verruimtelijkt geluid. Dankzij plugins voor binauraal renderen en natuurgetrouwe geluidssimulatie zoals SteamAudio, is het voor ontwikkelaars nu mogelijk om een steeds grotere mate van positionele getrouwheid voor geluid te bereiken, om virtuele echo's en weerkaatsing te creëren volgens de wetten van de natuur, om geluid te dempen of te propageren – en dat allemaal gebruikmakend van gewone stereohoofdtelefoons. Om het optimale luisterapparaat te ontwerpen voor VR vandaag, steunden we op de volgende inzichten in en onderzoek naar gesimuleerd geluid in software:

• VR-inhoud wordt voornamelijk in stereo aangeleverd, met één linker- en één rechterkanaal voor audio. Die kanalen kunnen binaurale en HRTF-toonvariaties ingebouwd hebben, afhankelijk van de kijkrichting van een speler op een gegeven moment (HRTF, of head-related transfer function, beschrijft hoe geluid door het lichaam wordt beïnvloed).
• Onze oorschelp, de vorm van ons hoofd en onze gezichtsgeometrie zorgen voor een specifieke tonale signatuur waardoor onze hersenen echt geluid kunnen onderscheiden van ingebeeld geluid en ook de relatieve positie van geluidsbronnen kunnen bepalen (achter, boven, onder, links of rechts van ons, etc.).
• Geluidskwaliteit in het midden- tot hoge bereik is erg belangrijk.
  • Binaurale simulaties beroepen zich op subtiele veranderingen in toonhoogte (1-8 kHz) om de positie weer te geven van een geluidsbron ten opzichte van de speler. Als een luistertoestel eigen, gedempte toonvariaties toevoegt, dan wordt het voor spelers moeilijker om geluid te lokaliseren.
  • Mensen nemen geluiden binnen een bereik van 2-5 kHz het meest acuut waar. Als de frequentie van een virtueel geluid niet overeenkomt met wat we er in de werkelijke wereld van verwachten, dan zullen we dat geluid makkelijker als 'niet echt' identificeren. Dat is vooral ook zo als je vergelijkt hoe makkelijk het is om het verschil te horen tussen iemands stem die door een luidspreker klinkt en die van iemand die naast je staat.
• Geluidskwaliteit in het lage bereik is belangrijk.
  • Lage frequenties komen in de natuur niet vaak voor, maar bij VR en andere vormen van entertainment absoluut wel (denk aan muziek, gerommel, explosies, vuurschoten, een hartslag). Bastonen zijn cruciaal om een gevoel voor afmetingen en schaal over te brengen. Ze versterken de visuele onderdompeling van VR en ankeren bepaalde emoties – gevaar, ontzag, isolatie, interioriseren etc. Daarom was het belangrijk dat ons luisterapparaat een gezonde dosis basrespons zou hebben.

Waarom geen hoofdtelefoons?

Traditionele hoofdtelefoons zijn perfect om direct, aan de speler gerelateerd stereogeluid rechtstreeks het oor in te leiden. Spelers kunnen in de virtuele wereld in elke richting kijken, en 3D-spelengines met plug-ins voor geluidssimulatie produceren stereosignalen die de correcte locatie van een virtuele geluidsbron overbrengen. Daarom gebruiken competitieve gamers in e-sports, zoals CS:GO, hoofdtelefoons in plaats van naar voren gerichte luidsprekers – hoofdtelefoons bieden directere ruimtelijke geluidsinformatie. Twee kanalen voor uitvoer (L/R), voor twee oorapparaten (L/R), voor twee oren (L/R) ... simpel.

In het algemeen is traditionele geluidsapparatuur echter zelden ontworpen met volledige onderdompeling in geluid als hoofddoel. Persoonlijke geluidsbronnen zoals oordopjes, on-ear- en over-earhoofdtelefoons, zijn geoptimaliseerd voor luisteren naar muziek op plekken waar luidsprekers niet mogelijk zijn, en de energievereisten zijn vaak erg laag (bijvoorbeeld mobiele telefoons, toestellen die met batterijen werken). De focus ligt vaak op geluidsisolatie, energiezuinigheid, het buitensluiten van extern geluid, en verhoogde frequentieresponsen. Naar onze mening waren veel van deze optimalisaties minder logisch in de context van kamervullende VR, waar de algemene luisteromgeving een ruimte van een gegeven volume is (zoals een kamer binnenshuis met licht achtergrondgeluid) en een heel klein beetje geluidsverlies eventueel wel oké is. We hadden ook toegang tot meer dan genoeg energie, en frequentieresponsen moesten in functie staan van de vereisten voor binaurale geluidsimulaties.

Hoofdtelefoons en oordopjes moeten het oor aanraken of omsluiten om optimaal te kunnen werken. We ondervonden dat dit soms volledige onderdompeling kan tegenwerken, op de volgende manieren:

• Geluid rechtstreeks het oorkanaal insturen, slaat het natuurlijke luisterproces over dat gebeurt wanneer je oren en hoofd met echte geluidsgolven interageren. Luisteraars lopen zo de specifieke tonaliteit mis die gevormd wordt door hun oren, hoofd en persoonlijke geometrie. Dat kan ertoe leiden dat geluid als ingebeeld overkomt, of alsof het van binnen je eigen hoofd komt, zelfs als de aangeleverde audio sterk verruimtelijkt en fysiek gesimuleerd is. We voorspellen dat softwaresimulaties hier in de toekomst rekening mee zullen houden.
• Druk op je oor kan pijnlijk worden en oncomfortabel na langere tijd, wat mensen uit hun VR-ervaring haalt.
• Sommige speltesters vertelden ons dat alleen al het gevoel van hoofdtelefoons tegen hun oren, hen op voorhand al de indruk gaf dat elk geluid dat ze zouden horen niet echt zou zijn.
• Oren afsluiten met over het oor geplaatste hoofdtelefoons kan ervoor zorgen dat warmte niet kan ontsnappen. VR-headsets zijn daardoor voor gebruikers warmer dan de buitenwereld, wat het gevoel van onderdompeling en aanwezigheid vermindert.
• De tonale geluidskwaliteit van sommige hoofdtelefoons kan de subtiele inkleuring van frequenties bij binaurale simulaties verstoren. Bijvoorbeeld hoofdtelefoons met versterkte of net gedempte frequenties in het midden- tot hoge bereik zullen hoogstwaarschijnlijk een effect hebben op de subtielere aspecten van HRTF-filters, met problematisch richtingsafhankelijk geluid tot gevolg in spellen en VR.

Waarom geen luidsprekers?

We hebben ook luidsprekers uit de detailhandel en beamformingluidsprekers in overweging genomen, geïnstalleerd in typische stereo- en surroundsoundopstellingen. Met luidsprekers kunnen veel van de standaard comfortproblemen worden vermeden en ze leveren geluid dat we makkelijk kunnen herkennen als niet in ons eigen hoofd. Maar ze boden zo hun eigen problemen:

• Het uitgangspunt voor bestaande stereoconfiguraties voor luidsprekers is een naar voren gerichte oriëntering, zodat geluid wordt teruggespeeld alsof je in het publiek staat bij een liveconcert, of tv kijkt vanop de bank. Dat is prima voor muziek of film op een beeldscherm, maar voor VR-inhoud en spellen in stereo moet je ervan uitgaan dat de uitvoer via een linker- en een rechterkanaal verloopt en rechtstreeks de zijkanten bereikt van het hoofd van een luisteraar.
• Bij de meeste 5.1- en 7.1-systemen voor surround sound is de playback beperkt tot een horizontaal veld. Geluid voor VR en spellen kan echter om het even waar ten opzichte van een luisteraar virtueel gepositioneerd worden.
• Het is vaak tijdsintensief om luidsprekersystemen correct te installeren en ze kunnen veel plaats innemen, wat VR-installaties extra lastig maakt.
• Luidsprekers vereisen dat spelers binnen een bepaalde 'sweet spot' blijven, een beperkte plek met ruimtelijk correcte playback. Voor VR is het soms nodig dat mensen zich in een grote ruimte kunnen rondbewegen.
• Luidsprekers kunnen beïnvloed worden door de akoestiek van de echte ruimte, en die kan eventueel verschillen van de gewenste akoestiek van de virtuele wereld.
• Luidsprekers kunnen ervoor zorgen dat geluid te ver weg klinkt, wat in tegenstrijd kan zijn met de locatie van een virtueel geluid dat eventueel erg dicht bij het oor van een speler kan zijn.

Het idee

Nadat we alle afwegingen op een rijtje hadden gezet, werd het ons duidelijk dat de optimale oplossing voor VR wel eens een paar breedbandhoofdtelefoons zou kunnen zijn met ultra-NFC-technologie die buiten het oor zouden worden geplaatst. Dicht genoeg bij het oor om hetzelfde effect te genereren als stereohoofdtelefoons met op de speler gebaseerde lokalisatie en om het huidige outputformaat van VR-inhoud aan te kunnen, maar ver genoeg ervan verwijderd dat oren en hoofd hun eigen tonale signatuur aan geluid zouden kunnen geven en problemen met druk of comfort de pas zouden worden afgesneden. Het waren deze inzichten, samen met inspirerende herinneringen uit onze jeugd aan totale onderdompeling in geluid, languit uitgestrekt tussen twee naar elkaar gerichte hifiluidsprekers, die uiteindelijk uitmondden in de eerste prototypes.

De evolutie

Het eerste prototype maakten we door twee kleine breedbandluidsprekers aan de zijkanten van een skatehelm te plakken. Aan de buitenkant van de helm was er een oude Vive vastgebonden. De luidsprekers werden aangedreven door USB en hadden een audio-uitvoer via de poort voor de hoofdtelefoon van de HTC Vive. Dit primitieve prototype toonde verbazend goed aan hoeveel sterker de immersiviteit van het geluid en de belichaming werden wanneer we onze oren en ons hoofd de mogelijkheid boden om geluid natuurlijk te interpreteren. Het gevoel van onderdompeling is natuurlijk moeilijk te meten, dus in deze fase waren we aangewezen op de kwalitatieve feedback van collega's en speltesters om het verschil in geluidservaring te beschrijven tussen dit prototype en een set KOSS Porta Pro-hoofdtelefoons in VR. De reacties neigden voldoende in het voordeel van de luidsprekers dat we ons gestaafd voelden in dit ontwerp en erop verder konden bouwen. Er doken echter verschillende problemen op:

• Erg gelimiteerde bastonen.
• Lichte verschillen in de positie van de luidsprekers, bijvoorbeeld veroorzaakt door de helm anders op te zetten of rond te bewegen in VR, zorgden ervoor dat de frequentiedistributie en geluidsbalans aanzienlijk konden verschuiven.
• Gewicht en afmetingen. De luidsprekers waren te zwaar (elk 70 g) en dat was in tegenstrijd met het ruimere doel om onze headset licht en comfortabel te maken. Dat was de grootste zorg in dit vroege stadium.
• Geluidsverlies.

Om gewichtsproblemen aan te kaarten, onderzochten we het gebruik van hoofdtelefoons in de plaats van luidsprekers. En hoewel ze lichter en energiezuiniger zijn, konden ze niet voldoende volume bieden wanneer ze weg van het oor en in de vrije lucht werden gehouden. Ook al wisten we dat dit het geval was, toch was het boeiend om de afwegingen tussen immersie van geluid versus afstand weg van het oor versus frequentiedistributie en volume te horen.

We wilden graag weten exact hoe groot hoofdtelefoondrivers moesten zijn om aan onze vereisten voor volume en frequentierespons te kunnen voldoen in een off-earcontext. We spraken met Audeze en zij ontwierpen een hoofdtelefoon voor ons met een off-ear, planar magnetic ontwerp om ons daarbij te helpen. Het resultaat klonk puntgaaf, maar het gewicht, de afmetingen en de kostprijs bleken niet haalbaar binnen de productieparameters voor de Valve Index.

We keerden terug naar luidsprekers als basis voor ons ontwerp. Een van de voordelen van het verkennend onderzoek naar audio in deze fase was dat we volkomen onafhankelijk konden werken van de rest van het Valve Index-headsetsysteem. Met de hulp van een werktuigbouwkundige ingenieur ontwierpen we een vormfactor voor een autonome off-earhoofdtelefoon. In die nieuwe context konden we snel experimenteren met basrespons, afstemming, oriëntatie ten opzichte van het oor, afstand tot het oor en A/B-testen uitvoeren voor luidsprekerevaluaties. Dit prototype was het eerste paar hoofdtelefoons gemaakt met 3D-printen. Intern noemen we ze 'Hummingbirds'.

Deze kleurrijke Hummingbirds werden gecreëerd om verschillende soorten van kleine breedbandluidsprekers te evalueren. Voordien hadden we alleen standaard in de winkel verkrijgbare, hele luidspreker- en hoofdtelefoonsystemen gerecycleerd. Door standaardonderdelen te kopen en te evalueren werden we gedwongen om de basis van het audiosubsysteem te beginnen bouwen: versterkers, audiochips, DSP (digital signal processing) en microfoons. Terzelfdertijd kwamen we ook steeds dichter bij de uiteindelijke vereisten voor ons eindproduct met betrekking tot de optimale afstand tot het oor, de rotatie, de afmetingen van de luidsprekers en de frequentierespons.

We stuitten op BMR-luidsprekers (Balance Mode Radiator) tijdens onze evaluatiefase van drivers en merkten meteen verschillende positieve eigenschappen op. BMR-drivers reduceerden geluidsvertekening door verkeerde plaatsing van luidsprekers, voldeden bijna aan onze gewichtsvereisten, hadden een geweldige frequentierespons in het hoge en middenbereik (belangrijk voor binaurale simulaties) en waren veel dunner dan traditionele luidsprekers. We begonnen een samenwerking met Tectonic om een aangepaste driver te ontwerpen specifiek voor gebruik als off-earluidsprekers.

Binnen ons eigen team was er steeds meer bezorgdheid over de mate waarin de oortelefoons omgevingsgeluid zouden produceren en hoeveel geluid er van de omgeving bij hen naar binnen zou stromen. Om het effect daarvan in te schatten voor gebruikers, bouwden we 20+ Hummingbirds en deelden ze vervolgens uit aan collega's om ze thuis te testen. Niemand wilde zijn Hummingbirds daarna teruggeven (Chet). Dat was een goed teken, samen met de overweldigend positieve feedback van de speltests. Speltesters merkten op dat de voordelen van niets te hebben dat de oren aanraakt en van het grotere gevoel van onderdompeling, meer dan opwoog tegen problemen door inkomend extern geluid en/of geluidsverlies naar buiten toe. We besloten om verder te werken aan dit ontwerp, maar met die bedenkingen in het achterhoofd.

Het product

We hadden nu een functioneel luidsprekersubsysteem dat het goed deed in speltesten en voldeed aan onze ontwerpdoeleinden en vereisten voor geluidskwaliteit en kostprijs. We startten dus het proces om dit luidsprekerontwerp in de Valve Index-headset te integreren. Hier werd het belangrijk om akoestische metingen te beginnen maken van de prestaties van het audiosubsysteem in de context van de headset. Dankzij deze nauwkeurige metingen konden we incrementele verbeteringen vaststellen en problemen met het audiosubsysteem identificeren. We gebruikten eerst 'Mr. HATS', ons testdummyhoofd om de frequentierespons te meten van de luidsprekers. De exacte positie van de headset werd met blauwe plakband op zijn gezicht gemarkeerd om de vroege metingen consistent te houden.

Om de geluidskwaliteit te maximaliseren, werden de frequentierespons en het basbereik elke dag gemeten en verfijnd. Terwijl wij bij Valve het basbereik probeerden te verbeteren door DSP met EQ-tuning en algoritmes zoals psychoacoustic bass, werd er bij Tectonic gewerkt aan het mechanisch verbeteren van de bas door het optimaliseren van de luidspreker zelf. De combinatie van die twee projecten maakte het mogelijk om onze streefdoelen voor geluidskwaliteit en basrespons niet enkel te bereiken maar te overstijgen.

Dankzij BMR-drivers konden we een consistente geluidskwaliteit garanderen, zonder kleurring, zelfs als de luidsprekers licht verkeerd gepositioneerd waren aan de zijkanten van het hoofd. Dat was mogelijk door de unieke manier waarop BMR's geluid uitzenden. Bij lage frequenties gedragen ze zich als traditionele luidsprekers. Het elektrische signaal loopt binnen en het hele diafragma (voorste deel van de luidspreker) beweegt heen en weer volgens het patroon van het signaal. De echte magie begint echter pas bij hogere frequenties. Wanneer de golflengte van de buigende golven die zich door het diafragma bewegen ongeveer gelijk is aan de grootte van het diafragma, dan gaan traditionele luidsprekers over in een staat van akoestische breuk, waarbij het diafragma buigt en golft en er scherpe pieken en dalen in de frequentierespons ontstaan die niet enkel slecht klinken, maar bovendien ook erg afhankelijk zijn van plaatsing. BMR's zijn ontworpen om gebruik te maken van het natuurlijke gedrag van het diafragma en balanceren de trillingen van verschillende gebieden door middel van een geoptimaliseerde materialenselectie, luchtvolumedistributie en uitgebreide ontwerpsimulaties. Ze zorgen er dus in wezen voor dat je oren altijd de volledige geluidsinformatie ontvangen, zelfs als de BMR's niet perfect geplaatst zijn ten opzichte van je oren.

Tectonic was bovendien ook in staat om geluidsverlies te minimaliseren. Omdat de luidsprekermodule van de Valve Index een open ontwerp heeft, is er interactie mogelijk tussen de druk die van voren komt en de druk die van achteren komt, en die twee zijn per definitie ongelijkfasig. De module heeft echter een zelfdempend effect door zijn totale diameter. Bij elke luidsprekereenheid helpt de buitendiameter in essentie te vermijden dat de druk van voren die van achteren tegenkomt. Dat werkt echter alleen als de golflengte van de geluidsgolven in de lucht kleiner is dan de zelfdempende klankkast gevormd binnen de diameter van de module. Als de golflengte groter wordt dan de diameter van de luidspreker, dan zal de druk van de voorkant rechtstreeks interageren met de druk die van achteren komt, en is er een sterk neutraliserend effect. De globale diameter van de luidsprekermodule is ongeveer 5 cm. Dat betekent dat er bij meer dan ongeveer 3 kHz geen neutralisatie is. Zoals we weten, is er echter steeds minder audio die boven deze frequentie zit. De meeste beschikbare audio bevindt zich onder de 3 kHz en dit is waar het neutraliserend effect sterk is, zodat geluid omstaanders niet stoort. “De oren van de gebruiker die de headset op heeft, zitten zo dicht bij de luidspreker ('near-field') dat het neutraliserend effect niet waargenomen wordt, aangezien de druk van de voorzijde RELATIEF zoveel dichter bij het oor is dan de achterzijde.” Tim Whitwell, CTO van Tectonic.

De microfoon

Het was makkelijk om ons doel te formuleren: hoogkwalitatieve microfoons voor de headset om streamen en multiplayerervaringen te ondersteunen. Door het off-earontwerp van de luidsprekers verwachtten we echter dat de microfoonprestaties een moeilijke uitdaging zouden vormen. Tot onze verrassing bleek dat niet het geval. Dankzij verschillende unieke elementen van het luidsprekerontwerp was het mogelijk een aanzienlijke hoeveelheid geluidsneutraliserende DSP te vermijden op het signaal van de microfoon, en dat maakte het op zijn beurt mogelijk om de signaalbemonstering van de stroom van de microfoon erg hoog te houden, op 48 kHz. Dit zijn de elementen die ons hielpen om een hoogkwalitatieve output te bereiken voor de microfoon:

• Opstelling met twee microfoons om de gerichte respons te vernauwen, op het signaal te focussen (de mond van de gebruiker) en ander, irrelevant geluid te elimineren. De microfoonopstelling in twee richtingen focust op de mond van de gebruiker en sluit extern geluid uit.
• De 'zelfdempende klankkast' van BMR-luidsprekers reduceert extern geluidsverlies veel meer dan traditionele luidsprekers.
• De akoestiek van de luidsprekers en microfoons werd ontworpen om alle niet-lineaire paden voor akoestische feedback in belangrijke mate te verminderen. Het hoofd van een speler absorbeert veel van de initiële geluidsenergie van de BMR-luidsprekers.
• Microfoons en audiopaden met hoge signaal-ruisverhouding.
• Microfoons en akoestische isolatie van een goede kwaliteit.
• Dynamische compressie van inkomende audio, zodat luide stemmen niet afgesneden worden.

Ter afsluiting

Al dit onderzoek, alle opeenvolgende ontwerpen en alle feedback heeft ons er rotsvast van overtuigd dat het luidsprekerontwerp van de Valve Index een zo optimaal als mogelijke balans biedt van compromissen en functionaliteit voor geluid in VR-ervaringen op kamerschaal. We zijn enorm tevreden over het eindresultaat van de geluidservaring, maar dat gezegd zijnde is er ook nog veel ruimte om meer te leren en verbeteringen aan te brengen.

Als jij gepassioneerd bent voor audio en graag samen met ons dit soort problemen wilt oplossen, neem dan een kijkje bij onze verschillende audio-gerelateerde vacatures of e-mail jobs@valvesoftware.com