Campo de visão (FOV)
Quando decidimos criar o headset do Valve Index, um dos nossos objetivos principais foi melhorar a fidelidade geral da experiência de realidade virtual, começando pelas questões audiovisuais e de ergonomia, a qualidade da deteção de movimentos, etc. É óbvio que proporcionar um campo de visão (FOV) mais amplo é um componente crucial da fidelidade visual: cria imersão, traz mais conforto durante o uso de um headset e, dependendo da experiência, pode aumentar a satisfação que vem acompanhada da jogabilidade e da interação.
Antes de falarmos mais a fundo sobre este assunto, devíamos mencionar alguns aspetos da fidelidade visual que estão interligados ao campo de visão.
Resolução de pixels angular. Medida em pixels por grau (PPD), a resolução angular é um fator importante na nitidez e realismo do teu mundo virtual. No que diz respeito ao design de headsets, a resolução angular é orientada pela resolução de ecrã e o campo de visão. Infelizmente, proporcionar um campo de visão vasto diminui diretamente a resolução angular e os pixels disponíveis são espalhados ao longo da grande área de visualização. Obviamente, isto é compromisso crítico no design de headsets, já que nitidez visual e o campo de visão são importantíssimos para experiências de realidade virtual de alta qualidade. Toda esta história sobre nitidez visual envolve muitos fatores para além de pixels por grau, como disposição de subpixels, fator de preenchimento, lentes e até ergonomia. Mas isso é um grande tema que vamos abordar noutro dia.
A taxa de atualização do ecrã e o tempo de iluminação do ecrã ("persistência"). Alguns dos benefícios de taxas de atualização mais elevadas são bem conhecidos no mundo dos PCs tradicionais. Mas na realidade virtual, onde o ecrã está mesmo à frente dos olhos, atualizações frequentes e persistência baixa são em conjunto a chave para reduzir a desfocagem de movimentos. Tal como acontece ao aumentar a resolução, reduzir a desfocagem de movimentos ajuda a melhorar a nitidez do sistema. Mas também proporciona algumas coisas que apenas aumentar os pixels por grau não consegue: aumenta a sensação de permanência física de objetos virtuais e ao mesmo tempo melhora a estabilidade geral do ambiente virtual. Devido à fisiologia da visão humana, estas qualidades aumentam em importância à medida que o campo de visão aumenta.
Está nos nossos planos abordar estes dois temas com mais detalhe no futuro, mas é verdade que nenhuma discussão sobre campos de visão estaria completa sem mencioná-los primeiro.
O que é o campo de visão na realidade virtual?
A área da óptica tem um conjunto de termos e convenções bem estabelecidos no que diz respeito ao campo de visão. Já a realidade virtual é algo completamente diferente com bastantes requisitos pouco convencionais, portanto há a tendência de usar o termo de uma forma ligeiramente diferente. Em sistemas ópticos que não sejam de realidade virtual, a localização da pupila* é fixo e as dimensões dos painéis/sensores são o limitador determinante do campo de divisão de uma lente. Nesses casos, o campo de visão é facilmente descrito em termos horizontais, verticais e diagonais. Estas medidas derivam das bordas do sensor/painel através da pupila do sistema óptico. Porém, em sistemas ópticos de realidade virtual, a pupila é a combinação do local da pupila humana (que inclui o ponto de alívio dos olhos e a distância interpupilar), da abertura das lentes do headset (normalmente não circular por motivos ergonómicos), da distância focal das lentes, do tamanho do ecrã e da relação binocular entre os dois olhos. Portanto, medir o campo de visão óptico na realidade virtual torna-se muito mais complicado. (Aqui usamos o termo "alívio dos olhos" para nos referirmos à distância entre a parte da frente das lentes e o ponto mais próximo do teu olho, normalmente a parte da frente da tua córnea.)
Cada headset tem um campo de visão monocular máximo possível determinado pelo seu design, que é independente do utilizador. Isto é sobre o que as pessoas normalmente falam, tentam medir, etc. Mas a partir do ponto de vista do design de produtos de realidade virtual, estamos principalmente preocupados com o que cada utilizador individual consegue de facto ver. Durante as nossas pesquisas por outros headsets quando começámos a desenvolver o Valve Index, reparámos que era normal para um utilizador obter um campo de visão muito menor do que o pretendido, devido à forma como o headset é equipado e à geometria facial de cada utilizador. Por exemplo, cálculos trigonométricos básicos podem dizer-te que se o teu olho estiver demasiado afastado da lente em relação ao diâmetro da lente, a lente inteira não irá abranger um ângulo amplo e não podes obter um campo de visão muito vasto. Nesta situação, em headsets como o do Valve Index, que pretendem proporcionar um campo de visão superior a 90 graus, até um simples milímetro a mais de alívio dos olhos pode reduzir o teu campo de visão em cerca de 3 graus.
Wearing an Index HMD, you can directly see the high sensitivity of FOV to eye relief by rolling the eye relief knob all the way back and forth and observing the large effect on FOV from the seemingly small amount of travel. Facial geometry differences between individuals can fairly easily cause the eye relief distance to vary by +/- 6mm.
Understanding the geometry of the situation gets even more complex when you think about other factors that affect your eye’s position relative to the lens. Consider what happens when your eye is looking straight ahead, then begins rotating away, moving the pupil farther away from the lens and closer to one edge. Similarly, if the hardware IPD of the headset is not adjusted correctly, that can also limit FOV. One common example is if the hardware IPD is too small, it limits the FOV toward the outside.
Fit matters as well. You might adjust the headset a little tighter or looser, or have it positioned a little off-center. All of these subtract from FOV. More complexity is introduced with prescription eye wear, which also tends to optically change the effective eye relief value. Beyond the physical uncertainties, there are additional complications on the software side, such as the offset frustums of the projection matrix and the shape of the masked render target not being circular. Those impact FOV by making it asymmetric. Also, compositor panel masking, which is software that controls stray light and chromatic fringing, is dynamic and dependent on/responsive to the re-projection system... Meaning that FOV for any modern HMD is not even completely static from frame to frame.
And all of the above is still considering FOV for only a single eye. Considering binocular FOV adds another layer of complexity, introducing stereo overlap and pushing further into the realm of individual subjective perception.
In all of the above cases taken separately, the effect might be on the order of a millimeter or two, but taken together it means that A) you need significant margin and/or adjustment built into the headset design in order to deliver your FOV to the user, and B) it is difficult (really impossible) to make a single objective, quantitative measurement of the FOV that predicts what any individual user is actually going to get. That makes us hesitant to talk about FOV using a single number, as it has never been anything close to the clarifier we've wanted it to be. So let's expand on the first...
Designing For FOV
In order to make it possible for users on the “close“ side of eye relief (and users with glasses) to use a headset at all, headsets without good eye relief adjustment and careful attention to comfort have to be designed with the eye relief distance biased well outward. And that in turn leaves two unpleasant design options: either design the maximum FOV to be pretty low for everyone, or design the maximum to be reasonably high but leave many users with a truncated FOV and wasted angular resolution.
For the Index HMD, we instead kept the theoretical maximum FOV fairly close to the high end of previous-generation headsets and then focused on delivering the full FOV to every user. This was done with a combination of a number of design elements which together add up to a big difference in effective FOV and comfort:
-
Eye Relief:
First and foremost, we implemented physical eye relief and IPD adjustments in order to provide optimal nominal eye position, and thus maximal comfort and FOV, to as many users as we could. In addition to being easier to adjust, the Index eye relief mechanism allows the display assembly to sit closer to the eye compared to headsets of the previous generation. This means that much more of the complete image rendered by the GPU is delivered to the eyes of most users. The Valve Index HMD's physical design also sets up the optical subsystem to work as well as it can and helps constrain the trade-off space it must operate within. -
Canted Eye Tubes:
Second, we canted each lens/display assembly by 5 degrees to optimize inner vs. outer FOV and also improve available interior IPD range. The first benefit of the canted approach is simple: It nudges a few more degrees of FOV towards the outer sides, at the expense of the inner sides of each eye where stereo overlap is at play. Stereo overlap is still vitally important, of course. The canting simply provides a way to keep angular resolution of the system high while still striving for the higher overall binocular FOV that we were hoping to provide.
The main downside of canting is that both the existing software content library and the field of GPU rendering hardware are all typically optimized for parallel eyes. Fortunately, this may be readily compensated for in software using the re-projection techniques we already depend on for maintaining a constant frame rate. We just need to do a tiny bit every frame.... This way, apps past, present, and future may continue rendering in parallel as they always have, and they will "just work" for HMDs with mild amounts of cant angles. -
Lens geometry:
Third, we made the front surface of the lens much flatter. This allows the eye to comfortably get closer to the lens, particularly for people using eyewear. While this effect is on the order of a few millimeters, we've seen how every little bit helps. Also, while it is technically possible to approach this from the other direction by increasing the clear aperture, there's an obvious practical limit to the outer diameter of the lens that will fit into the HMD and still provide enough IPD range to give a wide distribution of users a good experience.
Beside the main three, there are a few other aspects of HMD design that impact FOV worth mentioning, and that we had to consider when designing Index.
- Lens Diameter: We maintained a large lens diameter of 50 millimeters so that the eye can maintain a comfortable distance and still receive a high, geometrically stable FOV. This has been our approach because smaller diameter lenses reduce the effective light aperture to the eye, and can quickly become a limiting factor for FOV.
- Edge to Edge Clarity: The new lens design for the Index allows for more even clarity across the whole of the optical field. If it isn't of high enough quality, additional FOV may not be nearly as beneficial as we'd like.
- Geometric Stability: As FOV increases, it becomes harder and harder to accommodate distortion and keep the image geometrically stable. Instability comes from many factors, but is most clearly manifested as a wobbliness in the world, where things that should appear solid instead undulate like gelatin as you move your head. We believe that providing geometric stability is a critical aspect to long term comfort and sustained growth of VR usage.
So there are dozens of considerations that impact FOV, and all must be designed together in order to maximize the actual, delivered FOV across the entire user base.
In conclusion:
- The Index HMD maximizes FOV by allowing the lenses to sit much closer to your eyes, even with full gasket foam.
- The FOV rendered by the GPU for Index is similar to that of a Vive or Vive Pro, but more of that view is delivered to most users.
- Index’s careful design delivers a higher effective FOV to the individual user without sacrificing pixels per degree.
- The canted eye tubes effectively shift a small amount of horizontal FOV from the inside to the outside, making them more balanced.
- It's really hard to use a single number to effectively describe the FOV of an HMD.
*pupil is referring to the stop of the system while accounting for any refraction or reflection that may occur in the system. It can include the stop, entrance pupil, or exit pupil of the system.