visionOS 26.4 traerá transmisión foveated a Apple Vision Pro, lo que permitirá una representación VR remota inalámbrica de mayor calidad desde una PC local o la nube.
Antes de seguir leyendo, tenga en cuenta que foveated transmisión no es lo mismo que foveado rendiraunque ambas técnicas se pueden utilizar juntas. Como sugieren los nombres, mientras que la representación foveada implica que el dispositivo host realmente represente el área de cada fotograma que está mirando con una resolución más alta, la transmisión foveada se refiere a enviar esa área a los auriculares con una resolución más alta.
Es un término que quizás haya escuchado en el contexto de Steam Framework de Valve, donde es una característica fundamental siempre activa de su oferta de transmisión de realidad virtual para PC, entregada a través del adaptador inalámbrico USB para PC.
Debido a que los decodificadores de video en los auriculares tienen una resolución máxima y una tasa de bits limitadas, la transmisión foveada ayuda a priorizar esa resolución donde estás mirando actualmente.
válvulas representación de streaming foveada.
A diferencia de MacOS Spatial Rendering introducido en la versión principal de visionOS 26 el año pasado, que es un sistema de nivel relativamente alto que solo admite una Mac local como host, la documentación para desarrolladores de Apple describe el nuevo Foveated Streaming como un marco de trabajo independiente del host de bajo nivel.
La documentación destaca el SDK CloudXR de Nvidia como un host de ejemplo, y señala que también debería funcionar con computadoras locales. Apple incluso tiene una muestra de Windows OpenXR disponible en GitHub, que hasta donde sabemos es la primera y única vez que la compañía menciona la API XR estándar de la industria, sin mencionar su uso.
ALVR para Apple Vision Pro lleva los controladores PS VR2 a SteamVR
ALVR para Apple Vision Pro, la herramienta SteamVR inalámbrica de código abierto, ahora es compatible con los controladores PS VR2 Sense en su versión TestFlight para visionOS 26.
El desarrollador principal del puerto visionOS de la aplicación de streaming de realidad virtual para PC ALVR, Max Thomas, le dice a UploadVR que actualmente está buscando agregar soporte para el streaming foveated, pero que probablemente requerirá «mucho trabajo».
Debido a cómo funciona la función, la transmisión foveated de Apple puede incluso permitir foveated rendir para herramientas como ALVR.
Normalmente, visionOS no proporciona a los desarrolladores ninguna información sobre dónde está buscando el usuario; Apple dice que esto es para preservar la privacidad. En cambio, los desarrolladores solo reciben eventos, como qué elemento estaba mirando el usuario mientras realizaba el gesto de pellizcar. Pero para que funcione la transmisión foveated, la API le dice al desarrollador la región «aproximada» del fotograma que el usuario está mirando.
Esto debería permitir que el host también renderice a una resolución más alta en esta región, no solo una secuencia de resolución más alta. Como siempre, esto requerirá que el juego de realidad virtual específico admita el renderizado foveado o que admita una herramienta que inyecte renderizado foveado.
Clip de la aplicación de muestra de transmisión foveated visionOS de Apple.
Curiosamente, la documentación de Apple también indica que visionOS admite la visualización simultánea de contenido remoto y en el dispositivo. La compañía da el ejemplo de renderizar el interior de un automóvil o avión en los auriculares mientras se transmite el mundo externo altamente detallado en una potente PC en la nube, lo que sería preferible desde una perspectiva de latencia y estabilidad percibida a renderizar todo en la nube.
Estaremos atentos a la comunidad de desarrolladores de visionOS en los próximos meses, especialmente al espacio empresarial, para detectar cualquier uso interesante del marco de transmisión foveated de Apple en la práctica.
