Crear realidades aumentadas y virtuales

Prefacio

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Nota terminológica

Como consecuencia de la naturaleza emergente de nuestro campo y para respetar las opiniones personales, verás que algunos de los términos más recientes (como XR, Realidad eXtendida y X) se utilizan casi indistintamente a lo largo del libro, en función de las preferencias del autor y del tema tratado en cada capítulo. El debate sobre la terminología continúa a medida que se desarrollan las normas. Cada autor utiliza la terminología que concuerda con sus propias perspectivas y creencias. Puedes encontrar definiciones en cada capítulo.

Por qué escribimos este libro

Este libro se conceptualizó poco después de que Clay Bavor, vicepresidente de Realidad Virtual (RV) de Google, señalara en su discurso inaugural de Google I/O en 2017 que los futuros creadores y consumidores de tecnología imaginarán en un nuevo mundo la tecnología de la experiencia humana, donde el ojo puede permitir a cualquier persona ir a cualquier parte o llevar cualquier cosa al usuario final con un gesto instantáneo o una orden de voz. Estamos a la vanguardia de la informática espacial. La informática espacial se utiliza aquí indistintamente para describir diversos modos del continuo de la virtualidad, para incluir en este libro términos que cambian entre realidad virtual (RV), realidad aumentada (RA), realidad mixta y realidad eXtendida (RX), como se menciona en el libro de Paul Milgram y Fumio Kishino de 1994 A Taxonomy of Mixed Reality Visual Displays.

Figura P-1. Paul Milgram y Fumio Kishino concibieron el concepto de continuo de la realidad a mediados de la década de 1990 para describir el espectro a través de varias realidades, desde la virtual, la física, etc.

En 2019, reconocemos que el futuro de la informática espacial depende del conocimiento de código abierto que debe compartirse y desarrollarse constantemente para que el campo tenga éxito. El futuro está en manos de veteranos experimentados, así como de jóvenes y prometedores profesionales que trabajan en estos espacios a través de diversas disciplinas. Por ello, desarrollar normas e innovar desde cada parte de la pila tecnológica para hacer prosperar la informática espacial se convierte en todo un reto. Cada día evolucionan nuevas terminologías y conjuntos de paradigmas tecnológicos; filtrar el ruido requiere educación y una comunicación clara e informativa. Al compartir nuestros conocimientos colectivos sobre el desarrollo, la función y el uso de la informática espacial, esperamos impulsar el medio y evitar los fallos del pasado para llevar la RV al mercado general.

Es urgente que se difunda una producción de conocimientos más suficiente entre los profesionales de la tecnología de todas las funciones: técnicos, narradores y artistas creativos, y profesionales orientados a los negocios y el marketing, incluidos (aunque no exclusivamente) ingenieros de hardware, ingenieros/desarrolladores de aplicaciones de software de pila completa, diseñadores (tanto si su enfoque es industrial, computacional, gráfico tradicional, de producto o de experiencia de usuario/interfaz de usuario, científicos de datos/ingenieros de aprendizaje automático, artistas 2D y 3D y diseñadores gráficos (modeladores, pintores, arquitectos, gestores de productos, directores y teatreros, y más).

Es en nuestras experiencias observadas y combinadas -en educación, ingeniería de software y diseño, e inversión- donde identificamos una laguna en la literatura para quienes se adentran en el campo de la informática espacial. A veces, resulta abrumador para los nuevos ingenieros de software, artistas, diseñadores y profesionales empresariales y de marketing que se adentran en este espacio de la tecnología. En el pasado hemos tenido muchas carencias de educación técnica y creativa en diversas áreas. Este libro pretende cambiar eso, permitiendo a nuestros lectores comprender cómo se desarrolló la informática espacial, cómo funciona y cómo crear nuevas experiencias y aplicaciones para este medio. Es un reto para cualquiera absorber una plétora de conocimientos en las áreas avanzadas de hardware y software, sobre todo en óptica, seguimiento, diseño y buenas prácticas de desarrollo, especialmente el desarrollo multiplataforma en una variedad de pantallas montadas en la cabeza (HMD) y dispositivos, dado que aún se están desarrollando normas para muchas áreas de la computación espacial. Es fácil sentirse abrumado por la cantidad de conocimientos intelectuales, que es una empresa enorme para que una sola parte de la pila de desarrollo de software o hardware tenga éxito. Dado que no existe ninguna erudición literaria o académica que tienda puentes entre los marcos teóricos para dar forma a las aplicaciones industriales, ni siquiera un texto único que sirva de guía práctica, decidimos reunir una antología de destacados colaboradores de diversas disciplinas para que esta información sea más accesible en su comprensión, rica en material teórico condensado y práctica para iniciarse en este nuevo espacio.

Como efecto de la falta de formación en este campo, profesionales sin una base más sólida en los fundamentos de cómo funcionan algunos de los equipos informáticos, algoritmos de visión por ordenador o incluso principios de diseño, nosotros, como industria, creamos posteriormente experiencias y aplicaciones de menor calidad, que en última instancia perjudican a todos en general. Los usuarios que prueban estas experiencias por primera vez pueden, en última instancia, sentirse rechazados por la idea de la informática espacial debido al "mal diseño y experiencia de la aplicación" (a veces con respecto a la accesibilidad, comodidad que es resultado directo de las limitaciones tecnológicas o de una mala comprensión del diseño de la propia tecnología). Aunque reconocemos que las normas técnicas o incluso las buenas prácticas de diseño evolucionan con el tiempo (como han indicado muchos de los profesionales que aparecen en este libro, llevar a cabo investigaciones y experimentaciones técnicas y de diseño es un ciclo continuo), esperamos empezar a compartir algunos conocimientos intermedios iniciales que puedan ayudar a otros profesionales que se inician en el sector con algunos fundamentos básicos (aparte de "cómo instalar Unity 101") que, en última instancia, ayudarán al sector en su conjunto a crear aplicaciones y experiencias más agradables y satisfactorias en la informática espacial.

Para dominar este campo, no es raro que los nuevos profesionales lean una gran cantidad de literatura en un esfuerzo por obtener una base teórica y práctica para desarrollar sus conocimientos, habilidades y capacidades. Sin embargo, hemos comprobado que, en esta búsqueda, siguen sintiéndose intimidados y hambrientos de más con el fin de asimilar los conocimientos necesarios para crear aplicaciones y experiencias de éxito en informática espacial. También parece que la mayor parte de la teoría académica sobre este tema tiende a ser densa e inaccesible. Creemos que, dados nuestros antecedentes únicos en educación, capital riesgo y desarrollo independiente de software, podemos ayudar a salvar esta brecha junto con una lista de líderes académicos y de la industria que contribuyen en este campo.

Esperamos que nuestro público pueda adquirir una comprensión básica de las funciones de la realidad aumentada y virtual. Nuestros colaboradores han proporcionado a los ingenieros de software sólidos tutoriales concretos sobre cómo crear aplicaciones y experiencias prácticas basadas en la teoría y en casos de uso de la industria como punto de partida. Los nuevos creadores en computación espacial podrán aprender el proceso completo de desarrollo de software, en el que nuestros colaboradores han proporcionado material informativo sobre los fundamentos necesarios para tener una comprensión más completa de la computación espacial a partir de diversos expertos académicos y de la industria, tanto desde perspectivas técnicas como creativas, así como obtener prácticas para seguir perfeccionando sus habilidades para trabajar en la industria de las realidades.

La tecnología de computación espacial es la promesa del futuro, pero muy pocos conocen bien cómo funciona hoy y hacia dónde se dirige. Es la próxima evolución de la informática humana, ya que la réplica de la realidad permite un compromiso y una retención del aprendizaje más profundos. Actualmente estamos en la base de esta tecnología, y los que la aborden ahora serán los líderes cuando esta industria madure plenamente. La investigación combinada de los colaboradores de este libro es capaz de proporcionar casos de uso industriales fundamentados que validan la promesa de la computación espacial. Este nuevo mercado por sí solo ha justificado miles de millones de dólares en inversiones, en particular en RA (Magic Leap, que ha recaudado casi 3.000 millones de dólares) y RV (adquisición de Oculus Rift por 3.000 millones de dólares por Facebook) en los últimos años.

Esperamos inspirar a los profesionales de diversas áreas en las que la informática espacial está empezando a tener impacto. Reconocemos que la falta de comprensión de algunos de estos principios fundacionales es una barrera de entrada para muchos, y que con este texto podemos hacer que el conocimiento sea más accesible a las masas sin tener que leer pilas de libros que podrían condensar y resumir los profesionales experimentados y en alza de la informática espacial.

Nuestro libro cubre el desarrollo nativo y la creación de contenidos en varios HMD y plataformas, como: Magic Leap, Oculus Rift, Microsoft Hololens y mobileAR (ARKit de Apple y ARCore de Google). El libro presenta principalmente ejemplos en Unity y C# y tiene un puñado de de Unreal Engine en C++/Blueprints.

Para minimizar la barrera de entrada, esperamos que los desarrolladores tengan acceso a (a) un dispositivo de destino que ejecute AR móvil (ARKit, ARCore), y (b) una máquina de desarrollo como un PC o un Mac. Reconocemos que el panorama de la industria cambia rápidamente y que cada trimestre se lanzan varios HMD y nuevos SDK de las principales empresas. En consecuencia, nos centramos en la teoría y los conceptos de alto nivel para que estos aprendizajes tengan la capacidad de escalar a medida que se introduzcan nuevas plataformas y paradigmas en los próximos años fundacionales de la computación espacial.

Entendemos que no todo el mundo puede permitirse disponer de miles de dólares para adquirir HMD de gama alta. Por ello, animamos a los grupos a que también aprendan más sobre informática espacial móvil, ya que varios conceptos son aplicables y adaptables a ambas. Aparte del Nanodegree para Desarrolladores de RV de Udacity, de pago, o de otros Cursos Online Masivos y Abiertos (MOOC) en Coursera y Udemy, se pueden encontrar tutoriales adicionales de código abierto, técnicos y creativos, para nuestro espacio en evolución, con materiales de varios líderes del sector. Desde 2015, ARVR Academy (una organización para la diversidad y la inclusión a la que se donarán los beneficios de este libro), ha publicado material continuo de la cofundadora Liv Erickson (ingeniera principal de la startup de RV social High Fidelity) que ha escalado en popularidad con el plan de estudios de Google Cardboard.

Vasanth, nuestro coeditor, como fundador de FusedVR también tenía una plétora de vídeos en YouTube con tutoriales detallados deconstruyendo aplicaciones de computación espacial a lo largo de los años, que se pueden encontrar en el canal de YouTube de FusedVR.

Tenemos muchos más recursos que se pueden encontrar en nuestro repositorio complementario de GitHub y en el sitio web de nuestro libro, recomendados para que nuestros lectores los consulten mientras continúan su aprendizaje más allá de los confines de estas páginas.

Lo que no cubrimos en este libro

Existe un abanico tan amplio de temas importantes en este campo que, por razones de espacio, algunas tecnologías quedan fuera del alcance de este libro. Entre ellas se incluyen 360 grados, vídeo, criptomoneda, blockchain, bienes virtuales, museos de RA, turismo, viajes y teletransporte, y educación. Se puede encontrar material más profundo sobre audio/sonido y WebXR a través de recursos adicionales que podemos proporcionar, ya que en sí mismos estos temas pueden justificar sus propios libros (todo un sentido y también otra parte de la pila de desarrolladores). Dada la capacidad de este libro, los temas tratados son los que consideramos que permitirían a los desarrolladores nuevos y existentes la capacidad de crear experiencias y aplicaciones que aún no están presentes en la industria con éxito, dada la sección de casos de uso que validan la demanda del mercado de esta tecnología.

Cómo está organizado este libro

Como todavía se están desarrollando las normas, hemos querido ofrecer a nuestros lectores una visión global de tres áreas diferentes: arte y diseño; técnica; y casos prácticos de uso que demuestran el desarrollo histórico de la tecnología, el estado actual de la informática espacial y las posibilidades de futuro.

Arte y Diseño

La informática espacial comienza con la comprensión de cómo optimizar y trabajar en el espacio 3D, lo que la distingue de cualquier otro medio informático anterior y es "todo sobre la experiencia del usuario". Por tanto, un enfoque en el diseño, el arte y los fundamentos en las herramientas reales de creación de contenidos eran esenciales para comenzar con nuestra antología de libros. Comenzamos primero con una historia ampliamente detallada de la informática espacial y las interacciones de diseño, a cargo de Timoni West (Jefe de Investigación de Unity) y reflexiones sobre Silka Miesnieks (Jefa de Diseño Emergente de Adobe), que analiza la interacción centrada en el ser humano y el diseño sensorial en este nuevo paradigma tecnológico. A continuación, Tipatat Chennavasin, artista técnico en 3D y empresario reconvertido en capitalista de riesgo, ofrece una visión general de las herramientas de creación de contenidos junto con Jazmin Cano, artista técnico en 3D y responsable de marketing, que proporciona información a los artistas que desean optimizar sus activos artísticos en diversas plataformas.

Desarrollo técnico

A continuación, pasamos a la segunda parte del libro, que se centra en los fundamentos técnicos para comprender el desarrollo de las capas de hardware y software en los albores de la era de la RA en la nube, empezando por los pioneros de la visión por ordenador, los cofundadores de 6D.ai, el profesor Victor Prisacariu (Oxford Vision Lab) y Matt Miesnieks, que tratan estos temas en detalle.

Comprenden en profundidad los principios básicos que describen el funcionamiento del hardware, los algoritmos de visión por ordenador (SLAM), lo que los nuevos creadores deben tener en cuenta como puntos de referencia técnicos y las decisiones empresariales (cómo elegir para qué HMD desarrollar) como marco para crear aplicaciones y experiencias de éxito utilizando la nube de RA. Entran en gran detalle en la comparación entre ARKit y ARCore.

Nuestro estimado colectivo que escribe sobre desarrollo de código abierto multiplataforma incluye a nuestros coeditores, Steve Lukas de Magic Leap, Across XR y Vasanth Mohan, y VRTK, biblioteca de software de código abierto desarrollada por Harvey Ball en conversación con el desarrollador evangelista de VRTK, Clorama Dorvilias.

Los desarrolladores que se están iniciando en la creación de su juego, u otros desarrolladores móviles, incluidos los que trabajan en aplicaciones para iOS y Android que aprovechan ARKit y ARCloud, pueden aprender mucho de estos capítulos.

Casos prácticos en la realidad incorporada

Los casos de uso en varios verticales implican aplicaciones que van desde el uso de simulaciones, nuevas experiencias B2B sólo optimizadas en 3D, particularmente en computación espacial: representación de datos que van desde la comprensión de los conductos de ingeniería de datos, visualización, inteligencia artificial (IA), educación y formación, deportes, y una serie de ciencias de la vida computacionales (tecnología sanitaria, biotecnología, tecnología médica).

Juntos, Erin Pangilinan, Becaria de Diversidad en Aprendizaje Profundo de la USF y coeditora principal del libro, junto con Nicolas Meuleau, Director de Investigación en IA de Unity, y Arthur Juliani, Ingeniero Superior de Software, ofrecen a quienes no estén muy versados en las áreas de ingeniería de datos, inteligencia artificial, aprendizaje automático y visión por ordenador diversos métodos, modelos y buenas prácticas a tener en cuenta para incorporar técnicas basadas en datos a la informática espacial. Erin se centra en que los creadores distingan los paradigmas de diseño de visualización de datos 2D frente a 3D, a partir de darles una comprensión más sólida sobre cómo visualizar y comprender mejor los datos para mejorar la experiencia del usuario. Meuleau y Juliani demuestran cómo los creadores pueden utilizar datos existentes, generados o cargados para cambiar los comportamientos de los personajes en la realidad incorporada. Muestran a los ingenieros de software cómo incorporar el diseño basado en datos y la IA centrada en el ser humano para los desarrolladores de juegos independientes que quieren empezar a desarrollar en computación espacial.

Dilan Shah, fundador de YUR Inc, Rosstin Murphy (ingeniera de software en la empresa líder en entrenamiento, STRIVR), y Marc Rowley (ganador de cinco Emmy, líder en tecnología deportiva, anteriormente en ESPN) demuestran cómo la computación espacial optimiza las aplicaciones que implican al cuerpo físico, desde los temas de la tecnología sanitaria, el entrenamiento y la tecnología deportiva.

En última instancia, los nuevos estudiantes que se incorporen, procedentes de diversas disciplinas, podrán aprender enfoques técnicos y creativos para realizar aplicaciones y experiencias satisfactorias.

Convenciones utilizadas en este libro

En este libro se utilizan las siguientes convenciones tipográficas:

Cursiva

Indica nuevos términos, URL, direcciones de correo electrónico, nombres de archivo y extensiones de archivo.

Constant width

Se utiliza en los listados de programas, así como dentro de los párrafos para referirse a elementos del programa como nombres de variables o funciones, bases de datos, tipos de datos, variables de entorno, sentencias y palabras clave.

Constant width bold

Muestra comandos u otros textos que deben ser tecleados literalmente por el usuario.

Constant width italic

Muestra el texto que debe sustituirse por valores proporcionados por el usuario o por valores determinados por el contexto.

Nota

Este elemento significa una nota general.

Advertencia

Este elemento indica una advertencia o precaución.

Utilizar ejemplos de código

El material complementario (ejemplos de código, ejercicios, etc.) se puede descargar en https://github.com/CreatingARVR.

Este libro está aquí para ayudarte a hacer tu trabajo. En general, si se ofrece código de ejemplo con este libro, puedes utilizarlo en tus programas y documentación. No es necesario que te pongas en contacto con nosotros para pedirnos permiso, a menos que estés reproduciendo una parte importante del código. Por ejemplo, escribir un programa que utilice varios trozos de código de este libro no requiere permiso. Vender o distribuir un CD-ROM de ejemplos de los libros de O'Reilly sí requiere permiso. Responder a una pregunta citando este libro y el código de ejemplo no requiere permiso. Incorporar una cantidad significativa de código de ejemplo de este libro en la documentación de tu producto sí requiere permiso.

Agradecemos, pero no exigimos, la atribución. Una atribución suele incluir el título, el autor, la editorial y el ISBN. Por ejemplo "Creación de Realidades Aumentadas y Virtuales por Erin Pangilinan, Steve Lukas y Vasanth Mohan (O'Reilly). Copyright 2019, 978-1-492-04419-2".

Si crees que el uso que haces de los ejemplos de código no se ajusta al uso legítimo o al permiso concedido anteriormente, no dudes en ponerte en contacto con nosotros en [e-mail].

Aprendizaje en línea O'Reilly

Nota

Durante casi 40 años, O'Reilly ha proporcionado formación tecnológica y empresarial, conocimientos y perspectivas para ayudar a las empresas a alcanzar el éxito.

Nuestra red única de expertos e innovadores comparten sus conocimientos y experiencia a través de libros, artículos, conferencias y nuestra plataforma de aprendizaje online. La plataforma de aprendizaje en línea de O'Reilly te ofrece acceso bajo demanda a cursos de formación en directo, rutas de aprendizaje en profundidad, entornos de codificación interactivos y una amplia colección de textos y vídeos de O'Reilly y de más de 200 editoriales. Para más información, visita http://oreilly.com.

Cómo contactar con nosotros

Dirige tus comentarios y preguntas sobre este libro a la editorial:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Norte
• Sebastopol, CA 95472
• 800-998-9938 (en Estados Unidos o Canadá)
• 707-829-0515 (internacional o local)
• 707-829-0104 (fax)

Tenemos una página web para este libro, donde se enumeran erratas, ejemplos y cualquier información adicional. Puedes acceder a esta página en http://bit.ly/creating-ar-vr.

Para hacer comentarios o preguntas técnicas sobre este libro, envía un correo electrónico a [e-mail].

Para más información sobre nuestros libros, cursos, conferencias y noticias, consulta nuestro sitio web en http://www.oreilly.com.

Encuéntranos en Facebook: http://facebook.com/oreilly

Síguenos en Twitter: http://twitter.com/oreillymedia

Míranos en YouTube: http://www.youtube.com/oreillymedia

Agradecimientos

Queremos agradecer a las siguientes personas su dedicación a este proyecto.

En primer lugar, queremos dar las gracias a los creadores de la informática espacial por haber contribuido a dar forma a lo que ha llegado a ser hoy.

Nos gustaría expresar nuestra gratitud al entregado personal de O'Reilly, incluido el Vicepresidente de Contenidos, Mike Loukides, la Editora de Desarrollo de Contenidos, Angela Rufino, Brian Foster y Josh Garstka, que pasaron muchas horas con nosotros en conferencias telefónicas, haciendo un seguimiento de nuestro progreso y tratando los contenidos con sumo cuidado, y dándonos la libertad creativa para poder hacer realidad este proyecto.

Queremos dar las gracias a nuestras familias, amigos y miembros de la comunidad por su apoyo moral a este proyecto de libro.

Queremos dar las gracias especialmente a una de nuestras colaboradoras, Rosstin Murphy, ingeniera de software de STRIVR, por haber ido más allá de su ayuda continua con el libro. Estamos muy agradecidos a nuestros estimados revisores técnicos y creativos, que revisaron varias reescrituras y borradores para asegurarse de que este libro estaba a la altura de nuestra tecnología en constante cambio: Spandana Govindgari (Hype AR, Cofundadora), Alexandria Heston (Magic Leap, Diseñadora de UX e Interacción), Dave Johnston (BBC R&D, Director de Producto), Katherine Mimnaugh (Universidad de Oulu, Investigadora Doctoral), Troy Norcross (GameHearts, Fundador), Jon Oakes (SJSU), Micah Stubbs (LinkedIn, Infraestructura de Visualización de Datos), Sunbin Song (Instituto Nacional de Salud, Becario), Diego Segura (Fundador de A-Frame y Supermedium).

También queremos reconocer a Tony Parisi, autor de tres publicaciones de O'Reilly y líder de RV, su enorme apoyo a este proyecto.

Tenemos el privilegio de abrir y cerrar nuestra antología con comentarios de líderes del diseño y la ingeniería que aportan agudas percepciones sobre el futuro de la tecnología de la computación espacial. El libro comienza con las observaciones iniciales del líder en ingeniería de diseño, Jefe de Diseño e Inclusión de Automattic, John Maeda, y lo concluye la leyenda de la RV, jefe de estrategia de Unity 3D Technologies, Tony Parisi.

Gracias también a Kent Bye (desarrollador y presentador del podcast Voces de la RV) y a Mary Clarke Miller (profesora del Berkeley City College) por su apoyo adicional.

Gracias por tu tiempo y atención en la lectura de este libro. Te deseamos lo mejor en tu viaje por la informática espacial.