Postproceso imágenes

Necesitará las siguientes herramientas para el posprocesamiento. No necesitan ser instalados para la captura de imágenes, y no necesariamente tienen que estar instalados en la misma computadora:  Herramientas para convertir archivos RAW al formato recomendado de Conversor de Negativo Digital (DNG). Adobe Los productos como Photoshop, Lightroom y Adobe Bridge incluyen Adobe Camera Raw, que es una entorno para realizar esta conversión, así como para realizar ajustes en las imágenes.

Primero se deben calibrar las fotos (balance de blancos), luego enviarlas a una aplicación de reconstrucción. los La aplicación de reconstrucción compara las formas en las fotos (alineación) para generar una alta resolución. Malla 3D. El color contenido en las imágenes se transfiere a los colores del vértice de la malla (Colorear) o texturas usadas en la superficie de la malla.

Nota: El software de reconstrucción puede generar una malla de muy alta resolución, que no es adecuada para uso en motores en tiempo real, por lo tanto es necesario generar una resolución más baja para este propósito. Es posible crear una malla de resolución más baja al tiempo que conserva los detalles de la malla de alta resolución Generando un mapa normal con herramientas para hornear. Las herramientas de cocción transferirán información de alta frecuencia. desde la malla de alta resolución hasta las texturas de mapa normales de la malla de baja resolución. A continuación, se debe crear una malla de baja resolución para el proceso de horneado: una resolución media a baja la malla se exporta desde el software de reconstrucción y se modifica en una herramienta de software 3D para ser utilizada como Destino de las herramientas de cocción (Retopología y paso de diseño UV). Las herramientas para hornear se utilizan para generar texturas. Entonces, las texturas necesitan tener luz eliminada. Esto se debe a que las texturas son generadas desde real. Fotos del mundo, que inevitablemente tendrán luz visible y sombras presentes. Para poder tener un trabajo activo en cualquier condición de iluminación, se requiere eliminar la iluminación (paso de extracción de luz, un paso también saber como desiluminación) información al horno en texturas generadas. A veces en este paso las texturas son También hecho enlosable.

Finalmente, la malla de baja resolución para hornear se convierte en una malla lista para el juego (Malla con Orientación, pivote y conjunto uv) en una aplicación de software 3D.

La fotogrametría es una forma muy eficiente de crear mallas y texturas de alta resolución, pero no ayuda con otros procesos que son necesarios para la preparación de la malla del juego (como el paso de retopología, el paso de diseño UV). Si ahorra tiempo o no en comparación con la creación de activos en 3D tradicional depende de la complejidad del objeto en cuestión. Usar el proceso de fotogrametría en producción no es una tarea sencilla, ya que varía según la complejidad del objeto y el tiempo de retopología. Por lo general, es una victoria, pero puede ser difícil cuantificar el tiempo ahorrado.

SOFTWARE

DCRaw: Convert RAW to TIFF Windows: http://www.centrostudiprogressofotografico.it/en/dcraw/

5.1.1. Determine el conjunto de fotos requerido para la reconstrucción. Antes de que comience el procesamiento, es bueno validar que el conjunto de fotos que va a proporcionar al software de reconstrucción es suficiente. Con Reality Capture significa que las imágenes deben estar alineadas y se debe crear un solo componente. Verifique la alineación del conjunto de imágenes directamente con los datos RAW en Reality Capture. Si se necesitan más imágenes, se puede hacer una nueva sesión de fotos o extraerlas de una toma de video 4K al final de la sesión de fotos, como se detalla en la sección Cómo capturar un objeto. Es necesario realizar este paso primero, por lo que toda la siguiente manipulación se puede realizar en el conjunto completo de fotografías finales.

5.1.2. Convertir RAW a TIFF Reality Capture acepta archivos RAW directamente. Sin embargo, para obtener mejores resultados al extraer el difusor de banda, es necesario convertir correctamente las imágenes a formato lineal y equilibrar el conjunto de fotos en blanco. Este es un paso realizado fuera de Reality Capture. DCraw se usa en lugar de Photoshop (Camera RAW) porque le permite tener una conversión lineal correcta cuando se envía a TIFF: Esto significa que la cámara RAW no se utiliza para el balanceo de blancos. Photoshop se utiliza en su lugar.

Para convertir los archivos en bruto a TIFF, abra un símbolo del sistema en la carpeta con las fotos y el archivo ejecutable DCraw. Run the command "dcraw -v -4 -T *.CR2" (CR2 as RAW format). -v: To verbose because the process is long -4: To do 16-bit linear format with camera white balance and a gamma at 1 -T: Write TIFF format

Mueva todos los TIFF (que están en 16 bits) a una carpeta dedicada.

Adobe Photoshop CC: White balancing, artefacts correction http://www.photoshop.com/products/photoshop

El balance de blancos en las fotos se realiza en un formato de 32 bits dentro de Photoshop antes de enviarse al Software de reconstrucción. El proceso para hacer esto es el siguiente: ■ Abra un TIFF en photoshop incluyendo el comprobador de color ■ Convertir el TIFF en 32 bits ■ Elija el color del segundo parche gris (60%). Es mejor usar el segundo parche especialmente si el primero está cerca de 1 (255, 255, 255) ■ Cerrar el TIFF sin guardar ■ Aplicar un script por lotes a la carpeta TIFF: ■ Convertir a 32 bits ■ Haga una capa con color sólido a 0.6, 0.6, 0.6 (60% de gris) ■ Establecer la capa de color sólido para multiplicar ■ Hacer una capa con el color elegido previamente. ■ Establecer la capa de color para dividir ■ fusionar todo ■ Convertir a 8 bits ■ Guardar ■ cerrar Las fotos se convierten a 8 bits para evitar cualquier problema con la corrección gamma en Reality Capture. También de 8 bits El formato es más pequeño para almacenar, lo que es útil en caso de una gran cantidad de fotos. Nota: Durante la reconstrucción, Reality Capture convierte las imágenes a un formato de 8 bits (JPeg). Entonces alli esta No hay pérdida de información cuando se almacena en 8 bits.

Reality Capture: Photogrammetry processing software https://www.capturingreality.com/

La imagen anterior ilustra una reconstrucción de roca con tres niveles de detalles. La calidad de la vista previa produce 2,3 M de polígonos en 36 segundos. Este modelo se puede utilizar para hornear un Textura de hasta 1K x 1K. La calidad normal produce 101.5 M de polígonos en 28 minutos. Este modelo se puede utilizar para hornear un Textura de hasta 8Kx8K. La alta calidad produce 407.3 M de polígonos en 7 horas y 21 minutos. Este modelo puede ser utilizado hasta Hornea una textura de hasta 16Kx16K.

La opción que elija dependerá del resultado de la reconstrucción. Cuando la nube de puntos reconstruida Es denso y homogéneo, se recomienda usar colorear. Reality Capture muestra la malla como Nube de puntos, pero internamente la convierte en una malla con vértices. El color de la foto se transfiere a la colores de vértice. Esto requiere solo un archivo .ply (que maneja el color del vértice), que es más fácil de manipular Comparado con un archivo .obj con una gran textura. Otra ventaja de almacenar color en vértices es que no poner cualquier límite en el tamaño del modelo. Con una textura de 16Kx16K solo se pueden almacenar 268 Mpixels, y alta El modo de calidad puede producir modelos más grandes que los vértices 268M. El tiempo requerido para colorear vértices. Depende de la cantidad de vértices.

Si la nube de puntos es escasa o si existen brechas significativas en la reconstrucción, se recomienda Usa texturas en lugar de colores de vértice. Esto se debe a que el color de las fotos de origen se transfieren a las texturas, y las texturas abarcan los huecos entre los vértices porque se dibujan a través de la malla superficie. El tamaño de textura predeterminado es 16Kx16K, sin embargo, esto se puede cambiar en las propiedades de la malla. Es es mejor mantener la mayor calidad posible antes del proceso de cocción (es decir, usar textura de alta resolución). Nota: este proceso de creación de texturas de color a partir de las fotografías de origen es un proceso separado del Creación de mapas normales. Estas texturas de color se relacionan con la textura difusa del albedo, mientras que el el proceso normal de creación de mapas solo depende de la calidad de la geometría reconstruida.

5.2.9. Simplificar La malla de alta resolución producida con Reality Capture no se puede utilizar en tiempo real y en la mayoría de los casos en 3D El software tendrá problemas para manejar mallas tan grandes, por lo que se requiere una malla de resolución más baja. El objetivo es hacer que la malla de menor resolución se vea lo más similar posible a la malla de alta resolución Generando un mapa normal utilizando herramientas de cocción. Las herramientas de cocción transferirán información de alta frecuencia. (pequeños detalles) de la malla de alta resolución que de otro modo se perderá al convertir una resolución baja Mallas a texturas. Reality Capture proporciona el proceso Simplificar para optimizar una malla (consulte: Ayuda de Reality Capture - Simplificar). Simplificar le permite definir el número de polígonos deseados. Si el proceso Simplificar da un buen resultado, Se puede utilizar como base para producir la malla de baja resolución para hornear. Si el resultado no es lo suficientemente bueno, o si la malla es demasiado compleja, use el proceso Simplificar para hacer una malla de resolución media con 1 o 2 Millones de polígonos que se pueden importar fácilmente en un software 3D como 3dsMax. (Ver Crear una malla baja Para hornear - 3dsMax). Puede usar esto en 3dsMax para producir la malla de baja resolución para hornear.

3dsMax (or any related 3D software): Retopology, UV, LOD https://www.autodesk.fr/products/3ds-max/overview

5.3.2. Material de detalle Para material de detalle, el objetivo es hornear solo información de alta frecuencia en el mapa normal de detalle. Cree un plano cuadrado con suficiente división para que coincida con la información de frecuencia baja y media de la malla. Una mayor división en la malla significa que habrá menos información para almacenar dentro del mapa normal (ya que la información está presente en la malla). Con una división de malla que coincide con la información de baja y media frecuencia, solo la información de alta frecuencia permanecerá durante el proceso de horneado de las texturas de detalles. Luego aplique UV plano (se recomienda realizar este paso antes del paso de proyección a continuación). Coloca y proyecta el plano cuadrado en la malla Reality Capture. La herramienta de conformidad es una forma rápida de hacerlo (Ver: documentación de "conformidad" de 3ds Max). 5.3.3.1. Geometría Comience desde la malla de baja resolución de Reality Capture y límpiela, o realice la retopología basada en la malla del medio de Reality Capture. Este es el proceso habitual de creación de un activo del juego y, por lo tanto, no se trata en esta guía. Para ahorrar tiempo, la malla de resolución media se puede procesar con el software Instant Mesh para producir la malla de baja resolución. El resultado suele ser de buena calidad. Incluso si no lo es, el resultado puede ser una buena base para crear la malla de baja resolución para hornear con 3dsMax.

5.3.3.2. Diseño UV Nota: Con el formato .ply no se utiliza el canal UV1. Con un formato .obj que tiene una textura generada con Reality Capture UV1 se usa. Cualquier herramienta UV se puede utilizar para hacer un diseño UV. Intente tener un mínimo de costuras (reduciendo el número de grupos de UV) y use todo el espacio disponible. Mantenga una proporción homogénea entre el tamaño del polígono y el espacio UV equivalente. Es importante tener una resolución de textura similar para todas las partes visibles de la malla. Los UV tienen una gran influencia en la calidad del activo final, por lo que no dude en invertir tiempo en ello. Verifique la distorsión de los bordes (Desenrollar / mostrar / Mostrar la distorsión de los bordes) y minimícela creando nuevas costuras y utilizando la relajación UV. Cuando haya terminado el diseño UV, exporte la malla en formato .obj o .fbx sin escala, rotación o modificación de posición. Asegúrese de exportar con una escala en 1 y asegúrese de que el eje de giro no esté marcado.

Instant Mesh: Retopology. https://github.com/wjakob/instant-meshes

Knald: Baking textures https://www.knaldtech.com/ Note: A good GPU card is recommended. 8GB of Vram is advised for very high meshes (>400M of polygons)

Recomendamos Knald para el proceso de horneado ya que es rápido y preciso. Por supuesto, se pueden usar otras herramientas como Xnormal o Allegorithmic Substance Baker, sin embargo, requieren más tiempo para procesar la cocción. Se recomienda utilizar el mismo software de horneado para todas las texturas de un activo. Nota: Allegorithmic Substance Designer no admite el formato .ply, que es una limitación para el flujo de trabajo presentado. Para lograr el horneado con Designer, exporte a formato .obj + textura de color (5.2.8. Colorear o texturizar). Nota 2: Por ahora, los mapas de suavidad no están horneados. La creación automática de mapas de suavidad es una tarea difícil, y por ahora, en el flujo de trabajo presentado, debe hacerse a mano, utilizando fotos con flash como referencias. 5.4.1. Knald v1.2.1 flujo de trabajo Nota: En la versión 1.2.1, la malla alta está limitada a 350 M de vértices en una malla. Abre Knald. CTRL + B para abrir la pestaña Baker. Pestaña panadero: Establezca Anti-aliasing a 16X (para texturas con una proporción de juego de 1024 / m e inferior). Establece el tamaño deseado. Asignar la malla alta. Asigna la malla baja para hornear. Agregar destino de horneado con la configuración predeterminada: ■ Altura: utilizado en material en tiempo real. ■ Normales de espacio tangente: se utilizan en material en tiempo real como mapa normal. ■ Normales del espacio de objetos: se utilizan para eliminar la iluminación. ■ Oclusión ambiental: se utiliza para eliminar la iluminación y se usa en material en tiempo real. ■ Color de vértice: la información del color de vértice se transferirá a una textura y permite la creación de la textura de albedo difusa iluminada. ■ Espacio del objeto Doblado Normal: se utiliza para eliminar la iluminación. Posición: Se utiliza para eliminar la iluminación. Solo se necesita si los rayos UV se hacen con muchos grupos. La normalización se debe establecer en "Uniforme". Posición: Se utiliza para eliminar la iluminación. Solo se necesita si los rayos UV se hacen con muchos grupos. La normalización se debe establecer en "Uniforme".

Xnormal: Baking textures http://www.xnormal.net/downloads.aspx

Mapa normal: activa / desactiva el espacio tangente, dependiendo de si se tratará del mapa normal o tangente deseado. Los dos mapas normales no se pueden hacer al mismo tiempo. ■ Mapa de altura: si se usan valores sin procesar, se necesita el formato exr y la mitad está en 0. Interactivo y Manual, utiliza el formato de 8 bits con una media en 0.5. ■ Oclusión ambiental: conjuntos de distribución al coseno. Ángulo de propagación ajustado a 179.5 °. ■ Doblado normal: conjuntos de distribución a coseno. Ángulo de propagación ajustado a 179.5 °. Hornear los colores del vértice de alta poli Este mapa debe generarse solo debido a una configuración diferente en la malla alta (ignorar por vértice-color) Nota: El mapa de posición no existe en Xnormal. Use el botón "Generar mapas" para comenzar a hornear

Substance designer: Baking textures https://www.allegorithmic.com/products/substance-designer

Unity Light Removal Tool: remove lighting from albedo baking. https://github.com/Unity-Technologies/DeLightingTool

El flujo de trabajo presentado en este documento es para activos de juego que se iluminarán dinámicamente en un nivel de juego. Las fotos contienen información de iluminación del entorno de la toma en el momento de la toma. Para poder aplicar iluminación virtual, se requiere eliminar toda la información de iluminación de las texturas creadas. El proceso se explica en esta sección.

5.5.1. Unidad Existen múltiples formas de des-iluminar una textura. Algunas de estas formas requieren más información sobre la iluminación del entorno mientras se realiza la filmación. El ahorro de tiempo es importante para la producción y Unity ha desarrollado una herramienta para eliminar la luz utilizando solo el color base que proviene de la cocción (consulte: Guía de herramientas de iluminación).

Las ventajas de esta herramienta son: ■ rápido ■ Elimina muchas fuentes de luz. ■ Elimina luces de colores ■ Elimina la iluminación del entorno. Importe en Unity los 4/5 mapas necesarios para eliminar la luz: ■ Color base con alfa representando los grupos. ■ Oclusión ambiental. ■ Espacio de objetos normal ■ Espacio objeto doblado normal ■ Posición si es necesario Edite máscaras si es necesario (Consulte: Documentación de la herramienta de iluminación). Exportar el resultado. Si algunos artefactos todavía están presentes, use Photoshop para limpiarlos. El resultado depende de la calidad de la cocción (y de facto, de la calidad de la reconstrucción). Las zonas oscuras dan malos resultados. Pueden aparecer algunos artefactos y las sombras son difíciles de eliminar (formas rojas en la imagen anterior).

5.5.2. Photoshop La herramienta de eliminación de luz de Unity no es perfecta y algunas texturas pueden ser difíciles de eliminar automáticamente. En este caso, se puede usar Photoshop para eliminar la iluminación artísticamente (es decir, en función de las habilidades de los artistas en lugar de un proceso automático). Puede llevar más tiempo y, en los casos con muchas luces, luces de colores o una iluminación global significativa, puede ser difícil hacerlo. El proceso de extracción de luz en Photoshop se basa en el mapa de oclusión normal y ambiental del mundo. La eliminación de la luz se realiza en un 32- formato de bits

Proceso de extracción de luz: ■ Cargar el color base de la cocción. ■ Cambiar a formato de 32 bits ■ Cree una capa de exposición con el mapa de oclusión ambiental invertido como máscara. Se invierte porque es mejor aclarar las áreas oscuras que oscurecer el resto de la imagen. ■ Crear una capa de exposición con el canal rojo normal del mundo. ■ Crear una capa de exposición con el canal verde normal del mundo. ■ Crear una capa de exposición con el canal azul normal del mundo. ■ Gestione la iluminación global y direccional con estas capas de exposición. ■ Añadir alguna capa de exposición para gestionar los destacados. Estos puntos destacados se pueden aislar fácilmente con filtros de paso alto (Filtros / Otros / Paso alto). ■ Agregue una última capa de exposición para administrar toda la exposición en comparación con la referencia de la foto del albedo (consulte la sección Cómo capturar solo la textura difusa del albedo). En este ejemplo, puede ver cómo la iluminación del entorno sigue influyendo en el color base (formas rojas):

Combinando ambas soluciones de eliminación de luz en Photoshop. Un tercer camino es utilizar la salida de la herramienta de eliminación de luz Unity y, si no es lo suficientemente buena, se puede combinar con el método manual de Photoshop para producir el resultado deseado:

Artomatix: automatic tiling material. https://artomatix.com/

En el momento de la redacción, los servicios de Artomatix se realizan a través de su propio sitio web. Flujo de trabajo: Acceda al sitio web de Artomatic. Elija eliminar costuras. Sube las texturas: ■ Color base del proceso de eliminación de luz. ■ mapa normal de la cocción ■ mapa de altura de la cocción ■ Mapa de oclusión ambiental de la cocción. Establecer borde y máscaras. En pocos minutos se puede crear un material enlosable. La imagen de la derecha es una textura enlosable completamente regenerada por Artomatix basada en el original de la imagen de la izquierda. Si algunos patrones son demasiado visibles, se pueden eliminar con algún enmascaramiento.

El proceso es rápido, pero con la versión actual, el resultado puede exhibir demasiados patrones idénticos. Se pueden eliminar con el pintor de sustancias.

Substance painter: Manual tiling material. https://www.allegorithmic.com/products/substance-painter

El pintor de sustancias permite a los artistas pintar un material en un objeto 3D. Se puede usar para eliminar los artefactos de Artomatix o se puede usar directamente para producir el material enlosable. Utilice un plano con un mosaico de 3x3 como malla 3D. El mosaico es necesario para gestionar las transiciones entre los bordes. Coloque su material en pintor (consulte la ayuda de Substance Painter). Use la herramienta de clonación de Painter para hacer un material enlosable (consulte la ayuda de Substance Painter). Con la herramienta de clonación, los bordes se colocan en mosaico, el comprobador de color se borra y se reemplazan algunos patrones no deseados.

VLC media player: Video to frames http://www.videolan.org/index.fr.html

Calibración de nuestra cámara

https://docs.opencv.org/3.0-beta/doc/tutorials/calib3d/camera_calibration/camera_calibration.html

Procesando en CapturingReality

• Procesar las imágenes por separado (dron y cámara de fotos). Se pondrán puntos de control para unir ambas

• Si estás en campo, prueba a hacer una malla como "Preview" para saber si puedes avanzar o necesitas cubrir alguna parte que te has dejado o queda poco definida.

• Simplifica tu modelo, por ejemplo a 3m de triángulos

• chequea integridad, topología y limpia el modelo

• Texturiza o reproyecta con gutter como 1 para obtener la máxima calidad