OPENCARTIS SPATIAL MANAGER PRO: EL PLUGGIN GIS<>CAD

•  Spatial Manager Pro™  es un poderoso plug-in diseñado en España (2009-Donostia) para los usuarios de programas de CAD que necesitan importar, exportar, transformar y administrar datos geoespaciales una manera simple, rápida y económica, que se integra en plataformas como AutoCAD, ZwCAD, BricsCAD y GstarCAD. Dispone tambien de una versión de escritorio (Desktop) que trabaja de forma autónoma sin necesidad de otra plataforma que la soporte y ofrece entre otras funcionalidades: manejar servidores o almacenes de datos, mostrar mapas de fondo, gestionar datos alfanuméricos y tablas de datos, crear modelos de terrenos y curvas de nivel, buscar ubicaciones, transformar sistemas de coordenadas etc.

• Por todo lo expuesto si necesitas un addin para Autocad definitivo que pueda manejar funciones basicas en el campo de la topografia y extendidas en el campo de los SIG puedo recomendarte encarecidamente el uso de esta utilidad. Es el nexo perfecto de union para las dos disciplinas que manejamos en nuestro campo profesional CAD<>SIG. En esta entrada intentaremos describir a grosso modo las bondades de Spatial Manager Pro (aunque existen versiones Standard y Basic --> no recomendables). Con tan solo visualizar la cinta de opciones del software nos podemos hacer una idea de su campo de aplicación:

• Comentar que al encontrarse la aplicación totalmente integrada en Autocad podemos utilizar comandos de teclado para llamar a la mayoria de las funciones de Spatial Manager. Dichas llamadas empiezan con las siglas SPM + orden (por ejemplo SPMIMPORT, SPMEXPORT, SPMTERRAIN, SPMLABEL, SPMBUFFER etc).
• Con el icono de Mostar Paleta o incluso Importar se nos mostrará la ventana mas importante de todas que sirve la exploración de los datos a incorporar. A su vez dispone de unas pestañas de Origenes de datos (donde navegaremos por nuestros volúmenes para seleccionar ficheros de datos geoespaciales), Explorador (donde se muestran los ficheros importados, tablas de BBDD, Imágenes mapas de referencia) y otra de Tareas (donde se pueden guardar flujos de trabajo, procesos de conversion del usuario etc). 
• Es fundamental establecer primero el Sistema de Coordenadas del proyecto para poder realizar  la integración de datos correctamente, transformaciones entre sistemas (detecta automaticamente si es necesario conversiones entre sistemas y las plantea a priori), poder atachar mapas de fondo (solo disponibles con sistemas proyectados/metricos) etc. 

• En el ejemplo práctico hemos agregado un archivo de huellas catastrales de una localidad  (en UTM ETRS89 huso 30 -Bloques_Origen.shp), otro de la zona de estudio (Recorte.shp)  y una imagen/ mapa base (Google Maps) resultando lo que apreciais en la imagen superior. Tambien es posible visualizar la base de datos (Tabla del fichero shape) atachada al archivo geoespacial y modificar sus datos facilmente, seleccionarlos por criterio, calcular campos nuevos  etc (como si de un minigis de escritorio se tratara). 

• SPM reconoce una gran tipologia de archivos geoespaciales (imagen superior) para trabajar con ellos y dispone de una gama de mapas base brutal  (me encanta). Hay algunos que no he probado pero suponiendo que pertenezcan a algún servicio externo como Mapbox el sistema nos reclamará la clave o token de nuestro perfil para tenerlos disponibles. Puedes tener varios mapas de referencia almacenados/disponibles de manera simultanea y ordenar/seleccionar su visualizacion desde la pestaña del Explorador> Imágenes> Mapas en primer plano/ de fondo.
•  En la pestaña mapas de usuario hemos configurado el servicio WMS de la PNOA Maxima Actualidad para probar y funciona a la perfección (aunque tambien es posible enlazar servidores TMS, WMTS).

• La herramienta de transformación de coordenadas (es inteligente  ->propone ciclos de conversión) trabaja con el catalogo de CRS,  la lista incluye mas de 15.000 Proyecciones, Elipsoides y Marcos de Referencia que se amplían, revisan y actualizan periódicamente. Permite utilizar archivos de rejilla en formato NTv2 para efectuar el paso entre sistemas de coordenadas (que pueden crearse con nuevos parámetros personalizados).

• El intercambio de datos con Google Earth es muy sencillo/practico y crea carpetas en los ficheros kml/kmz generados con el mismo nombre de las capas de Autocad (si el dibujo es nativo de ahí) cuando exporta (objetos 2D/3D) y a la inversa en las importaciones (crea capas CAD para agrupar las entidades puntos,lineas o polígonos de GE). 

• Es posible exportar imágenes raster a partir de capturas de la pantalla de Autocad o importarlas a partir de ficheros en formatos TIF, PNG, JPG, JPEG, TIFF, COG (IGN). Incluso acepta imágenes con localizacion GPS (contenida en datos EXIF) de capturadas en dispositivos como drones, smartphones etc. Es posible crear archivos world (*.tfw) con la info de georeferencia de cualquier raster incluida en el diseño y tambien anexar imágenes de alta definición e históricas de Google Earth utilizando archivos de configuración (*.geprint).

• Otro recurso muy destacado es que integra el Street View de Google Earth en Autocad. Activándolo aparece todos los recorridos disponibles destacados como lineas azules y clikando sobre pantalla accedemos al repositorio de capturas pudiendo navegar como hacemos habitualmente con esta herramienta en la web.

• Mediante la utilidad de Ubicación podremos efectuar lo que se entiende por geocodificaciones directas (1) o inversas(2) de los datos introducidos. Esto es:

1.  Facilitar por consola/fichero una determinada dirección (ciudad, calle y numero; por ejemplo en un archivo *.csv, *.txt u otros) y que el sistema lo materialice en el modelo (donde se encuentra exactamente cada registro obteniendo una tabla con sus coordenadas geográficas).
2.  Introducir por ejemplo una huella catastral o puntos en un lugar con una ubicacion física (coordenadas UTM o geográficas) y que el sistema nos facilite los datos de localización (calle, localidad, Pais) donde estas situados esos elementos.

• Estas determinaciones se realizan a través de proveedores que podemos seleccionar  como son Bing, Google u Openstreetmap (Google normalmente reclama una clave API para poder funcionar). Los campos a mostrar en ambos procesos son personalizables (se pueden elegir los atributos que mostrarán las tablas obtenidas).
• Si queremos rotular textos basados en los campos de los objetos lo podemos realizar mediante la opcion de la cinta Etiquetas. No es necesario para ello que dichos elementos tengan una tabla asociada (como puede ser una entidad de un fichero *.shape) puede ser cualquier objeto geométrico nativo de Autocad (de puntos sus coordenadas, de lineas sus longitudes, de polígonos su perímetro y area por ejemplo)

• La Deformacion Elastica por lo que he estado probando sirve para hacer coincidir geometrias que sufren desplazamientos/no coincidencias  respecto a otra realidad de que dispongamos como pueden ser ortofotos u otras figuras de referencia. De alguna manera permite modificar  esas figuras mediante transformaciones afines, traslaciones o combinación de ambas con el proceso punto 1 - 1`, 2 -2 ' etc. Como no se exactamente como realiza esos ajustes internamente no me voy a exterder mas --> pero funciona.
  
• En cuanto a la opción Terreno se ofrece la mayoria de herramientas que incorporan estos tipos de software. Un flujo típico (el se siempre) podría ser la importaciòn de puntos de un levantamiento (principalmente en ascii en diversos formatos) de una zona, su representación en el modelo (con etiquetas o no) y la obtención de un curvado del mismo (visualización configurable), junto con una malla tridimensional del mismo y el posible renderizado del conjunto (esto ultimo funciona regular). No se puede pedir peras al olmo y no se permite la inclusión de lineas de ruptura, contornos exteriores/interiores etc (recordemos que se trata de una aplicacion generalista -> no es MDT de Aplitop, ni Civil 3D ni nada parecido).

• Tenemos la posibilidad de descargar puntos 3D (online mediante selección de zona) provinentes de proveedores de servicios de elevación zonales/mundiales. La calidad de la z de estos modelos hay que tomarlas con prudencia debido a las fuentes de su obtención (se desconoce a veces la datación de captura) y los modelos geoidales/rejillas empleados (a veces desconocidos). De todos modos es posible obtener datos altimétricos de otras fuentes y utilizarlos para nuestros menesteres --> como en España el IGN y sus datos Lidar que van por la 3era captura y están muy contrastados.
• En cuanto a la obtención de Mapas Temáticos está relacionado con las representaciones que podemos obtener en cualquier GIS de escritorio (sin olvidar que esto es un pluggin para Autocad y tiene sus limitaciones).Así podremos representar fenómenos discretos y continuos (usos de edificios, clasificaciones de suelos, zonas urbanos por densidad de población o bien representaciones de altimetria o mapas de calor).
• Para ejemplarizarlo hemos realizado una represetación por colores de los edificios de una localidad a partir de sus huellas y el numero de alturas (distribución de estilos de objetos considerando rangos de valores a partir de los atributos de un fichero shapefile).

• Por ultimo podemos comentar que es posible acometer operaciones de análisis espacial en AutoCAD sobre los objectos del dibujo generando otros nuevos desde dichas operaciones. Así se proporciona un amplio conjunto de herramientas para realizar estas tareas con las entidades vectoriales del dibujo y sus datos vinculados, dando como resultado nuevos objetos generados por la resolución de dichos procesos. Las operaciones de análisis espacial (las tipicas; ver imagen inferior) se pueden realizar sobre una combinación de tablas, capas u objetos del dibujo previamente seleccionados mediante la interacción con elementos en pantalla o bien mediante las consultas de selección avanzada de la aplicación.

• En este Link que os dejo podeis encontrar ejemplos variados de las herramientas expuestas en la imagen superior. Casos de uso reales con videos tutoriales que explican paso a paso su funcionalidad/proceso --> me imagino que la mayoria de vosotros si estáis familiarizados con los SIG serán tareas que realizaréis el dia a dia y no tendrá secretos para vosotros.
• Si os empapais para el uso de esta herramienta poco a poco se va viendo que tiene mas aplicaciones de las que parece. En el sitio web de Spatial Manager  podréis encontrar manuales al respecto y tambien disponen de un canal de Youtube muy completo.
• Yo tengo instalada la aplicación (Lavteam.org) y es todo un hallazgo; recordad que ya no me dedico a la topografia pura y este tipo de utilidades ligeras vienen de perlas.
• Hasta la vista; espero que os sirva la entrada, seguimos en la brecha --> By Rah.

LEVANTAMIENTOS TOPOGRÁFICOS CON V.A.N.T

• Tras un período de un par de años efectuando mediciones topográficas y levantamientos con un dron profesional en esta entrada voy a intentar dar una evaluación cuantitativa y cualitativa de lo que realmente podemos obtener con esta metodología. Hablaremos de las procesos empleados, software de campo (control del UAV) y gabinete (PC), precisiones obtenidas, errores cometidos y consejos valiosos a tener en cuenta a la hora de trabajar para obtener los mejores resultados. Como siempre lo que se escribe en este blog es pura realidad y experimentación; doy fé de ello .

DALL-E (IA): Genera una imagen de un dron Dji mavic Pro sobrevolando un bosque y un rio.

• Está claro que la persona/empresa que necesite rendimiento y eficacia en los trabajos de levantamientos con drones sea vía fotogrametría, lidar o espectral necesita realizar una inversión considerable (por volumen de trabajo o envergadura de los mismos); no menos de 4.500-5.000 euros (dron profesional con modulo RTK + software planificación/vuelo).
• Tambien el tipo de trabajo a realizar decidirá si es mas rentable utilizar un dron de ala fija o un cuatricoptero. El tamaño de los sensores fotográficos y la especificación de los opturadores (mitigar rolling shutter) son características muy importantes a considerar (20mp + mecánico). Sin embargo hay otras alternativas mas mundanas para los que realizamos trabajos esporádicos o simplemente nos gusta el mundo de los VANT/ geomática y queremos experimentar (hay veces que con ingenio se consigue mucho y en el mercado de segunda mano tambien --> pero sin alucinar; recomendaciones/conclusiones al final de la entrada).
• Lo principal y normativo: Ser piloto acreditado por AESA ya sea en categoría ABIERTA o ESPECÍFICA (dependiendo del escenario/peculiaridades del trabajo). Estar registrado como tal; nosotros y nuestros aparatos. Seguro de responsabilidad civil acorde a nuestra ocupación. Cumplir las reglas y preceptos de cuando/donde se puede o no volar nuestro dron (ENAIRE) gestionando los permisos oportunos si fuera necesario (incluso hay empresas que realizan este tipo de gestiones/informes con los organismos implicados). Estar atentos a los cambios de la normativa  (son constantes) --> para mas info al respecto: DRON GURÚ y web AESA.
• El ejemplo mas habitual  es el levantamiento fotogramétrico de un terreno ya sea para mediciones solo planimétricas (superficie -> catastro/registro) o también altimétricas 3D (cálculos volumétricos de todo tipo u obtención de "gemelos digitales"). Si el trabajo va a ser meramente experimental, cualitativo o no es necesario un posicionamiento absoluto preciso (error aprox xyz +-2.5 m gps en modo navegación) no será necesario disponer de puntos de apoyo en el terreno (o como se les denomina ahora GCP´s o Ground Control Points).
  

• Hace años las coordenadas de los puntos de vista de los dispositivos de captura no eran precisas o no existían. Hoy día la existencia de los módulos GPS RTK en las propias aeronaves han cambiado el panorama de este tipo de trabajos (obtenemos orientación relativa y absoluta con gran facilidad). 
• En este caso particular apoyaremos el levantamiento realizado con el dron por medio de puntos sobre el terreno dotados de coordenadas precisas con GPS en tiempo real (+-2cm - protocolo NTRIP). Así podremos georreferenciar de forma precisa el modelo y constreñirlo a unas dimensiones en xyz.
• Abajo una captura de la predisposición de los puntos de apoyo previa (aunque luego en campo la cosa cambia). A parte de estos registros suelo disponer 4-5 puntos mas para medir la bondad/calidad del levantamiento tras todo el proceso/fuera del ajuste (sobre todo evaluar cotas absolutas). Son señales realizadas con placas de policarbonato y pintura (blanca/negra) de 50 cm x 50 cm x 16 mm (tamaño suficiente para tener estabilidad en el suelo y ser distinguidas claramente en las capturas a  80-100 metros altura con un sensor de 12MP como el de mi equipo).

• Tenemos otros pasos previos que verificar antes de realizar el trabajo:

1. Zona de vuelo o Levantamiento: Verificar si está permitido el vuelo con VANT o existen zonas de exclusión aérea (CTR, aeródromos, zonas protegidas etc). Consulta de las células catastrales/límites de las fincas a medir, accidentalidad del terreno,  ubicación/accesos a base de operaciones y disposición a priori en gabinete (descrito anteriormente y a grosso modo en zonas despejadas) de puntos de apoyo.
   
2. Cobertura datos móviles: Para conexión GPS móvil (GPRS, 3G o 4G) con estaciones de referencia zonal (IGN o CCAA). De lo contrario sería necesario efectuar otra metodología o cálculos en postproceso de los posicionamientos. Link aquí.
3. Condiciones meteorológicas: Sean apropiadas para realizar las operaciones. Con temperaturas extremas (frio/calor) el rendimiento de los equipos puede verse afectado hasta en un 20% (duración de baterias). La velocidad del viento debe ser moderada  para ejecutar vuelos seguros, eficientes y de calidad en la ejecución de los trabajos (intentar siempre inferior a 25-30 km/h).

• En una anterior entrada del blog se enumeran las app´s que utilizo para solventar los anteriores puntos e incluso algunas de planificación del levantamiento/vuelo (android) según el producto que se quiera obtener. No he encontrado ningun software gratuito () que considere la altura del terreno para planificar el vuelo del levantamiento (es lo que hay). 
• Para las planificaciones de vuelo me he manejado con el software para android PIX4D Capture y 3DSurvey Pilot (sobre todo el segundo que te indica mas datos sobre la operación que el primero). Ofrecen la mayoria de posibilidades (métodos de vuelo) para efectuar nuestras pesquisas (Grid2D,3D, Circle/Orbita, Polygon e incluso importación de Kml´s de la zona a levantar). La resolución del pixel; por tanto la altura de vuelo, y el número de capturas del trabajo correspondientes a parte de los recubrimientos entre pasadas será lo que marcará la duración y longitud de la operación (dimensionar baterias). En este caso elegimos un Grid 3d con el resto de parámetros del anigif inferior y que está estrechamente relacionado con el tipo de producto final que queremos obtener.

• Todos los pasos anteriormente descritos podemos realizarlos en casa/gabinete. De este modo ya estaríamos preparados para marchar al campo y ejecutar los trabajos.
• Comentar que por comodidad yo suelo utilizar un movil esprofeso sin tarjeta SIM (antiguo) para conectar con mando y dron (enlazado mediante bluetooh a datos de mi movíl personal) así evito llamadas inesperadas, notificaciones e interrupciones con el software del mapeo/dron que pueden colgar las aplicaciones (me ha pasado un par de veces --> menudos sudores). Imaginar la situación es: el dron volando y tu acojonado porque no lo controlas estando en vuelo programado, igual tienes que reiniciar el teléfono; en fin "un cristo".
  
• El paso previo siempre es verificar las lindes de la finca con el propietario (en este caso estaba  todo vallado), seguidamente efectuar el levantamiento de los limites de la finca con GPS y tambien dotar de coordenadas a los puntos de apoyo (una vez va allí no los puedes poner donde quieres normalmente; hay que intentar distribuirlos lo mejor posible y en zonas estables/donde no se puedan mover --> recomendable fijarlos con piquetas o lastrarlos). 
• Despues de ejecutar el vuelo con altura constante sobre el terreno (que no era muy accidentado) de 80 m (doble grid en este caso) obtuvimos 119 capturas para reconstruir ortofotos con un tamaño máximo del pixel de 2.52 cm.
• El software de escritorio utilizado para realizar los calculos fotogramétricos es Agisoft Metashape. Para mi es mas configurable que PIX4D (muy llave en mano), lo llevo utilizando desde hace años y puede conseguirse "free" fácilmente.

• En este caso en el gif superior podeis ver como se incluyó en el ajuste del modelo 5 puntos de apoyo (circulos rojos) y 2 de control (checks). Todos tienen coordenadas GPS RTK y podemos ver que las precisiones obtenidas (ojo es en 3D-xyz) son del rango de 7-9 cm que no está nada mal para el tipo de dron utilizado (DJI Mavic Pro -cámara de 12 MP- sin obturador mecánico).
• Como prueba se ha realizado un procesado de los modelos con y sin puntos de control/GPS para ver que diferencias cuantitativas se pueden evaluar si efectuamos un levantamiento de un terreno/finca solo con el dron (sin un georreferenciado preciso). 
• Tambien realizamos la experiencia de medir la finca u obtener/trazar el contorno comparando catastro (rojo discontinuo), medición topográfica (verde con halo rojo), ortofoto ajustada RTK (naranja) y ortofoto solo dron sin apoyar (azul). Hemos cuantificado las magnitudes/discrepancias en coordenadas, perímétros y áreas llegando a conclusiones interesantes:

1. Los desplazamientos absolutos de los puntos RTK con respecto a los obtenidos en la orto sin apoyar (solo  dron)  suelen rondar los 2.60 m en xy- compatible con los obtenido con un equipo GPS en modo navegación (sin correcciones diferenciales).
2. Las mediciones relativas/distancias entre puntos con correcciones RTK y sin ellas son bastante parecidas y fluctuan entre 3 y 11 cm (lo cual es sorprendente).
3. Los perímetros y areas de lo medido a pie de GPS (punto a punto convencional de linde) y con ambas ortos son muy parecidos. Se aprecia que las diferencias radican  sobre todo en la pérdida de visión en el trazado del contorno a partir de fotos aéreas donde a veces no visualizamos las lindes con exactitud (tapadas por arbolado o matorral).
4. Las alturas ortométricas no son del todo evaluables mediante estas "pruebas" ya que intervienen modelos geoidales distintos en su cálculo (a nivel de GPS dron sobre todo). Para ello intentaremos medir el movimiento de tierras de una gravera (2 tomas separadas en el tiempo) con una metodologia similar (en un futuro cercano).

• Observar cuadro inferior de magnitudes a los que se refiere los conclusiones anteriores:

• La principal conclusión de estas operaciones es que incluso se pueden levantar zonas extensas de terreno unicamente con el dron y algunos puntos de apoyos distribuidos uniformemente. Si las lindes están suficientemente claras no sería necesario recorrer los límites a pie. Disponiendo puntos de control suficientes y otros de calidad "por si acaso" entiendo que no sería nada descabellado lo que se obtenga por esta metodología -> aunque todo el mundo prefiera "certificar su trabajo a pie" (es entendible por lo anteriormente expuesto.- punto 3).

• En cuanto a los levantamientos de detalle de elementos arquitectónicos tambien hemos efectuado algunas experiencias curiosas. Como por ejemplo modelar unos depósitos de agua potable del ayuntamiento de Velada (Toledo). La idea era realizar un levantamiento fotogramétrico del entorno para despues y tomando medidas interiores claves de soleras, arquetas, espesores de muro etc realizar "un gemelo digital" en Rhinoceros. El problema es que no conseguí que fuera métrico (no pude georreferenciarlo de forma precisa) -> de todos modos podemos ver lo que obtube con 10 min de trabajo en campo y 4 horas de gabinete (tiempo de proceso).

• En primer lugar comentar que lo ideal para obtener los mejores resultados en estos casos particulares es combinar un Grid3d con un Vuelo Orbital (a misma altura sobre terreno si es posible). Aunque los planes de solo orbita suelen funcionar bien (ver anigif superior) dejan en ocasiones puntos ciegos, distorsiones o deformaciones en el entorno del elemento que se quiere levantar. De este modo tambien podremos obtener los otros productos/mas abundancia de datos que nos ofrece el proceso completo/combinado a parte de solo la representación del sólido en cuestión.
• La amplitud o angulo por toma no debe ser superior a 5º-6º de arco (entre 60-80 tomas), la inclinación del cardán 45º y la altura de vuelo la ajustada a la visión de todo el elemento del trabajo. Si se trata de una torre de telefonía o similar se recomienda utilizar planes de vuelo helicoidales porque si no el enfoque solo al centro de masas del edifcio producirá desenfoques y malos resultados. Los dias nublados o las horas donde no se proyecte sol/sombras son los momentos ideales para estos trabajos.
• Todos estos tics se pusieron en practica en el levantamiento del entorno de una finca labriega y el modelo obtenido fué muy exacto. Cierto es que el número de capturas fué aproximadamente de unas 250 tomas y el tiempo de procesado se acrecenta considerablemente. El nivel de detalle es brutal con tamaño máximo del pixel de poco mas de 1 cm (fijaos en el detalle de las piedras sobre el cerramiento perimetral- gif inferior).

• Otro trabajo interesante que realicé fué el levantamiento de la villa romana del Saucedo datada  primera fase en el siglo I-II despues de Cristo (aprox 2000 años de antiguedad). Con fines arqueológicos para levantar un plano de planta general del emplazamiento. Fué uno de los primeros trabajos que realicé y no estoy muy contento con los resultados pero la práctica hace la perfección .

• Otra práctica fué un levantamiento 3D de la Atalaya de Segurilla muy cerquita de mi ciudad Talavera de la Reina que data del siglo X (captura abajo) .Realizado con un vuelo mixto (grid + orbita) y que pronto realizaré mediante vuelo helicoidal porque el producto final no salió  lo fino que a mí me gustaría; principalmente porque no calculé bien la altura del vuelo orbital (un poco bajo). En uno de estos experimentos me cepillo el dron (es de segunda mano; así que malo será).

• Una cosa de la que no hemos hablado: es importantísimo disponer de un equipo informatico (sobremesa decente; los portátiles sufren con estas tareas) de una buena gráfica y cantidad de RAM --> para equipos actuales (JULIO 2024) se puede aconsejar/lo deseable: una NVIDIA RTX 4060 para arriba (o similar. aunque yo tengo una GTX 760 de 2Gb y hacemos lo que podemos),  al menos 32 gigas de RAM (doble canal de proceso) y un microprocesador acorde a toda esta potencia de proceso (Ryzen 7 5800x) evitando posibles cuellos de botella (y todo esto no es nada del otro mundo).
• En fin no dejan de ser trabajos de práctica los aquí expuestos. Que duda cabe de que con equipos punteros/lo último se pueden hacer grandes cosas pero de alguna manera hay que empezar a enredar; por ese pequeño impedimento no vamos a cejar en nuestro empeño/afición, recordemos que este es el Blog del Autodidacta en Geomática --> aquí le damos a la cultura del esfuerzo.
• Eso es todo por esta entrada. Seguimos por aquí; cada vez quedamos menos, será por la IA -- jaja --> By Rah.

FME DESKTOP: EXTRAER, TRANSFORMAR Y CARGAR

•  Volvemos tras una temporada en blanco provocada por cambios profesionales y personales con una herramienta del desarrollador canadiense Safe Software. Conocida por casi todas las personas que se dedican a la manipulación de datos GIS y de aprendizaje complejo: se trata de la aplicación FME. A priori la base de su funcionamiento es actuar como una herramienta ETL (por sus siglas en Inglés) (Extract, Transform and Load).

• Este tipo de software ha cobrado mucho protagonismo a consecuencia del auge del Big Data donde la integración de datos es primordial o "combinar flujos de información enorme de numerosos repositorios en algo útil". Como plataforma para estos menesteres a parte de FME Desktop; Safe Sofware proporciona servicios similares a nivel organización (FME Server) y alojamiento en la nube (FME Cloud)
• Los usuarios pueden obtener/importar (mas de 350 formatos distintos) información de diversas fuentes de información simultáneamente (geoespaciales, BBDD, hojas de calculo, CAD, BIM, imagenes raster etc), manipular sus datos (depurándolos a medida realizando diversas operaciones con ellos) para despues cambiar su formato/esquema/contenido (mediante los llamados transformadores; dispone de cientos de ellos) y cargarla en otro espacio compatible de destino para la explotación de los mismos. Para resumir sus capacidades podemos apuntar que permite:
1. Filtrar los datos por atributos.
2. Crear clases a partir de determinados atributos.
3. Separar datos según criterios preestablecidos.
4. Generar entidades a partir de coordenadas.
5. Transformación entre varios formatos (CAD, ráster, BIM, CSV, etc.).
6. Cambiar el contenido de los datos, como su estructura (por ejemplo, sus atributos).
7. Integración de datos de diversas fuentes.
8. Fusionar tablas de datos entre ellas o con sus respectivas geometrías.
9. Actualización de bases de datos espaciales.
10. Creación de flujos de trabajo y automatizaciones.
11. Fijar tareas que se repetirán periódicamente.
12. Trabajo con metadatos.
13. Validación de los datos.
14. Reproyectar geodatos entre sistemas de coordenadas.
•  Todos estos procesos son automatizables y se llevan a cabo sin necesidad de escribir una sola línea de código  aunque son permiten la integración con lenguajes como Python o SQL. Se permite la computación en paralelo de datos (dividir las tareas en otras mas pequeñas para buscar soluciones mas sencillas) mediante una interface gráfica (imagen inferior):

• La herramienta FME Desktop dispone de varios modulos cada uno con su funcionalidad: 

1. FME Data Inspector: Utilidad que permite ver con rapidez datos en cualquiera de los formatos admitidos por FME. Utilizado para obtener vista previa antes de la traducción o para verificarlos después de la misma.
2. FME Quick Translator: Para ejecutar traducciones simples que no implican ninguna personalización y obtener resultados rápidos.
3. FME Workbench:  Herramienta principal del paquete (en la que nos centraremos principalmente en este post) que permite la creación de espacios de trabajo y traducciones/escritura de datos complejas (con posibilidad de re_estructurar la info) a partir de varias fuentes de entrada y con posibilidad de salidas multiples.

• El uso del software tiene un comportamiento escalable; es decir se pueden acometer desde las tareas mas simples que podemos realizar con cualquier software de escritorio GIS hasta verdaderos entramados/confluencias de datos y analísis para llegar al producto final deseado.
• Así podemos crear un espacio de trabajo inicial (workspace) sencillo; como muestra, en el que se nos reclama los formatos de entrada y salida (Readers & Writers). En este caso se trata de un fichero de lineas en formato  *.kmz (Google Earth) en EPSG:4326 que transformamos a un lienzo de Autocad *.dwg con EPSG:25830 una operación muy común realizada constantemente (ver imagen inferior).

• La conversión de datos es rápida y se pueden personalizar los campos y atributos que se transmiten de la lectura a la escritura. Posee una ventana de logs donde se notifican posibles errores/warnings y todos los "flujos internos" del proceso. El interface del programa recuerda a otros software de parametrización de procesos como en el diseño 3d (Grasshopper, Dynamo, Modelbuilder de Arcgis etc). De este modo podemos reutilizar los procesos ya programados para emplearlos en otros algoritmos con fuentes de origen diferentes.  En la captura inferior el espacio de trabajo generado con el numero de entidades procesadas y la edición del fichero visualizado en Autocad Civil 3D.

• Pero lo más interesante es que se pueden interponer en el flujo de la conversión de datos una serie de transformadores que manipulen/evaluen y cambien las magnitudes tratadas. Para ello vamos a ver un sencillísimo ejemplo (recordemos que esto es una toma de contacto; luego cada cual tendrá que investigar y aplicar el recurso a lo que necesite). En la imagen inferior podeis visualizar el caso en cuestión donde se proponen un Lector (1) y un Escritor (5) y tres Transformadores de los mas comunes (2-3 y 4).

• El fichero de inicio se trata de un archivo Esri *. shapefile con los cables submarinos mas importantes del mundo junto con su información asociada (al cual se asigna/declara un Reader). El fichero de destino será un archivo de G.E. *.kml en el que se habrán realizado ciertas operaciones mediante los transformadores interpuestos antes de ser escrito/exportado por  medio de un Writer. 
• Primero seleccionamos los campos/atributos que nos interesa tratar en el fichero de inicio (User Attributes) dejando el nombre, ancho de banda, km de longitud y año de puesta en marcha.

• Posteriormente interponemos el primer transformador que será un "Tester": nos permitirá establecer discriminación de los datos respecto a un valor determinado, la existencia o no de una característica, una operacion booleana, matemática o condicional. En este caso establecemos una prueba de que pasarán el Test todos los elementos que tengan mas de 5000 kms de largo y un ancho de banda de + de 3000 Gygabites:

• Podemos ver que existen en total 281 elementos lineales (en este caso). Que pasen el criterio son exactamente 35 entidades y que no cumplen son el resto 246 entidades. A partir podemos seguir trabajando con el flujo de ambos o alguno (que nos interese) de los datos arrojados por el Tester. En este caso tomaremos los elementos que cumplen el criterio y los trataremos con un Attribute_Renamer para renombar los atributos al castellano por ejemplo..

• Los transformadores disponen de un buscador que se activa cuando clickamos sobre el Canvas de FME y escribimos cualquier cosa. Con solo poner un palabra o el inicio de la misma (nombre del transformador) nos dirige hacia los mismos (tambien existe una lista de todos los Transformadores; bien clasificados alfabéticamente, o por categorías). El buscador te orienta sobre la utilidad de cada recurso; que es lo que hace o lo que podemos obtener con su uso. Hay una cantidad brutal de estos elementos pero al final se suelen emplear siempre los mismos; la verdad (yo manejo entre 35-40 para mis menesteres)

• Incluimos un KmlpropertySetter para establecer como se mostrarán las entidades en Google Earth antes de ser exportadas por el Writer final. Que campos mostrará el arbol de navegación, cuales magnitudes  y como  serán mostradas en el Popup cuando pinchemos sobre las entidades y con qué prioridad. El tipo de geometria a mostrar, si las entidades están ancladas al suelo son otros aspectos tambien contemplados:

• Por último solo queda correr todo el proceso (Run>cinta de opciones) para obtener los resultados deseados. Hay que visualizar el arbol de logs/warnings para ver que no hay ningun error posible. Imaginad que podemos realizar exportaciones a distintos formatos a la vez con distintas operaciones de discriminación y guardar el algoritmo programado para otra ocasión similar; como ya habiamos comentado antes. En la imagen adjunta el resultado final visualizado en Google Earth/FME:

• Esto ha sido un uso sencillo del dia a dia (recordemos que GE importa directamente ficheros *.shp pero no pueden manipularse los datos recibidos). El potencial real de FME se centra en tratar BBDD enormes de programas/formatos GIS que necesitan de tratamiento profundo/depuración antes de efectuar la conversión final. Aprovecho para dejaros un Webinar de Youtube donde se puede ver de una forma mas dinámica las funcionalidades de este interesante y complejo software (difícil de tragar pero de gran proyección si somos capaces de buscarle la utilidad en nuestro flujo de trabajo).

• En fin otro recurso mas en este caso de GIS para que lo investigueis si os cuadra. Muy contento de volver a publicar entradas en mi Blog (son ya casi 9 años y 63 publicaciones). A veces el estado de ánimo, la motivación o las circunstancias personales no acompañan o no son las mejores --> pero supongo que el que es inquieto y cansino como yo;  ya se sabe, la burra siempre vuelve al trigo.
• Hasta la proxima.
• By Rah.

APP´S GRATUITAS PARA FOTOGRAMETRIA CON DRONES

• En los últimos años se ha generalizado el uso de drones profesionales para efectuar  levantamientos aéreos de terrenos y construcciones de todo tipo. El avance de los sistemas lidar y scanner aerotransportados también ha supuesto un espaldarazo en el mundo de la topografía. Como enamorado de nuestra profesión no he podido resistirme y me he formado como piloto acreditado por AESA adquiriendo las licencias/permisos oportunos (A1/A3 y A2 veremos si en un futuro acredito STS) junto con un dron profesional de segunda mano (Dji Mavic Pro) acompañado de su correspondiente seguro de responsabilidad civil (Coverdrone).

• Hasta ahí todo fenómeno; en cuanto a conocimiento de normativas, prohibiciones y otros requisitos que tenemos asimilados y siempre vamos a respetar (vaya esto por delante). Aparte pues del funcionamiento rutinario del dron, el siguiente punto es saber que aplicaciones pueden ser utilizadas para efectuar la programación de nuestros vuelos/levantamientos topográficos u otros trabajos relacionados con nuestra especialidad. La mayoría de este tipo de software (no hay demasiado) desgraciadamente suele ser de pago/por suscripción (en lo referente a planes de vuelo/mapeos) y por este motivo plantearemos algunos aplicativos gratuitos/contrastados que podremos emplear. 
• Lo primero antes de nada es saber si el día elegido podré volar en la zona de que se trate --> por tanto debemos determinar/conocer restricciones aéreas y meteorología de la localización/zona del vuelo. Casi todo el mundo utiliza las siguientes dos aplicaciones (es recomendable instalarlas en nuestro dispositivo móvil o consultarlas antes de planificar la misión):
• 1.-Enaire Drones: Nos informará de las restricciones de vuelo con Drones en la ubicación que nos interese dependiendo del tipo de trabajo que vayamos a realizar (recreativo/profesional, fotográfico si/no..).Puede ser por existencia de zonas de Espacios Aéreos Controlados/Zonas de Seguridad Aeroportuarias ( o CTR ; Aeropuertos, Aeródromos y pistas de aterrizaje - ver imagen inferior Helipuerto - zona Talavera de la Reina) o bien por Parques Nacionales, zonas de conservación de fauna, Reservas de la Biosfera y demás espacios naturales protegidos (LER).

• La existencia de estos espacios donde a priori no se permite el vuelo con Drones no significa que sea imposible aunque habría que realizar una serie de procesos/solicitud de permisos/entrega de documentación  y coordinación con los organismos implicados.
• 2. UAV Forecast:  Aplicación que aglutina información de las condiciones meteorológicas clave/que afectan a los vuelos con V.A.N.T. en una zona determinada. Dependiendo de las características de nuestro dispositivo de vuelo podremos establecer "unos márgenes de operación segura" en lo que respecta a temperatura, precipitaciones, velocidad del viento y otros.

• Una vez citadas las dos utilidades anteriores pegamos un vistazo a otras 3  app´s de planificación de vuelos fotogramétricos/levantamientos puras; únicamente la primera aplicación y mas utilizada tiene todas las opciones existentes en abierto la otras tienen ciertos procesos de vuelo gratuitos y otros por desgracia son de pago:
• 3. PIX4D Capture: Junto a su utilidad DJI + Control (ojo) de conexión previa con el dron (una no puede funcionar sin la otra) son sin duda la mejor alternativa (doy fe- B.B.B.) para planificar nuestras misiones de vuelo. Compatibilidad con la mayoría de drones DJI ("minis"; no por ahora), PARROT y YUNEEC. Podremos usar las alternativas de la imagen inferior, para crear Mapas/Modelos 2d, 3d  (En Settings> configuraremos otras opciones como tipo dron, unidades, mapa base, salvar capturas etc).

• Abajo dejo la última planificación realizada para medir una finca de aproximadamente 2 has y realizar pruebas con mi Mavic Pro. Altura de vuelo 75 m, GSD 2.46 cm x pixel, 119 capturas, 5 min 30 seg de vuelo con recubrimientos entre capturas del 70 % long/transv. Esta tarea se puede hacer en gabinete/casa y llevarla preparada a campo.

• Antes de comenzar el vuelo debe arrancarse la aplicación CTRL + DJI (Android - no tengo dispositivos Apple) en este caso para poner en contacto a priori la tripleta dron + mando + dispositivo móvil. Cuando todos los indicadores del software están en verde podemos arrancar la aplicación de mapeo y comenzar la misión. Os aseguro que es super fácil. Os comparto un video de YouTube con todo el proceso/operativa desde 0 para que os sirva de guía.

• 4. 3DSURVEY PILOT: Es una verdadera sorpresa en cuanto a versatilidad. No necesita de ningún programa controlador para conectarse con el dron (ultima versión). Posee varios métodos de planificación gratuitos (los mas utilizados comúnmente para levantamientos de terrenos y trabajos topográficos) y algunos en los que es necesario subscripción.

• Una vez efectuada la programación del vuelo (se recomienda que esté el dron conectado para detectar la cámara/modelo asociado) la aplicación realizará un autocheck de varios parámetros antes de realizar el despegue. Si todos los indicativos están en verde podrá iniciarse la misión (al parecer es compatible con todos los drones DJI excepto los mini´s).

• A parte de las opciones de vuelo comunes con PIX4D Capture tenemos la posibilidad de importar un eje de una obra lineal/camino (con formato KML) y realizar un vuelo a lo largo de esa directriz bien por motivos cualitativos (progreso de la obra por meses por ejemplo) e incluso cuantitativos calculando del levantamiento de ese corredor (lo cual es muy interesante). En la captura inferior podéis apreciar las capturas de prueba efectuadas en una "mini traza":

• 5. DRONE HARMONY:  Otra aplicación similar a las anteriores que conecta directamente con el dron. En el catálogo de planes de vuelo presenta dos tipos: uno Mapping & Inspection (varios utilidades en abierto -> MAP 2D,3D, Orbit, Hélice y Manual/waypoints ) y otro TERRAIN (considera la topografía del terreno - todo con licencia requerida). Permite conexiones con todos los drones DJI incluido los Mini (mod 1, 2 y Se por ahora). 

• El interface de la app es peculiar porque presenta vistas de los trabajos programados en 2d y 3d para tener un mayor control sobre la planificación a ejecutar (primero se define el area de muestreo y después el grid  de vuelo;como tal).

• Si bien la mayoría de estas APP´s tienes la posibilidad de realizar orbitas (alrededor de un punto singular) ésta es la primera que me encuentro que permite planes en Hélice. Esto es muy útil para realizar inspecciones de torres de comunicaciones, puentes y otras estructuras similares (incluso edificaciones). Para realizar una práctica he planteado el levantamiento de la zona de la Atalaya de Segurilla (fortificación árabe cerca de Talavera) para que veáis un ejemplo de como se configuraría el trabajo (cuando haga el vuelo y lo pase por gabinete os amplío este post con los datos) ver anigif inferior:

• Pueden importarse las zonas/ejes a inspeccionar (como archivo *.kmz) y una cosa curiosa es que guarda el registro de vuelo de las misiones (como datos masivos de trayectoria, tiempo, velocidad, ubicación -- una nube de puntos del trayecto en *.csv).

• Aunque los repositorios expuestos son gratuitos tienen la pega de no disponer de la posibilidad de la importación de las alturas del terreno (DEM) de la zona de vuelo para que la misión lo calque (o no está activo/posible o es de pago). Es decir cuando se establece la altura de vuelo del levantamiento ésta se mantiene respecto al punto de despegue inicial (siempre es la misma). Esto en terreno muy ondulados/accidentados afectará al GSD (sería  variable) de cada punto de captura lo cual no es recomendable para trabajos precisos. 
• Si es cierto que combinando las posibilidades de todas las aplicaciones expuestas más el software de vuelo del fabricante (en mi caso DJI GO 4) podemos salir airosos de cualquier "encargo".
• El tema es que hay mas software de este tipo pero os aseguro que en casi todas hay que pasar por caja (he probado muchas y estas tres prácticamente son las únicas gratuitas, operativas y testadas por mi --> hay algunas que son tediosas o no funcionan bien): subscripciones por meses/otras un solo pago (DJI Ground Station, Dronelink, Dronedeploy, Map_Pilot, Rainbow for Dji, Precision Flight, Skycatch), algunas infumables aunque sean opensource (Mission Planner)

• Por este motivo he pensado realizar una entrada del BLOG utilizando una versión de 14 días de prueba de UcGS (no sé las opciones  que permitirá); ya que parece dentro de las "profesionales" la más versátil.
• Nada más que comentar; ya os voy contando (que sigo por aquí), espero que algo de lo expuesto os sea útil.
• By Rah.