domingo, 5 de enero de 2025

GEOMATICA Y TELECOMUNICACIONES: EL OTRO MUNDO.

  • Una ocupación muy desconocida (por muchos) dentro de nuestra profesión y otras similares es el mundo de las Telecomunicaciones. Desde el inicio gran cantidad de profesionales de diversos sectores obra civil, SIG e industrial/teleco desarrollaron su actividad en este ámbito. Tambien puede decirse que ha sido el salvavidas/nicho de trabajo de muchos técnicos más jovenes desde el año 2013 hasta nuestros días. Si os parece bien podemos  hacer un repaso de como ha evolucionado este negocio y que tareas realizan los técnicos con perfil obra/geomático (como el nuestro) en él.
  • A pesar de que mis inicios laborales (relacionados con la topografía) fueron en los movimientos de tierras con una empresa familiar de la provincia de Toledo; ya en el año 1998 se empezó a realizar la gasificación en muchas ciudades de nuestra región; aunque parezca mentira  no existía gas natural en ninguna ciudad de Castilla La Mancha. 
  • La solución fué; como con el resto de servicios "modernos", abrir las calles a base de zanjas para mallar la ciudad en sus arterias principales y despues densificarla para distribuir llegando a los clientes finales mediante acomentidas. Practicamente un período de un año (ya con la carrera terminada- ojo y con 23 años) en las que el que suscribe hizo de todo; cobrando muy poquito: peón, oficial de replanteo, conductor de dumper, capataz, delineante. Fué probablemente la experiencia mas aleccionadora de mi vida laboral; adquirí muchos conocimientos, podría escribir un libro (nunca lo olvidaré, me ha servido muchísimo y muy agradecido a J.A.G. por ello). 
Gas Natural PE200 mm
  • En aquel momento tuve el primer contacto con la construcción de infraestructuras de Telecomunicaciones. En zanja y sobre los tubos de polietileno (30 cm por encima) de Gas CLM ya se disponían tritubos (uno para tubos de 90/110mm de diametro y 2 para tubos de 200mm); también se instalaban arquetas de poliester cada 100-150 m  que los recogian (sobre aceras). Esto continuó hasta que el ayuntamiento se percató de esta segunda/subterfugiada instalación y nos prohibió este punto (pero gran visión de futuro para parte de los técnicos de gas; aunque no pudo constituirse una red troncal con continuidad por esa negativa municipal). 
  • Por entonces no existían SIG´s/no tenía acceso a ellos y lo más profesional que pude realizar fué delinear los usbuilt a partir de la Cartografia del Ayuntamiento (UTM_ED50) y "mis notas de campo/levantamientos" por medio de MICROSTATION (para los adjudicatorios de los que eramos subcontrata COBRA & OSHSA). Todos los datos a base de mediciones con rueda y "escantillando" medidas desde fachadas, farolas, semáforos... un laberinto; incluso reflejé un levantamiento de todos los servicios que nos ibamos cruzando y a veces rompiendo con el avance de la obra (estos ultimos no fueron muchos..jaja)
  • A finales de los años 90 y con la liberalización de la telecomunicaciones se produjo un boom en el que muchisimas compañias querían realizar sus despliegues/obras de este tipo de instalación. Cada vez que se ejecutaba una obra de urbanización, pavimentación o renovación de servicios en una ciudad todos querían sus conducciones/arquetas con gran punto de locura/improvisación (había gran cantidad de inversión extranjera para invertir en estos menesteres). Nos centraremos en comunicaciones fijas y no en infraestructuras móviles (cada modalidad tiene su propia historia/peculiaridades) --> ambas actividades movieron mucha actividad económica y oportunidades laborales entre los años 1998 y 2008 (hasta que estalló la crisis económica/burbuja inmobiliaria --> el sector no recuperó su actividad hasta que se inicio a partir de 2013 el desplieque de F.T.T.H. /Fiber To The Home)
  • A parte del operador estatal y mas importante de siempre Telefónica (que se privatizó en el año 1997) proliferaron otras compañías como UNI2, British Telecom, Jazztel, Colt etc querían comercializar fibra optica en principio orientado tan solo a empresas. 
  • El establecimiento de redes troncales o Backbones entre las ciudades mas importantes del pais y Carrier Houses/Centros de Proceso de Datos fueron los primeros objetivos. Esto se consiguió a traves de la fibras existentes a lo largo de infraestructuras lineales como el ferrocarril o líneas eléctricas construyendo parques de telecomunicaciones para aglutinar casetas/habitáculos para los operadores que lo solicitaban.
Acceso a Nodo Primario H.F.C.
  • En las ciudades desplegaban todas las compañias citadas y con gran contudencia/inversión los operadores de Television por Cable (CATV)/tecnología HFC (Hybrid Fiber Coaxial) como eran ONO (antes Cableuropa en Baleares, Cantabria, Valencia, Castilla La Mancha), Madritel, Euskaltel, Supercable (Andalucia), Retecal (C y L) etc.. Un esquema de la arquitectura de este tipo de red; a titulo informativo, podria ser así:
  • Aún conservo planos del primer nodo secundario en el que participé y otros (usbuilts incluidos- fibra, alimentación, oc, pares y coaxial) --> ya no se realizan ese tipo de obras (casi 3 km de zanjas, 30 km de cableado de varios tipos y acceso a una cabecera/nodo primario) ahora se aprovechan las infraestructuras construidas (alquilando conductos para tender sus cables realizando SUC´s) que es lo más logico para llegar todos al mismo sitio (pero que aburrimiento verdad ?¿?).
  • En ocasiones los ayutamientos ante tanta proliferación de operadores obligaban a que se efectuaran obras multioperador en la que promovía una compañía y se construia una instalación común para todas (era lo mas coherente; todos por misma infraestructura compartida - prisma con gran numero de conductos y cámaras enormes para alojar a todos como las que siempre utilizó Telefónica). Realmente en esta época se realizaban muchas zanjas pero se tendía muy poco cable. Así la mayoria de compañias disponian de obras finalizadas pero tremendamente inconexas/aisladas unas de otras; de manera que habrá costado Dios y ayuda aprovecharlas (por ahí andarán muchas todavia sin utilizar).
Tritubos en zanja y minado de servicio de saneamiento
  • Los principales roles que los técnicos de nuestro perfil y similares realizaban en este tipo de obras podian derivar en varias vertientes; principalmente estas tres: 
  1. Diseño: Planta Externa (proyecto de obras civiles urbanas  y cableado de instalaciones en fachadas exteriores /interiores de edificios para acceso a cliente/empresas mediante cable de fibra, coaxial, pares...) y Planta Interna (todas las instalaciones necesarias en Cabeceras, Centros de Proceso o Nodos Primarios). Esto incluía el uso de herramientas CAD (Autocad, Microstation, Visio...) y GIS (Smallworld, Arcgis con pluggins específicos...). Responsables de la digitalización de Usbuilt de obra construida y rediseños para adecuar la red según las necesidades del cliente.
  2. Construcción: Ejecución de proyectos de Teleco diseñados --> como supervisores de contruccion/instalaciones para las operadoras (vigilantes de obra/calidad/activación de red) o jefes de producción/encargados de las constructoras adjudicatarias. Planificación de despliegue, replanteo, ejecución, certificación, levantamiento del usbuilt y liquidación de obra civil e instalaciones (este tipo de role era en el que personalmente encajé mas). Actualmente este punto y el siguiente han quedado muy relegados a solo instalaciones (a penas obra civil). Y hoy en dia "todo es llave mano" no hay vigilancia de la calidad por parte de las operadoras --> dejan sueltas a las contratas designadas (que se hacen "autocalidad") y así salen las cosas a veces (un cristo).
  3. Coordinación de S & S: Actuando como delegados de prevención/coordinadores en temas de Seguridad y Salud durante las obras (figuras obligatorias en cualquier tipo de actividad de este tipo). Visitas periódicas para asegurar la limpieza, vallado, señalización, uso de epi´s etc (nadie le s hacia ni caso, no solian tener ni p.i.de lo que decian (salvo pocas excepciones) y vivian en los mundos de Yupi pero eran un mal necesario; tal cual, porque sino aquello parecía zona de combate).
Refuerzo con UPN sobre Galeria y hormigonado zanja.
  • La mayoria de los criterios en toda la actividad de Teleco de las diversas operadoras partían de la experiencia de profesionales que habían trabajado para la firma que habia monopolizado esta actividad en el pais: Telefónica --> A lo que ejecutado por esta empresa le rodeaba siempre como un "halo" de profesionalidad, rigurosidad y tambien inflexibilidad  (si Telefónica lo hace así por algo será......)
  • Algunas "nuevas tecnologías" como el H.F.C. traian especificaciones constructivas heredadas de E.E.U.U. de donde venían personajes pintorescos que en algunos casos nos enseñaron muchas cosas (como mi amigo M.W.) y otros venian a "Mexico" a cobrar una pasta y a tomar chupitos.
Nodos terminales HFC en Local y en intemperie
  • En la actualidad conviven todas las tecnologias históricamente desplegadas. Se está retirando poco a poco la red de pares (Telefónica) aunque aun tiene usuarios, la CATV está obsoleta practicamente desde sus inicios (pero muy variada/interesante de construir) y ahora prepondera el FTTH  con operadoras nacionales e incluso locales (la cosa es sembrar las fachadas de cables --> no hay límite ?¿? si vienen 10 operadoras --> tendremos 10 cables distintos ?¿ -->recordemos que hay gran cantidad de fincas antiguas que no tienen infraestructura interior para alojar este tipo de instalaciones -ICT).
  • En la imagen superior tenemos registros de tres operadoras FTTH (DIGI, Movistar y Orange/Jazztel), una de CATV (ONO-Vodafone con su tap, caja terminal y vertical de cable siamés) y otra de par telefónico (Telefónica). Imagino que se irán mejorando las tecnologias de transmision de datos pero el ancho de banda/posibilidades de la fibra óptica es muy amplio y espero que duradero (porque si no esto va a parecer la India). Un esquema de la arquitectura de la tecnologia de fibra a hogar podría ser:
  • No voy a entrar en mucho mas detalle técnico de como se realizaban los despliegues a no ser que alguien tenga curiosidad (desde que no existe nada hasta tener clientes conectados en funcionamiento --> todas las etapas). Los técnicos actuales no muestran interés de como se ejecutaban las cosas antes (grosso error) y se conforman con las cuatro cosas que les enseñan en algunas empresas para tirar el trabajo para adelante de cualquier manera (una pena¡¡). 
  • Mucha gente me escribe por privado preguntando a que me dedico ahora. Después de una etapa de varios años (2009->2015) trabajando en Infraestructuras FFCC de Alta Velocidad y finalizar mi role de control de calidad topográfico en dichas obras --> pues tuve que regresar al mundo de las Teleco (no habia otra opción). Al final terminé en una ingenieria francesa (2017) que presta servicios al operador de fibra oscura mas importante de España que es: 
  • Redeia Infraestructuras de Telecomunicación (Reintel) es la filial de Redeia que gestiona desde el 1 de julio del 2015 el negocio de las telecomunicaciones, una actividad que desde 2008 se realizaba desde Red Eléctrica Internacional. Reintel (51 % Redeia - 49 % fondo KKR) está enfocada en la explotación comercial de infraestructuras de fibra óptica y espacios técnicos asociados a las mismas y tiene una red de fibra óptica de más de 52.000 km y 1344 emplazamientos en toda España  con experiencia en el mercado de las telecomunicaciones desde 1997.
  • En Reintel se gestionan dos redes con diferente historia y características técnicas singulares: la red de fibra excedentaria de Red Eléctrica (sobre cables de tierra de lineas aéreas y cables canalizados en lineas subterráneas de alta tensión ) y, desde 20 de noviembre del 2014, la red de fibra excedentaria comercializable de Adif (cables autosoportados en catenarias y canaletas de infraestructura ferroviaria). Se trata de dos redes que discurren por infraestructuras diferentes y con distintos requerimientos y condicionantes de uso, pero que se interconectan en numerosos puntos para ofrecer servicios a los clientes como si de una única red se tratara.
  • Una red enorme que se ofrece/comercializa a la gran multitud de operadoras/empresas existentes que necesitan interconectar sus cabeceras/nodos/sedes. Está en constante crecimiento a causa de la descentralización de la producción de energia eléctrica (sobre todo con la feliz idea de apagar las nucleares o muchas térmicas sin estudiarlo bien primero) y tambien en proceso de mantenimiento continuo.
  • Y en esto estamos: a prestar apoyo (a nivel técnico y de de forma remota) en todo lo relacionado con la ampliación, mantenimiento, comercialización y documentacion (GIS- Smallworld) de esta red de fibra oscura tan peculiar. Tambien intentamos participara en I+D del grupo; cuando nos dejan.
  • El entorno eléctrico de FO es diferente a lo tradicional (se trabaja de forma distinta) y realmente es una instalación secundaria/negocio alternativo minoritario a lo realmente capital/rentable para RED ELECTRICA que es el negocio del transporte de energia desde donde se genera/produce hasta las ciudades para luego ser transformado y distribuido por otros. 
  • En el interior de las Subestaciones existen edificios, casetas y salas para acoger el equipamiento de Telecomunicaciones e interconectar con clientes (idem con ADIF->parques). Toda esa planta interna y externa requiere de estar perfectamente reflejada/inventariada (parte física y lógica) para poder operar con ella -----> y en eso estamos compañeros.
  • Como veis he desarrollado 2 vertientes curiosas (T & T - Topografia y Teleco)  en el transcurso de mi vida profesional que me ha permitido "ir saltando" de una a otra cuando ha sido necesario (periodos de crisis incluidos)
  • Toda la experiencia asimilada durante esos años de trabajo queda en la memoria como un recurso importante --> gran cantidad de problemas surjieron a los que se dieron a veces buenas soluciones y otras veces no (reflejar todas esas vivencias en un blog es arto complicado).
  • Aquí queda otra entrada; igual algo menos interesante que otras, pero curiosa.. o no ?¿'
  • Hasta la próxima.
  • By Rah.

domingo, 6 de octubre de 2024

OPENCARTIS SPATIAL MANAGER PRO: EL PLUGGIN GIS<>CAD

  •  Spatial Manager Pro™  es un poderoso plug-in diseñado en España (2009-Donostia) para los usuarios de programas de CAD que necesitan importar, exportar, transformar y administrar datos geoespaciales una manera simple, rápida y económica, que se integra en plataformas como AutoCAD, ZwCAD, BricsCAD y GstarCAD. Dispone tambien de una versión de escritorio (Desktop) que trabaja de forma autónoma sin necesidad de otra plataforma que la soporte y ofrece entre otras funcionalidades: manejar servidores o almacenes de datos, mostrar mapas de fondo, gestionar datos alfanuméricos y tablas de datos, crear modelos de terrenos y curvas de nivel, buscar ubicaciones, transformar sistemas de coordenadas etc.
  • Por todo lo expuesto si necesitas un addin para Autocad definitivo que pueda manejar funciones basicas en el campo de la topografia y extendidas en el campo de los SIG puedo recomendarte encarecidamente el uso de esta utilidad. Es el nexo perfecto de union para las dos disciplinas que manejamos en nuestro campo profesional CAD<>SIG. En esta entrada intentaremos describir a grosso modo las bondades de Spatial Manager Pro (aunque existen versiones Standard y Basic --> no recomendables). Con tan solo visualizar la cinta de opciones del software nos podemos hacer una idea de su campo de aplicación:
  • Comentar que al encontrarse la aplicación totalmente integrada en Autocad podemos utilizar comandos de teclado para llamar a la mayoria de las funciones de Spatial Manager. Dichas llamadas empiezan con las siglas SPM + orden (por ejemplo SPMIMPORT, SPMEXPORT, SPMTERRAIN, SPMLABEL, SPMBUFFER etc).
  • Con el icono de Mostar Paleta o incluso Importar se nos mostrará la ventana mas importante de todas que sirve la exploración de los datos a incorporar. A su vez dispone de unas pestañas de Origenes de datos (donde navegaremos por nuestros volúmenes para seleccionar ficheros de datos geoespaciales), Explorador (donde se muestran los ficheros importados, tablas de BBDD, Imágenes mapas de referencia) y otra de Tareas (donde se pueden guardar flujos de trabajo, procesos de conversion del usuario etc). 
  • Es fundamental establecer primero el Sistema de Coordenadas del proyecto para poder realizar  la integración de datos correctamente, transformaciones entre sistemas (detecta automaticamente si es necesario conversiones entre sistemas y las plantea a priori), poder atachar mapas de fondo (solo disponibles con sistemas proyectados/metricos) etc. 
  • En el ejemplo práctico hemos agregado un archivo de huellas catastrales de una localidad  (en UTM ETRS89 huso 30 -Bloques_Origen.shp), otro de la zona de estudio (Recorte.shp)  y una imagen/ mapa base (Google Maps) resultando lo que apreciais en la imagen superior. Tambien es posible visualizar la base de datos (Tabla del fichero shape) atachada al archivo geoespacial y modificar sus datos facilmente, seleccionarlos por criterio, calcular campos nuevos  etc (como si de un minigis de escritorio se tratara). 
  • SPM reconoce una gran tipologia de archivos geoespaciales (imagen superior) para trabajar con ellos y dispone de una gama de mapas base brutal  (me encanta). Hay algunos que no he probado pero suponiendo que pertenezcan a algún servicio externo como Mapbox el sistema nos reclamará la clave o token de nuestro perfil para tenerlos disponibles. Puedes tener varios mapas de referencia almacenados/disponibles de manera simultanea y ordenar/seleccionar su visualizacion desde la pestaña del Explorador> Imágenes> Mapas en primer plano/ de fondo.
  •  En la pestaña mapas de usuario hemos configurado el servicio WMS de la PNOA Maxima Actualidad para probar y funciona a la perfección (aunque tambien es posible enlazar servidores TMS, WMTS).
  • La herramienta de transformación de coordenadas (es inteligente  ->propone ciclos de conversión) trabaja con el catalogo de CRS,  la lista incluye mas de 15.000 Proyecciones, Elipsoides y Marcos de Referencia que se amplían, revisan y actualizan periódicamente. Permite utilizar archivos de rejilla en formato NTv2 para efectuar el paso entre sistemas de coordenadas (que pueden crearse con nuevos parámetros personalizados).
  • El intercambio de datos con Google Earth es muy sencillo/practico y crea carpetas en los ficheros kml/kmz generados con el mismo nombre de las capas de Autocad (si el dibujo es nativo de ahí) cuando exporta (objetos 2D/3D) y a la inversa en las importaciones (crea capas CAD para agrupar las entidades puntos,lineas o polígonos de GE). 
  • Es posible exportar imágenes raster a partir de capturas de la pantalla de Autocad o importarlas a partir de ficheros en formatos TIF, PNG, JPG, JPEG, TIFF, COG (IGN). Incluso acepta imágenes con localizacion GPS (contenida en datos EXIF) de capturadas en dispositivos como drones, smartphones etc. Es posible crear archivos world (*.tfw) con la info de georeferencia de cualquier raster incluida en el diseño y tambien anexar imágenes de alta definición e históricas de Google Earth utilizando archivos de configuración (*.geprint).
  • Otro recurso muy destacado es que integra el Street View de Google Earth en Autocad. Activándolo aparece todos los recorridos disponibles destacados como lineas azules y clikando sobre pantalla accedemos al repositorio de capturas pudiendo navegar como hacemos habitualmente con esta herramienta en la web.
  • Mediante la utilidad de Ubicación podremos efectuar lo que se entiende por geocodificaciones directas (1) o inversas(2) de los datos introducidos. Esto es:
  1.  Facilitar por consola/fichero una determinada dirección (ciudad, calle y numero; por ejemplo en un archivo *.csv, *.txt u otros) y que el sistema lo materialice en el modelo (donde se encuentra exactamente cada registro obteniendo una tabla con sus coordenadas geográficas).
  2.  Introducir por ejemplo una huella catastral o puntos en un lugar con una ubicacion física (coordenadas UTM o geográficas) y que el sistema nos facilite los datos de localización (calle, localidad, Pais) donde estas situados esos elementos.
  • Estas determinaciones se realizan a través de proveedores que podemos seleccionar  como son Bing, Google u Openstreetmap (Google normalmente reclama una clave API para poder funcionar). Los campos a mostrar en ambos procesos son personalizables (se pueden elegir los atributos que mostrarán las tablas obtenidas).
  • Si queremos rotular textos basados en los campos de los objetos lo podemos realizar mediante la opcion de la cinta Etiquetas. No es necesario para ello que dichos elementos tengan una tabla asociada (como puede ser una entidad de un fichero *.shape) puede ser cualquier objeto geométrico nativo de Autocad (de puntos sus coordenadas, de lineas sus longitudes, de polígonos su perímetro y area por ejemplo)
  • La Deformacion Elastica por lo que he estado probando sirve para hacer coincidir geometrias que sufren desplazamientos/no coincidencias  respecto a otra realidad de que dispongamos como pueden ser ortofotos u otras figuras de referencia. De alguna manera permite modificar  esas figuras mediante transformaciones afines, traslaciones o combinación de ambas con el proceso punto 1 - 1`, 2 -2 ' etc. Como no se exactamente como realiza esos ajustes internamente no me voy a exterder mas --> pero funciona.
  • En cuanto a la opción Terreno se ofrece la mayoria de herramientas que incorporan estos tipos de software. Un flujo típico (el se siempre) podría ser la importaciòn de puntos de un levantamiento (principalmente en ascii en diversos formatos) de una zona, su representación en el modelo (con etiquetas o no) y la obtención de un curvado del mismo (visualización configurable), junto con una malla tridimensional del mismo y el posible renderizado del conjunto (esto ultimo funciona regular). No se puede pedir peras al olmo y no se permite la inclusión de lineas de ruptura, contornos exteriores/interiores etc (recordemos que se trata de una aplicacion generalista -> no es MDT de Aplitop, ni Civil 3D ni nada parecido).
  • Tenemos la posibilidad de descargar puntos 3D (online mediante selección de zona) provinentes de proveedores de servicios de elevación zonales/mundiales. La calidad de la z de estos modelos hay que tomarlas con prudencia debido a las fuentes de su obtención (se desconoce a veces la datación de captura) y los modelos geoidales/rejillas empleados (a veces desconocidos). De todos modos es posible obtener datos altimétricos de otras fuentes y utilizarlos para nuestros menesteres --> como en España el IGN y sus datos Lidar que van por la 3era captura y están muy contrastados.
  • En cuanto a la obtención de Mapas Temáticos está relacionado con las representaciones que podemos obtener en cualquier GIS de escritorio (sin olvidar que esto es un pluggin para Autocad y tiene sus limitaciones).Así podremos representar fenómenos discretos y continuos (usos de edificios, clasificaciones de suelos, zonas urbanos por densidad de población o bien representaciones de altimetria o mapas de calor).
  • Para ejemplarizarlo hemos realizado una represetación por colores de los edificios de una localidad a partir de sus huellas y el numero de alturas (distribución de estilos de objetos considerando rangos de valores a partir de los atributos de un fichero shapefile).
  • Por ultimo podemos comentar que es posible acometer operaciones de análisis espacial en AutoCAD sobre los objectos del dibujo generando otros nuevos desde dichas operaciones. Así se proporciona un amplio conjunto de herramientas para realizar estas tareas con las entidades vectoriales del dibujo y sus datos vinculados, dando como resultado nuevos objetos generados por la resolución de dichos procesos. Las operaciones de análisis espacial (las tipicas; ver imagen inferior) se pueden realizar sobre una combinación de tablas, capas u objetos del dibujo previamente seleccionados mediante la interacción con elementos en pantalla o bien mediante las consultas de selección avanzada de la aplicación.
  • En este Link que os dejo podeis encontrar ejemplos variados de las herramientas expuestas en la imagen superior. Casos de uso reales con videos tutoriales que explican paso a paso su funcionalidad/proceso --> me imagino que la mayoria de vosotros si estáis familiarizados con los SIG serán tareas que realizaréis el dia a dia y no tendrá secretos para vosotros.
  • Si os empapais para el uso de esta herramienta poco a poco se va viendo que tiene mas aplicaciones de las que parece. En el sitio web de Spatial Manager  podréis encontrar manuales al respecto y tambien disponen de un canal de Youtube muy completo.
  • Yo tengo instalada la aplicación (Lavteam.org) y es todo un hallazgo; recordad que ya no me dedico a la topografia pura y este tipo de utilidades ligeras vienen de perlas.
  • Hasta la vista; espero que os sirva la entrada, seguimos en la brecha --> By Rah.

jueves, 11 de julio de 2024

LEVANTAMIENTOS TOPOGRÁFICOS CON V.A.N.T

  • Tras un período de un par de años efectuando mediciones topográficas y levantamientos con un dron profesional en esta entrada voy a intentar dar una evaluación cuantitativa y cualitativa de lo que realmente podemos obtener con esta metodología. Hablaremos de las procesos empleados, software de campo (control del UAV) y gabinete (PC), precisiones obtenidas, errores cometidos y consejos valiosos a tener en cuenta a la hora de trabajar para obtener los mejores resultados. Como siempre lo que se escribe en este blog es pura realidad y experimentación; doy fé de ello .
DALL-E (IA): Genera una imagen de un dron Dji mavic Pro sobrevolando un bosque y un rio.
  • Está claro que la persona/empresa que necesite rendimiento y eficacia en los trabajos de levantamientos con drones sea vía fotogrametría, lidar o espectral necesita realizar una inversión considerable (por volumen de trabajo o envergadura de los mismos); no menos de 4.500-5.000 euros (dron profesional con modulo RTK + software planificación/vuelo).
  • Tambien el tipo de trabajo a realizar decidirá si es mas rentable utilizar un dron de ala fija o un cuatricoptero. El tamaño de los sensores fotográficos y la especificación de los opturadores (mitigar rolling shutter) son características muy importantes a considerar (20mp + mecánico). Sin embargo hay otras alternativas mas mundanas para los que realizamos trabajos esporádicos o simplemente nos gusta el mundo de los VANT/ geomática y queremos experimentar (hay veces que con ingenio se consigue mucho y en el mercado de segunda mano tambien --> pero sin alucinar; recomendaciones/conclusiones al final de la entrada).
  • Lo principal y normativo: Ser piloto acreditado por AESA ya sea en categoría ABIERTA o ESPECÍFICA (dependiendo del escenario/peculiaridades del trabajo). Estar registrado como tal; nosotros y nuestros aparatos. Seguro de responsabilidad civil acorde a nuestra ocupación. Cumplir las reglas y preceptos de cuando/donde se puede o no volar nuestro dron (ENAIRE) gestionando los permisos oportunos si fuera necesario (incluso hay empresas que realizan este tipo de gestiones/informes con los organismos implicados). Estar atentos a los cambios de la normativa  (son constantes) --> para mas info al respecto: DRON GURÚ y web AESA.
  • El ejemplo mas habitual  es el levantamiento fotogramétrico de un terreno ya sea para mediciones solo planimétricas (superficie -> catastro/registro) o también altimétricas 3D (cálculos volumétricos de todo tipo u obtención de "gemelos digitales"). Si el trabajo va a ser meramente experimental, cualitativo o no es necesario un posicionamiento absoluto preciso (error aprox xyz +-2.5 m gps en modo navegación) no será necesario disponer de puntos de apoyo en el terreno (o como se les denomina ahora GCP´s o Ground Control Points).

  • Hace años las coordenadas de los puntos de vista de los dispositivos de captura no eran precisas o no existían. Hoy día la existencia de los módulos GPS RTK en las propias aeronaves han cambiado el panorama de este tipo de trabajos (obtenemos orientación relativa y absoluta con gran facilidad). 
  • En este caso particular apoyaremos el levantamiento realizado con el dron por medio de puntos sobre el terreno dotados de coordenadas precisas con GPS en tiempo real (+-2cm - protocolo NTRIP). Así podremos georreferenciar de forma precisa el modelo y constreñirlo a unas dimensiones en xyz.
  • Abajo una captura de la predisposición de los puntos de apoyo previa (aunque luego en campo la cosa cambia). A parte de estos registros suelo disponer 4-5 puntos mas para medir la bondad/calidad del levantamiento tras todo el proceso/fuera del ajuste (sobre todo evaluar cotas absolutas). Son señales realizadas con placas de policarbonato y pintura (blanca/negra) de 50 cm x 50 cm x 16 mm (tamaño suficiente para tener estabilidad en el suelo y ser distinguidas claramente en las capturas a  80-100 metros altura con un sensor de 12MP como el de mi equipo).

  • Tenemos otros pasos previos que verificar antes de realizar el trabajo:
    1. Zona de vuelo o Levantamiento: Verificar si está permitido el vuelo con VANT o existen zonas de exclusión aérea (CTR, aeródromos, zonas protegidas etc). Consulta de las células catastrales/límites de las fincas a medir, accidentalidad del terreno,  ubicación/accesos a base de operaciones y disposición a priori en gabinete (descrito anteriormente y a grosso modo en zonas despejadas) de puntos de apoyo.
    2. Cobertura datos móviles: Para conexión GPS móvil (GPRS, 3G o 4G) con estaciones de referencia zonal (IGN o CCAA). De lo contrario sería necesario efectuar otra metodología o cálculos en postproceso de los posicionamientos. Link aquí.
    3. Condiciones meteorológicas: Sean apropiadas para realizar las operaciones. Con temperaturas extremas (frio/calor) el rendimiento de los equipos puede verse afectado hasta en un 20% (duración de baterias). La velocidad del viento debe ser moderada  para ejecutar vuelos seguros, eficientes y de calidad en la ejecución de los trabajos (intentar siempre inferior a 25-30 km/h).
  • En una anterior entrada del blog se enumeran las app´s que utilizo para solventar los anteriores puntos e incluso algunas de planificación del levantamiento/vuelo (android) según el producto que se quiera obtener. No he encontrado ningun software gratuito () que considere la altura del terreno para planificar el vuelo del levantamiento (es lo que hay). 
  • Para las planificaciones de vuelo me he manejado con el software para android PIX4D Capture y 3DSurvey Pilot (sobre todo el segundo que te indica mas datos sobre la operación que el primero). Ofrecen la mayoria de posibilidades (métodos de vuelo) para efectuar nuestras pesquisas (Grid2D,3D, Circle/Orbita, Polygon e incluso importación de Kml´s de la zona a levantar). La resolución del pixel; por tanto la altura de vuelo, y el número de capturas del trabajo correspondientes a parte de los recubrimientos entre pasadas será lo que marcará la duración y longitud de la operación (dimensionar baterias). En este caso elegimos un Grid 3d con el resto de parámetros del anigif inferior y que está estrechamente relacionado con el tipo de producto final que queremos obtener.
  • Todos los pasos anteriormente descritos podemos realizarlos en casa/gabinete. De este modo ya estaríamos preparados para marchar al campo y ejecutar los trabajos.
  • Comentar que por comodidad yo suelo utilizar un movil esprofeso sin tarjeta SIM (antiguo) para conectar con mando y dron (enlazado mediante bluetooh a datos de mi movíl personal) así evito llamadas inesperadas, notificaciones e interrupciones con el software del mapeo/dron que pueden colgar las aplicaciones (me ha pasado un par de veces --> menudos sudores). Imaginar la situación es: el dron volando y tu acojonado porque no lo controlas estando en vuelo programado, igual tienes que reiniciar el teléfono; en fin "un cristo".
  • El paso previo siempre es verificar las lindes de la finca con el propietario (en este caso estaba  todo vallado), seguidamente efectuar el levantamiento de los limites de la finca con GPS y tambien dotar de coordenadas a los puntos de apoyo (una vez va allí no los puedes poner donde quieres normalmente; hay que intentar distribuirlos lo mejor posible y en zonas estables/donde no se puedan mover --> recomendable fijarlos con piquetas o lastrarlos). 
  • Despues de ejecutar el vuelo con altura constante sobre el terreno (que no era muy accidentado) de 80 m (doble grid en este caso) obtuvimos 119 capturas para reconstruir ortofotos con un tamaño máximo del pixel de 2.52 cm.
  • El software de escritorio utilizado para realizar los calculos fotogramétricos es Agisoft Metashape. Para mi es mas configurable que PIX4D (muy llave en mano), lo llevo utilizando desde hace años y puede conseguirse "free" fácilmente.
  • En este caso en el gif superior podeis ver como se incluyó en el ajuste del modelo 5 puntos de apoyo (circulos rojos) y 2 de control (checks). Todos tienen coordenadas GPS RTK y podemos ver que las precisiones obtenidas (ojo es en 3D-xyz) son del rango de 7-9 cm que no está nada mal para el tipo de dron utilizado (DJI Mavic Pro -cámara de 12 MP- sin obturador mecánico).
  • Como prueba se ha realizado un procesado de los modelos con y sin puntos de control/GPS para ver que diferencias cuantitativas se pueden evaluar si efectuamos un levantamiento de un terreno/finca solo con el dron (sin un georreferenciado preciso). 
  • Tambien realizamos la experiencia de medir la finca u obtener/trazar el contorno comparando catastro (rojo discontinuo), medición topográfica (verde con halo rojo), ortofoto ajustada RTK (naranja) y ortofoto solo dron sin apoyar (azul). Hemos cuantificado las magnitudes/discrepancias en coordenadas, perímétros y áreas llegando a conclusiones interesantes:
  1. Los desplazamientos absolutos de los puntos RTK con respecto a los obtenidos en la orto sin apoyar (solo  dron)  suelen rondar los 2.60 m en xy- compatible con los obtenido con un equipo GPS en modo navegación (sin correcciones diferenciales).
  2. Las mediciones relativas/distancias entre puntos con correcciones RTK y sin ellas son bastante parecidas y fluctuan entre 3 y 11 cm (lo cual es sorprendente).
  3. Los perímetros y areas de lo medido a pie de GPS (punto a punto convencional de linde) y con ambas ortos son muy parecidos. Se aprecia que las diferencias radican  sobre todo en la pérdida de visión en el trazado del contorno a partir de fotos aéreas donde a veces no visualizamos las lindes con exactitud (tapadas por arbolado o matorral).
  4. Las alturas ortométricas no son del todo evaluables mediante estas "pruebas" ya que intervienen modelos geoidales distintos en su cálculo (a nivel de GPS dron sobre todo). Para ello intentaremos medir el movimiento de tierras de una gravera (2 tomas separadas en el tiempo) con una metodologia similar (en un futuro cercano).
  • Observar cuadro inferior de magnitudes a los que se refiere los conclusiones anteriores:
  • La principal conclusión de estas operaciones es que incluso se pueden levantar zonas extensas de terreno unicamente con el dron y algunos puntos de apoyos distribuidos uniformemente. Si las lindes están suficientemente claras no sería necesario recorrer los límites a pie. Disponiendo puntos de control suficientes y otros de calidad "por si acaso" entiendo que no sería nada descabellado lo que se obtenga por esta metodología -> aunque todo el mundo prefiera "certificar su trabajo a pie" (es entendible por lo anteriormente expuesto.- punto 3).
  • En cuanto a los levantamientos de detalle de elementos arquitectónicos tambien hemos efectuado algunas experiencias curiosas. Como por ejemplo modelar unos depósitos de agua potable del ayuntamiento de Velada (Toledo). La idea era realizar un levantamiento fotogramétrico del entorno para despues y tomando medidas interiores claves de soleras, arquetas, espesores de muro etc realizar "un gemelo digital" en Rhinoceros. El problema es que no conseguí que fuera métrico (no pude georreferenciarlo de forma precisa) -> de todos modos podemos ver lo que obtube con 10 min de trabajo en campo y 4 horas de gabinete (tiempo de proceso).
  • En primer lugar comentar que lo ideal para obtener los mejores resultados en estos casos particulares es combinar un Grid3d con un Vuelo Orbital (a misma altura sobre terreno si es posible). Aunque los planes de solo orbita suelen funcionar bien (ver anigif superior) dejan en ocasiones puntos ciegos, distorsiones o deformaciones en el entorno del elemento que se quiere levantar. De este modo tambien podremos obtener los otros productos/mas abundancia de datos que nos ofrece el proceso completo/combinado a parte de solo la representación del sólido en cuestión.
  • La amplitud o angulo por toma no debe ser superior a 5º-6º de arco (entre 60-80 tomas), la inclinación del cardán 45º y la altura de vuelo la ajustada a la visión de todo el elemento del trabajo. Si se trata de una torre de telefonía o similar se recomienda utilizar planes de vuelo helicoidales porque si no el enfoque solo al centro de masas del edifcio producirá desenfoques y malos resultados. Los dias nublados o las horas donde no se proyecte sol/sombras son los momentos ideales para estos trabajos.
  • Todos estos tics se pusieron en practica en el levantamiento del entorno de una finca labriega y el modelo obtenido fué muy exacto. Cierto es que el número de capturas fué aproximadamente de unas 250 tomas y el tiempo de procesado se acrecenta considerablemente. El nivel de detalle es brutal con tamaño máximo del pixel de poco mas de 1 cm (fijaos en el detalle de las piedras sobre el cerramiento perimetral- gif inferior).
  • Otro trabajo interesante que realicé fué el levantamiento de la villa romana del Saucedo datada  primera fase en el siglo I-II despues de Cristo (aprox 2000 años de antiguedad). Con fines arqueológicos para levantar un plano de planta general del emplazamiento. Fué uno de los primeros trabajos que realicé y no estoy muy contento con los resultados pero la práctica hace la perfección .
  • Otra práctica fué un levantamiento 3D de la Atalaya de Segurilla muy cerquita de mi ciudad Talavera de la Reina que data del siglo X (captura abajo) .Realizado con un vuelo mixto (grid + orbita) y que pronto realizaré mediante vuelo helicoidal porque el producto final no salió  lo fino que a mí me gustaría; principalmente porque no calculé bien la altura del vuelo orbital (un poco bajo). En uno de estos experimentos me cepillo el dron (es de segunda mano; así que malo será).
  • Una cosa de la que no hemos hablado: es importantísimo disponer de un equipo informatico (sobremesa decente; los portátiles sufren con estas tareas) de una buena gráfica y cantidad de RAM --> para equipos actuales (JULIO 2024) se puede aconsejar/lo deseable: una NVIDIA RTX 4060 para arriba (o similar. aunque yo tengo una GTX 760 de 2Gb y hacemos lo que podemos),  al menos 32 gigas de RAM (doble canal de proceso) y un microprocesador acorde a toda esta potencia de proceso (Ryzen 7 5800x) evitando posibles cuellos de botella (y todo esto no es nada del otro mundo).
  • En fin no dejan de ser trabajos de práctica los aquí expuestos. Que duda cabe de que con equipos punteros/lo último se pueden hacer grandes cosas pero de alguna manera hay que empezar a enredar; por ese pequeño impedimento no vamos a cejar en nuestro empeño/afición, recordemos que este es el Blog del Autodidacta en Geomática --> aquí le damos a la cultura del esfuerzo.
  • Eso es todo por esta entrada. Seguimos por aquí; cada vez quedamos menos, será por la IA -- jaja --> By Rah.

martes, 26 de marzo de 2024

FME DESKTOP: EXTRAER, TRANSFORMAR Y CARGAR

  •  Volvemos tras una temporada en blanco provocada por cambios profesionales y personales con una herramienta del desarrollador canadiense Safe Software. Conocida por casi todas las personas que se dedican a la manipulación de datos GIS y de aprendizaje complejo: se trata de la aplicación FME. A priori la base de su funcionamiento es actuar como una herramienta ETL (por sus siglas en Inglés) (Extract, Transform and Load).

  • Este tipo de software ha cobrado mucho protagonismo a consecuencia del auge del Big Data donde la integración de datos es primordial o "combinar flujos de información enorme de numerosos repositorios en algo útil". Como plataforma para estos menesteres a parte de FME DesktopSafe Sofware proporciona servicios similares a nivel organización (FME Server) y alojamiento en la nube (FME Cloud)
  • Los usuarios pueden obtener/importar (mas de 350 formatos distintos) información de diversas fuentes de información simultáneamente (geoespaciales, BBDD, hojas de calculo, CAD, BIM, imagenes raster etc), manipular sus datos (depurándolos a medida realizando diversas operaciones con ellos) para despues cambiar su formato/esquema/contenido (mediante los llamados transformadores; dispone de cientos de ellos) y cargarla en otro espacio compatible de destino para la explotación de los mismos. Para resumir sus capacidades podemos apuntar que permite:
    1. Filtrar los datos por atributos.
    2. Crear clases a partir de determinados atributos.
    3. Separar datos según criterios preestablecidos.
    4. Generar entidades a partir de coordenadas.
    5. Transformación entre varios formatos (CAD, ráster, BIM, CSV, etc.).
    6. Cambiar el contenido de los datos, como su estructura (por ejemplo, sus atributos).
    7. Integración de datos de diversas fuentes.
    8. Fusionar tablas de datos entre ellas o con sus respectivas geometrías.
    9. Actualización de bases de datos espaciales.
    10. Creación de flujos de trabajo y automatizaciones.
    11. Fijar tareas que se repetirán periódicamente.
    12. Trabajo con metadatos.
    13. Validación de los datos.
    14. Reproyectar geodatos entre sistemas de coordenadas.
  •  Todos estos procesos son automatizables y se llevan a cabo sin necesidad de escribir una sola línea de código  aunque son permiten la integración con lenguajes como Python o SQL. Se permite la computación en paralelo de datos (dividir las tareas en otras mas pequeñas para buscar soluciones mas sencillas) mediante una interface gráfica (imagen inferior):
  • La herramienta FME Desktop dispone de varios modulos cada uno con su funcionalidad: 
  1. FME Data Inspector: Utilidad que permite ver con rapidez datos en cualquiera de los formatos admitidos por FME. Utilizado para obtener vista previa antes de la traducción o para verificarlos después de la misma.
  2. FME Quick Translator: Para ejecutar traducciones simples que no implican ninguna personalización y obtener resultados rápidos.
  3. FME Workbench:  Herramienta principal del paquete (en la que nos centraremos principalmente en este post) que permite la creación de espacios de trabajo y traducciones/escritura de datos complejas (con posibilidad de re_estructurar la info) a partir de varias fuentes de entrada y con posibilidad de salidas multiples.
  • El uso del software tiene un comportamiento escalable; es decir se pueden acometer desde las tareas mas simples que podemos realizar con cualquier software de escritorio GIS hasta verdaderos entramados/confluencias de datos y analísis para llegar al producto final deseado.
  • Así podemos crear un espacio de trabajo inicial (workspace) sencillo; como muestra, en el que se nos reclama los formatos de entrada y salida (Readers & Writers). En este caso se trata de un fichero de lineas en formato  *.kmz (Google Earth) en EPSG:4326 que transformamos a un lienzo de Autocad *.dwg con EPSG:25830 una operación muy común realizada constantemente (ver imagen inferior).
  • La conversión de datos es rápida y se pueden personalizar los campos y atributos que se transmiten de la lectura a la escritura. Posee una ventana de logs donde se notifican posibles errores/warnings y todos los "flujos internos" del proceso. El interface del programa recuerda a otros software de parametrización de procesos como en el diseño 3d (Grasshopper, Dynamo, Modelbuilder de Arcgis etc). De este modo podemos reutilizar los procesos ya programados para emplearlos en otros algoritmos con fuentes de origen diferentes.  En la captura inferior el espacio de trabajo generado con el numero de entidades procesadas y la edición del fichero visualizado en Autocad Civil 3D.
  • Pero lo más interesante es que se pueden interponer en el flujo de la conversión de datos una serie de transformadores que manipulen/evaluen y cambien las magnitudes tratadas. Para ello vamos a ver un sencillísimo ejemplo (recordemos que esto es una toma de contacto; luego cada cual tendrá que investigar y aplicar el recurso a lo que necesite). En la imagen inferior podeis visualizar el caso en cuestión donde se proponen un Lector (1) y un Escritor (5) y tres Transformadores de los mas comunes (2-3 y 4).
  • El fichero de inicio se trata de un archivo Esri *. shapefile con los cables submarinos mas importantes del mundo junto con su información asociada (al cual se asigna/declara un Reader). El fichero de destino será un archivo de G.E. *.kml en el que se habrán realizado ciertas operaciones mediante los transformadores interpuestos antes de ser escrito/exportado por  medio de un Writer
  • Primero seleccionamos los campos/atributos que nos interesa tratar en el fichero de inicio (User Attributes) dejando el nombre, ancho de banda, km de longitud y año de puesta en marcha.
  • Posteriormente interponemos el primer transformador que será un "Tester": nos permitirá establecer discriminación de los datos respecto a un valor determinado, la existencia o no de una característica, una operacion booleana, matemática o condicional. En este caso establecemos una prueba de que pasarán el Test todos los elementos que tengan mas de 5000 kms de largo y un ancho de banda de + de 3000 Gygabites:
  • Podemos ver que existen en total 281 elementos lineales (en este caso). Que pasen el criterio son exactamente 35 entidades y que no cumplen son el resto 246 entidades. A partir podemos seguir trabajando con el flujo de ambos o alguno (que nos interese) de los datos arrojados por el Tester. En este caso tomaremos los elementos que cumplen el criterio y los trataremos con un Attribute_Renamer para renombar los atributos al castellano por ejemplo..
  • Los transformadores disponen de un buscador que se activa cuando clickamos sobre el Canvas de FME y escribimos cualquier cosa. Con solo poner un palabra o el inicio de la misma (nombre del transformador) nos dirige hacia los mismos (tambien existe una lista de todos los Transformadores; bien clasificados alfabéticamente, o por categorías). El buscador te orienta sobre la utilidad de cada recurso; que es lo que hace o lo que podemos obtener con su uso. Hay una cantidad brutal de estos elementos pero al final se suelen emplear siempre los mismos; la verdad (yo manejo entre 35-40 para mis menesteres)
  • Incluimos un KmlpropertySetter para establecer como se mostrarán las entidades en Google Earth antes de ser exportadas por el Writer final. Que campos mostrará el arbol de navegación, cuales magnitudes  y como  serán mostradas en el Popup cuando pinchemos sobre las entidades y con qué prioridad. El tipo de geometria a mostrar, si las entidades están ancladas al suelo son otros aspectos tambien contemplados:
  • Por último solo queda correr todo el proceso (Run>cinta de opciones) para obtener los resultados deseados. Hay que visualizar el arbol de logs/warnings para ver que no hay ningun error posible. Imaginad que podemos realizar exportaciones a distintos formatos a la vez con distintas operaciones de discriminación y guardar el algoritmo programado para otra ocasión similar; como ya habiamos comentado antes. En la imagen adjunta el resultado final visualizado en Google Earth/FME:
  • Esto ha sido un uso sencillo del dia a dia (recordemos que GE importa directamente ficheros *.shp pero no pueden manipularse los datos recibidos). El potencial real de FME se centra en tratar BBDD enormes de programas/formatos GIS que necesitan de tratamiento profundo/depuración antes de efectuar la conversión final. Aprovecho para dejaros un Webinar de Youtube donde se puede ver de una forma mas dinámica las funcionalidades de este interesante y complejo software (difícil de tragar pero de gran proyección si somos capaces de buscarle la utilidad en nuestro flujo de trabajo).
  • En fin otro recurso mas en este caso de GIS para que lo investigueis si os cuadra. Muy contento de volver a publicar entradas en mi Blog (son ya casi 9 años y 63 publicaciones). A veces el estado de ánimo, la motivación o las circunstancias personales no acompañan o no son las mejores --> pero supongo que el que es inquieto y cansino como yo;  ya se sabe, la burra siempre vuelve al trigo.
  • Hasta la proxima.
  • By Rah.