midusi / spectrogram

PlateUNLP

Ejecucion en Docker

Requerimientos

• Docker

Preparacion

Para la correcta ejecución de los contenedores debe tener preparado un archivo .env que asigne valores adecuados a las variables de entorno que requiere el arhivo docker-compose.yml.

Para su creacion puede duplicar el archivo .env.sample que esta en la carpeta raiz del repositorio,cambiarle el nombre a .env y modificar las variables que declara segun las necesidades de su equipo.

Ejecucion

Para levantar el conjunto de contenedores ejecutar:

docker compose --env-file=.env up

En caso de que lo que quiera sea actualizar los contenedores agregue al final el tag --build, tal que asi:

docker compose --env-file=.env up --build

Acceso a la app

Una vez levantado el entorno de produccion puede acceder al la aplicacion desde localhost:5000.

Tambien puede acceder a la API expuesta por el backend desde localhost:20500

Ejecucion sin docker

Requerimientos

Backend

• Python (v3.8)

Frontend

• Node js (v12.22.7)
• Visual Studio BuildTools

Instalación de dependencias

Backend

Para instalar las dependencias del backend pocisionarse en la carpeta /backend, activar el entorno virtual en caso de que se emplee y ejecutar:

pip install -r requirements.txt

Frontend

Para instalar las dependencias del frontend es necesario posicionarse en la carpeta /frontend y ejecutar:

npm install

Patchear la clase Upsample de PyTorch (Pre 1.3)

La versión de YOLO utilizada el modelo entrenado depende de un parámetro de PyTorch de la clase Upsample que no existe más. Un fix temporal es reemplazar la línea 152 (de la versión 1.12 de PyTorch) del archivo torch.nn.modules.upsampling.py quitando el parámetro recompute_scale_factor, de modo que la línea queda:

def forward(self, input: Tensor) -> Tensor:
        return F.interpolate(input, self.size, self.scale_factor, self.mode, self.align_corners)

SetUp

Crear un archivo db.json en la carpeta backend/app/static/config, y configurar el campo workspace_path para que apunte a la carpeta donde están/se pondrán los archivos tiff a procesar, y se guardarán sus metadatos y resultados. Se puede utilizar el archivo db.json.example como ejemplo. Por defecto, este archivo apunta al directorio test_db. que tiene archivos de ejemplo para probar el sistema.

Ejecutar el software en desarrollo

En la carpeta /backend una vez activado el entorno virtual, ejecutar:

python run.py

En la carpeta /frontend, ejecutar:

npm run dev

Accediendo desde el navegador a localhost:5000 se podrá ver la interfaz gráfica del software.

Ejecutar el software en producción

Para ejecutar el software en producción se debe posicionar en la carpeta /frontend y ejecutar el siguiente comando:

npm run pm2-start

Se dispone de los siguientes scripts: pm2-start, pm2-stop, pm2-restart,pm2-reload y pm2-delete.

Accediendo desde el navegador a localhost:5000 se podrá ver la interfaz gráfica del software.

Links de interes

• proyecto de Recuperación del Trabajo Observacional Historico (ReTrOH)

spectrogram's Issues

Atributos obligatorios

Sin los atributos obligatorios no se puede exportar el fits

De los Espectros:

• object
• Ut
• date-obs
• observat

De la placa:

• Nro placa

Botones de buscar metadatos y exportar fits

Poner el botón de buscar metadatos dentro del formulario y armar dos pasos para llenar (primero obligatorio y luego el resto)

Pasar botón de exportar fits dónde está ahora el de buscar metadatos

Controles de imagen

1. Quitar UI de configuracion por defecto
2. Agregar boton de guardar configuracion actual como por defecto (ir en la barra de "Filtros" arriba)
3. Quitar boton de Reiniciar Filtros
4. Agregar boton de Ver Imagen Original
5. Actualizar valores cuando se corre la barra
6. Dar como elección solo 4 colores predefinidos (verde, cian, amarillo y original)
7. Achicar barras y poner 4 controles en una sola linea

Poder configurar valores por defecto globales para las transformaciones

Se aplican para las nuevas imágenes

Atributos de la placa

Los campos para atributos de la placa deberían ser los mismos para toda la placa y modificarse desde un solo lugar independiente a los espectros

Los campos son:

• Digitalizador
• Nro placa (obligatorio para exportar)
• observatorio,
• scanner
• scan res
• scan col
• telescopio
• instrumento

Archivos txt de sedici en el directorio output, no en un subdirectorio.

No permitir cargar la aplicación sin conexión al servidor

Al iniciar la aplicación, si el servidor no está funcionando se muestra un modal diciendo que hubo un error en el server.

En lugar de eso, indicar que "No se pudo conectar con el servidor; recargue la página para volver a intentarlo", y no dejar que se cierre el mensaje modal.

No sé como lo están haciendo por atrás, pero otra opción seŕia que el frontend podría quedar haciendo polling al server hasta que pueda conectarse, y recién ahí se quite el mensaje modal. Eso podría funcionar para todos los requests, es decir, podría ser una funcionalidad genérica de que si un request no funciona porque el servidor está abajo, se impide usar la app hasta que se restaure la conexión, y se reintente hacer la operación mientras.

En cualquier caso, podrían utilizar un ícono más adecuado también para indicar la falta de conexión.

Controles para seleccionar placa y Espectros

Primero va la placa (que diga Placa) luego un label " Espectros:" y luego los Espectros (1,2,etc)

Verificar algunos de los fits generados con https://fits.gsfc.nasa.gov/fits_verify.html

El sitio https://fits.gsfc.nasa.gov/fits_verify.html permite verificar que estén los keywords necesarios para la exportación bien codificados en los fits. Verificar algunos 2 o 3 fits que salen.

Nota: Esto no es un feature. Verificar a mano un par de veces y listo.

Detectar automáticamente la orientación de la imagen

Para que siempre queden horizontales los Espectros al cargar

Carpeta de screenshots con las diferentes versiones del software

Agregar una carpeta "screenshots" con capturas de pantalla del sistema en funcionamiento y la fecha, para tener documentado el recorrido del software

Poder cargar fits

Considerar también los archivos fits dentro del directorio de trabajo. Al abrir un archivo fits:

• Cargar la imagen del fits
• Detectar los bounding boxes/Espectros
• Ponerle los metadatos del fits a todos los Espectros
• El usuario debería borrar los espectros que no van

Una vez que el espectro tiene un id, mostrarlo en el bounding box en la imagen en una esquina

Quitar gain y noise de los campos a llenar

Pero guardarlos en blanco en el fits resultante.

Nuevos Espectros deberían crearse en blanco

No clonar, porque va a confundir al usuario y además se rompe si no hay Espectros

Quitar botón "guardar configuración"

Manejar falta de conexión en búsqueda de metadatos

Si no hay conexión, permitir cargar a mano
Mostrar mensaje flotante que desaparece a los 5 segundos indicando la falla de conexión.

Lo mismo debe pasar si hay conexión pero no sé encuentra el objeto

Confirmar borrado de espectros con metadatos

Cuando se cargan datos de un espectro (al menos 1 campo), y luego se quiere borrar el espectro, se debe pedir confirmación al usuario e indicarle que va a perder los metadatos de ese espectro de forma irreversible.

Ajustar la visualización del espectro

Agregar controles de:

• Brillo y contraste en base a:
  • Rango de valores mínimo y máximo y escalado de valores en el medio
  • Curva de valores logarítmica o lineal
• Colorizar (ver los blancos como otro color, rojos por ejemplo, que se ven más fácil en algunos monitores)

Quitar instalación de python (?) del repo

backend/Python.. tiene una versión de python entera comitteada al repo. Quitarla, no corresponde :)

Cambiar checkbox de ver finalizados por un combo

Funcionalidad de Pan&Zoom

1. Poner fijo el tamaño de la placa sin importar el zoom o el centro
2. Agregar funcionalidad de Panning

Cuando el directorio de entrada está vacío, mostrar la lista de imagenes vacia

Guardar campos numéricos como floating / integer

Guardar la transformación Seleccionada para cada imagen

Si el usuario cambia la transformación, que se persista para la próxima vez que abra la app o si abre otra imagen y vuelve. Persistirlo junto con los bounding boxes

Fewdback al buscar metadatos

1. Si ya hay metadatos cargados, y se vuelven a buscar, preguntar si queres reemplazar los anteriores
2. Los datos cargados automáticamente se pintan de un color de fondo: si se modifican pierden el color

Remove title "Localizador de espectros"

Valores de metadatos elegibles y persistentes

Los valores de algunos campos de los metadatos deben poder elegirse de un widget combobox o similar y se debe permitir agregar o quitar valor a la lista de los valores posibles. Estos valores deben persistir entre sesiones. Además, se debe poder elegir un default.

@nehuen por favor lista acá los campos a aplicarle este widget.

Actualizar campos cuando se cambia de una placa exportada a una no exportada

Ubicar jsons con info de las placas (carpeta cache) en la misma carpeta de trabajo donde están las imágenes de entrada

ReDiseño de la interfaz

Visualizar los espectros horizontales

Actualmente los espectros se muestran verticales y no es la forma natural de verlos.

Cambiar la UI para que se vean horizontales, aunque cuando se escanean están verticales.

Generar txt con texto para subir al sedici

Que se genere en una carpeta aparte llamada "sedici_txt", con un archivo por cada espectro con la descripción del mismo.

Agregar campos de comentario

Uno para la placa (PLATE-COMMENT), y luego uno por espectro (OBJECT-COMMENT)

Nombre botón "config param"

Cambiar a "Valores por defecto"

Label de estado que indique que todo esté guardado

Básicamente un visualizador del flag de hubo cambios/ fueron guardados

Quitar selección del directorio desde la app web

Que se configure desde un archivo en el servidor

Unificar edición de campos de metadatos

Están divididos en dos, los otros se acceden desde "mas metadatos". Que se vean todos en el programa principal.

Mostrar grado de procesamiento de cada imagen

El usuario que escanea y anota debe poder ver el progreso que ha realizado en la anotación de los espectros y si hay imágenes nuevas escaneados.

Agregar información de cada imagen listada, por ejemplo:

Otras columnas posibles: fecha de escaneo, última modificación

La exportación de fits debe hacerse de todos los Espectros al mismo tiempo

Al exportar todos, queda marcada la placa como finalizada.

Guardar imágenes de Espectros recortados en otra carpeta

En este momento, se guardan en la misma carpeta de los fits 'output'

Que se guarden en otra carpeta, llamada 'training_data'

Unificar interfaz de zoom brillo y contraste

Nombres de los archivos fits generados

Los nombres de lo archivos fits a generar deberían componerse tanto del nombre del archivo original como del object ID del espectro dentro de archivo. Algo asi como ARCHIVOORIGINAL_OBJECTID.fits . De esa manera, además, si se vuelve a procesar un archivo original se puede saber si ya tiene espectros generados a partir del mismo.

En el fits, además entonces, debería guardarse el bounding box con el que se recortó el espectro en el archivo original.

Además, en la UI debería indicarse cuando un espectro ya ha sido guardado en disco con una tilde verde, y cuando no con un signo de exclamación amarillo o rojo. Al modificarse luego de guardado, debe nuevamente ponerse el signo de exclamación

Alternativa: SIEMPRE persistir los espectros, ante cualquier cambio, tipo como funciona google docs.

Mostrar un tick verde en cada espectro y la placa cuando tiene los datos minimos necesarios

Crear subdirectorios "working" y "saved" en el directorio de trabajo si no existen previamente

Ahora, si esos directorios no existen, el frontend queda colgado y salta un error en el backend.

Se podría mostrar el error en el frontend, pero en verdad deberían crearse automáticamente en el directorio de trabajo, y no tirar un error en este caso.

Feedback cuando no se puede exportar los fits

Si no se pueden exportar los fits, se muestra un hover en el botón explicando por qué ("faltan datos obligatorios en el espectro 2")

Agregar campos de comentario

Uno para la placa (PLATE-COMMENT), y luego uno por espectro (OBJECT-COMMENT)

Elección de la carpeta con los archivos

1. Al cargar la aplicación, cargar automáticamente la lista de archivos de la última carpeta utilizada
2. Agregar diálogo para poder elegir la carpeta en donde se buscan las imágenes

Al ver una placa nueva, por defecto mostrar campos de la placa y no el primer espectro.

Notificacion flotante luego de exportar fits