Problème d'installation about ecosecrets

[geobrun]

Ok, c'est bon, ça a fonctionné, j'ai bien accès au frontend ! Par contre, je rencontre quelques bugs.

Je n'arrive pas à ajouter un projet. Au moment d'enregistrer le nouveau projet, je clique sur "Enregistrer" mais il ne se passe rien. Voilà les retours que j'ai dans Firefox :

• Des messages dans ce genre : Warning: validateDOMNesting(...): <h6> cannot appear as a child of <h2>.h6withEmotionCache/<@http://localhost:8889/static/js/bundle.js:18545:66Typography@http://localhost:8889/static/js/bundle.js:50093:87h2
• La requête POST http://192.168.*.*:8889/api/v1/projects/ renvoie 500 Internal Server Error
• Blocage d’une requête multiorigines (Cross-Origin Request) : la politique « Same Origin » ne permet pas de consulter la ressource distante située sur http://192.168.*.*:8889/api/v1/projects/. Raison : l’en-tête CORS « Access-Control-Allow-Origin » est manquant. Code d’état : 500.

Je suppose que c'est parce que j'ai remplacé localhost dans le fichier docker./env par une adresse IP du type 192.168.*.* ?

Pour la documentation, je peux m'en charger : je n'ai pas de grandes compétences en codage, mais pour écrire, ça devrait aller ! :)

[mvergez]

Pardon je n'ai pas répondu à l'issue.

Effectivement @MathildeNS, nous avions fait nos tests avec localhost ou en mode prod alors que @geobrun se connecte via une adresse IP ce qui crée tous les problèmes de cette issue et un problème avec minio.

Pour reproduire le problème, on pourrait éditer notre fichier /etc/hosts avec quelque chose comme :

127.0.0.1       geocam.localdomain

Et renseigner geocam.localdomain dans le .env au lieu de localhost.

J'avais anticipé ce problème mais j'ai pas pris le temps de répondre à l'issue.

Tu as la bonne piste @MathildeNS, le lien est bon mais traeffik ne gère pas bien la redirection vers minio, il faut qu'il le fasse comme dans docker-compose.prod.yml ce qui donnerait quelque chose comme :

    labels:
      - traefik.enable=true
      - traefik.http.routers.minio.rule=${TRAEFIK_ROUTER_RULE_MINIO-PathPrefix(`/miniobucket`)}

Qu'il faudrait rajouter juste en dessous de : https://github.com/NaturalSolutions/GeoCam/blob/85ac3c3c2bfdcb788535cb2a86371bf86919c5c8/docker/docker-compose.yml#L92-L102

Et dans le fichier .env, ajouter :

TRAEFIK_ROUTER_RULE_MINIO=Host(`${DOMAIN}`) && PathPrefix(`/${MINIO_BUCKET_NAME}`)

Je pense que le problème vient de là.

Je prendrai le temps de faire une PR avec ces corrections dans les docker-compose et dans les .env

[mvergez]

Bonjour @geobrun !
Super que tu ais tenté d'installer GeoCam !
Alors, l'erreur montre qu'il y a un souci avec le frontend.
Pour voir ce qu'il se passe, peux-tu m'envoyer le retour de la commande suivante : ./scripts/docker.sh logs frontend. Cela permet de voir les logs du conteneur frontend et donc de voir s'il y a des erreurs.
Merci !

[geobrun]

Ok, merci ! J'ai seulement ces lignes qui apparaissent des dizaines de fois :

geonature-annotation-frontend-1  | > [email protected] start
geonature-annotation-frontend-1  | > react-scripts start
geonature-annotation-frontend-1  | sh: react-scripts: not found

[mvergez]

Ah oui ! Il faudrait qu'on le change ça... Les paquets npm (dépendances) ne sont pas installés à la première "installation". Et donc le front ne peux pas démarrer

Il faudrait que tu lances : ./scripts/docker.sh run frontend npm install.
Cela permet d'exécuter la commande d'installation des paquets (npm install) dans un conteneur frontend. Cela va installer les paquets npm du front dans le conteneur mais tu verras aussi apparaitre le dossier nodes_modules dans le repertoire de GeoCam sur ta machine, c'est normal car les fichiers et dossiers sont partagés entre ta machine et le conteneur.

Il faudra qu'on mette à jour le code et/ou la documentation.

J'espère que cela va fonctionner !

[mvergez]

Super pour le frontend !

Effectivement, le fichier .env d'exemple est un .env de dev avec localhost. J'ai un exemple de fichier un peu plus de prod, mais qui est fait pour du https, à voir si ça marche pour toi. Je te mets ci-dessous les lignes à changer :

DOMAIN=192.168.*.*
MINIO_ENTRYPOINT_URL=http://${DOMAIN}
REACT_APP_API_PATH=http://${DOMAIN}/api/v1
TRAEFIK_ROUTER_RULE_API=HOST(`${DOMAIN}`) && PathPrefix(`${API_ROOT_PATH}`)
TRAEFIK_ROUTER_RULE_FRONTEND=HOST(`${DOMAIN}`) && PathPrefix(`/`)

Essaie avec ça, je croise les doigts pour que ça fonctionne !

Merci beaucoup pour la documentation, avec plaisir ! Après c'est de notre côté pour les soucis d'installation des paquets je pense. Pour pouvoir automatiquement les installer, etc. A voir...

[geobrun]

Il y a du mieux je suppose, il y a moins de rouge ! Toujours aucune réaction au clic sur "Enregistrer", mais voilà les nouveaux message d'erreur que j'ai dans la console :

• 192.168../api/v1/projects/ : CORS Failed
• 192.168../api/v1/projects/ : NS_ERROR_DOM_BAD_URI

C'est vrai que dans notre cas, on a besoin d'utiliser GeoCam uniquement en local, pas forcément ouvert vers l'extérieur. Du coup, je ne vois pas comment activer le HTTPS si notre serveur n'a pas d'adresse publique !

Cela dit, on a eu des retours d'autres parcs qui eux souhaiteraient que leur GeoCam puisse être ouvert à l'extérieur afin que leurs correspondants "pièges photo" puissent saisir directement leur données dans l'interface.

[mvergez]

Pardon j'avais oublié de te dire dans mon précédent message : as-tu fait ./scripts/docker.sh up -d pour qu'il recharge le .env ?

[geobrun]

Oui, dans le doute, j'avais relancé les deux commandes ./scripts/docker.sh run frontend npm install et ./scripts/docker.sh up -d.

[mvergez]

C'est étrange ce problème de CORS...
Je pense que la configuration que je t'ai donnée est trop "prod", parce qu'il n'y a plus les ports. Tu n'as rien sur le port 80 (port http) de ta machine ?
Si oui, essaie de mettre TRAEFIK_PORT=80 dans le .env (puis ./scripts/docker.sh up -d) et de te connecter à l'appli via 192.168.xxx.xxx sans le port

[mvergez]

C'est vrai que dans notre cas, on a besoin d'utiliser GeoCam uniquement en local, pas forcément ouvert vers l'extérieur. Du coup, je ne vois pas comment activer le HTTPS si notre serveur n'a pas d'adresse publique !

Effectivement si vous n'êtes qu'en local, ça ne vaut pas le coup d'exposer la machine, de prendre un nom de domaine, le lier à la machine et générer un certificat...

Cela dit, on a eu des retours d'autres parcs qui eux souhaiteraient que leur GeoCam puisse être ouvert à l'extérieur afin que leurs correspondants "pièges photo" puissent saisir directement leur données dans l'interface.

Dans ce cas là ce sera possible, normalement assez facilement, comme on a fait pour la démo

[geobrun]

Merci @mvergez, il n'y a plus d'erreur de type CORS dans la console a priori !

Par contre, il y a toujours un souci d'erreur 500 lorsque j'envoie la requête suivante au clic sur "Enregistrer" : POST http://192.168.0.62/api/v1/projects/.

J'ai en plus ce message d'erreur qui apparaît pour le fichier app/src/components/projectModale.tsx:65 : Uncaught (in promise) TypeError: err.body.detail is undefined

[mvergez]

Top ! Un problème de résolu !

Est-ce que tu aurais les logs de l'api : ./scripts/docker.sh logs api ? Peut être que cela peut nous aider.
L'erreur provient vraiment de l'api je pense car le POST ne fonctionne pas...

[geobrun]

Voilà le retour (j'ai mis tout ce qui est apparu après le clic sur "Enregistrer") :

geonature-annotation-api-1  | 2023-05-05 12:13:48,762 INFO sqlalchemy.engine.Engine BEGIN (implicit)
geonature-annotation-api-1  | 2023-05-05 12:13:48,763 INFO sqlalchemy.engine.Engine SELECT projects.name AS projects_name, projects.creation_date AS projects_creation_date, projects.start_date AS projects_start_date, projects.end_date AS projects_end_date, projects.protocol AS projects_protocol, projects.acquisition_framework AS projects_acquisition_framework, projects.targeted_species AS projects_targeted_species, projects.referential AS projects_referential, projects.timezone AS projects_timezone, projects.image AS projects_image, projects.owner_id AS projects_owner_id, projects.contact_id AS projects_contact_id, projects.id AS projects_id 
geonature-annotation-api-1  | FROM projects 
geonature-annotation-api-1  | WHERE projects.name = %(name_1)s 
geonature-annotation-api-1  |  LIMIT %(param_1)s
geonature-annotation-api-1  | 2023-05-05 12:13:48,764 INFO sqlalchemy.engine.Engine [cached since 7859s ago] {'name_1': 'test', 'param_1': 1}
geonature-annotation-api-1  | 2023-05-05 12:13:48,768 INFO sqlalchemy.engine.Engine INSERT INTO projects (name, creation_date, start_date, end_date, protocol, acquisition_framework, targeted_species, referential, timezone, image, owner_id, contact_id) VALUES (%(name)s, %(creation_date)s, %(start_date)s, %(end_date)s, %(protocol)s, %(acquisition_framework)s, %(targeted_species)s, %(referential)s, %(timezone)s, %(image)s, %(owner_id)s, %(contact_id)s) RETURNING projects.id
geonature-annotation-api-1  | 2023-05-05 12:13:48,768 INFO sqlalchemy.engine.Engine [cached since 7859s ago] {'name': 'test', 'creation_date': datetime.date(2023, 5, 5), 'start_date': datetime.date(2023, 5, 11), 'end_date': datetime.date(2023, 5, 13), 'protocol': 'test', 'acquisition_framework': 'Protocole C', 'targeted_species': 'Coccinelle', 'referential': None, 'timezone': None, 'image': None, 'owner_id': 1, 'contact_id': 1}
geonature-annotation-api-1  | 2023-05-05 12:13:48,771 INFO sqlalchemy.engine.Engine ROLLBACK
geonature-annotation-api-1  | INFO:     172.18.0.7:36444 - "POST /projects/ HTTP/1.1" 500 Internal Server Error
geonature-annotation-api-1  | ERROR:    Exception in ASGI application
geonature-annotation-api-1  | Traceback (most recent call last):
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1819, in _execute_context
geonature-annotation-api-1  |     self.dialect.do_execute(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 732, in do_execute
geonature-annotation-api-1  |     cursor.execute(statement, parameters)
geonature-annotation-api-1  | psycopg2.errors.ForeignKeyViolation: insert or update on table "projects" violates foreign key constraint "projects_contact_id_fkey"
geonature-annotation-api-1  | DETAIL:  Key (contact_id)=(1) is not present in table "users".
geonature-annotation-api-1  | 
geonature-annotation-api-1  | 
geonature-annotation-api-1  | The above exception was the direct cause of the following exception:
geonature-annotation-api-1  | 
geonature-annotation-api-1  | Traceback (most recent call last):
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/uvicorn/protocols/http/h11_impl.py", line 407, in run_asgi
geonature-annotation-api-1  |     result = await app(  # type: ignore[func-returns-value]
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/uvicorn/middleware/proxy_headers.py", line 78, in __call__
geonature-annotation-api-1  |     return await self.app(scope, receive, send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/fastapi/applications.py", line 270, in __call__
geonature-annotation-api-1  |     await super().__call__(scope, receive, send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/applications.py", line 124, in __call__
geonature-annotation-api-1  |     await self.middleware_stack(scope, receive, send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/middleware/errors.py", line 184, in __call__
geonature-annotation-api-1  |     raise exc
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/middleware/errors.py", line 162, in __call__
geonature-annotation-api-1  |     await self.app(scope, receive, _send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/middleware/cors.py", line 92, in __call__
geonature-annotation-api-1  |     await self.simple_response(scope, receive, send, request_headers=headers)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/middleware/cors.py", line 147, in simple_response
geonature-annotation-api-1  |     await self.app(scope, receive, send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/middleware/exceptions.py", line 79, in __call__
geonature-annotation-api-1  |     raise exc
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/middleware/exceptions.py", line 68, in __call__
geonature-annotation-api-1  |     await self.app(scope, receive, sender)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/fastapi/middleware/asyncexitstack.py", line 21, in __call__
geonature-annotation-api-1  |     raise e
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/fastapi/middleware/asyncexitstack.py", line 18, in __call__
geonature-annotation-api-1  |     await self.app(scope, receive, send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/routing.py", line 706, in __call__
geonature-annotation-api-1  |     await route.handle(scope, receive, send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/routing.py", line 276, in handle
geonature-annotation-api-1  |     await self.app(scope, receive, send)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/routing.py", line 66, in app
geonature-annotation-api-1  |     response = await func(request)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/fastapi/routing.py", line 235, in app
geonature-annotation-api-1  |     raw_response = await run_endpoint_function(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/fastapi/routing.py", line 163, in run_endpoint_function
geonature-annotation-api-1  |     return await run_in_threadpool(dependant.call, **values)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/starlette/concurrency.py", line 41, in run_in_threadpool
geonature-annotation-api-1  |     return await anyio.to_thread.run_sync(func, *args)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/anyio/to_thread.py", line 31, in run_sync
geonature-annotation-api-1  |     return await get_asynclib().run_sync_in_worker_thread(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/anyio/_backends/_asyncio.py", line 937, in run_sync_in_worker_thread
geonature-annotation-api-1  |     return await future
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/anyio/_backends/_asyncio.py", line 867, in run
geonature-annotation-api-1  |     result = context.run(func, *args)
geonature-annotation-api-1  |   File "/home/app/./src/routers/projects.py", line 43, in create_project
geonature-annotation-api-1  |     return project.create_project(db=db, project=new_project)
geonature-annotation-api-1  |   File "/home/app/./src/services/project.py", line 36, in create_project
geonature-annotation-api-1  |     db.commit()
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/session.py", line 1431, in commit
geonature-annotation-api-1  |     self._transaction.commit(_to_root=self.future)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/session.py", line 829, in commit
geonature-annotation-api-1  |     self._prepare_impl()
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/session.py", line 808, in _prepare_impl
geonature-annotation-api-1  |     self.session.flush()
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/session.py", line 3363, in flush
geonature-annotation-api-1  |     self._flush(objects)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/session.py", line 3503, in _flush
geonature-annotation-api-1  |     transaction.rollback(_capture_exception=True)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/util/langhelpers.py", line 70, in __exit__
geonature-annotation-api-1  |     compat.raise_(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/util/compat.py", line 207, in raise_
geonature-annotation-api-1  |     raise exception
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/session.py", line 3463, in _flush
geonature-annotation-api-1  |     flush_context.execute()
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/unitofwork.py", line 456, in execute
geonature-annotation-api-1  |     rec.execute(self)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/unitofwork.py", line 630, in execute
geonature-annotation-api-1  |     util.preloaded.orm_persistence.save_obj(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/persistence.py", line 245, in save_obj
geonature-annotation-api-1  |     _emit_insert_statements(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/orm/persistence.py", line 1238, in _emit_insert_statements
geonature-annotation-api-1  |     result = connection._execute_20(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1631, in _execute_20
geonature-annotation-api-1  |     return meth(self, args_10style, kwargs_10style, execution_options)
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/sql/elements.py", line 325, in _execute_on_connection
geonature-annotation-api-1  |     return connection._execute_clauseelement(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1498, in _execute_clauseelement
geonature-annotation-api-1  |     ret = self._execute_context(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1862, in _execute_context
geonature-annotation-api-1  |     self._handle_dbapi_exception(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 2043, in _handle_dbapi_exception
geonature-annotation-api-1  |     util.raise_(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/util/compat.py", line 207, in raise_
geonature-annotation-api-1  |     raise exception
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1819, in _execute_context
geonature-annotation-api-1  |     self.dialect.do_execute(
geonature-annotation-api-1  |   File "/.venv/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 732, in do_execute
geonature-annotation-api-1  |     cursor.execute(statement, parameters)
geonature-annotation-api-1  | sqlalchemy.exc.IntegrityError: (psycopg2.errors.ForeignKeyViolation) insert or update on table "projects" violates foreign key constraint "projects_contact_id_fkey"
geonature-annotation-api-1  | DETAIL:  Key (contact_id)=(1) is not present in table "users".
geonature-annotation-api-1  | 
geonature-annotation-api-1  | [SQL: INSERT INTO projects (name, creation_date, start_date, end_date, protocol, acquisition_framework, targeted_species, referential, timezone, image, owner_id, contact_id) VALUES (%(name)s, %(creation_date)s, %(start_date)s, %(end_date)s, %(protocol)s, %(acquisition_framework)s, %(targeted_species)s, %(referential)s, %(timezone)s, %(image)s, %(owner_id)s, %(contact_id)s) RETURNING projects.id]
geonature-annotation-api-1  | [parameters: {'name': 'test', 'creation_date': datetime.date(2023, 5, 5), 'start_date': datetime.date(2023, 5, 11), 'end_date': datetime.date(2023, 5, 13), 'protocol': 'test', 'acquisition_framework': 'Protocole C', 'targeted_species': 'Coccinelle', 'referential': None, 'timezone': None, 'image': None, 'owner_id': 1, 'contact_id': 1}]

[mvergez]

Ok je viens de tester chez moi et j'ai eu le même souci que toi, c'est bon signe :)

Alors en fait l'erreur indique qu'il n'y a pas d'utilisateur dans la base de données. Ils ne sont pas créés par défaut car on a pas mis en place la gestion d'utilisateurs, mais ces derniers sont quand même prévus dans la base de données et associés au projet.

Donc ! La solution la plus simple et d'initialiser la base de données avec des données d'exemple, quitte à faire le tri après. La commande est la suivante : ./scripts/docker.sh exec api python -c "from src.connectors.database import init_db; init_db()" (comme indiqué ici https://github.com/NaturalSolutions/GeoCam#sample-data)

Elle permet d'exécuter une fonction python dans le conteneur de l'api pour initialiser la base de données avec des données d'exemples.

Je viens de tester, l'ajout de projet fonctionne après

[mvergez]

Merci pour tes retours en tout cas, il va falloir qu'on s'occupe de corriger ça :)

[geobrun]

Ok, ça a fonctionné, merci ! :)

Je laisse ma collègue tester la semaine prochaine pour voir s'il y a d'autres petits soucis (je serai en congés) et je faisun point avec elle en rentrant pour voir comment on avance sur le développement des fonctionnalités vidéo.

[geobrun]

Après test avec ma collègue, il ne reste a priori qu'un seul souci : les images ne se chargent pas dans le navigateur. Voilà un exemple de ce qu'on obtient :

J'ai pas mal de messages dans ce genre dans la console de débogage de Firefox :

Warning: validateDOMNesting(...): <hr> cannot appear as a descendant of <p>
p
div
ButtonStatus@http://192.168.0.62/static/js/bundle.js:4950:7
div
p

Problème encore avec l'adresse IP du serveur ?

[MathildeNS]

Nous n'avons pas réussi à reproduire le bug de notre côté.

Pourriez-vous vérifier que l'image a bien été importée dans Minio : http://nom_domain:9001 (vous trouverez vos identifiants dans votre fichier .env du dossier docker) dans le miniobucket ? Et si vous avez un accès à la BDD (via DBeaver par exemple) pourriez-vous vérifier que vous avez bien en BDD dans la table file une ligne correspondant à cette image et m'indiquer ce que contient la colonne hash ?

Pourriez-vous également inspecter l'image (clic droit à l'emplacement de l'image > inspecter), nous envoyer ce que contient la balise et vérifier qu'en cliquant sur le lien src dans cette balise l'image se télécharge ?

[geobrun]

Je vous remercie pour vos retours, je vais regarder tout ça vendredi !

[geobrun]

Merci à tous les deux, problème résolu avec les lignes indiquées par @mvergez ! :)

Je fais un point avec ma collègue en début de semaine pour la suite.

NB pour la rédaction de la future documentation : ne pas oublier de relancer la commande ./scripts/docker.sh up -d après la modification du fichier .env.