Repository navigation
Expand file tree
/
Copy pathenv.cluster.example
More file actions
53 lines (48 loc) · 2.83 KB
/
Copy pathenv.cluster.example
File metadata and controls
53 lines (48 loc) · 2.83 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
# Configuration pour utiliser le cluster (node15 = Redis + Postgres) depuis ta machine locale
# Copiez ce fichier en .env.cluster et adaptez les valeurs (host, mot de passe).
# Puis lancez l'app avec: .\scripts\run_local_use_cluster.ps1
# Les tâches Celery seront exécutées par les workers du cluster (node15, node13, node14).
# ============================================
# Redis / Celery (obligatoire pour le cluster)
# ============================================
# Redis sur le master du cluster (node15) - doit être accessible sur le LAN
CELERY_BROKER_URL=redis://mon_serveur:6379/1
CELERY_RESULT_BACKEND=redis://mon_serveur:6379/1
CELERY_WORKERS=0
# Sur chaque Raspberry/worker : inclure « scraping » pour que le bulk scrape_analysis soit réparti.
# Ne pas utiliser CELERY_WORKER_QUEUE_PRESET=non_scraping sur un nœud qui doit scraper.
# CELERY_WORKER_QUEUES=celery,scraping,scraping_interactive,technical,seo,osint,pentest,heavy,website_full
# Orchestrateur scraping : taille des lots (entreprises par sous-tâche) + retry batch
# SCRAPE_ANALYSIS_BATCH_SIZE=20
# SCRAPE_ANALYSIS_BATCH_RETRY_MAX=1
# ============================================
# Fichiers (uploads) en mode cluster
# ============================================
# Quand l'app tourne sur Windows et les workers sur Linux, les workers ne peuvent pas lire un chemin C:\...
# Donc on copie le fichier uploadé vers chaque worker avant d'enfiler la tâche d'analyse.
CLUSTER_WORKER_NODES=node13.lan,node14.lan
CLUSTER_WORKER_USER=pi
CLUSTER_REMOTE_PATH=/opt/prospectlab
# ============================================
# NFS (uploads + exports partagés, ex. export sur node15.lan)
# ============================================
# Déployé une fois le serveur NFS prêt (scripts/linux/setup_nfs_server_prospectlab.sh sur node15).
# deploy_cluster.ps1 monte automatiquement les clients si NFS_SERVER est défini.
# NFS_SERVER=node15.lan
# NFS_EXPORT_ROOT=/srv/nfs/prospectlab
# UPLOAD_FOLDER=/opt/prospectlab/uploads
# EXPORT_FOLDER=/opt/prospectlab/exports
#
# Windows + partage : désactive la copie SCP si le fichier existe déjà côté workers au chemin ci-dessus.
# CLUSTER_SKIP_WORKER_SCP=false
# ============================================
# Base de données (optionnel)
# ============================================
# Si tu veux utiliser la même BDD que le cluster (Postgres sur node15), décommente et adapte :
# DATABASE_URL=postgresql://prospectlab:VOTRE_MOT_DE_PASSE@mon_serveur:5432/prospectlab
# Sinon, laisse vide ou utilise DATABASE_PATH pour une SQLite locale (données séparées du cluster).
# ============================================
# Reste des variables
# ============================================
# Tu peux garder le reste comme dans ton .env (SECRET_KEY, MAIL_*, APIs, etc.)
# Ce fichier peut être fusionné avec .env : seules CELERY_* et éventuellement DATABASE_URL changent.