update

Author: tom-sapletta-com

containers/llm-orchestrator-min/Dockerfile

@@ -13,7 +13,11 @@ WORKDIR /app
 
 # Ustawienie zmiennych środowiskowych dla pip
 ENV PYTHONDONTWRITEBYTECODE=1 \
-    PYTHONUNBUFFERED=1
+    PYTHONUNBUFFERED=1 \
+    # Domyślny port API - można nadpisać przy uruchomieniu kontenera
+    API_PORT=5000 \
+    # Domyślne ustawienia optymalizacji
+    USE_INT8=true
 
 # Utworzenie katalogów dla aplikacji
 RUN mkdir -p /app/models /app/config /app/model-configs /app/data
@@ -48,8 +52,8 @@ else \n\
   echo "Model TinyLlama już istnieje, pomijanie pobierania." \n\
 fi' > /app/download_model.sh && chmod +x /app/download_model.sh
 
-# Ekspozycja portu API
-EXPOSE 5000
+# Ekspozycja portu API - domyślnie 5000, ale można zmienić przez zmienną środowiskową API_PORT
+EXPOSE ${API_PORT}
 
 # Uruchomienie API z wcześniejszym sprawdzeniem modelu
 CMD ["/bin/bash", "-c", "/app/download_model.sh && python -u api.py"]

containers/llm-orchestrator-min/api.py

@@ -11,9 +11,12 @@
 # Konfiguracja optymalizacji
 USE_INT8 = os.environ.get('USE_INT8', 'true').lower() == 'true'
 DEVICE = "cpu"
+# Konfiguracja portu API z możliwością zmiany przez zmienną środowiskową
+API_PORT = int(os.environ.get('API_PORT', '5000'))
 
 print("Ładowanie modelu TinyLlama-1.1B...")
 print(f"Optymalizacje: USE_INT8={USE_INT8}, DEVICE={DEVICE}")
+print(f"API będzie dostępne na porcie: {API_PORT}")
 
 # Ładowanie tokenizera
 tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
@@ -91,4 +94,4 @@ def health():
 
 if __name__ == '__main__':
     # Używamy threaded=False dla mniejszego zużycia pamięci w przypadku małych modeli
-    app.run(host='0.0.0.0', port=5000, threaded=False)
+    app.run(host='0.0.0.0', port=API_PORT, threaded=False)

containers/llm-orchestrator-min/requirements.txt

@@ -10,3 +10,4 @@ requests==2.31.0
 python-dotenv==1.0.0
 psutil==5.9.5
 bitsandbytes==0.40.2
+protobuf==3.20.3