artelo1 commited on
Commit
3e9ccc0
verified
1 Parent(s): 302b022

Upload 2 files

Browse files
Files changed (2) hide show
  1. Dockerfile.txt +1 -1
  2. main.py +80 -0
Dockerfile.txt CHANGED
@@ -9,7 +9,7 @@ COPY requirements.txt .
9
  RUN pip install --no-cache-dir -r requirements.txt
10
 
11
  # Skopiuj pozosta艂e pliki aplikacji
12
- COPY app/ ./app/
13
 
14
  # Ustaw zmienn膮 艣rodowiskow膮 PORT, kt贸ra b臋dzie u偶ywana przez FastAPI/Uvicorn
15
  # Hugging Face Spaces cz臋sto udost臋pnia port 7860 lub 80
 
9
  RUN pip install --no-cache-dir -r requirements.txt
10
 
11
  # Skopiuj pozosta艂e pliki aplikacji
12
+ COPY . /app
13
 
14
  # Ustaw zmienn膮 艣rodowiskow膮 PORT, kt贸ra b臋dzie u偶ywana przez FastAPI/Uvicorn
15
  # Hugging Face Spaces cz臋sto udost臋pnia port 7860 lub 80
main.py ADDED
@@ -0,0 +1,80 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from fastapi import FastAPI, HTTPException
2
+ from pydantic import BaseModel
3
+ from transformers import pipeline
4
+ import uvicorn
5
+ import os
6
+
7
+ # Utw贸rz instancj臋 FastAPI
8
+ app = FastAPI(
9
+ title="Bielik Text Generation API",
10
+ description="API do generowania tekstu za pomoc膮 modelu Bielik-1.5B-v3.0-Instruct",
11
+ version="1.0.0"
12
+ )
13
+
14
+ # 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
15
+ MODEL_NAME = "PL-MoD/Bielik-1.5B-v3.0-Instruct"
16
+ generator = None # Zostanie za艂adowany p贸藕niej
17
+
18
+ # Model wej艣ciowy dla POST request
19
+ class GenerationRequest(BaseModel):
20
+ prompt: str
21
+ max_new_tokens: int = 50
22
+ temperature: float = 0.7
23
+ top_p: float = 0.9
24
+
25
+ @app.on_event("startup")
26
+ async def startup_event():
27
+ """
28
+ 艁adowanie modelu podczas uruchamiania aplikacji.
29
+ To zajmie troch臋 czasu, ale dzieje si臋 tylko raz.
30
+ """
31
+ global generator
32
+ print(f"艁adowanie modelu: {MODEL_NAME}...")
33
+ try:
34
+ # Mo偶esz dostosowa膰 device=0 (GPU) lub device=-1 (CPU) w zale偶no艣ci od wybranej maszyny Space
35
+ # Free tier spaces usually run on CPU, unless you explicitly select a GPU.
36
+ # It's safer to not specify device if you want it to auto-detect or default to CPU.
37
+ generator = pipeline(
38
+ "text-generation",
39
+ model=MODEL_NAME,
40
+ # device=0 if torch.cuda.is_available() else -1 # Odkomentuj dla detekcji GPU
41
+ )
42
+ print("Model za艂adowany pomy艣lnie!")
43
+ except Exception as e:
44
+ print(f"B艂膮d 艂adowania modelu: {e}")
45
+ # Mo偶esz zdecydowa膰, czy aplikacja ma zako艅czy膰 dzia艂anie, czy kontynuowa膰 bez modelu
46
+ # W przypadku b艂臋du 艂adowania modelu, endpoint generacji tekstu b臋dzie zwraca艂 b艂膮d
47
+ generator = None # Ustaw na None, aby sygnalizowa膰 problem
48
+
49
+
50
+ @app.get("/")
51
+ async def root():
52
+ """
53
+ G艂贸wny endpoint (health check).
54
+ """
55
+ return {"message": "Bielik Text Generation API is running!"}
56
+
57
+ @app.post("/generate")
58
+ async def generate_text(request: GenerationRequest):
59
+ """
60
+ Endpoint do generowania tekstu na podstawie promptu.
61
+ """
62
+ if generator is None:
63
+ raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
64
+
65
+ try:
66
+ generated_text = generator(
67
+ request.prompt,
68
+ max_new_tokens=request.max_new_tokens,
69
+ temperature=request.temperature,
70
+ top_p=request.top_p,
71
+ do_sample=True, # Wa偶ne dla generowania z temperatur膮
72
+ )
73
+ # Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
74
+ return {"generated_text": generated_text[0]["generated_text"]}
75
+ except Exception as e:
76
+ raise HTTPException(status_code=500, detail=f"B艂膮d podczas generowania tekstu: {e}")
77
+
78
+ # Uruchamianie serwera Uvicorn bezpo艣rednio (dla Dockera)
79
+ if __name__ == "__main__":
80
+ uvicorn.run(app, host="0.0.0.0", port=int(os.getenv("PORT", 7860)))