artelo1 commited on
Commit
302b022
verified
1 Parent(s): 99df47f

Delete app

Browse files

del dir app

Files changed (1) hide show
  1. app/main.py +0 -80
app/main.py DELETED
@@ -1,80 +0,0 @@
1
- from fastapi import FastAPI, HTTPException
2
- from pydantic import BaseModel
3
- from transformers import pipeline
4
- import uvicorn
5
- import os
6
-
7
- # Utw贸rz instancj臋 FastAPI
8
- app = FastAPI(
9
- title="Bielik Text Generation API",
10
- description="API do generowania tekstu za pomoc膮 modelu Bielik-1.5B-v3.0-Instruct",
11
- version="1.0.0"
12
- )
13
-
14
- # 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
15
- MODEL_NAME = "PL-MoD/Bielik-1.5B-v3.0-Instruct"
16
- generator = None # Zostanie za艂adowany p贸藕niej
17
-
18
- # Model wej艣ciowy dla POST request
19
- class GenerationRequest(BaseModel):
20
- prompt: str
21
- max_new_tokens: int = 50
22
- temperature: float = 0.7
23
- top_p: float = 0.9
24
-
25
- @app.on_event("startup")
26
- async def startup_event():
27
- """
28
- 艁adowanie modelu podczas uruchamiania aplikacji.
29
- To zajmie troch臋 czasu, ale dzieje si臋 tylko raz.
30
- """
31
- global generator
32
- print(f"艁adowanie modelu: {MODEL_NAME}...")
33
- try:
34
- # Mo偶esz dostosowa膰 device=0 (GPU) lub device=-1 (CPU) w zale偶no艣ci od wybranej maszyny Space
35
- # Free tier spaces usually run on CPU, unless you explicitly select a GPU.
36
- # It's safer to not specify device if you want it to auto-detect or default to CPU.
37
- generator = pipeline(
38
- "text-generation",
39
- model=MODEL_NAME,
40
- # device=0 if torch.cuda.is_available() else -1 # Odkomentuj dla detekcji GPU
41
- )
42
- print("Model za艂adowany pomy艣lnie!")
43
- except Exception as e:
44
- print(f"B艂膮d 艂adowania modelu: {e}")
45
- # Mo偶esz zdecydowa膰, czy aplikacja ma zako艅czy膰 dzia艂anie, czy kontynuowa膰 bez modelu
46
- # W przypadku b艂臋du 艂adowania modelu, endpoint generacji tekstu b臋dzie zwraca艂 b艂膮d
47
- generator = None # Ustaw na None, aby sygnalizowa膰 problem
48
-
49
-
50
- @app.get("/")
51
- async def root():
52
- """
53
- G艂贸wny endpoint (health check).
54
- """
55
- return {"message": "Bielik Text Generation API is running!"}
56
-
57
- @app.post("/generate")
58
- async def generate_text(request: GenerationRequest):
59
- """
60
- Endpoint do generowania tekstu na podstawie promptu.
61
- """
62
- if generator is None:
63
- raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
64
-
65
- try:
66
- generated_text = generator(
67
- request.prompt,
68
- max_new_tokens=request.max_new_tokens,
69
- temperature=request.temperature,
70
- top_p=request.top_p,
71
- do_sample=True, # Wa偶ne dla generowania z temperatur膮
72
- )
73
- # Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
74
- return {"generated_text": generated_text[0]["generated_text"]}
75
- except Exception as e:
76
- raise HTTPException(status_code=500, detail=f"B艂膮d podczas generowania tekstu: {e}")
77
-
78
- # Uruchamianie serwera Uvicorn bezpo艣rednio (dla Dockera)
79
- if __name__ == "__main__":
80
- uvicorn.run(app, host="0.0.0.0", port=int(os.getenv("PORT", 7860)))