Upload main.py
Browse files
main.py
CHANGED
@@ -12,7 +12,7 @@ app = FastAPI(
|
|
12 |
)
|
13 |
|
14 |
# 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
|
15 |
-
MODEL_NAME = "
|
16 |
generator = None # Zostanie za艂adowany p贸藕niej
|
17 |
|
18 |
# Model wej艣ciowy dla POST request
|
@@ -59,6 +59,7 @@ async def generate_text(request: GenerationRequest):
|
|
59 |
"""
|
60 |
Endpoint do generowania tekstu na podstawie promptu.
|
61 |
"""
|
|
|
62 |
if generator is None:
|
63 |
raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
|
64 |
|
@@ -68,7 +69,7 @@ async def generate_text(request: GenerationRequest):
|
|
68 |
max_new_tokens=request.max_new_tokens,
|
69 |
temperature=request.temperature,
|
70 |
top_p=request.top_p,
|
71 |
-
do_sample=True # Wa偶ne dla generowania z temperatur膮
|
72 |
)
|
73 |
# Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
|
74 |
return {"generated_text": generated_text[0]["generated_text"]}
|
|
|
12 |
)
|
13 |
|
14 |
# 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
|
15 |
+
MODEL_NAME = "speakleash/Bielik-1.5B-v3.0-Instruct"
|
16 |
generator = None # Zostanie za艂adowany p贸藕niej
|
17 |
|
18 |
# Model wej艣ciowy dla POST request
|
|
|
59 |
"""
|
60 |
Endpoint do generowania tekstu na podstawie promptu.
|
61 |
"""
|
62 |
+
print(request)
|
63 |
if generator is None:
|
64 |
raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
|
65 |
|
|
|
69 |
max_new_tokens=request.max_new_tokens,
|
70 |
temperature=request.temperature,
|
71 |
top_p=request.top_p,
|
72 |
+
do_sample=True, # Wa偶ne dla generowania z temperatur膮
|
73 |
)
|
74 |
# Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
|
75 |
return {"generated_text": generated_text[0]["generated_text"]}
|