artelo1 commited on
Commit
79c0a5a
verified
1 Parent(s): f7a5561

Upload main.py

Browse files
Files changed (1) hide show
  1. main.py +3 -2
main.py CHANGED
@@ -12,7 +12,7 @@ app = FastAPI(
12
  )
13
 
14
  # 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
15
- MODEL_NAME = "PL-MoD/Bielik-1.5B-v3.0-Instruct"
16
  generator = None # Zostanie za艂adowany p贸藕niej
17
 
18
  # Model wej艣ciowy dla POST request
@@ -59,6 +59,7 @@ async def generate_text(request: GenerationRequest):
59
  """
60
  Endpoint do generowania tekstu na podstawie promptu.
61
  """
 
62
  if generator is None:
63
  raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
64
 
@@ -68,7 +69,7 @@ async def generate_text(request: GenerationRequest):
68
  max_new_tokens=request.max_new_tokens,
69
  temperature=request.temperature,
70
  top_p=request.top_p,
71
- do_sample=True # Wa偶ne dla generowania z temperatur膮
72
  )
73
  # Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
74
  return {"generated_text": generated_text[0]["generated_text"]}
 
12
  )
13
 
14
  # 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
15
+ MODEL_NAME = "speakleash/Bielik-1.5B-v3.0-Instruct"
16
  generator = None # Zostanie za艂adowany p贸藕niej
17
 
18
  # Model wej艣ciowy dla POST request
 
59
  """
60
  Endpoint do generowania tekstu na podstawie promptu.
61
  """
62
+ print(request)
63
  if generator is None:
64
  raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
65
 
 
69
  max_new_tokens=request.max_new_tokens,
70
  temperature=request.temperature,
71
  top_p=request.top_p,
72
+ do_sample=True, # Wa偶ne dla generowania z temperatur膮
73
  )
74
  # Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
75
  return {"generated_text": generated_text[0]["generated_text"]}