Itsme5 commited on
Commit
cc5362f
·
verified ·
1 Parent(s): cbdb918

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -1
app.py CHANGED
@@ -1,11 +1,20 @@
1
  from fastapi import FastAPI
 
2
  from transformers import PreTrainedTokenizerFast
3
  from tokenizers import ByteLevelBPETokenizer
4
  from datasets import load_dataset
5
 
6
  app = FastAPI()
7
 
8
- @app.on_event("startup")
 
 
 
 
 
 
 
 
9
  async def train_tokenizer():
10
  # Μέγεθος λεξιλογίου και ελάχιστη συχνότητα
11
  vocab_size = 50000
 
1
  from fastapi import FastAPI
2
+ from contextlib import asynccontextmanager
3
  from transformers import PreTrainedTokenizerFast
4
  from tokenizers import ByteLevelBPETokenizer
5
  from datasets import load_dataset
6
 
7
  app = FastAPI()
8
 
9
+ @asynccontextmanager
10
+ async def lifespan(app: FastAPI):
11
+ # Εκκίνηση διαδικασίας εκπαίδευσης tokenizer
12
+ await train_tokenizer()
13
+ yield
14
+ # Οποιαδήποτε διαδικασία κατά το κλείσιμο της εφαρμογής
15
+
16
+ app = FastAPI(lifespan=lifespan)
17
+
18
  async def train_tokenizer():
19
  # Μέγεθος λεξιλογίου και ελάχιστη συχνότητα
20
  vocab_size = 50000