Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
@@ -178,7 +178,7 @@ tokenized_datasets = dataset_neu.map(tokenize_function, batched=True, num_proc=4
|
|
178 |
#Probe ansehen - zum überprüfen...
|
179 |
print('##################Beispiel Datensatz ################')
|
180 |
print (tokenized_datasets["train"][4])
|
181 |
-
|
182 |
|
183 |
#den Text nun zusammenführen (concatenieren) und anschließend in kleine Häppchen aufteilen (block_size=128), die verarbeitet werden können
|
184 |
#das macht die map-Funktion und das Attribut batched = True
|
@@ -234,7 +234,7 @@ training_args = TrainingArguments(
|
|
234 |
logging_strategy="epoch", #oder steps
|
235 |
#logging_steps=10,
|
236 |
logging_dir='logs',
|
237 |
-
learning_rate=2e-5,
|
238 |
weight_decay=0.01,
|
239 |
save_total_limit = 2,
|
240 |
#predict_with_generate=True,
|
|
|
178 |
#Probe ansehen - zum überprüfen...
|
179 |
print('##################Beispiel Datensatz ################')
|
180 |
print (tokenized_datasets["train"][4])
|
181 |
+
print (tokenizer.decode(tokenized_datasets["train"][4]["input_ids"]))
|
182 |
|
183 |
#den Text nun zusammenführen (concatenieren) und anschließend in kleine Häppchen aufteilen (block_size=128), die verarbeitet werden können
|
184 |
#das macht die map-Funktion und das Attribut batched = True
|
|
|
234 |
logging_strategy="epoch", #oder steps
|
235 |
#logging_steps=10,
|
236 |
logging_dir='logs',
|
237 |
+
learning_rate= e-5, #2e-5,
|
238 |
weight_decay=0.01,
|
239 |
save_total_limit = 2,
|
240 |
#predict_with_generate=True,
|