alexkueck commited on
Commit
3f1c59e
·
1 Parent(s): ee00be9

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -178,7 +178,7 @@ tokenized_datasets = dataset_neu.map(tokenize_function, batched=True, num_proc=4
178
  #Probe ansehen - zum überprüfen...
179
  print('##################Beispiel Datensatz ################')
180
  print (tokenized_datasets["train"][4])
181
-
182
 
183
  #den Text nun zusammenführen (concatenieren) und anschließend in kleine Häppchen aufteilen (block_size=128), die verarbeitet werden können
184
  #das macht die map-Funktion und das Attribut batched = True
@@ -234,7 +234,7 @@ training_args = TrainingArguments(
234
  logging_strategy="epoch", #oder steps
235
  #logging_steps=10,
236
  logging_dir='logs',
237
- learning_rate=2e-5,
238
  weight_decay=0.01,
239
  save_total_limit = 2,
240
  #predict_with_generate=True,
 
178
  #Probe ansehen - zum überprüfen...
179
  print('##################Beispiel Datensatz ################')
180
  print (tokenized_datasets["train"][4])
181
+ print (tokenizer.decode(tokenized_datasets["train"][4]["input_ids"]))
182
 
183
  #den Text nun zusammenführen (concatenieren) und anschließend in kleine Häppchen aufteilen (block_size=128), die verarbeitet werden können
184
  #das macht die map-Funktion und das Attribut batched = True
 
234
  logging_strategy="epoch", #oder steps
235
  #logging_steps=10,
236
  logging_dir='logs',
237
+ learning_rate= e-5, #2e-5,
238
  weight_decay=0.01,
239
  save_total_limit = 2,
240
  #predict_with_generate=True,