alexkueck commited on
Commit
2aa5ff2
·
1 Parent(s): 2847d97

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -1
app.py CHANGED
@@ -56,7 +56,7 @@ TARGET_MODULES = [
56
  #####################################################
57
  #Datensets in den Tokenizer schieben...
58
  def tokenize_function(examples):
59
- return tokenizer(examples["text"])
60
 
61
  #Funktion, die den gegebenen Text aus dem Datenset gruppiert
62
  def group_texts(examples):
 
56
  #####################################################
57
  #Datensets in den Tokenizer schieben...
58
  def tokenize_function(examples):
59
+ return tokenizer(examples["text"], padding="max_length", truncation=True)
60
 
61
  #Funktion, die den gegebenen Text aus dem Datenset gruppiert
62
  def group_texts(examples):