Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
@@ -56,7 +56,7 @@ TARGET_MODULES = [
|
|
56 |
#####################################################
|
57 |
#Datensets in den Tokenizer schieben...
|
58 |
def tokenize_function(examples):
|
59 |
-
return tokenizer(examples["text"])
|
60 |
|
61 |
#Funktion, die den gegebenen Text aus dem Datenset gruppiert
|
62 |
def group_texts(examples):
|
|
|
56 |
#####################################################
|
57 |
#Datensets in den Tokenizer schieben...
|
58 |
def tokenize_function(examples):
|
59 |
+
return tokenizer(examples["text"], padding="max_length", truncation=True)
|
60 |
|
61 |
#Funktion, die den gegebenen Text aus dem Datenset gruppiert
|
62 |
def group_texts(examples):
|