End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 0.7586
-- Rouge1: 0.682
+- Rouge1: 0.3646
 - Rouge2: 0.0
-- Rougel: 0.681
-- Rougelsum: 0.6795
+- Rougel: 0.3635
+- Rougelsum: 0.3662
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5374429821968079,
-    "eval_rouge1": 0.4096,
+    "eval_loss": 0.7586135864257812,
+    "eval_rouge1": 0.3646,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.4081,
-    "eval_rougeLsum": 0.4102,
-    "eval_runtime": 330.0773,
+    "eval_rougeL": 0.3635,
+    "eval_rougeLsum": 0.3662,
+    "eval_runtime": 469.1392,
     "eval_samples": 750,
-    "eval_samples_per_second": 2.272,
-    "eval_steps_per_second": 0.285,
+    "eval_samples_per_second": 1.599,
+    "eval_steps_per_second": 0.051,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5151308178901672,
-    "predict_rouge1": 0.4182,
+    "predict_loss": 0.735045850276947,
+    "predict_rouge1": 0.4235,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.417,
-    "predict_rougeLsum": 0.4186,
-    "predict_runtime": 1660.6386,
+    "predict_rougeL": 0.4232,
+    "predict_rougeLsum": 0.4234,
+    "predict_runtime": 2255.8566,
     "predict_samples": 3752,
-    "predict_samples_per_second": 2.259,
-    "predict_steps_per_second": 0.282,
-    "total_flos": 6.555985119973786e+16,
-    "train_loss": 0.37568705947944403,
-    "train_runtime": 9312.7957,
+    "predict_samples_per_second": 1.663,
+    "predict_steps_per_second": 0.052,
+    "total_flos": 4.886428467068928e+16,
+    "train_loss": 0.5810612255147755,
+    "train_runtime": 4303.8817,
     "train_samples": 14272,
-    "train_samples_per_second": 7.663,
-    "train_steps_per_second": 1.916
+    "train_samples_per_second": 16.58,
+    "train_steps_per_second": 1.036
 }

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5374429821968079,
-    "eval_rouge1": 0.4096,
+    "eval_loss": 0.7586135864257812,
+    "eval_rouge1": 0.3646,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.4081,
-    "eval_rougeLsum": 0.4102,
-    "eval_runtime": 330.0773,
+    "eval_rougeL": 0.3635,
+    "eval_rougeLsum": 0.3662,
+    "eval_runtime": 469.1392,
     "eval_samples": 750,
-    "eval_samples_per_second": 2.272,
-    "eval_steps_per_second": 0.285
+    "eval_samples_per_second": 1.599,
+    "eval_steps_per_second": 0.051
 }

generated_predictions.txt

@@ -4,108 +4,108 @@ dengan
 bisa
 t
 ada
-game
-0
+karena
+yang
 t
 judi
 banyak
 akan
-e
+menjadi
 ke
-:
+)
 -
-1
+dari
 beberapa
-atau
+pada
 )
-a
+baik
 tidak
-itu
-
+dapat
+secara
 menjadi
 9
 e
-untuk
+ingin
 atau
-banyak
+anda
 uang
-harus
-di
-sebagai
+.
 bisa
-4
-situs
+m
+
+saya
+lebih
 anda
 anda
 hal
 
+menjadi
 
 
-a
-"
-sebagai
+an
+?
 harus
 karena
 
-indonesia
-3
+7
+salah
 .
 dan
 situs
-sebagai
+"
 menjadi
-saat
-uang
+an
+)
 ada
 an
-
+poker
 (
 dapat
-yang
+melakukan
 saya
 untuk
 memiliki
 1
-a
+(
 
 ada
 dari
 .
-lebih
+atau
 indonesia
-
-e
+i
+"
 ,
-5
+0
 4
-bisa
+0
 6
 dapat
-yang
+5
 hal
-dengan
-ini
-2
+7
+bisa
+di
 hal
 nya
 dari
 (
-pemain
-mendapatkan
-anda
-u
+kami
+o
+a
+a
 -
 ini
 tidak
 
-indonesia
-apa
+6
+m
 sudah
 bahwa
 kami
-mendapatkan
+bisa
 atau
-
+di
 /
 sangat
 i
@@ -121,41 +121,41 @@ online
 dalam
 saat
 
-akan
-itu
-saya
+ini
+dari
+e
 2
-seperti
+kita
 e
 yang
 di
 :
 di
-baik
+merupakan
 secara
-sangat
-poker
+tersebut
+agar
 menggunakan
 hanya
-menjadi
+3
 satu
 tahun
 nya
 adalah
 dan
-.
+ini
 adalah
 ke
 seperti
 bisa
 menjadi
-hal
+an
 dari
 dalam
 )
--
-1
-9
+sudah
+2
+beberapa
 kan
 di
 -
@@ -163,13 +163,13 @@ orang
 t
 adalah
 saja
-t
+?
 s
 untuk
 n
-atau
-lebih
-tidak
+bahwa
+3
+harus
 1
 cara
 tersebut
@@ -177,9 +177,9 @@ ini
 kan
 hal
 atau
-6
+2
 permainan
-saja
+kamu
 saya
 itu
 e
@@ -190,67 +190,67 @@ menjadi
 dapat
 tidak
 
-.
+cara
 
 t
 (
-jika
+menjadi
 di
 untuk
 nya
 karena
 online
 saat
-ada
+oleh
 apa
 akan
 :
-sangat
-,
-terbaik
+/
+judi
+r
 tidak
-di
+situs
 3
 jika
-namun
-jadi
+judi
+itu
 kita
-
+bahwa
 situs
 bermain
 untuk
 apa
-ada
-salah
-
-seperti
+yang
+indonesia
+m
+judi
 dan
-/
+di
 nya
 2
-secara
+6
 slot
 ,
 adalah
 (
-adalah
-9
-tidak
+-
+uang
+
 lebih
-membuat
+kamu
 
 2
-
-4
-a
+d
+seperti
+secara
 menjadi
 saat
-kita
-2
+oleh
+5
 harus
 ?
 dengan
-tentang
+namun
 banyak
 bahwa
 
@@ -266,16 +266,16 @@ ke
 untuk
 ,
 pada
-secara
+t
 nya
 karena
-lain
+dalam
 saat
 dapat
 permainan
 bisa
 lebih
-hanya
+5
 seperti
 akan
 6
@@ -285,49 +285,49 @@ akan
 ,
 dan
 bahwa
-bisa
+0
 kan
 dapat
 seperti
-e
+memiliki
 untuk
 tidak
-an
-baik
+8
+untuk
 lebih
 sebagai
 harus
-o
+dengan
 )
-.
+0
 dalam
 tersebut
 2
 nya
 menjadi
 hanya
-karena
+maka
 0
-7
+1
 beberapa
 )
 
-situs
-bisa
+bisnis
+hal
 1
 salah
 4
+d
+,
 orang
-adalah
-cara
 )
 mereka
-/
+karena
 permainan
 8
 mereka
 
-pemain
+p
 anda
 dari
 dari
@@ -340,118 +340,118 @@ anda
 lebih
 tidak
 cara
-dan
+besar
 dengan
 
 -
 u
-saya
+beberapa
 sangat
 9
-t
+dan
 akan
 baik
 dan
 menjadi
 dari
-salah
+dapat
 5
 1
-ada
-secara
+-
+situs
 e
-hanya
+4
 ada
 ini
 0
 hanya
-4
-s
+oleh
+
 ini
-secara
+t
 namun
 
 slot
 yang
 anda
-di
-baik
-
 0
 baik
+
 0
+9
+
 oleh
 9
 ada
 k
-dengan
-judi
+banyak
+situs
 (
 
 oleh
-kamu
+kan
 dalam
 s
 adalah
 adalah
-mereka
+melakukan
 beberapa
 adalah
 -
 
-judi
+hanya
 i
 juga
 menjadi
-k
+4
 atau
 bisa
-an
+permainan
 mendapatkan
-online
+lebih
 6
 ke
 lebih
 memiliki
 oleh
 .
-ada
+juga
 1
 3
 sudah
 .
 ,
-/
-3
-)
-seperti
+baru
+jika
+dengan
+5
 besar
 ,
 akan
-yang
+cara
 oleh
 adalah
-situs
+judi
+
+"
 
-bahwa
-tersebut
 itu
-kamu
-u
+"
+m
 6
 satu
 online
 hal
 dari
-memiliki
+1
 dengan
 atau
 akan
 karena
 saya
-tahun
+(
 oleh
-dengan
+banyak
 
 di
 ini
@@ -461,7 +461,7 @@ k
 1
 atau
 tidak
-8
+judi
 sebagai
 e
 memiliki
@@ -475,15 +475,15 @@ saat
 u
 untuk
 a
-7
-bahwa
-salah
+8
+g
+menggunakan
 hal
 8
 
-beberapa
-memiliki
-
+dalam
+/
+baik
 seperti
 -
 .
@@ -491,21 +491,21 @@ satu
 0
 0
 
-hal
+oleh
 (
 
-a
+/
 saat
-salah
+kamu
 dan
 )
 dapat
 ini
-8
-karena
-tersebut
-baik
-ke
+seperti
+saya
+indonesia
+jika
+lain
 s
 jika
 :
@@ -515,21 +515,21 @@ akan
 sebagai
 akan
 2
-7
+saja
 adalah
 0
 kami
 atau
-bermain
+kamu
 (
-yang
+
 indonesia
 bisa
 dengan
 dalam
-lain
+menggunakan
 karena
-sangat
+sudah
 cara
 (
 
@@ -537,62 +537,62 @@ cara
 cara
 .
 membuat
-beberapa
+setiap
 
 tidak
 "
-5
+hal
 dan
-sebagai
-tidak
-situs
+9
+melakukan
+ke
 adalah
 ,
 adalah
-para
+u
 dalam
-di
+7
 beberapa
-sudah
+nya
 
 
-k
+salah
 oleh
 online
 saya
 para
-beberapa
+secara
 harus
-di
+2
 oleh
-.
+
 ke
-seperti
+sudah
 orang
 8
 .
 bahwa
 dan
-yang
+1
 dengan
-"
-ada
-menjadi
-juga
-online
-9
-
-judi
+tidak
 salah
-5
-e
+"
+nya
+3
+cara
+adalah
+para
+dari
+7
+s
 saat
 sangat
 2
 ,
 .
 tidak
-kan
+judi
 dan
 hanya
 tidak
@@ -601,30 +601,30 @@ akan
 seperti
 akan
 .
-kamu
-mereka
+t
+dapat
 
-saat
+"
 
 indonesia
 atau
 dalam
 ada
-
+4
 akan
 
-nya
+membuat
 
-8
+k
 dengan
 bisa
 4
 dapat
 juga
-
+baru
 harus
 
-orang
+harus
 atau
 2
 1
@@ -632,28 +632,28 @@ atau
 kamu
 judi
 salah
-lebih
+s
 .
 hanya
 .
 /
 e
 
-1
+dalam
 membuat
 bisa
 bahwa
-permainan
+4
 
 tidak
 1
-baik
+membuat
 0
-tersebut
+game
 kan
 e
 ,
-4
+oleh
 mereka
 s
 kami
@@ -666,11 +666,11 @@ banyak
 k
 .
 atau
-orang
+)
 atau
 saya
 
-satu
+4
 online
 sangat
 (
@@ -678,39 +678,39 @@ membuat
 dan
 s
 )
-kan
-(
+hal
+hal
 juga
 e
 banyak
-lain
+bahwa
 dengan
 
 karena
-situs
+ini
 1
-untuk
-pada
-an
-ada
-hanya
-?
+
 pada
-jika
-ini
-baik
+:
+s
+yang
+situs
+akan
+a
+satu
+mudah
 e
-4
-tidak
+online
+adalah
 di
 1
 yang
 ,
-3
-i
-cara
-permainan
-e
+an
+tersebut
+oleh
+"
+seperti
 mereka
 yang
 ,
@@ -719,11 +719,11 @@ adalah
 cara
 karena
 .
-bermain
-m
+itu
+waktu
 1
 membuat
-0
+-
 yang
 maka
 atau
@@ -732,164 +732,164 @@ d
 yang
 
 menggunakan
--
+?
 2
+kita
+adalah
 pada
-e
-kamu
-3
+mereka
 3
 seperti
 kami
-tidak
+a
 dari
 3
-e
+
 ,
 dari
-bermain
-r
-7
+dalam
+akan
+bagi
 saat
+2
 dari
-dari
-pada
+d
 
 harus
 ?
-
+untuk
 mereka
 dengan
-situs
-2
+-
+saat
 
-bagi
+waktu
 ini
 dapat
 anda
-maka
-salah
-)
-saya
+hanya
+a
+i
+ini
+-
 .
-2
 a
 
 0
 dalam
-
+untuk
 ini
 banyak
-tersebut
-online
-mereka
+memiliki
+(
+(
 9
 oleh
-itu
+dengan
 kamu
 di
 ada
 m
 ?
 banyak
-itu
+adalah
 juga
-banyak
+atau
 ,
 yang
-banyak
-sebagai
-orang
+"
+sudah
+5
 di
 baik
 akan
-secara
+8
 dan
 i
 saat
-di
+banyak
 k
-t
-salah
-sangat
-dari
+7
+seperti
+harus
+kami
 2
-sudah
+cara
 online
 membuat
 dan
 7
 ?
-seperti
-kita
+oleh
+sudah
 -
 situs
 permainan
 dalam
-kamu
+beberapa
 dari
 orang
--
-jika
+)
+juga
 anda
--
-0
-?
+yang
+beberapa
+nya
 4
 s
 
 
 lebih
-dalam
+anda
 mereka
 ada
 di
 judi
-yang
+maka
 saat
 2
-ingin
-t
+sudah
+d
 2
 nya
 oleh
-dapat
-harus
+"
+oleh
 pada
-atau
-online
+besar
+judi
 7
 s
-bisa
+ini
 dapat
-s
-banyak
-kan
-orang
+nya
+an
+u
+,
 mereka
 di
 bahwa
-oleh
-ini
+
 d
-bermain
+tahun
+
 hal
-(
+)
 (
 u
-para
+beberapa
 
 orang
 0
 3
-a
+i
 bisa
 anda
-baik
+8
 hanya
-saja
+maka
 oleh
-.
+yang
 di
 baik
 karena
@@ -901,25 +901,25 @@ seperti
 banyak
 
 e
-mendapatkan
+namun
 -
-t
-k
+saya
+a
 kan
 /
 namun
-i
-dengan
+an
+menjadi
 jika
 poker
 ,
 dari
 di
-?
+karena
 nya
 ?
 .
-?
+i
 e
 tidak
 ada
@@ -929,44 +929,44 @@ salah
 i
 dalam
 di
-saja
+kamu
 1
 dari
 beberapa
-:
-1
-karena
+i
+dan
+itu
 s
 
 dapat
 ini
 ini
-
+waktu
 oleh
-itu
+)
 0
 8
 saya
-anda
+uang
 satu
 an
 ini
 2
-.
-di
+seperti
+kita
 dan
 bisa
-7
+menggunakan
 
-a
-/
-3
+saya
+satu
+kamu
 nya
 pada
 online
 ke
-permainan
-/
+baik
+e
 bermain
 jika
 9
@@ -978,31 +978,31 @@ beberapa
 pada
 satu
 0
-1
+sebagai
 -
-uang
-saya
-jika
-bisa
-2
-
+untuk
+atau
+di
+.
+akan
 
+dalam
 kita
 
 
 orang
 mudah
 akan
-?
+menggunakan
 sebagai
-t
+trading
 pada
-juga
+1
 untuk
 3
 karena
-anda
-orang
+kan
+bisa
 
 untuk
 )
@@ -1010,7 +1010,7 @@ untuk
 bahwa
 m
 lebih
-5
+hanya
 6
 anda
 di
@@ -1018,80 +1018,80 @@ anda
 -
 satu
 anda
-1
+itu
 u
-menggunakan
-permainan
+uang
+situs
 8
-pemain
+juga
 menggunakan
 
-dari
-satu
+kamu
+oleh
 atau
 yang
 saat
 dan
-an
-hanya
+ada
+melakukan
 ke
-1
-k
-adalah
-dari
+?
+bahwa
+kan
+itu
 baru
-menjadi
+cara
 adalah
-8
+sudah
 atau
 melakukan
 ,
 bisa
 i
-seperti
-sudah
+maka
+kamu
 mereka
-permainan
-saja
+kamu
+?
 nya
 (
-menggunakan
+adalah
 .
 ,
 pada
-yang
+anda
 k
 permainan
-an
+?
 0
-
-banyak
+a
+:
 anda
 saja
 
 tidak
 6
-secara
+3
 adalah
-sangat
-beberapa
-banyak
-saya
+hal
+9
+dalam
+"
 yang
 indonesia
 di
-7
+saja
 saya
 banyak
 bisa
 an
 memiliki
-an
+8
 dan
-memiliki
 hanya
-yang
-4
+hanya
+secara
+i
 sebagai
 karena
 
@@ -1099,148 +1099,148 @@ salah
 juga
 2
 ini
-melakukan
+,
 5
-2
+di
 5
 itu
 itu
-bisa
+tersebut
 mereka
-3
-kan
+
+salah
 kita
 sangat
 juga
 kami
 dapat
 bisa
-bagi
+,
 tidak
 i
 dapat
 2
 0
 o
-dapat
+seperti
 di
 ?
-dapat
+juga
 situs
 banyak
-
+8
 i
 situs
 2
 hal
-nya
+
 3
-kamu
+salah
 juga
-
-membuat
-2
-harus
-semua
+menggunakan
+/
+online
+tersebut
+bagi
 dan
-.
+hanya
 saya
--
-dengan
-0
+tidak
+rumah
+mereka
 ,
-menjadi
+untuk
 online
-secara
-8
+membuat
+
 untuk
 anda
 
 2
-secara
+(
 1
-e
+yang
 ?
 apa
 pemain
 anda
-/
+beberapa
 kami
 ,
 ,
 salah
 secara
 lebih
-baik
+maka
 sangat
 secara
 
-,
+3
 di
 lain
-saya
+harus
 :
-k
+secara
 pada
 hal
 
 6
 kamu
 
-harus
-hanya
+?
+situs
 dan
 lebih
 hanya
-k
-8
+yang
+satu
 
-baik
+itu
 bahwa
-,
-memiliki
+satu
+salah
 sangat
+para
 dengan
-dengan
-sebagai
-dapat
-?
+seperti
+u
+5
 ini
 lain
 0
 mereka
-5
+oleh
 menjadi
 5
-8
-u
+?
+k
 
-menggunakan
+membuat
 lebih
 oleh
 k
--
-namun
+
+lain
 2
 
-k
+a
 kami
 a
 akan
-apa
+maka
 di
-memiliki
-sangat
+dalam
+saya
 4
 kita
 indonesia
+memiliki
 menjadi
-apa
 banyak
 tahun
 dan
 memiliki
-ke
+menggunakan
 tidak
 sangat
 hanya
@@ -1248,33 +1248,33 @@ akan
 dapat
 -
 
-4
-saat
+kita
+lagi
 1
-.
+judi
 dan
-t
+-
 beberapa
-saja
+kan
 3
 nya
 s
-sebagai
+mereka
 oleh
 
 dan
 di
 
 t
-sudah
+harus
 nya
-juga
-jika
-2
-untuk
 oleh
+u
+bisa
+untuk
+akan
 yang
-maka
+,
 .
 dalam
 s
@@ -1283,30 +1283,30 @@ t
 8
 situs
 s
-e
+adalah
 ini
 di
-akan
+:
 lebih
 seperti
 untuk
-m
-0
+baru
+jadi
 kamu
-judi
+ini
 sebagai
 ini
 dan
-sangat
+mereka
 lebih
 ada
-0
+dalam
 tahun
 untuk
 
-menjadi
+seperti
 itu
-dapat
+sangat
 bisa
 sebagai
 kamu
@@ -1316,36 +1316,36 @@ s
 tidak
 yang
 kita
-baik
-sangat
+juga
+seperti
 
 ini
-saya
-kan
+9
+7
 ini
 dalam
 seperti
 
 sudah
 )
-harus
+seperti
 
 nya
 orang
-saat
+i
 baik
-cara
+an
 )
 dan
 anda
 kami
 1
-salah
+secara
 
 tidak
 dan
-anda
-permainan
+setiap
+
 judi
 orang
 /
@@ -1361,10 +1361,10 @@ pada
 adalah
 di
 banyak
-hal
-hanya
-0
-oleh
+saja
+.
+9
+satu
 baik
 lebih
 4
@@ -1378,19 +1378,19 @@ akan
 s
 bermain
 memiliki
-7
+kan
 untuk
 ?
-,
+bermain
 saya
 pada
 atau
 di
-)
+satu
 mereka
 sangat
 permainan
-kita
+beberapa
 dengan
 mereka
 saat
@@ -1398,44 +1398,44 @@ banyak
 sangat
 yang
 .
-dengan
+5
 ,
-judi
+uang
 tidak
 saya
-i
-i
+bahwa
+yang
 
 )
 ada
 
-melakukan
+1
 
 atau
 oleh
 bagi
-harus
-di
-4
-3
-e
-secara
-ini
+bisa
+dan
+membuat
+tahun
+atau
+bisa
+dengan
 sangat
 di
-anda
-indonesia
-mereka
-membuat
+bisa
+kami
+u
+atau
 0
 karena
-cara
+s
 judi
 anda
 
 bisnis
 nya
-sudah
+e
 i
 besar
 1
@@ -1444,88 +1444,88 @@ dan
 
 waktu
 indonesia
-dari
+d
 ?
 ke
 0
-(
+besar
 menggunakan
-/
-para
+untuk
+
 )
 s
-slot
+cara
 juga
 dari
 5
 di
 sudah
-ke
+ini
 -
 
-menjadi
-bermain
+tersebut
+maka
 melakukan
 a
 8
 1
 menjadi
+6
 
-
-ini
+,
 sangat
 s
 yang
 ke
-untuk
-ke
+?
+karena
 ini
 dan
 /
 anda
-?
-game
-juga
+sudah
+mereka
+anda
 di
 4
 2
 beberapa
-an
+kan
 dari
 jika
-besar
+namun
 
 dari
 mereka
 hanya
-dengan
+lebih
 atau
-hanya
+banyak
 mudah
 situs
-s
+yang
 3
 4
 0
-?
+merupakan
 .
 
-7
+saat
 karena
 memiliki
 
-i
+saya
 akan
 kamu
 
 .
-
+satu
 anda
 juga
 para
-orang
+slot
 juga
-kan
+terbaik
 ada
 9
 bisa
@@ -1533,62 +1533,62 @@ bisa
 kita
 semua
 tahun
-8
+online
 harus
-indonesia
+maka
 
 orang
 ke
 adalah
-akan
+?
 
 8
 bisa
 karena
 harus
 6
-9
+hanya
 menggunakan
 i
-3
-adalah
-.
+5
+i
 .
+,
 ini
-situs
+an
 e
 menjadi
 
-sebagai
+bermain
 ,
-5
+9
 untuk
-tidak
+online
 jika
 -
-slot
+membuat
 5
 lebih
-ini
+apa
 mereka
 juga
-bahwa
+sebagai
 seperti
 dan
-situs
+?
 .
-menggunakan
-atau
+d
+y
 
-ini
+seperti
 dari
-harus
+3
 akan
 dari
 ,
 0
 saat
-e
+?
 anda
 banyak
 mereka
@@ -1599,10 +1599,10 @@ jadi
 yang
 yang
 perlu
-6
+judi
 kita
 a
-permainan
+kan
 indonesia
 tersebut
 kami
@@ -1610,19 +1610,19 @@ kami
 -
 dalam
 a
-untuk
-beberapa
+indonesia
+cara
 hanya
 juga
-secara
+online
 
 bisa
-banyak
+online
 hal
 hanya
 kamu
 saja
-7
+kan
 0
 2
 situs
@@ -1633,60 +1633,60 @@ dalam
 /
 juga
 (
-sudah
+telah
 melakukan
 anda
-sangat
-secara
+harus
+apa
 
 juga
-d
+salah
 dapat
 kami
-s
+untuk
 3
-dapat
+?
 .
-adalah
+online
 menjadi
 memiliki
 .
 ,
 judi
 ini
-8
+saya
 anda
-jika
-"
+/
 "
+5
 i
 mungkin
 tidak
 cara
-oleh
-9
+s
+ini
 2
-saat
+oleh
 akan
 baru
 2
-tahun
+-
 d
 dan
-di
+dari
 satu
 hal
-memiliki
+para
 kami
 jika
 banyak
-masih
+satu
 
 dan
 itu
-seperti
-pada
-
+,
+nya
+d
 seperti
 8
 )
@@ -1694,137 +1694,137 @@ ini
 kamu
 memiliki
 permainan
-kamu
+jika
 akan
-sebagai
+nya
 ,
-atau
+t
 untuk
 membuat
 mereka
-s
-.
+orang
+,
 3
 slot
-dalam
+bisa
 3
 secara
-lebih
+k
 0
-membuat
-bisa
+maka
+untuk
 pada
 sangat
-online
+mudah
 dan
-4
+3
 atau
-besar
+menggunakan
 di
-saja
-nya
+terbaik
+s
 
-i
-dalam
-kami
+7
+)
+ke
 indonesia
-4
+dan
 kan
 4
-adalah
+i
 untuk
-salah
-dengan
-besar
+sebagai
+.
+cara
 2
-secara
+untuk
 ?
 6
 
 )
 /
-menggunakan
+poker
 untuk
 ,
 nya
 anda
-maka
+baik
 seperti
 kami
-i
+.
 0
 dapat
-kamu
+di
 memiliki
 1
-sudah
-8
+salah
+:
 membuat
-slot
-
+?
 
+dalam
 e
-,
-d
-(
+
+0
+kan
 judi
-satu
+
 banyak
 .
 s
-saya
+orang
 anda
-m
+untuk
 banyak
-t
+bisa
 di
 ini
 
-satu
+hanya
 bisa
 baik
 ada
 2
 bisa
 situs
-itu
+ada
 kamu
 2
 nya
-di
+karena
 bahwa
 2
-e
-tersebut
-atau
+ini
+ke
+dari
 ,
 ,
-6
+
 kami
-tidak
+telah
 9
 2
-kamu
+game
 
-mereka
+a
 atau
-apa
+lain
 lebih
 untuk
 nya
 seperti
 hanya
-pemain
+nya
 akan
 "
 ini
-permainan
+pemain
 pada
-(
+,
 :
 anda
-1
-atau
+yang
+saya
 dan
 
 di
@@ -1834,71 +1834,71 @@ anda
 mereka
 akan
 .
-mendapatkan
+sebagai
 di
 beberapa
-/
+(
 
-juga
+n
 dan
 p
 banyak
-5
-itu
+sendiri
+m
 ,
-s
+3
 yang
-0
-t
-memiliki
-dari
+ingin
+menggunakan
+indonesia
+anda
 an
 sebagai
 dalam
 akan
 dari
-seperti
+bahwa
 e
 situs
-"
+orang
 pada
 e
 tidak
 dan
-
-/
+a
+menjadi
 semua
 harus
 saja
 
 7
-besar
-judi
+9
+lain
 bisa
-banyak
-orang
+ke
+4
 anda
-sebagai
+sudah
 di
-0
+oleh
 untuk
 orang
 banyak
-r
-sudah
+an
+dengan
 untuk
 :
 
 anda
 ada
 permainan
-i
+2
 cara
 (
-mudah
+menggunakan
 e
 (
-
+saya
 untuk
 lebih
 lebih
@@ -1917,7 +1917,7 @@ slot
 nya
 yang
 seperti
-sebagai
+sudah
 )
 a
 ingin
@@ -1925,28 +1925,28 @@ sebagai
 dengan
 bagi
 adalah
-yang
-dapat
+2
+
 ke
-membuat
+0
 ini
 harus
 bahwa
 3
 adalah
-harus
+saat
 namun
 seperti
 cara
 1
-sudah
-tidak
-"
-game
-pada
-i
-6
-/
+sangat
+dan
+harus
+adalah
+para
+situs
+salah
+an
 untuk
 bahwa
 .
@@ -1956,53 +1956,53 @@ akan
 k
 
 itu
-itu
+lebih
 hal
 saja
-t
-secara
-hal
-o
+kamu
+beberapa
+saat
+orang
 ke
 
-?
+karena
 -
-ke
+hanya
 anda
-online
+hanya
 bisa
 4
-itu
+nya
 besar
 yang
-judi
+satu
 anda
-terbaik
+dalam
 satu
 jika
-,
+membuat
 ke
-
+karena
 bisa
 
-indonesia
+d
 tersebut
 e
 
 di
-2
+banyak
 karena
-
+k
 online
-
+saja
 bisa
-banyak
+karena
 dan
 telah
 online
-sudah
+saja
 besar
-i
+5
 1
 orang
 orang
@@ -2010,125 +2010,125 @@ ada
 itu
 4
 lebih
-nya
+e
 sangat
 
 karena
-baik
+seperti
 .
 jika
 dari
 memiliki
 hal
-a
-0
-t
-.
-tidak
+an
+(
 memiliki
-situs
-i
-dan
+"
+tidak
+indonesia
+-
+karena
+ada
 1
 ,
 memiliki
-hanya
+menjadi
 bisa
 untuk
 e
-beberapa
-maka
+9
+baik
 satu
 memiliki
 
-kan
+dapat
 kan
 hal
 banyak
 ke
 kita
 
-menggunakan
+bisa
 besar
 :
-t
-anda
+bermain
+ini
 pada
 harus
-a
+akan
 :
 -
 kita
 u
 
 yang
-0
+bisa
 dari
 kita
-kan
-a
+:
+u
 bahwa
 
 saya
 sebagai
 hal
 saat
-6
-5
-:
+9
+8
+s
 4
 menjadi
 saya
 nya
-,
+
 namun
 memiliki
-ada
-karena
+indonesia
+situs
 2
-ingin
-tidak
+sendiri
+-
 untuk
 k
 -
 s
-d
+besar
 indonesia
-
-pada
-dalam
+4
+9
+tersebut
 anda
 seperti
-r
+di
 nya
 -
-dalam
+akan
 )
 online
-,
+sangat
 nya
 ,
 .
 )
 di
-:
-oleh
+yang
+juga
 karena
 mereka
-seperti
-namun
-a
+saya
+u
+0
 waktu
-salah
+
 "
-dengan
+8
 
-bisa
+untuk
 t
 atau
 )
-namun
-memiliki
+p
+:
 
 saya
 kan
@@ -2136,141 +2136,141 @@ kan
 -
 seperti
 harus
-anda
-indonesia
-sudah
+kan
+permainan
+:
 
 saat
 nya
 .
-besar
-dalam
-
+semua
+itu
+untuk
 anda
-melakukan
+terbaik
 banyak
 dari
 saja
 (
 
-seperti
+saya
 akan
-:
+dari
 bermain
 sudah
 3
 ke
 1
-waktu
+7
 kami
-jika
+oleh
 yang
 jika
 dapat
 s
-dan
+0
 dapat
 i
 3
-telah
+ingin
 situs
 untuk
 /
-satu
+adalah
 permainan
 saja
-dapat
-tersebut
-hanya
+harus
+anda
+banyak
 0
 kami
 -
 dengan
 dengan
-menggunakan
-dari
+nya
+secara
 -
-t
-permainan
+tidak
+pada
 (
 1
 ada
 2
-untuk
-cara
+anda
+)
 online
-kan
-baik
+pada
+2
 d
 
-e
-dari
+memiliki
+)
 beberapa
 bisa
 sangat
 sangat
 nya
-e
-hal
+:
+an
 memiliki
 situs
 :
 7
 ini
 
-bisa
-(
+nya
+memiliki
 4
 dengan
-5
+menjadi
 dan
-/
-saya
-u
+lain
+memiliki
+ke
 beberapa
-waktu
-banyak
+o
+akan
 karena
-6
+harus
 dengan
 0
 hal
 
 
-atau
-di
+kamu
+
 ,
 menggunakan
 sangat
 
 yang
 akan
-baik
+nya
 9
 juga
-sangat
+satu
 banyak
 0
 judi
 nya
 .
 -
-bahwa
-an
+u
+3
 ?
 
 ,
 harus
 a
 dari
-jika
+cara
 "
 
 s
-tidak
+namun
 
 
-ke
+bahwa
 .
 dari
 banyak
@@ -2283,11 +2283,11 @@ bahwa
 dapat
 
 atau
-tersebut
+bahwa
 .
 1
-bisa
-:
+pada
+ini
 0
 sebagai
 -
@@ -2300,10 +2300,10 @@ ada
 ?
 0
 pada
-kamu
-7
-game
-lebih
+jika
+bahwa
+bagi
+juga
 banyak
 anda
 tidak
@@ -2318,26 +2318,26 @@ untuk
 bisa
 0
 judi
-mereka
+seperti
 cara
 
-semua
+bisa
 itu
-8
-saja
+beberapa
+mereka
 namun
 0
 ini
 lain
 0
-karena
+itu
 namun
-ini
+nya
 tidak
-9
+yang
 online
 -
-2
+di
 pada
 pada
 s
@@ -2345,26 +2345,26 @@ adalah
 orang
 
 sebagai
-sangat
-besar
+untuk
+
 :
 memiliki
 menjadi
-secara
+beberapa
 atau
-maka
-0
+pada
+anda
 /
 juga
 saya
 dan
 .
-e
+saat
 s
 di
 kita
-maka
-an
+menggunakan
+/
 menjadi
 2
 )
@@ -2373,9 +2373,9 @@ an
 slot
 ?
 -
-:
+5
 -
-(
+mereka
 d
 7
 )
@@ -2383,7 +2383,7 @@ orang
 maka
 pada
 sangat
-mungkin
+bisnis
 atau
 situs
 tahun
@@ -2391,23 +2391,23 @@ baik
 s
 2
 dengan
-waktu
-4
+bermain
+an
 dengan
 
 saat
 
-3
+saja
 :
 sangat
 online
 mereka
 5
 secara
-adalah
-bagi
+di
+bisa
 dengan
-anda
+
 dan
 situs
 anda
@@ -2416,54 +2416,54 @@ anda
 .
 mudah
 ada
-saja
+dan
 t
 
-itu
+seperti
 :
-dan
+akan
 :
-membuat
+saja
 7
 mereka
-an
-judi
+harus
+
 juga
 bahwa
-dalam
+e
 sudah
 pada
 untuk
-:
+situs
 orang
 "
-sudah
-baik
+ke
+e
 -
-bisnis
+indonesia
 apa
 8
-seperti
+9
 dan
 5
-/
+"
 
+akan
 dalam
-dalam
-memiliki
-4
-d
-:
+situs
+hal
+5
+indonesia
 
-lain
-atau
+apa
 menjadi
-
+menjadi
+harus
 salah
 dapat
 banyak
 memiliki
-tersebut
+satu
 ke
 tidak
 akan
@@ -2471,62 +2471,62 @@ pada
 oleh
 tersebut
 
-?
+1
 ke
 sangat
 permainan
 beberapa
 .
-
+mendapatkan
 adalah
 di
-ke
+seperti
 ini
 yang
 sudah
-ada
+memiliki
 0
 atau
 5
 yang
-orang
+-
 2
 dan
 hal
-juga
+7
 nya
 mereka
 nya
 lebih
 anda
 pada
-juga
-d
+i
+baik
 mereka
 orang
 ,
-juga
+s
 judi
-dan
-telah
+:
+9
 
 satu
-:
-membuat
+mereka
+sudah
 saya
-ini
+1
 adalah
-harus
+dengan
 bisa
 .
-karena
+i
 ,
 dengan
-,
+tidak
 dan
-juga
+kita
 ,
--
+e
 game
 menjadi
 dengan
@@ -2534,79 +2534,79 @@ dengan
 banyak
 2
 slot
-bermain
+telah
 jika
-0
-nya
+juga
+dari
 melakukan
-saya
-indonesia
+dengan
+para
 ke
 9
-sudah
+tersebut
 
-semua
-hal
+
+/
 ke
 waktu
 ,
-salah
-apa
+an
+nya
 kita
 adalah
-3
-:
-lebih
-besar
+harus
+membuat
+)
+0
 cara
-dapat
+poker
 /
 sangat
 memiliki
 dan
-mereka
+:
 akan
 besar
 ,
 seperti
-0
-ini
-hal
+sangat
+dengan
+bahwa
 dengan
 bisa
 
 ,
-,
-karena
+ke
+kita
 )
 judi
-saja
-kita
-pada
+harus
+poker
 akan
-kita
-nya
+akan
+5
+dari
 -
 7
 kamu
 
-salah
+banyak
 d
 dengan
-,
-dalam
+s
+bermain
 hanya
--
+an
 untuk
-mereka
+d
 di
 sangat
-dapat
+-
 itu
 -
 .
 saat
-saja
+tersebut
 di
 sudah
 ada
@@ -2616,204 +2616,204 @@ oleh
 bisnis
 a
 :
-jika
+sangat
 akan
 jika
-jadi
-n
-judi
-apa
+lain
+bagi
+para
+perlu
 yang
-dapat
+lebih
 menjadi
 kamu
 -
 8
-,
+ingin
 1
-dengan
+hanya
 
 .
 di
 -
 5
-orang
+d
 untuk
-
+pada
 dan
-dari
+bisa
 membuat
 bisnis
 seperti
 
-seperti
+an
 
 kami
-dari
-satu
+nya
+anda
 akan
 lebih
-permainan
+judi
 yang
-telah
-,
-
-,
-menjadi
+poker
+dengan
+.
+dan
+5
 ini
 s
-8
-(
+9
+3
 tidak
 itu
 an
-
+kamu
 ke
 oleh
 an
 yang
-uang
+lainnya
 jika
-dan
+,
 dapat
 2
-saya
+besar
 kamu
 untuk
-baik
+apa
 3
 (
 adalah
 bisa
 nya
-dan
-secara
+e
+(
 beberapa
-bermain
+tersebut
 judi
 namun
-juga
+melakukan
 lebih
 
 atau
-sebagai
+4
 (
 dan
-bermain
+game
 ini
-saya
+para
 dari
 dalam
 itu
 pada
 di
-jika
+bisa
 bisa
 sudah
 membuat
 hal
 a
-hal
+kami
 0
 menggunakan
 nya
 situs
-salah
+dan
 ini
-3
-cara
-lain
+an
+,
+akan
 2
 /
 .
 dari
-secara
+1
 6
 jika
-judi
+e
 2
 permainan
 ,
 4
-satu
-permainan
-maka
+sudah
+untuk
+hal
 pada
 dari
 an
 saja
 ini
-t
+itu
 
 juga
 menjadi
-baik
+,
 7
-s
+secara
 (
-harus
+oleh
 anda
-adalah
+,
 untuk
 itu
-nya
+i
 seperti
 juga
-sebagai
+bahwa
 game
-pemain
+situs
 -
-saya
-:
-lain
-baik
+seperti
+tentang
+sebagai
+trading
 online
-.
+cara
 orang
-oleh
+e
 
 
 kamu
 
 5
-mudah
+dari
 d
 9
 s
 karena
 anda
-namun
-:
+melakukan
+8
 pada
 tersebut
 ini
-
-harus
+hal
+maka
 sudah
 telah
 harus
 ada
-akan
+untuk
 sudah
-u
-satu
+tidak
+bagi
 bisa
 
 hanya
 seperti
 menggunakan
 orang
-anda
-lebih
+6
+menjadi
 
-kami
+situs
 4
 online
 jika
 orang
 sangat
 ke
-yang
+online
 8
 yang
 dan
@@ -2822,53 +2822,53 @@ atau
 itu
 i
 dan
-"
+menjadi
 
-an
+itu
 d
 ini
 -
 dengan
 ini
 mendapatkan
-0
+pada
 yang
 dapat
-kamu
-satu
+dari
+oleh
 
 .
 oleh
-t
-memiliki
-akan
+saja
+saat
+dan
 a
-e
+dengan
 adalah
 juga
 
 .
 harus
-kita
-a
-oleh
+8
+.
+an
 membuat
-7
+d
 0
-sebagai
+3
 an
-permainan
-hal
-baru
+membuat
+harus
+menggunakan
 d
 namun
-cara
+beberapa
 secara
-itu
+saat
 lebih
-karena
-tidak
-bahwa
+satu
+nya
+besar
 cara
 yang
 anda
@@ -2879,10 +2879,10 @@ ini
 namun
 3
 hal
-,
+oleh
 dari
 saat
-di
+u
 jika
 
 1
@@ -2891,47 +2891,47 @@ untuk
 nya
 
 kami
-hal
-u
-akan
+,
+online
+atau
 akan
-.
+7
 permainan
 1
 saya
-baik
+anda
 dan
 di
 kan
-tersebut
+sangat
 ini
 
-kita
+d
 harus
+karena
+bahwa
+2
+slot
+para
+besar
+ingin
+harus
+u
 yang
-ada
-
-lain
-itu
-salah
-maka
-r
-,
-yang
-saat
+sebagai
 k
 cara
 dan
 atau
-
+ke
 melakukan
 s
-online
+ada
 sudah
 mereka
 judi
-sudah
-s
+membuat
+harus
 orang
 ada
 p
@@ -2939,37 +2939,37 @@ e
 ke
 memiliki
 0
-lebih
-judi
+sangat
+sangat
 ada
 oleh
-semua
+2
 tidak
 juga
-bisa
+dari
 sebagai
 melakukan
 judi
 cara
-kan
+hal
 yang
 dapat
-cara
+oleh
 
-situs
-situs
-game
+hanya
+saja
+melakukan
 2
-(
-ini
+lebih
+.
 s
-k
+melakukan
 tidak
-4
+kan
 anda
 yang
-lebih
-kami
+saja
+menggunakan
 /
 di
 9
@@ -2978,14 +2978,14 @@ besar
 bisa
 ,
 sangat
-saat
+secara
 hal
-sudah
+seperti
 ini
 akan
 .
-2
-ingin
+cara
+ketika
 3
 6
 
@@ -2993,7 +2993,7 @@ mereka
 di
 juga
 yang
-telah
+slot
 anda
 8
 bahwa
@@ -3002,23 +3002,23 @@ kita
 "
 2
 ,
-5
+seperti
 dengan
-orang
+jenis
 di
 bisnis
 beberapa
 menjadi
-kami
-saya
+?
 nya
-bermain
+nya
+sebagai
 dalam
-judi
+tersebut
 8
 membuat
 
-yang
+ini
 juga
 9
 5
@@ -3027,17 +3027,17 @@ yang
 an
 yang
 kami
-judi
+kamu
 4
 situs
 untuk
-permainan
+membuat
 5
-saya
-k
+judi
+para
 orang
 hal
-adalah
+-
 
 ini
 yang
@@ -3048,48 +3048,48 @@ karena
 s
 ,
 beberapa
-atau
-untuk
+saat
+-
 saja
-oleh
-banyak
+an
+permainan
 slot
--
-5
+seperti
+menggunakan
 poker
-baik
+besar
 kita
-4
-ke
-satu
+tidak
+akan
+9
 untuk
 ,
-banyak
-di
+6
+adalah
 seperti
 kan
 bisa
-i
+banyak
 waktu
 9
-/
+dalam
 .
-hanya
+harus
 juga
 sangat
-
-i
+1
+atau
 orang
 a
-sudah
+tersebut
 ,
-permainan
+u
 .
-karena
+tersebut
 s
 jika
 yang
-?
+karena
 hal
 i
 /
@@ -3098,33 +3098,33 @@ banyak
 -
 lain
 akan
-6
-8
-satu
-t
-para
-kan
+.
+:
+baik
+atau
+mereka
+a
 sebagai
 
-"
+saya
 9
-i
+ada
 judi
-.
+saja
 anda
 lebih
 lebih
 secara
-dapat
+an
 indonesia
-kamu
-kamu
-kamu
+tentang
+besar
+beberapa
 kita
-kamu
+?
 dengan
 
-besar
+mereka
 salah
 2
 
@@ -3132,21 +3132,21 @@ dengan
 indonesia
 k
 ini
-orang
+t
 juga
 0
-harus
+4
 o
 bisa
-u
+indonesia
 ini
-/
+t
 -
 1
 
-.
+ada
 ke
-0
+3
 akan
 itu
 harus
@@ -3156,9 +3156,9 @@ adalah
 
 
 1
-an
-)
-di
+menggunakan
+-
+a
 pada
 mereka
 karena
@@ -3169,48 +3169,48 @@ sudah
 ini
 untuk
 karena
-sangat
+
 dengan
-permainan
-8
+secara
+kita
 pada
 situs
 dalam
-seperti
+ini
 .
 itu
-(
+e
 0
-tahun
+melakukan
 .
 bermain
 tersebut
-satu
-ada
+oleh
+dapat
 dan
-4
+bahwa
 "
 uang
 sangat
 karena
 k
 banyak
-dari
+3
 dengan
-salah
+mereka
 e
 salah
-sebagai
+hanya
 bahwa
 yang
 itu
-itu
-harus
+dapat
+judi
 orang
-yang
-e
+saya
+kan
 s
-dari
+atau
 akan
 online
 dan
@@ -3220,52 +3220,52 @@ atau
 yang
 dan
 maka
-k
-.
+e
+
 nya
-ada
+adalah
 bisa
 )
 bahwa
 )
-para
+kita
 memiliki
--
+bagi
 1
 2
 dapat
-maka
+ada
 juga
 indonesia
 adalah
 lain
-kamu
+
 pada
 -
 kita
 karena
 satu
-0
+memiliki
 kamu
 ,
 i
-t
 anda
+slot
 
 sangat
 bisa
 anda
 beberapa
 yang
-banyak
+trading
 bisa
 jika
 saya
 ini
 2
 untuk
-harus
-oleh
+?
+besar
 kita
 kan
 karena
@@ -3273,34 +3273,34 @@ tidak
 juga
 di
 untuk
-memiliki
+2
 jika
-,
-situs
-/
+harga
+
+?
 dalam
 :
-k
+salah
 0
-menjadi
+dalam
 memiliki
 (
 untuk
 hanya
 banyak
 memiliki
-s
+-
 judi
 dari
 2
-kami
+situs
 juga
 1
 karena
-nya
-kamu
+itu
+maka
 hanya
-beberapa
+poker
 lebih
 /
 mereka
@@ -3310,71 +3310,71 @@ lain
 bermain
 a
 anda
-judi
-an
-atau
-saja
-menggunakan
--
-t
-membuat
-ini
 6
-ada
+0
+mereka
+menjadi
+salah
+-
+hal
+7
+pada
 bahwa
+ada
+saat
 saja
 situs
 ini
 ke
-u
-k
+dalam
+sangat
 tersebut
 situs
 online
 mereka
 di
-ada
-lebih
+4
+(
 harus
 sudah
 kan
 dan
 dan
-sangat
+t
 /
 ada
 para
-dapat
-/
+kami
+kami
 /
 8
 maka
-6
-4
+telah
+,
 (
 secara
 2
-5
-adalah
+saya
+beberapa
 -
 juga
 judi
 akan
 :
+dapat
+t
 para
-
-para
-ke
+karena
 s
 orang
-sangat
+dapat
 bahwa
-banyak
+
 ini
-d
+juga
 
 ke
-0
+online
 e
 itu
 lain
@@ -3386,13 +3386,13 @@ indonesia
 )
 .
 4
-i
-yang
+mereka
+-
 -
 online
-harga
+ketika
 dapat
-satu
+kan
 membuat
 kan
 dari
@@ -3401,98 +3401,98 @@ judi
 saya
 
 k
-maka
+seperti
 karena
-orang
+di
 kita
-an
+ke
 hal
-mereka
-akan
+s
+
 ,
 di
-dari
+sangat
 itu
-saja
+"
 7
 harus
-namun
-sudah
-tersebut
-.
-pada
+baik
+k
+situs
+/
+5
 dapat
-tersebut
+orang
 .
-a
+k
 
-–
-kamu
+an
+e
 banyak
 dengan
 "
 poker
 karena
 adalah
-1
-baik
-di
-"
-?
+situs
+m
+ke
+bisa
+k
 1
 4
-salah
-5
+situs
 5
+hanya
 menggunakan
 nya
-satu
+sudah
 di
-
+"
 (
 
 
-anda
+saja
 menjadi
-lebih
+i
 3
 3
 4
 0
-k
+a
 untuk
 8
 )
-.
-itu
-
+anda
+k
+7
 menjadi
 ada
 saat
 dan
 
 oleh
-?
+atau
 dalam
-saat
+
 7
-)
+untuk
 3
 ada
 dengan
 1
-hal
+d
 dan
-melakukan
+yang
 saat
 /
 karena
-dan
-sangat
+permainan
+e
 karena
 untuk
-bisa
-karena
+nya
+ini
 dengan
 nya
 tidak
@@ -3503,7 +3503,7 @@ seperti
 kan
 dari
 3
-apa
+maka
 anda
 dalam
 kamu
@@ -3518,11 +3518,11 @@ dan
 
 seperti
 online
-lebih
+"
 orang
 banyak
 pada
-secara
+bisnis
 
 )
 dari
@@ -3530,36 +3530,36 @@ telah
 lebih
 
 t
-kamu
-secara
+5
+kan
 6
 dapat
-sangat
+pada
 (
 tidak
 s
 e
-
-ini
+di
+poker
 dalam
 (
 
 harus
-8
+melakukan
 indonesia
-sangat
+
 hal
 .
 ada
 dengan
-online
-
+?
+juga
 dan
 uang
 dalam
-game
+uang
 
-oleh
+/
 memiliki
 jika
 5
@@ -3573,36 +3573,36 @@ adalah
 satu
 bahwa
 an
-online
+maka
 itu
 hal
 akan
-telah
+0
 tersebut
 beberapa
 kita
 yang
 adalah
 yang
-t
+3
 anda
 kan
 
 tidak
-/
-4
-hal
-0
+tahun
+ke
+u
+akan
 karena
 akan
-untuk
-satu
+saat
+8
 i
 permainan
-pada
-kamu
+seperti
+anda
 akan
-saya
+di
 itu
 saat
 harus
@@ -3611,8 +3611,8 @@ dari
 sebagai
 para
 jika
-k
-6
+karena
+5
 (
 
 dengan
@@ -3621,16 +3621,16 @@ bisa
 karena
 sebagai
 kita
-itu
+bisa
 /
 0
 baik
-telah
-harga
+beberapa
+sama
 akan
 )
 ,
-i
+jika
 sebagai
 .
 poker
@@ -3638,74 +3638,74 @@ sangat
 )
 :
 e
-9
-t
+kami
+baik
 tidak
 1
 :
-k
+memiliki
 itu
 
 0
-lebih
-)
+mereka
+5
 banyak
 anda
-tidak
+memberikan
 mereka
 yang
-memiliki
+5
 
-apa
+oleh
 tidak
 6
-ke
-baik
+?
+hanya
 dalam
-anda
-karena
+akan
+7
 7
 permainan
-2
+permainan
 tersebut
-beberapa
-p
+permainan
+terbaik
 adalah
-0
+kamu
 k
 .
 untuk
 
-lain
+sudah
 dengan
 i
-untuk
+
 atau
 seperti
 situs
-saja
-maka
+orang
+salah
 satu
 untuk
 9
 sudah
-
-baik
+judi
+hanya
 3
-i
+saja
 satu
 ?
 hal
-sudah
+karena
 saat
 a
 menjadi
 sangat
 .
 juga
-saya
-bahwa
+memiliki
 hanya
+beberapa
 ada
 di
 tidak
@@ -3713,40 +3713,40 @@ terbaik
 atau
 kita
 adalah
-sangat
+
+dengan
+ada
 dengan
-membuat
-salah
 bisa
-oleh
+melakukan
 8
-seperti
+sebagai
 ,
-d
+ke
 kita
-tersebut
+dapat
 juga
 ini
-secara
+pada
 
 saya
-sangat
+orang
 .
 ini
 nya
-9
+"
 tidak
 k
-yang
+
 
 seperti
 salah
-banyak
-uang
+bermain
+permainan
 4
 saya
 ke
-k
+atau
 8
 saya
 t

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5151308178901672,
-    "predict_rouge1": 0.4182,
+    "predict_loss": 0.735045850276947,
+    "predict_rouge1": 0.4235,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.417,
-    "predict_rougeLsum": 0.4186,
-    "predict_runtime": 1660.6386,
+    "predict_rougeL": 0.4232,
+    "predict_rougeLsum": 0.4234,
+    "predict_runtime": 2255.8566,
     "predict_samples": 3752,
-    "predict_samples_per_second": 2.259,
-    "predict_steps_per_second": 0.282
+    "predict_samples_per_second": 1.663,
+    "predict_steps_per_second": 0.052
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 6.555985119973786e+16,
-    "train_loss": 0.37568705947944403,
-    "train_runtime": 9312.7957,
+    "total_flos": 4.886428467068928e+16,
+    "train_loss": 0.5810612255147755,
+    "train_runtime": 4303.8817,
     "train_samples": 14272,
-    "train_samples_per_second": 7.663,
-    "train_steps_per_second": 1.916
+    "train_samples_per_second": 16.58,
+    "train_steps_per_second": 1.036
 }

trainer_state.json

@@ -3,128 +3,128 @@
   "best_model_checkpoint": null,
   "epoch": 5.0,
   "eval_steps": 500,
-  "global_step": 17840,
+  "global_step": 4460,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 3.6087698936462402,
-      "learning_rate": 4e-05,
-      "loss": 0.6296,
-      "step": 3568
+      "grad_norm": 0.8314327597618103,
+      "learning_rate": 0.0008,
+      "loss": 1.2006,
+      "step": 892
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5221142172813416,
-      "eval_rouge1": 0.3678,
+      "eval_loss": 0.8184329867362976,
+      "eval_rouge1": 0.6667,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.3666,
-      "eval_rougeLsum": 0.3673,
-      "eval_runtime": 336.4559,
-      "eval_samples_per_second": 2.229,
-      "eval_steps_per_second": 0.279,
-      "step": 3568
+      "eval_rougeL": 0.6667,
+      "eval_rougeLsum": 0.6663,
+      "eval_runtime": 34.849,
+      "eval_samples_per_second": 21.521,
+      "eval_steps_per_second": 0.689,
+      "step": 892
     },
     {
       "epoch": 2.0,
-      "grad_norm": 2.6926398277282715,
-      "learning_rate": 3e-05,
-      "loss": 0.4308,
-      "step": 7136
+      "grad_norm": 0.4473212659358978,
+      "learning_rate": 0.0006,
+      "loss": 0.6791,
+      "step": 1784
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.49270936846733093,
-      "eval_rouge1": 0.4034,
+      "eval_loss": 0.692352831363678,
+      "eval_rouge1": 0.6654,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.3999,
-      "eval_rougeLsum": 0.4032,
-      "eval_runtime": 331.5676,
-      "eval_samples_per_second": 2.262,
-      "eval_steps_per_second": 0.284,
-      "step": 7136
+      "eval_rougeL": 0.6613,
+      "eval_rougeLsum": 0.6642,
+      "eval_runtime": 34.2033,
+      "eval_samples_per_second": 21.928,
+      "eval_steps_per_second": 0.702,
+      "step": 1784
     },
     {
       "epoch": 3.0,
-      "grad_norm": 3.8685302734375,
-      "learning_rate": 2e-05,
-      "loss": 0.3347,
-      "step": 10704
+      "grad_norm": 0.5131508111953735,
+      "learning_rate": 0.0004,
+      "loss": 0.4848,
+      "step": 2676
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5028479099273682,
-      "eval_rouge1": 0.4081,
+      "eval_loss": 0.6633622050285339,
+      "eval_rouge1": 0.7098,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.407,
-      "eval_rougeLsum": 0.4083,
-      "eval_runtime": 334.0023,
-      "eval_samples_per_second": 2.245,
-      "eval_steps_per_second": 0.281,
-      "step": 10704
+      "eval_rougeL": 0.7089,
+      "eval_rougeLsum": 0.7131,
+      "eval_runtime": 34.2893,
+      "eval_samples_per_second": 21.873,
+      "eval_steps_per_second": 0.7,
+      "step": 2676
     },
     {
       "epoch": 4.0,
-      "grad_norm": 2.236206293106079,
-      "learning_rate": 1e-05,
-      "loss": 0.2655,
-      "step": 14272
+      "grad_norm": 0.2991909682750702,
+      "learning_rate": 0.0002,
+      "loss": 0.3381,
+      "step": 3568
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5220881700515747,
-      "eval_rouge1": 0.4264,
+      "eval_loss": 0.6799816489219666,
+      "eval_rouge1": 0.696,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.4239,
-      "eval_rougeLsum": 0.4268,
-      "eval_runtime": 328.7023,
-      "eval_samples_per_second": 2.282,
-      "eval_steps_per_second": 0.286,
-      "step": 14272
+      "eval_rougeL": 0.6977,
+      "eval_rougeLsum": 0.6988,
+      "eval_runtime": 33.9237,
+      "eval_samples_per_second": 22.108,
+      "eval_steps_per_second": 0.707,
+      "step": 3568
     },
     {
       "epoch": 5.0,
-      "grad_norm": 2.0813827514648438,
+      "grad_norm": 0.42183929681777954,
       "learning_rate": 0.0,
-      "loss": 0.2179,
-      "step": 17840
+      "loss": 0.2027,
+      "step": 4460
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5374429821968079,
-      "eval_rouge1": 0.4096,
+      "eval_loss": 0.7586135864257812,
+      "eval_rouge1": 0.682,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.4081,
-      "eval_rougeLsum": 0.4102,
-      "eval_runtime": 330.0064,
-      "eval_samples_per_second": 2.273,
-      "eval_steps_per_second": 0.285,
-      "step": 17840
+      "eval_rougeL": 0.681,
+      "eval_rougeLsum": 0.6795,
+      "eval_runtime": 33.8342,
+      "eval_samples_per_second": 22.167,
+      "eval_steps_per_second": 0.709,
+      "step": 4460
     },
     {
       "epoch": 5.0,
-      "step": 17840,
-      "total_flos": 6.555985119973786e+16,
-      "train_loss": 0.37568705947944403,
-      "train_runtime": 9312.7957,
-      "train_samples_per_second": 7.663,
-      "train_steps_per_second": 1.916
+      "step": 4460,
+      "total_flos": 4.886428467068928e+16,
+      "train_loss": 0.5810612255147755,
+      "train_runtime": 4303.8817,
+      "train_samples_per_second": 16.58,
+      "train_steps_per_second": 1.036
     }
   ],
   "logging_steps": 500,
-  "max_steps": 17840,
+  "max_steps": 4460,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 6.555985119973786e+16,
-  "train_batch_size": 4,
+  "total_flos": 4.886428467068928e+16,
+  "train_batch_size": 16,
   "trial_name": null,
   "trial_params": null
 }