tintnguyen commited on
Commit
29235c0
·
verified ·
1 Parent(s): 3c2b97b

Add new SentenceTransformer model

Browse files
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,1206 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - generated_from_trainer
7
+ - dataset_size:631587
8
+ - loss:MultipleNegativesRankingLoss
9
+ base_model: nomic-ai/nomic-embed-text-v1.5
10
+ widget:
11
+ - source_sentence: thành phố bất động sản đắt nhất
12
+ sentences:
13
+ - 'Đồng hồ: 18.066 đô la. Paris, kinh đô thời trang của thế giới và thủ đô thực
14
+ tế của đất nước Pháp hiện được công nhận là một trong những thành phố đắt đỏ nhất
15
+ để mua bất động sản, khi thị trường bất động sản tiếp tục phát triển mạnh với
16
+ nền kinh tế Pháp ổn định.'
17
+ - 'PHẦN A. Đọc phần sau và ghi chú vào giấy của bạn: Tổng hợp protein là quá trình
18
+ cơ thể sử dụng để tạo ra protein. Bước đầu tiên của quá trình tổng hợp protein
19
+ được gọi là Phiên mã. Nó xảy ra trong nhân. Trong quá trình phiên mã, mRNA phiên
20
+ mã (bản sao) DNA. DNA là ࢠ€Š“được giải nénࢠ€Â và sợi mRNA
21
+ sao chép một sợi DNA. Một khi nó làm được điều này, mRNA sẽ rời khỏi nhân và đi
22
+ vào tế bào chất. mRNA sau đó sẽ tự gắn vào ribosome.'
23
+ - 'Michaela Kennedy Cuomo, con gái út của Andrew Cuomo, phải nhập viện một thời
24
+ gian ngắn sau khi bất tỉnh: báo cáo. Theo các báo cáo, Michaela Kennedy Cuomo
25
+ (bên phải, trong ảnh với cha Thống đốc Cuomo), 17 tuổi, đã phải nhập viện một
26
+ thời gian ngắn sau khi được tìm thấy trong tình trạng bất tỉnh trong ngôi nhà
27
+ ở Westchester mà cô ở cùng mẹ, Kerry Kennedy, theo báo cáo. (Hình ảnh Spencer
28
+ Platt / Getty)'
29
+ - source_sentence: 'search_query: núi đọ ở tỉnh nào'
30
+ sentences:
31
+ - 'search_document: Việc phát hiện một số di tích mà tiêu biểu là Núi Đọ vào cuối
32
+ năm 1960, đã xuất lộ những công cụ đá thô sơ đầu tiên của con người. Các nhà Khảo
33
+ cổ học Việt Nam cùng với Giáo sư Boriskovski đã nghiên cứu và chứng minh rằng
34
+ ở Núi Đọ từng tồn tại một nền văn hóa sơ kỳ thời đại đá cũ. Di tích Núi Đọ thuộc
35
+ địa phận hai xã Thiệu Tân và Thiệu Khánh, huyện Đông Sơn, Thanh Hóa. Núi Đọ là
36
+ một quả núi thấp, sườn núi dốc thoai thoải từ 20 độ đến 25 độ, cao 158 m so với
37
+ mặt nước biển, nằm ngay bên bờ hữu ngạn sông Chu; chỗ hợp lưu của hai dòng sông
38
+ Mã và sông Chu cách Thành phố Thanh Hóa 7 km về phía bắc - tây bắc.'
39
+ - White Lightning là một tàu lượn siêu tốc bằng gỗ tại Fun Spot America ở Orlando,
40
+ Florida. Chuyến xe được thiết kế riêng do Great Coasters International sản xuất.
41
+ Chuyến đi là tàu lượn bằng gỗ đầu tiên của Orlando.
42
+ - 'search_document: Virus Zika có thể lây truyền qua muỗi hoặc qua đường tình dục.
43
+ Hầu hết mọi người có thể phục hồi hoàn toàn và các triệu chứng virus zika tự hết
44
+ trong khoảng một tuần. Đa số các trường hợp không có triệu chứng nhiễm virus Zika.
45
+ Tuy nhiên, nếu có thì các biểu hiện virus zika thông thường gồm: Sốt, phát ban,
46
+ đau khớp, đau đầu, kết mạc mắt đỏ, đau cơ, cảm giác đau ở lưng. Bệnh virus Zika
47
+ đặc biệt nguy hiểm nếu đi từ mẹ sang con. Bà bầu bị nhiễm virus Zika khi mang
48
+ thai có thể khiến thai nhi mắc chứng đầu nhỏ. Khi lớn hơn, bé có thể bị suy giảm
49
+ thị giác, thính giác, tăng trưởng kém và thậm chí co giật.'
50
+ - source_sentence: 'search_query: giáo của người đông sơn có hình gì'
51
+ sentences:
52
+ - 'search_document: Chủ nhân của Văn hóa Đông Sơn đã chế tạo nhiều loại vũ khí từ
53
+ đồng dùng để đánh xa, gồm có lao, đầu mũi tên. Để bắn tên tất phải có cung, nỏ
54
+ bằng gỗ hoặc tre. Việc phát hiện bộ lẫy nỏ có hộp, có rãnh đặt mũi tên, có nấc
55
+ để giữ dây nỏ, có lẫy cong đùng để bóp cò, không còn nguyên vẹn ở làng Vạc, cho
56
+ thấy việc dùng cung nỏ của người Đông Sơn rất lợi hại khi săn bắn, chiến tranh
57
+ là điều có thể tin được. Giáo hình búp da, hình lá mía. Lao cũng giống như giáo
58
+ nhưng kích cỡ nhỏ hơn. Vũ khí đánh gần có dao găm. Dao găm có nhiều kiểu phân
59
+ biệt dựa vào phần cán và đốc chắn. Nhiều chiếc dao găm được đúc rất công phu.
60
+ Chuôi dao đúc hình tượng người nam hoặc nữ, y phục hoa văn trang sức đẹp đẽ, sống
61
+ động. Phần cán dao găm có những chiếc được chạm trổ rất độc ��áo với hình tượng
62
+ động vật như rắn ngậm chân hổ, hổ ngậm chân voi, hay rắn ngậm chân voi...'
63
+ - LIÊN KẾT / TRANG WEB THÊM VÀO DANH SÁCH CÔNG VIỆC. danh từ. Skinny jeans là loại
64
+ quần denim bó sát với da thường được làm bằng vải co giãn. Một ví dụ về quần jean
65
+ bó là những chiếc quần jean bó sát từ eo đến mắt cá chân.
66
+ - 'Xét nghiệm máu FSH kiểm tra mức độ hormone kích thích nang trứng trong máu. Mức
67
+ độ FHS có thể xác định xem các cơ quan sinh dục ở cả nam và nữ có hoạt động bình
68
+ thường hay không. Mức độ FHS cũng có thể được kiểm tra để phát hiện các vấn đề
69
+ với tuyến yên. Số lượng: * Chỉ số nguyên. Hormone kích thích nang trứng, hoặc
70
+ FSH, được sản xuất bởi tuyến yên để kích thích sản xuất và phát triển trứng ở
71
+ nữ và tinh trùng ở nam. FSH cũng kích thích sản xuất các hormone khác, bao gồm
72
+ testosterone và estrogen.'
73
+ - source_sentence: 'search_query: phương pháp lóc ối bác sĩ sẽ làm gì'
74
+ sentences:
75
+ - 'Sáu bước đơn giản để trồng hoa nhài: 1 Hoa nhài phát triển mạnh trong môi trường
76
+ ban ngày nóng ẩm. 2 Chọn nơi trồng hoa nhài của bạn. 3 Chuẩn bị đất để trồng bằng
77
+ cách làm việc với một lượng lớn vật liệu hữu cơ, chẳng hạn như rêu than bùn hoặc
78
+ phân trộn. Bón phân đa dụng mỗi tháng một lần từ tháng 3 đến tháng 11.'
79
+ - 'search_document: Khi thai phụ đã quá ngày dự sinh, các phương pháp sau đây có
80
+ thể được bác sĩ cân nhắc lựa chọn để gây khởi phát chuyển dạ:
81
+
82
+ Lóc ối: Với biện pháp này, bác sĩ sẽ đeo găng và dùng ngón tay để tách màng ối
83
+ ra khỏi thành tử cung.
84
+
85
+ Phá vỡ túi nước ối: Bác sĩ sẽ tạo một lỗ nhỏ trên túi nước ối để làm vỡ ối, qua
86
+ đó kích thích sự chuyển dạ.
87
+
88
+ Oxytocin: Là một loại thuốc giúp tạo ra các cơn co thắt chuyển dạ, được tiêm theo
89
+ đường tĩnh mạch vào cánh tay của thai phụ. Liều lượng có thể được tăng dần theo
90
+ thời gian nhưng phải theo dõi cẩn thận.
91
+
92
+ Các chất tương tự Prostaglandin: Đây là những loại thuốc được đặt trong âm đạo
93
+ để làm chín muồi cổ tử cung.
94
+
95
+ Làm giãn nở cổ tử cung: Bác sĩ có thể đặt ống thông có gắn một quả bong bóng rất
96
+ nhỏ vào cuối cổ tử cung của thai phụ. Sau đó, nước sẽ được bơm vào quả bóng. Khi
97
+ bóng đã được bơm căng, nó sẽ gây ra tác động áp lực, giúp cổ tử cung mở ra và
98
+ quá trình chuyển dạ sẽ bắt đầu.'
99
+ - Ý nghĩa hoa Alstroemeria Astroemeria cứng cáp là một bông hoa tuyệt đẹp kết hợp
100
+ nhiều màu sắc khác nhau thành một vẻ đẹp gắn kết. Loài hoa tươi sáng này tượng
101
+ trưng cho tình bạn, vẻ đẹp bền lâu của sự cam kết và chăm sóc.
102
+ - source_sentence: bạn đeo nhẫn thuần khiết ở ngón tay nào
103
+ sentences:
104
+ - 'search_document: Đến năm 995, quan hệ giữa Đại Cồ Việt và Tống xảy ra một vụ
105
+ việc là dân nước ta vùng giáp biên xâm phạm vào đất Tống cướp lương thực ở trấn
106
+ Như Hồng. Sự kiện này được báo lên triều đình nhà Tống. Nhưng khi nghe tin, vua
107
+ Tống không muốn làm to chuyện nên đã làm ngơ, để giữ yên quan hệ từng gây dựng
108
+ giữa hai bên từ trước. Nhà Tống không những không lấy cớ ra tay trừng phạt lại
109
+ còn trao trả lại cho Đại cồ Việt hơn 100 phạm nhân trốn sang đất Tổng. Và cũng
110
+ tỏ thiện chí của mình, Đại Cố Việt trao cho nhà Tống 27 tên giặc biển bị bắt.
111
+ Khi sứ Tống là Lý Nhược Chuyết mang chiếu thư và đai ngọc của vua Tống ban tặng
112
+ cho Lê Đại Hành, tỏ ý ngạo mạn về việc dân vùng biên nước ta xâm phạm đất Tống,
113
+ nhà vua nói với Nhược Chuyết: Việc cướp trấn Như Hồng là do giặc biển ở cõi ngoài,
114
+ Hoàng đế có biết đó không phải là quân của Giao Châu không. Giả sử Giao Châu có
115
+ làm phản thì đầu tiên đánh vào Phiên Ngung, thứ đánh vào Mân Việt, há chi dừng
116
+ ở trấn Như Hồng mà thôi. Với những lời lẽ mềm mỏng và cứng rắn như vậy, người
117
+ đứng đầu nhà Tiền Lê đã giành được những thắng lợi quan trọng trên mặt trận ngoại
118
+ giao. Đến năm 997, vua nhà Tống còn gia phong cho Lê Đại Hành làm Nam Bình vương.
119
+ Từ đó, quan hệ hữu hảo giữa nhà Tiền Lê và nhà Tống diễn ra khá tốt đẹp. Điều
120
+ đó được minh chứng vào cuối năm 1004 đầu năm 1005, những năm đầu thế kỳ 11, khi
121
+ Hành Quân vương Minh Đề được cử đi sứ sang đất Tống, gặp lúc trong nước loạn lạc
122
+ không về được, phải đóng ở lại Quảng Châu cho đến năm 1006, vua Tống đã sai An
123
+ phủ sứ Thiệu Việp cấp thuyền và người đưa Hành Quân vương Minh Đề về nước.'
124
+ - Hầu hết các cô gái và chàng trai đeo chiếc nhẫn thuần khiết của họ trên ngón áp
125
+ út của họ. Một số cô gái thích đeo nó trên ngón áp út của bàn tay trái, và thay
126
+ thế nó bằng chiếc nhẫn cưới của họ. Nhẫn tinh khiết không dành riêng cho ngón
127
+ tay đeo nhẫn; bạn có thể mặc nó bất cứ nơi nào thoải mái nhất cho bạn. Một số
128
+ thậm chí đeo nhẫn của họ trên một chuỗi như một chiếc vòng cổ. Một.
129
+ - 'search_document: Gương mặt thân quen mùa 1 được phát sóng trên kênh VTV3 từ ngày
130
+ 5 tháng 1 năm 2013 đến 23 tháng 3 năm 2013 với các thí sinh gồm Khởi My, Đại Nghĩa,
131
+ Thúy Uyên, Kyo York, Phương Thanh và Chí Thiện. Bộ ba giám khảo chính là nhạc
132
+ sĩ Đức Huy, ca sĩ Mỹ Linh và NSƯT Hoài Linh. Người dẫn chương trình mùa này là
133
+ nghệ sĩ Thanh Bạch. Sau 10 tuần thi, kết quả chung cuộc giải nhất thuộc về thí
134
+ sinh Khởi My.'
135
+ pipeline_tag: sentence-similarity
136
+ library_name: sentence-transformers
137
+ ---
138
+
139
+ # SentenceTransformer based on nomic-ai/nomic-embed-text-v1.5
140
+
141
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [nomic-ai/nomic-embed-text-v1.5](https://huggingface.co/nomic-ai/nomic-embed-text-v1.5). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
142
+
143
+ ## Model Details
144
+
145
+ ### Model Description
146
+ - **Model Type:** Sentence Transformer
147
+ - **Base model:** [nomic-ai/nomic-embed-text-v1.5](https://huggingface.co/nomic-ai/nomic-embed-text-v1.5) <!-- at revision d802ae16c9caed4d197895d27c6d529434cd8c6d -->
148
+ - **Maximum Sequence Length:** 8192 tokens
149
+ - **Output Dimensionality:** 768 dimensions
150
+ - **Similarity Function:** Cosine Similarity
151
+ <!-- - **Training Dataset:** Unknown -->
152
+ <!-- - **Language:** Unknown -->
153
+ <!-- - **License:** Unknown -->
154
+
155
+ ### Model Sources
156
+
157
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
158
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
159
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
160
+
161
+ ### Full Model Architecture
162
+
163
+ ```
164
+ SentenceTransformer(
165
+ (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel
166
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
167
+ )
168
+ ```
169
+
170
+ ## Usage
171
+
172
+ ### Direct Usage (Sentence Transformers)
173
+
174
+ First install the Sentence Transformers library:
175
+
176
+ ```bash
177
+ pip install -U sentence-transformers
178
+ ```
179
+
180
+ Then you can load this model and run inference.
181
+ ```python
182
+ from sentence_transformers import SentenceTransformer
183
+
184
+ # Download from the 🤗 Hub
185
+ model = SentenceTransformer("tintnguyen/nomic-embed-text-v1.5-ttt")
186
+ # Run inference
187
+ sentences = [
188
+ 'bạn đeo nhẫn thuần khiết ở ngón tay nào',
189
+ 'Hầu hết các cô gái và chàng trai đeo chiếc nhẫn thuần khiết của họ trên ngón áp út của họ. Một số cô gái thích đeo nó trên ngón áp út của bàn tay trái, và thay thế nó bằng chiếc nhẫn cưới của họ. Nhẫn tinh khiết không dành riêng cho ngón tay đeo nhẫn; bạn có thể mặc nó bất cứ nơi nào thoải mái nhất cho bạn. Một số thậm chí đeo nhẫn của họ trên một chuỗi như một chiếc vòng cổ. Một.',
190
+ 'search_document: Gương mặt thân quen mùa 1 được phát sóng trên kênh VTV3 từ ngày 5 tháng 1 năm 2013 đến 23 tháng 3 năm 2013 với các thí sinh gồm Khởi My, Đại Nghĩa, Thúy Uyên, Kyo York, Phương Thanh và Chí Thiện. Bộ ba giám khảo chính là nhạc sĩ Đức Huy, ca sĩ Mỹ Linh và NSƯT Hoài Linh. Người dẫn chương trình mùa này là nghệ sĩ Thanh Bạch. Sau 10 tuần thi, kết quả chung cuộc giải nhất thuộc về thí sinh Khởi My.',
191
+ ]
192
+ embeddings = model.encode(sentences)
193
+ print(embeddings.shape)
194
+ # [3, 768]
195
+
196
+ # Get the similarity scores for the embeddings
197
+ similarities = model.similarity(embeddings, embeddings)
198
+ print(similarities.shape)
199
+ # [3, 3]
200
+ ```
201
+
202
+ <!--
203
+ ### Direct Usage (Transformers)
204
+
205
+ <details><summary>Click to see the direct usage in Transformers</summary>
206
+
207
+ </details>
208
+ -->
209
+
210
+ <!--
211
+ ### Downstream Usage (Sentence Transformers)
212
+
213
+ You can finetune this model on your own dataset.
214
+
215
+ <details><summary>Click to expand</summary>
216
+
217
+ </details>
218
+ -->
219
+
220
+ <!--
221
+ ### Out-of-Scope Use
222
+
223
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
224
+ -->
225
+
226
+ <!--
227
+ ## Bias, Risks and Limitations
228
+
229
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
230
+ -->
231
+
232
+ <!--
233
+ ### Recommendations
234
+
235
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
236
+ -->
237
+
238
+ ## Training Details
239
+
240
+ ### Training Dataset
241
+
242
+ #### Unnamed Dataset
243
+
244
+
245
+ * Size: 631,587 training samples
246
+ * Columns: <code>anchor</code> and <code>positive</code>
247
+ * Approximate statistics based on the first 1000 samples:
248
+ | | anchor | positive |
249
+ |:--------|:----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
250
+ | type | string | string |
251
+ | details | <ul><li>min: 6 tokens</li><li>mean: 16.85 tokens</li><li>max: 62 tokens</li></ul> | <ul><li>min: 16 tokens</li><li>mean: 163.22 tokens</li><li>max: 1241 tokens</li></ul> |
252
+ * Samples:
253
+ | anchor | positive |
254
+ |:---------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
255
+ | <code>bạn có thể lấy hộ chiếu ở dmv không</code> | <code>Nộp đơn xin Hộ chiếu Hoa Kỳ tại Văn phòng DMV. Xuất bản 27/09/2001 01:53 PM | Cập nhật 24/08/2011 11:05 AM. Bạn có thể nộp đơn xin Hộ chiếu Hoa Kỳ tại một số văn phòng xe cơ giới do các nhân viên quận điều hành. Bạn có thể nộp đơn xin Hộ chiếu Hoa Kỳ tại một số Bưu điện Hoa Kỳ. NYSDMV không cấp hộ chiếu và không thể cung cấp cho bạn thông tin về cách xin hộ chiếu. Liên hệ với Bưu điện Hoa Kỳ hoặc văn phòng thư ký quận được liệt kê trong các trang màu xanh trong danh bạ điện thoại của bạn. NYSDMV không cấp hộ chiếu và không thể cung cấp cho bạn thông tin về cách nộp đơn xin hộ chiếu. Liên hệ với Bưu điện Hoa Kỳ hoặc văn phòng lục sự quận được liệt kê trong các trang màu xanh lam của danh bạ điện thoại của bạn.</code> |
256
+ | <code>tổng số người mỹ thiệt mạng trong tất cả các cuộc chiến tranh</code> | <code>1 Con số chính thức của người Mỹ thiệt mạng trong Chiến tranh Cách mạng (4.435) chỉ bằng khoảng 2/3 con số mà các nhà sử học đưa ra. Tổng số người Mỹ thiệt mạng trong Nội chiến được đưa ra là 140.414 - cao hơn khoảng 30.000 so với hầu hết các nhà sử học ước tính. Tôi nghi ngờ (nhưng không biết chắc chắn) rằng sự gia tăng có thể đến từ việc DoD tính số người chết trong tù binh là chiến đấu hơn là bệnh tật.</code> |
257
+ | <code>lý thuyết vụ nổ lớn được quay ở đâu</code> | <code>Thuyết Vụ nổ lớn được ghi hình tại Warner Bros. Studios ở Burbank, California. Bạn phải từ mười tám tuổi trở lên để tham gia buổi ghi hình Thuyết Vụ nổ lớn. Số lượng vé có hạn và nhu cầu rất cao. Vé được bán miễn phí trên TVTickets.com. Phần thứ 10 của Big Bang Theory hiện đang được sản xuất.</code> |
258
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
259
+ ```json
260
+ {
261
+ "scale": 20.0,
262
+ "similarity_fct": "cos_sim"
263
+ }
264
+ ```
265
+
266
+ ### Evaluation Dataset
267
+
268
+ #### Unnamed Dataset
269
+
270
+
271
+ * Size: 300 evaluation samples
272
+ * Columns: <code>anchor</code> and <code>positive</code>
273
+ * Approximate statistics based on the first 300 samples:
274
+ | | anchor | positive |
275
+ |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
276
+ | type | string | string |
277
+ | details | <ul><li>min: 6 tokens</li><li>mean: 16.99 tokens</li><li>max: 66 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 166.44 tokens</li><li>max: 940 tokens</li></ul> |
278
+ * Samples:
279
+ | anchor | positive |
280
+ |:--------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
281
+ | <code>lúa mạch đen được dùng làm gì và ăn ở pháp</code> | <code>Tiêu dùng và sử dụng của con người. Như đã nói trước đó, hầu hết lúa mạch đen được trồng ở châu Âu là để làm bánh mì. Canada có một số lượng hạn chế hạt lúa mạch đen được sử dụng để chưng cất và sử dụng thực phẩm, và ở Mỹ khoảng một nửa lúa mạch đen làm ngũ cốc được sử dụng cho những mục đích này (7, 8). Hạt lúa mạch đen được sử dụng để làm bột mì, thức ăn gia súc, hoặc bia. Nó cũng có thể được ăn toàn bộ, dưới dạng quả mọng lúa mạch đen luộc, hoặc bằng cách cuộn lại, tương tự như yến mạch cán (10).</code> |
282
+ | <code>kỳ hạm của hải quân chúng tôi là gì</code> | <code>USS Hiến pháp là kỳ hạm truyền thống của Hải quân Hoa Kỳ. Và nó vẫn đang được thực hiện và được điều khiển bởi một thủy thủ đoàn Hải quân Hoa Kỳ. USS Constellation CVN-64 được Tổng thống Ronald Reagan đặt cho biệt danh là Chiến hạm của Hoa Kỳ. Nó hiện đã ngừng hoạt động và được thay thế trong hạm đội bằng tàu sân bay USS Ronald Reagan CVN-76.</code> |
283
+ | <code>cửa sổ kính lớn nhất</code> | <code>Cửa sổ kính màu lớn nhất thế giới. Cửa sổ kính màu lớn nhất thế giới thực sự nằm trong lăng mộ tại Nghĩa trang Phục sinh ở Công lý. Nó chứa 2.448 tấm và rộng 22.381 feet vuông. Cũng cần lưu ý thêm, nó chỉ cách nhà máy cải tạo nước Stickney, cơ sở xử lý nước thải lớn nhất (vào tháng 7 và cả tháng 8, là cơ sở xử lý nước thải bốc mùi nhất trên thế giới, vài dặm ngắn) chỉ vài dặm ngắn.</code> |
284
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
285
+ ```json
286
+ {
287
+ "scale": 20.0,
288
+ "similarity_fct": "cos_sim"
289
+ }
290
+ ```
291
+
292
+ ### Training Hyperparameters
293
+ #### Non-Default Hyperparameters
294
+
295
+ - `eval_strategy`: steps
296
+ - `per_device_train_batch_size`: 16
297
+ - `per_device_eval_batch_size`: 16
298
+ - `learning_rate`: 2e-05
299
+ - `warmup_ratio`: 0.1
300
+ - `fp16`: True
301
+ - `batch_sampler`: no_duplicates
302
+
303
+ #### All Hyperparameters
304
+ <details><summary>Click to expand</summary>
305
+
306
+ - `overwrite_output_dir`: False
307
+ - `do_predict`: False
308
+ - `eval_strategy`: steps
309
+ - `prediction_loss_only`: True
310
+ - `per_device_train_batch_size`: 16
311
+ - `per_device_eval_batch_size`: 16
312
+ - `per_gpu_train_batch_size`: None
313
+ - `per_gpu_eval_batch_size`: None
314
+ - `gradient_accumulation_steps`: 1
315
+ - `eval_accumulation_steps`: None
316
+ - `torch_empty_cache_steps`: None
317
+ - `learning_rate`: 2e-05
318
+ - `weight_decay`: 0.0
319
+ - `adam_beta1`: 0.9
320
+ - `adam_beta2`: 0.999
321
+ - `adam_epsilon`: 1e-08
322
+ - `max_grad_norm`: 1.0
323
+ - `num_train_epochs`: 3
324
+ - `max_steps`: -1
325
+ - `lr_scheduler_type`: linear
326
+ - `lr_scheduler_kwargs`: {}
327
+ - `warmup_ratio`: 0.1
328
+ - `warmup_steps`: 0
329
+ - `log_level`: passive
330
+ - `log_level_replica`: warning
331
+ - `log_on_each_node`: True
332
+ - `logging_nan_inf_filter`: True
333
+ - `save_safetensors`: True
334
+ - `save_on_each_node`: False
335
+ - `save_only_model`: False
336
+ - `restore_callback_states_from_checkpoint`: False
337
+ - `no_cuda`: False
338
+ - `use_cpu`: False
339
+ - `use_mps_device`: False
340
+ - `seed`: 42
341
+ - `data_seed`: None
342
+ - `jit_mode_eval`: False
343
+ - `use_ipex`: False
344
+ - `bf16`: False
345
+ - `fp16`: True
346
+ - `fp16_opt_level`: O1
347
+ - `half_precision_backend`: auto
348
+ - `bf16_full_eval`: False
349
+ - `fp16_full_eval`: False
350
+ - `tf32`: None
351
+ - `local_rank`: 0
352
+ - `ddp_backend`: None
353
+ - `tpu_num_cores`: None
354
+ - `tpu_metrics_debug`: False
355
+ - `debug`: []
356
+ - `dataloader_drop_last`: False
357
+ - `dataloader_num_workers`: 0
358
+ - `dataloader_prefetch_factor`: None
359
+ - `past_index`: -1
360
+ - `disable_tqdm`: False
361
+ - `remove_unused_columns`: True
362
+ - `label_names`: None
363
+ - `load_best_model_at_end`: False
364
+ - `ignore_data_skip`: False
365
+ - `fsdp`: []
366
+ - `fsdp_min_num_params`: 0
367
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
368
+ - `fsdp_transformer_layer_cls_to_wrap`: None
369
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
370
+ - `deepspeed`: None
371
+ - `label_smoothing_factor`: 0.0
372
+ - `optim`: adamw_torch
373
+ - `optim_args`: None
374
+ - `adafactor`: False
375
+ - `group_by_length`: False
376
+ - `length_column_name`: length
377
+ - `ddp_find_unused_parameters`: None
378
+ - `ddp_bucket_cap_mb`: None
379
+ - `ddp_broadcast_buffers`: False
380
+ - `dataloader_pin_memory`: True
381
+ - `dataloader_persistent_workers`: False
382
+ - `skip_memory_metrics`: True
383
+ - `use_legacy_prediction_loop`: False
384
+ - `push_to_hub`: False
385
+ - `resume_from_checkpoint`: None
386
+ - `hub_model_id`: None
387
+ - `hub_strategy`: every_save
388
+ - `hub_private_repo`: False
389
+ - `hub_always_push`: False
390
+ - `gradient_checkpointing`: False
391
+ - `gradient_checkpointing_kwargs`: None
392
+ - `include_inputs_for_metrics`: False
393
+ - `include_for_metrics`: []
394
+ - `eval_do_concat_batches`: True
395
+ - `fp16_backend`: auto
396
+ - `push_to_hub_model_id`: None
397
+ - `push_to_hub_organization`: None
398
+ - `mp_parameters`:
399
+ - `auto_find_batch_size`: False
400
+ - `full_determinism`: False
401
+ - `torchdynamo`: None
402
+ - `ray_scope`: last
403
+ - `ddp_timeout`: 1800
404
+ - `torch_compile`: False
405
+ - `torch_compile_backend`: None
406
+ - `torch_compile_mode`: None
407
+ - `dispatch_batches`: None
408
+ - `split_batches`: None
409
+ - `include_tokens_per_second`: False
410
+ - `include_num_input_tokens_seen`: False
411
+ - `neftune_noise_alpha`: None
412
+ - `optim_target_modules`: None
413
+ - `batch_eval_metrics`: False
414
+ - `eval_on_start`: False
415
+ - `use_liger_kernel`: False
416
+ - `eval_use_gather_object`: False
417
+ - `average_tokens_across_devices`: False
418
+ - `prompts`: None
419
+ - `batch_sampler`: no_duplicates
420
+ - `multi_dataset_batch_sampler`: proportional
421
+
422
+ </details>
423
+
424
+ ### Training Logs
425
+ <details><summary>Click to expand</summary>
426
+
427
+ | Epoch | Step | Training Loss | Validation Loss |
428
+ |:------:|:-----:|:-------------:|:---------------:|
429
+ | 0.0025 | 100 | 1.25 | - |
430
+ | 0.0051 | 200 | 0.9823 | - |
431
+ | 0.0076 | 300 | 0.7369 | - |
432
+ | 0.0101 | 400 | 0.566 | - |
433
+ | 0.0127 | 500 | 0.4505 | - |
434
+ | 0.0152 | 600 | 0.3865 | - |
435
+ | 0.0177 | 700 | 0.3417 | - |
436
+ | 0.0203 | 800 | 0.3466 | - |
437
+ | 0.0228 | 900 | 0.3358 | - |
438
+ | 0.0253 | 1000 | 0.3027 | 0.2965 |
439
+ | 0.0279 | 1100 | 0.2977 | - |
440
+ | 0.0304 | 1200 | 0.2552 | - |
441
+ | 0.0329 | 1300 | 0.2731 | - |
442
+ | 0.0355 | 1400 | 0.2838 | - |
443
+ | 0.0380 | 1500 | 0.2545 | - |
444
+ | 0.0405 | 1600 | 0.2418 | - |
445
+ | 0.0431 | 1700 | 0.2241 | - |
446
+ | 0.0456 | 1800 | 0.2003 | - |
447
+ | 0.0481 | 1900 | 0.2276 | - |
448
+ | 0.0507 | 2000 | 0.2213 | 0.2236 |
449
+ | 0.0532 | 2100 | 0.2053 | - |
450
+ | 0.0557 | 2200 | 0.1872 | - |
451
+ | 0.0583 | 2300 | 0.2132 | - |
452
+ | 0.0608 | 2400 | 0.1783 | - |
453
+ | 0.0633 | 2500 | 0.1825 | - |
454
+ | 0.0659 | 2600 | 0.1746 | - |
455
+ | 0.0684 | 2700 | 0.1709 | - |
456
+ | 0.0709 | 2800 | 0.1636 | - |
457
+ | 0.0735 | 2900 | 0.1674 | - |
458
+ | 0.0760 | 3000 | 0.1737 | 0.1739 |
459
+ | 0.0785 | 3100 | 0.1868 | - |
460
+ | 0.0811 | 3200 | 0.1232 | - |
461
+ | 0.0836 | 3300 | 0.1636 | - |
462
+ | 0.0861 | 3400 | 0.1607 | - |
463
+ | 0.0887 | 3500 | 0.1362 | - |
464
+ | 0.0912 | 3600 | 0.1354 | - |
465
+ | 0.0937 | 3700 | 0.1593 | - |
466
+ | 0.0963 | 3800 | 0.1683 | - |
467
+ | 0.0988 | 3900 | 0.1265 | - |
468
+ | 0.1013 | 4000 | 0.1524 | 0.1586 |
469
+ | 0.1039 | 4100 | 0.1252 | - |
470
+ | 0.1064 | 4200 | 0.1506 | - |
471
+ | 0.1089 | 4300 | 0.1271 | - |
472
+ | 0.1115 | 4400 | 0.1411 | - |
473
+ | 0.1140 | 4500 | 0.14 | - |
474
+ | 0.1165 | 4600 | 0.1241 | - |
475
+ | 0.1191 | 4700 | 0.1398 | - |
476
+ | 0.1216 | 4800 | 0.1218 | - |
477
+ | 0.1241 | 4900 | 0.096 | - |
478
+ | 0.1267 | 5000 | 0.1254 | 0.1339 |
479
+ | 0.1292 | 5100 | 0.1181 | - |
480
+ | 0.1317 | 5200 | 0.1221 | - |
481
+ | 0.1343 | 5300 | 0.1302 | - |
482
+ | 0.1368 | 5400 | 0.1193 | - |
483
+ | 0.1393 | 5500 | 0.1376 | - |
484
+ | 0.1419 | 5600 | 0.1294 | - |
485
+ | 0.1444 | 5700 | 0.1275 | - |
486
+ | 0.1469 | 5800 | 0.1218 | - |
487
+ | 0.1495 | 5900 | 0.1167 | - |
488
+ | 0.1520 | 6000 | 0.1128 | 0.1202 |
489
+ | 0.1545 | 6100 | 0.1179 | - |
490
+ | 0.1571 | 6200 | 0.1262 | - |
491
+ | 0.1596 | 6300 | 0.1143 | - |
492
+ | 0.1621 | 6400 | 0.0894 | - |
493
+ | 0.1647 | 6500 | 0.113 | - |
494
+ | 0.1672 | 6600 | 0.099 | - |
495
+ | 0.1697 | 6700 | 0.1129 | - |
496
+ | 0.1723 | 6800 | 0.1075 | - |
497
+ | 0.1748 | 6900 | 0.1157 | - |
498
+ | 0.1773 | 7000 | 0.1338 | 0.1208 |
499
+ | 0.1799 | 7100 | 0.1033 | - |
500
+ | 0.1824 | 7200 | 0.129 | - |
501
+ | 0.1849 | 7300 | 0.0881 | - |
502
+ | 0.1875 | 7400 | 0.1025 | - |
503
+ | 0.1900 | 7500 | 0.0973 | - |
504
+ | 0.1925 | 7600 | 0.0971 | - |
505
+ | 0.1951 | 7700 | 0.1128 | - |
506
+ | 0.1976 | 7800 | 0.1014 | - |
507
+ | 0.2001 | 7900 | 0.1131 | - |
508
+ | 0.2027 | 8000 | 0.1376 | 0.1188 |
509
+ | 0.2052 | 8100 | 0.117 | - |
510
+ | 0.2077 | 8200 | 0.0948 | - |
511
+ | 0.2103 | 8300 | 0.1074 | - |
512
+ | 0.2128 | 8400 | 0.0999 | - |
513
+ | 0.2153 | 8500 | 0.0938 | - |
514
+ | 0.2179 | 8600 | 0.1033 | - |
515
+ | 0.2204 | 8700 | 0.0832 | - |
516
+ | 0.2229 | 8800 | 0.0938 | - |
517
+ | 0.2255 | 8900 | 0.0961 | - |
518
+ | 0.2280 | 9000 | 0.1016 | 0.1128 |
519
+ | 0.2305 | 9100 | 0.0937 | - |
520
+ | 0.2331 | 9200 | 0.1142 | - |
521
+ | 0.2356 | 9300 | 0.0921 | - |
522
+ | 0.2381 | 9400 | 0.0937 | - |
523
+ | 0.2407 | 9500 | 0.1168 | - |
524
+ | 0.2432 | 9600 | 0.0965 | - |
525
+ | 0.2457 | 9700 | 0.0789 | - |
526
+ | 0.2483 | 9800 | 0.0931 | - |
527
+ | 0.2508 | 9900 | 0.0936 | - |
528
+ | 0.2533 | 10000 | 0.1013 | 0.1014 |
529
+ | 0.2559 | 10100 | 0.1056 | - |
530
+ | 0.2584 | 10200 | 0.0958 | - |
531
+ | 0.2609 | 10300 | 0.0861 | - |
532
+ | 0.2635 | 10400 | 0.0737 | - |
533
+ | 0.2660 | 10500 | 0.0849 | - |
534
+ | 0.2685 | 10600 | 0.0948 | - |
535
+ | 0.2711 | 10700 | 0.0894 | - |
536
+ | 0.2736 | 10800 | 0.0783 | - |
537
+ | 0.2761 | 10900 | 0.0895 | - |
538
+ | 0.2787 | 11000 | 0.0682 | 0.0825 |
539
+ | 0.2812 | 11100 | 0.076 | - |
540
+ | 0.2837 | 11200 | 0.0804 | - |
541
+ | 0.2863 | 11300 | 0.0897 | - |
542
+ | 0.2888 | 11400 | 0.0912 | - |
543
+ | 0.2913 | 11500 | 0.1014 | - |
544
+ | 0.2939 | 11600 | 0.089 | - |
545
+ | 0.2964 | 11700 | 0.072 | - |
546
+ | 0.2989 | 11800 | 0.079 | - |
547
+ | 0.3015 | 11900 | 0.0803 | - |
548
+ | 0.3040 | 12000 | 0.0837 | 0.0827 |
549
+ | 0.3065 | 12100 | 0.0984 | - |
550
+ | 0.3091 | 12200 | 0.09 | - |
551
+ | 0.3116 | 12300 | 0.0925 | - |
552
+ | 0.3141 | 12400 | 0.0893 | - |
553
+ | 0.3167 | 12500 | 0.0893 | - |
554
+ | 0.3192 | 12600 | 0.0754 | - |
555
+ | 0.3217 | 12700 | 0.0917 | - |
556
+ | 0.3243 | 12800 | 0.0812 | - |
557
+ | 0.3268 | 12900 | 0.0715 | - |
558
+ | 0.3293 | 13000 | 0.0903 | 0.0998 |
559
+ | 0.3319 | 13100 | 0.0688 | - |
560
+ | 0.3344 | 13200 | 0.076 | - |
561
+ | 0.3369 | 13300 | 0.0949 | - |
562
+ | 0.3395 | 13400 | 0.0787 | - |
563
+ | 0.3420 | 13500 | 0.055 | - |
564
+ | 0.3445 | 13600 | 0.0668 | - |
565
+ | 0.3471 | 13700 | 0.0675 | - |
566
+ | 0.3496 | 13800 | 0.0931 | - |
567
+ | 0.3521 | 13900 | 0.0821 | - |
568
+ | 0.3547 | 14000 | 0.087 | 0.1000 |
569
+ | 0.3572 | 14100 | 0.0886 | - |
570
+ | 0.3597 | 14200 | 0.0925 | - |
571
+ | 0.3623 | 14300 | 0.0885 | - |
572
+ | 0.3648 | 14400 | 0.0667 | - |
573
+ | 0.3673 | 14500 | 0.066 | - |
574
+ | 0.3699 | 14600 | 0.0861 | - |
575
+ | 0.3724 | 14700 | 0.0774 | - |
576
+ | 0.3749 | 14800 | 0.0625 | - |
577
+ | 0.3775 | 14900 | 0.0822 | - |
578
+ | 0.3800 | 15000 | 0.0714 | 0.0559 |
579
+ | 0.3825 | 15100 | 0.0809 | - |
580
+ | 0.3851 | 15200 | 0.069 | - |
581
+ | 0.3876 | 15300 | 0.0675 | - |
582
+ | 0.3901 | 15400 | 0.0786 | - |
583
+ | 0.3927 | 15500 | 0.0838 | - |
584
+ | 0.3952 | 15600 | 0.0669 | - |
585
+ | 0.3977 | 15700 | 0.0741 | - |
586
+ | 0.4003 | 15800 | 0.0619 | - |
587
+ | 0.4028 | 15900 | 0.0897 | - |
588
+ | 0.4053 | 16000 | 0.0742 | 0.0624 |
589
+ | 0.4079 | 16100 | 0.0531 | - |
590
+ | 0.4104 | 16200 | 0.0584 | - |
591
+ | 0.4129 | 16300 | 0.0571 | - |
592
+ | 0.4155 | 16400 | 0.0795 | - |
593
+ | 0.4180 | 16500 | 0.0736 | - |
594
+ | 0.4205 | 16600 | 0.0744 | - |
595
+ | 0.4231 | 16700 | 0.0698 | - |
596
+ | 0.4256 | 16800 | 0.0783 | - |
597
+ | 0.4281 | 16900 | 0.0706 | - |
598
+ | 0.4307 | 17000 | 0.0695 | 0.0611 |
599
+ | 0.4332 | 17100 | 0.0681 | - |
600
+ | 0.4357 | 17200 | 0.0622 | - |
601
+ | 0.4383 | 17300 | 0.0785 | - |
602
+ | 0.4408 | 17400 | 0.0535 | - |
603
+ | 0.4433 | 17500 | 0.0868 | - |
604
+ | 0.4459 | 17600 | 0.0642 | - |
605
+ | 0.4484 | 17700 | 0.0646 | - |
606
+ | 0.4509 | 17800 | 0.0735 | - |
607
+ | 0.4535 | 17900 | 0.0783 | - |
608
+ | 0.4560 | 18000 | 0.0639 | 0.0834 |
609
+ | 0.4585 | 18100 | 0.0578 | - |
610
+ | 0.4611 | 18200 | 0.0837 | - |
611
+ | 0.4636 | 18300 | 0.0744 | - |
612
+ | 0.4661 | 18400 | 0.061 | - |
613
+ | 0.4687 | 18500 | 0.0727 | - |
614
+ | 0.4712 | 18600 | 0.0566 | - |
615
+ | 0.4737 | 18700 | 0.0643 | - |
616
+ | 0.4763 | 18800 | 0.0874 | - |
617
+ | 0.4788 | 18900 | 0.057 | - |
618
+ | 0.4813 | 19000 | 0.0609 | 0.0639 |
619
+ | 0.4839 | 19100 | 0.0532 | - |
620
+ | 0.4864 | 19200 | 0.0667 | - |
621
+ | 0.4889 | 19300 | 0.048 | - |
622
+ | 0.4915 | 19400 | 0.0611 | - |
623
+ | 0.4940 | 19500 | 0.062 | - |
624
+ | 0.4965 | 19600 | 0.0763 | - |
625
+ | 0.4991 | 19700 | 0.0753 | - |
626
+ | 0.5016 | 19800 | 0.0668 | - |
627
+ | 0.5041 | 19900 | 0.0646 | - |
628
+ | 0.5066 | 20000 | 0.0667 | 0.0508 |
629
+ | 0.5092 | 20100 | 0.0642 | - |
630
+ | 0.5117 | 20200 | 0.0586 | - |
631
+ | 0.5142 | 20300 | 0.048 | - |
632
+ | 0.5168 | 20400 | 0.0737 | - |
633
+ | 0.5193 | 20500 | 0.0544 | - |
634
+ | 0.5218 | 20600 | 0.0656 | - |
635
+ | 0.5244 | 20700 | 0.0559 | - |
636
+ | 0.5269 | 20800 | 0.0506 | - |
637
+ | 0.5294 | 20900 | 0.0602 | - |
638
+ | 0.5320 | 21000 | 0.0538 | 0.0502 |
639
+ | 0.5345 | 21100 | 0.0569 | - |
640
+ | 0.5370 | 21200 | 0.0586 | - |
641
+ | 0.5396 | 21300 | 0.0515 | - |
642
+ | 0.5421 | 21400 | 0.0512 | - |
643
+ | 0.5446 | 21500 | 0.0595 | - |
644
+ | 0.5472 | 21600 | 0.0615 | - |
645
+ | 0.5497 | 21700 | 0.0549 | - |
646
+ | 0.5522 | 21800 | 0.0597 | - |
647
+ | 0.5548 | 21900 | 0.055 | - |
648
+ | 0.5573 | 22000 | 0.0617 | 0.0437 |
649
+ | 0.5598 | 22100 | 0.0491 | - |
650
+ | 0.5624 | 22200 | 0.0628 | - |
651
+ | 0.5649 | 22300 | 0.0442 | - |
652
+ | 0.5674 | 22400 | 0.065 | - |
653
+ | 0.5700 | 22500 | 0.0577 | - |
654
+ | 0.5725 | 22600 | 0.0673 | - |
655
+ | 0.5750 | 22700 | 0.0467 | - |
656
+ | 0.5776 | 22800 | 0.071 | - |
657
+ | 0.5801 | 22900 | 0.0458 | - |
658
+ | 0.5826 | 23000 | 0.0478 | 0.0393 |
659
+ | 0.5852 | 23100 | 0.0496 | - |
660
+ | 0.5877 | 23200 | 0.0445 | - |
661
+ | 0.5902 | 23300 | 0.0498 | - |
662
+ | 0.5928 | 23400 | 0.0397 | - |
663
+ | 0.5953 | 23500 | 0.0529 | - |
664
+ | 0.5978 | 23600 | 0.0502 | - |
665
+ | 0.6004 | 23700 | 0.0667 | - |
666
+ | 0.6029 | 23800 | 0.0608 | - |
667
+ | 0.6054 | 23900 | 0.0505 | - |
668
+ | 0.6080 | 24000 | 0.0473 | 0.0455 |
669
+ | 0.6105 | 24100 | 0.0539 | - |
670
+ | 0.6130 | 24200 | 0.0516 | - |
671
+ | 0.6156 | 24300 | 0.0343 | - |
672
+ | 0.6181 | 24400 | 0.0409 | - |
673
+ | 0.6206 | 24500 | 0.0397 | - |
674
+ | 0.6232 | 24600 | 0.0529 | - |
675
+ | 0.6257 | 24700 | 0.0608 | - |
676
+ | 0.6282 | 24800 | 0.054 | - |
677
+ | 0.6308 | 24900 | 0.0432 | - |
678
+ | 0.6333 | 25000 | 0.056 | 0.0470 |
679
+ | 0.6358 | 25100 | 0.0526 | - |
680
+ | 0.6384 | 25200 | 0.0278 | - |
681
+ | 0.6409 | 25300 | 0.064 | - |
682
+ | 0.6434 | 25400 | 0.0465 | - |
683
+ | 0.6460 | 25500 | 0.0522 | - |
684
+ | 0.6485 | 25600 | 0.0547 | - |
685
+ | 0.6510 | 25700 | 0.0442 | - |
686
+ | 0.6536 | 25800 | 0.0388 | - |
687
+ | 0.6561 | 25900 | 0.0433 | - |
688
+ | 0.6586 | 26000 | 0.0466 | 0.0448 |
689
+ | 0.6612 | 26100 | 0.0411 | - |
690
+ | 0.6637 | 26200 | 0.0473 | - |
691
+ | 0.6662 | 26300 | 0.0524 | - |
692
+ | 0.6688 | 26400 | 0.0502 | - |
693
+ | 0.6713 | 26500 | 0.0499 | - |
694
+ | 0.6738 | 26600 | 0.0405 | - |
695
+ | 0.6764 | 26700 | 0.0369 | - |
696
+ | 0.6789 | 26800 | 0.0403 | - |
697
+ | 0.6814 | 26900 | 0.0456 | - |
698
+ | 0.6840 | 27000 | 0.0347 | 0.0369 |
699
+ | 0.6865 | 27100 | 0.0507 | - |
700
+ | 0.6890 | 27200 | 0.041 | - |
701
+ | 0.6916 | 27300 | 0.0572 | - |
702
+ | 0.6941 | 27400 | 0.048 | - |
703
+ | 0.6966 | 27500 | 0.0498 | - |
704
+ | 0.6992 | 27600 | 0.0501 | - |
705
+ | 0.7017 | 27700 | 0.0349 | - |
706
+ | 0.7042 | 27800 | 0.0433 | - |
707
+ | 0.7068 | 27900 | 0.0456 | - |
708
+ | 0.7093 | 28000 | 0.049 | 0.0382 |
709
+ | 0.7118 | 28100 | 0.0554 | - |
710
+ | 0.7144 | 28200 | 0.0589 | - |
711
+ | 0.7169 | 28300 | 0.0477 | - |
712
+ | 0.7194 | 28400 | 0.0459 | - |
713
+ | 0.7220 | 28500 | 0.0385 | - |
714
+ | 0.7245 | 28600 | 0.0358 | - |
715
+ | 0.7270 | 28700 | 0.0374 | - |
716
+ | 0.7296 | 28800 | 0.0477 | - |
717
+ | 0.7321 | 28900 | 0.0564 | - |
718
+ | 0.7346 | 29000 | 0.0378 | 0.0421 |
719
+ | 0.7372 | 29100 | 0.0352 | - |
720
+ | 0.7397 | 29200 | 0.0439 | - |
721
+ | 0.7422 | 29300 | 0.0447 | - |
722
+ | 0.7448 | 29400 | 0.034 | - |
723
+ | 0.7473 | 29500 | 0.0354 | - |
724
+ | 0.7498 | 29600 | 0.0517 | - |
725
+ | 0.7524 | 29700 | 0.0364 | - |
726
+ | 0.7549 | 29800 | 0.0424 | - |
727
+ | 0.7574 | 29900 | 0.0431 | - |
728
+ | 0.7600 | 30000 | 0.0347 | 0.0479 |
729
+ | 0.7625 | 30100 | 0.0432 | - |
730
+ | 0.7650 | 30200 | 0.0512 | - |
731
+ | 0.7676 | 30300 | 0.0436 | - |
732
+ | 0.7701 | 30400 | 0.0453 | - |
733
+ | 0.7726 | 30500 | 0.0432 | - |
734
+ | 0.7752 | 30600 | 0.0519 | - |
735
+ | 0.7777 | 30700 | 0.044 | - |
736
+ | 0.7802 | 30800 | 0.0506 | - |
737
+ | 0.7828 | 30900 | 0.0337 | - |
738
+ | 0.7853 | 31000 | 0.0347 | 0.0478 |
739
+ | 0.7878 | 31100 | 0.0449 | - |
740
+ | 0.7904 | 31200 | 0.0524 | - |
741
+ | 0.7929 | 31300 | 0.0409 | - |
742
+ | 0.7954 | 31400 | 0.0397 | - |
743
+ | 0.7980 | 31500 | 0.0429 | - |
744
+ | 0.8005 | 31600 | 0.0487 | - |
745
+ | 0.8030 | 31700 | 0.038 | - |
746
+ | 0.8056 | 31800 | 0.0336 | - |
747
+ | 0.8081 | 31900 | 0.0515 | - |
748
+ | 0.8106 | 32000 | 0.0437 | 0.0320 |
749
+ | 0.8132 | 32100 | 0.0283 | - |
750
+ | 0.8157 | 32200 | 0.0398 | - |
751
+ | 0.8182 | 32300 | 0.0387 | - |
752
+ | 0.8208 | 32400 | 0.0452 | - |
753
+ | 0.8233 | 32500 | 0.0348 | - |
754
+ | 0.8258 | 32600 | 0.0422 | - |
755
+ | 0.8284 | 32700 | 0.0386 | - |
756
+ | 0.8309 | 32800 | 0.0345 | - |
757
+ | 0.8334 | 32900 | 0.0443 | - |
758
+ | 0.8360 | 33000 | 0.0312 | 0.0241 |
759
+ | 0.8385 | 33100 | 0.0449 | - |
760
+ | 0.8410 | 33200 | 0.0347 | - |
761
+ | 0.8436 | 33300 | 0.0411 | - |
762
+ | 0.8461 | 33400 | 0.0488 | - |
763
+ | 0.8486 | 33500 | 0.0592 | - |
764
+ | 0.8512 | 33600 | 0.0435 | - |
765
+ | 0.8537 | 33700 | 0.0391 | - |
766
+ | 0.8562 | 33800 | 0.033 | - |
767
+ | 0.8588 | 33900 | 0.0387 | - |
768
+ | 0.8613 | 34000 | 0.0361 | 0.0304 |
769
+ | 0.8638 | 34100 | 0.0351 | - |
770
+ | 0.8664 | 34200 | 0.035 | - |
771
+ | 0.8689 | 34300 | 0.0348 | - |
772
+ | 0.8714 | 34400 | 0.0375 | - |
773
+ | 0.8740 | 34500 | 0.0404 | - |
774
+ | 0.8765 | 34600 | 0.0305 | - |
775
+ | 0.8790 | 34700 | 0.0319 | - |
776
+ | 0.8816 | 34800 | 0.039 | - |
777
+ | 0.8841 | 34900 | 0.0388 | - |
778
+ | 0.8866 | 35000 | 0.0433 | 0.0244 |
779
+ | 0.8892 | 35100 | 0.0358 | - |
780
+ | 0.8917 | 35200 | 0.0525 | - |
781
+ | 0.8942 | 35300 | 0.0408 | - |
782
+ | 0.8968 | 35400 | 0.0373 | - |
783
+ | 0.8993 | 35500 | 0.0278 | - |
784
+ | 0.9018 | 35600 | 0.031 | - |
785
+ | 0.9044 | 35700 | 0.0402 | - |
786
+ | 0.9069 | 35800 | 0.0388 | - |
787
+ | 0.9094 | 35900 | 0.0431 | - |
788
+ | 0.9120 | 36000 | 0.0334 | 0.0255 |
789
+ | 0.9145 | 36100 | 0.0301 | - |
790
+ | 0.9170 | 36200 | 0.0396 | - |
791
+ | 0.9196 | 36300 | 0.0468 | - |
792
+ | 0.9221 | 36400 | 0.0513 | - |
793
+ | 0.9246 | 36500 | 0.0256 | - |
794
+ | 0.9272 | 36600 | 0.0219 | - |
795
+ | 0.9297 | 36700 | 0.0329 | - |
796
+ | 0.9322 | 36800 | 0.0451 | - |
797
+ | 0.9348 | 36900 | 0.0272 | - |
798
+ | 0.9373 | 37000 | 0.038 | 0.0210 |
799
+ | 0.9398 | 37100 | 0.0332 | - |
800
+ | 0.9424 | 37200 | 0.033 | - |
801
+ | 0.9449 | 37300 | 0.0355 | - |
802
+ | 0.9474 | 37400 | 0.0457 | - |
803
+ | 0.9500 | 37500 | 0.0289 | - |
804
+ | 0.9525 | 37600 | 0.0292 | - |
805
+ | 0.9550 | 37700 | 0.0413 | - |
806
+ | 0.9576 | 37800 | 0.03 | - |
807
+ | 0.9601 | 37900 | 0.031 | - |
808
+ | 0.9626 | 38000 | 0.0374 | 0.0176 |
809
+ | 0.9652 | 38100 | 0.0413 | - |
810
+ | 0.9677 | 38200 | 0.0378 | - |
811
+ | 0.9702 | 38300 | 0.0323 | - |
812
+ | 0.9728 | 38400 | 0.0307 | - |
813
+ | 0.9753 | 38500 | 0.0291 | - |
814
+ | 0.9778 | 38600 | 0.0284 | - |
815
+ | 0.9804 | 38700 | 0.0384 | - |
816
+ | 0.9829 | 38800 | 0.0273 | - |
817
+ | 0.9854 | 38900 | 0.0287 | - |
818
+ | 0.9880 | 39000 | 0.0315 | 0.0133 |
819
+ | 0.9905 | 39100 | 0.0392 | - |
820
+ | 0.9930 | 39200 | 0.0365 | - |
821
+ | 0.9956 | 39300 | 0.0405 | - |
822
+ | 0.9981 | 39400 | 0.0374 | - |
823
+ | 1.0006 | 39500 | 0.0302 | - |
824
+ | 1.0032 | 39600 | 0.0397 | - |
825
+ | 1.0057 | 39700 | 0.0308 | - |
826
+ | 1.0082 | 39800 | 0.0263 | - |
827
+ | 1.0108 | 39900 | 0.0334 | - |
828
+ | 1.0133 | 40000 | 0.0335 | 0.0171 |
829
+ | 1.0158 | 40100 | 0.0258 | - |
830
+ | 1.0184 | 40200 | 0.0288 | - |
831
+ | 1.0209 | 40300 | 0.0403 | - |
832
+ | 1.0234 | 40400 | 0.0395 | - |
833
+ | 1.0260 | 40500 | 0.0347 | - |
834
+ | 1.0285 | 40600 | 0.033 | - |
835
+ | 1.0310 | 40700 | 0.0364 | - |
836
+ | 1.0336 | 40800 | 0.0392 | - |
837
+ | 1.0361 | 40900 | 0.0336 | - |
838
+ | 1.0386 | 41000 | 0.033 | 0.0252 |
839
+ | 1.0412 | 41100 | 0.0234 | - |
840
+ | 1.0437 | 41200 | 0.035 | - |
841
+ | 1.0462 | 41300 | 0.0323 | - |
842
+ | 1.0488 | 41400 | 0.031 | - |
843
+ | 1.0513 | 41500 | 0.0265 | - |
844
+ | 1.0538 | 41600 | 0.032 | - |
845
+ | 1.0564 | 41700 | 0.0409 | - |
846
+ | 1.0589 | 41800 | 0.031 | - |
847
+ | 1.0614 | 41900 | 0.0339 | - |
848
+ | 1.0640 | 42000 | 0.0312 | 0.0267 |
849
+ | 1.0665 | 42100 | 0.0331 | - |
850
+ | 1.0690 | 42200 | 0.0398 | - |
851
+ | 1.0716 | 42300 | 0.0229 | - |
852
+ | 1.0741 | 42400 | 0.0428 | - |
853
+ | 1.0766 | 42500 | 0.0343 | - |
854
+ | 1.0792 | 42600 | 0.0215 | - |
855
+ | 1.0817 | 42700 | 0.0213 | - |
856
+ | 1.0842 | 42800 | 0.0264 | - |
857
+ | 1.0868 | 42900 | 0.0277 | - |
858
+ | 1.0893 | 43000 | 0.0301 | 0.0243 |
859
+ | 1.0918 | 43100 | 0.0291 | - |
860
+ | 1.0944 | 43200 | 0.0225 | - |
861
+ | 1.0969 | 43300 | 0.0375 | - |
862
+ | 1.0994 | 43400 | 0.0273 | - |
863
+ | 1.1020 | 43500 | 0.0312 | - |
864
+ | 1.1045 | 43600 | 0.026 | - |
865
+ | 1.1070 | 43700 | 0.0308 | - |
866
+ | 1.1096 | 43800 | 0.0212 | - |
867
+ | 1.1121 | 43900 | 0.0352 | - |
868
+ | 1.1146 | 44000 | 0.0274 | 0.0243 |
869
+ | 1.1172 | 44100 | 0.0255 | - |
870
+ | 1.1197 | 44200 | 0.0261 | - |
871
+ | 1.1222 | 44300 | 0.0338 | - |
872
+ | 1.1248 | 44400 | 0.0152 | - |
873
+ | 1.1273 | 44500 | 0.028 | - |
874
+ | 1.1298 | 44600 | 0.0252 | - |
875
+ | 1.1324 | 44700 | 0.0284 | - |
876
+ | 1.1349 | 44800 | 0.0253 | - |
877
+ | 1.1374 | 44900 | 0.0287 | - |
878
+ | 1.1400 | 45000 | 0.039 | 0.0347 |
879
+ | 1.1425 | 45100 | 0.0245 | - |
880
+ | 1.1450 | 45200 | 0.0243 | - |
881
+ | 1.1476 | 45300 | 0.0266 | - |
882
+ | 1.1501 | 45400 | 0.0253 | - |
883
+ | 1.1526 | 45500 | 0.0247 | - |
884
+ | 1.1552 | 45600 | 0.0295 | - |
885
+ | 1.1577 | 45700 | 0.0291 | - |
886
+ | 1.1602 | 45800 | 0.0329 | - |
887
+ | 1.1628 | 45900 | 0.0201 | - |
888
+ | 1.1653 | 46000 | 0.0174 | 0.0295 |
889
+ | 1.1678 | 46100 | 0.0272 | - |
890
+ | 1.1704 | 46200 | 0.0216 | - |
891
+ | 1.1729 | 46300 | 0.0224 | - |
892
+ | 1.1754 | 46400 | 0.0219 | - |
893
+ | 1.1780 | 46500 | 0.0338 | - |
894
+ | 1.1805 | 46600 | 0.027 | - |
895
+ | 1.1830 | 46700 | 0.0218 | - |
896
+ | 1.1856 | 46800 | 0.0186 | - |
897
+ | 1.1881 | 46900 | 0.0176 | - |
898
+ | 1.1906 | 47000 | 0.0172 | 0.0242 |
899
+ | 1.1932 | 47100 | 0.016 | - |
900
+ | 1.1957 | 47200 | 0.02 | - |
901
+ | 1.1982 | 47300 | 0.0243 | - |
902
+ | 1.2008 | 47400 | 0.0228 | - |
903
+ | 1.2033 | 47500 | 0.0256 | - |
904
+ | 1.2058 | 47600 | 0.0247 | - |
905
+ | 1.2084 | 47700 | 0.0206 | - |
906
+ | 1.2109 | 47800 | 0.0248 | - |
907
+ | 1.2134 | 47900 | 0.019 | - |
908
+ | 1.2160 | 48000 | 0.0175 | 0.0254 |
909
+ | 1.2185 | 48100 | 0.02 | - |
910
+ | 1.2210 | 48200 | 0.0113 | - |
911
+ | 1.2236 | 48300 | 0.0189 | - |
912
+ | 1.2261 | 48400 | 0.0245 | - |
913
+ | 1.2286 | 48500 | 0.0256 | - |
914
+ | 1.2312 | 48600 | 0.0157 | - |
915
+ | 1.2337 | 48700 | 0.0208 | - |
916
+ | 1.2362 | 48800 | 0.0225 | - |
917
+ | 1.2388 | 48900 | 0.0203 | - |
918
+ | 1.2413 | 49000 | 0.0204 | 0.0152 |
919
+ | 1.2438 | 49100 | 0.0134 | - |
920
+ | 1.2464 | 49200 | 0.0096 | - |
921
+ | 1.2489 | 49300 | 0.0212 | - |
922
+ | 1.2514 | 49400 | 0.0173 | - |
923
+ | 1.2540 | 49500 | 0.0161 | - |
924
+ | 1.2565 | 49600 | 0.0249 | - |
925
+ | 1.2590 | 49700 | 0.013 | - |
926
+ | 1.2616 | 49800 | 0.0128 | - |
927
+ | 1.2641 | 49900 | 0.0141 | - |
928
+ | 1.2666 | 50000 | 0.0153 | 0.0139 |
929
+ | 1.2692 | 50100 | 0.016 | - |
930
+ | 1.2717 | 50200 | 0.0146 | - |
931
+ | 1.2742 | 50300 | 0.0137 | - |
932
+ | 1.2768 | 50400 | 0.0108 | - |
933
+ | 1.2793 | 50500 | 0.0102 | - |
934
+ | 1.2818 | 50600 | 0.0105 | - |
935
+ | 1.2844 | 50700 | 0.0118 | - |
936
+ | 1.2869 | 50800 | 0.0166 | - |
937
+ | 1.2894 | 50900 | 0.018 | - |
938
+ | 1.2920 | 51000 | 0.0109 | 0.0162 |
939
+ | 1.2945 | 51100 | 0.0103 | - |
940
+ | 1.2970 | 51200 | 0.0093 | - |
941
+ | 1.2996 | 51300 | 0.0168 | - |
942
+ | 1.3021 | 51400 | 0.0136 | - |
943
+ | 1.3046 | 51500 | 0.0138 | - |
944
+ | 1.3072 | 51600 | 0.0159 | - |
945
+ | 1.3097 | 51700 | 0.013 | - |
946
+ | 1.3122 | 51800 | 0.0207 | - |
947
+ | 1.3148 | 51900 | 0.0159 | - |
948
+ | 1.3173 | 52000 | 0.0125 | 0.0128 |
949
+ | 1.3198 | 52100 | 0.0113 | - |
950
+ | 1.3224 | 52200 | 0.0156 | - |
951
+ | 1.3249 | 52300 | 0.013 | - |
952
+ | 1.3274 | 52400 | 0.0061 | - |
953
+ | 1.3300 | 52500 | 0.0104 | - |
954
+ | 1.3325 | 52600 | 0.0094 | - |
955
+ | 1.3350 | 52700 | 0.0149 | - |
956
+ | 1.3376 | 52800 | 0.0144 | - |
957
+ | 1.3401 | 52900 | 0.0122 | - |
958
+ | 1.3426 | 53000 | 0.0055 | 0.0181 |
959
+ | 1.3452 | 53100 | 0.008 | - |
960
+ | 1.3477 | 53200 | 0.0111 | - |
961
+ | 1.3502 | 53300 | 0.014 | - |
962
+ | 1.3528 | 53400 | 0.0164 | - |
963
+ | 1.3553 | 53500 | 0.019 | - |
964
+ | 1.3578 | 53600 | 0.0183 | - |
965
+ | 1.3604 | 53700 | 0.0113 | - |
966
+ | 1.3629 | 53800 | 0.013 | - |
967
+ | 1.3654 | 53900 | 0.0091 | - |
968
+ | 1.3680 | 54000 | 0.0091 | 0.0171 |
969
+ | 1.3705 | 54100 | 0.0101 | - |
970
+ | 1.3730 | 54200 | 0.0098 | - |
971
+ | 1.3756 | 54300 | 0.0107 | - |
972
+ | 1.3781 | 54400 | 0.0142 | - |
973
+ | 1.3806 | 54500 | 0.0136 | - |
974
+ | 1.3832 | 54600 | 0.0138 | - |
975
+ | 1.3857 | 54700 | 0.0124 | - |
976
+ | 1.3882 | 54800 | 0.0138 | - |
977
+ | 1.3908 | 54900 | 0.0153 | - |
978
+ | 1.3933 | 55000 | 0.0118 | 0.0185 |
979
+ | 1.3958 | 55100 | 0.0133 | - |
980
+ | 1.3984 | 55200 | 0.0109 | - |
981
+ | 1.4009 | 55300 | 0.0103 | - |
982
+ | 1.4034 | 55400 | 0.012 | - |
983
+ | 1.4060 | 55500 | 0.0089 | - |
984
+ | 1.4085 | 55600 | 0.011 | - |
985
+ | 1.4110 | 55700 | 0.0077 | - |
986
+ | 1.4136 | 55800 | 0.0141 | - |
987
+ | 1.4161 | 55900 | 0.0074 | - |
988
+ | 1.4186 | 56000 | 0.0134 | 0.0230 |
989
+ | 1.4212 | 56100 | 0.0092 | - |
990
+ | 1.4237 | 56200 | 0.011 | - |
991
+ | 1.4262 | 56300 | 0.0118 | - |
992
+ | 1.4288 | 56400 | 0.0103 | - |
993
+ | 1.4313 | 56500 | 0.0139 | - |
994
+ | 1.4338 | 56600 | 0.0126 | - |
995
+ | 1.4364 | 56700 | 0.0101 | - |
996
+ | 1.4389 | 56800 | 0.0143 | - |
997
+ | 1.4414 | 56900 | 0.0171 | - |
998
+ | 1.4440 | 57000 | 0.0108 | 0.0180 |
999
+ | 1.4465 | 57100 | 0.0113 | - |
1000
+ | 1.4490 | 57200 | 0.0097 | - |
1001
+ | 1.4516 | 57300 | 0.0105 | - |
1002
+ | 1.4541 | 57400 | 0.0114 | - |
1003
+ | 1.4566 | 57500 | 0.0081 | - |
1004
+ | 1.4592 | 57600 | 0.0166 | - |
1005
+ | 1.4617 | 57700 | 0.0119 | - |
1006
+ | 1.4642 | 57800 | 0.0082 | - |
1007
+ | 1.4668 | 57900 | 0.0138 | - |
1008
+ | 1.4693 | 58000 | 0.0099 | 0.0225 |
1009
+ | 1.4718 | 58100 | 0.0098 | - |
1010
+ | 1.4744 | 58200 | 0.0088 | - |
1011
+ | 1.4769 | 58300 | 0.0164 | - |
1012
+ | 1.4794 | 58400 | 0.0083 | - |
1013
+ | 1.4820 | 58500 | 0.0088 | - |
1014
+ | 1.4845 | 58600 | 0.0066 | - |
1015
+ | 1.4870 | 58700 | 0.0093 | - |
1016
+ | 1.4896 | 58800 | 0.0067 | - |
1017
+ | 1.4921 | 58900 | 0.0111 | - |
1018
+ | 1.4946 | 59000 | 0.0103 | 0.0285 |
1019
+ | 1.4972 | 59100 | 0.0084 | - |
1020
+ | 1.4997 | 59200 | 0.0111 | - |
1021
+ | 1.5022 | 59300 | 0.0055 | - |
1022
+ | 1.5047 | 59400 | 0.0133 | - |
1023
+ | 1.5073 | 59500 | 0.0076 | - |
1024
+ | 1.5098 | 59600 | 0.0103 | - |
1025
+ | 1.5123 | 59700 | 0.01 | - |
1026
+ | 1.5149 | 59800 | 0.015 | - |
1027
+ | 1.5174 | 59900 | 0.0093 | - |
1028
+ | 1.5199 | 60000 | 0.01 | 0.0194 |
1029
+ | 1.5225 | 60100 | 0.0062 | - |
1030
+ | 1.5250 | 60200 | 0.0129 | - |
1031
+ | 1.5275 | 60300 | 0.0076 | - |
1032
+ | 1.5301 | 60400 | 0.0075 | - |
1033
+ | 1.5326 | 60500 | 0.0063 | - |
1034
+ | 1.5351 | 60600 | 0.009 | - |
1035
+ | 1.5377 | 60700 | 0.0055 | - |
1036
+ | 1.5402 | 60800 | 0.0061 | - |
1037
+ | 1.5427 | 60900 | 0.0068 | - |
1038
+ | 1.5453 | 61000 | 0.0081 | 0.0178 |
1039
+ | 1.5478 | 61100 | 0.008 | - |
1040
+ | 1.5503 | 61200 | 0.0077 | - |
1041
+ | 1.5529 | 61300 | 0.0077 | - |
1042
+ | 1.5554 | 61400 | 0.0088 | - |
1043
+ | 1.5579 | 61500 | 0.0058 | - |
1044
+ | 1.5605 | 61600 | 0.0109 | - |
1045
+ | 1.5630 | 61700 | 0.0091 | - |
1046
+ | 1.5655 | 61800 | 0.0065 | - |
1047
+ | 1.5681 | 61900 | 0.0128 | - |
1048
+ | 1.5706 | 62000 | 0.0114 | 0.0140 |
1049
+ | 1.5731 | 62100 | 0.0113 | - |
1050
+ | 1.5757 | 62200 | 0.0058 | - |
1051
+ | 1.5782 | 62300 | 0.0082 | - |
1052
+ | 1.5807 | 62400 | 0.0054 | - |
1053
+ | 1.5833 | 62500 | 0.0086 | - |
1054
+ | 1.5858 | 62600 | 0.0048 | - |
1055
+ | 1.5883 | 62700 | 0.0073 | - |
1056
+ | 1.5909 | 62800 | 0.0104 | - |
1057
+ | 1.5934 | 62900 | 0.0052 | - |
1058
+ | 1.5959 | 63000 | 0.0093 | 0.0188 |
1059
+ | 1.5985 | 63100 | 0.0086 | - |
1060
+ | 1.6010 | 63200 | 0.008 | - |
1061
+ | 1.6035 | 63300 | 0.0078 | - |
1062
+ | 1.6061 | 63400 | 0.0044 | - |
1063
+ | 1.6086 | 63500 | 0.0075 | - |
1064
+ | 1.6111 | 63600 | 0.0103 | - |
1065
+ | 1.6137 | 63700 | 0.0107 | - |
1066
+ | 1.6162 | 63800 | 0.0043 | - |
1067
+ | 1.6187 | 63900 | 0.006 | - |
1068
+ | 1.6213 | 64000 | 0.0086 | 0.0187 |
1069
+ | 1.6238 | 64100 | 0.007 | - |
1070
+ | 1.6263 | 64200 | 0.0107 | - |
1071
+ | 1.6289 | 64300 | 0.0055 | - |
1072
+ | 1.6314 | 64400 | 0.004 | - |
1073
+ | 1.6339 | 64500 | 0.0074 | - |
1074
+ | 1.6365 | 64600 | 0.0057 | - |
1075
+ | 1.6390 | 64700 | 0.0076 | - |
1076
+ | 1.6415 | 64800 | 0.0082 | - |
1077
+ | 1.6441 | 64900 | 0.0038 | - |
1078
+ | 1.6466 | 65000 | 0.006 | 0.0210 |
1079
+ | 1.6491 | 65100 | 0.0058 | - |
1080
+ | 1.6517 | 65200 | 0.005 | - |
1081
+ | 1.6542 | 65300 | 0.0043 | - |
1082
+ | 1.6567 | 65400 | 0.0054 | - |
1083
+ | 1.6593 | 65500 | 0.0059 | - |
1084
+ | 1.6618 | 65600 | 0.0073 | - |
1085
+ | 1.6643 | 65700 | 0.0102 | - |
1086
+ | 1.6669 | 65800 | 0.0061 | - |
1087
+ | 1.6694 | 65900 | 0.0057 | - |
1088
+ | 1.6719 | 66000 | 0.0069 | 0.0150 |
1089
+ | 1.6745 | 66100 | 0.004 | - |
1090
+ | 1.6770 | 66200 | 0.0047 | - |
1091
+ | 1.6795 | 66300 | 0.0043 | - |
1092
+ | 1.6821 | 66400 | 0.003 | - |
1093
+ | 1.6846 | 66500 | 0.0052 | - |
1094
+ | 1.6871 | 66600 | 0.0068 | - |
1095
+ | 1.6897 | 66700 | 0.0041 | - |
1096
+ | 1.6922 | 66800 | 0.0108 | - |
1097
+ | 1.6947 | 66900 | 0.0058 | - |
1098
+ | 1.6973 | 67000 | 0.0097 | 0.0131 |
1099
+ | 1.6998 | 67100 | 0.0075 | - |
1100
+ | 1.7023 | 67200 | 0.0055 | - |
1101
+ | 1.7049 | 67300 | 0.0044 | - |
1102
+ | 1.7074 | 67400 | 0.0065 | - |
1103
+ | 1.7099 | 67500 | 0.0051 | - |
1104
+ | 1.7125 | 67600 | 0.0089 | - |
1105
+ | 1.7150 | 67700 | 0.0078 | - |
1106
+ | 1.7175 | 67800 | 0.0053 | - |
1107
+ | 1.7201 | 67900 | 0.0053 | - |
1108
+ | 1.7226 | 68000 | 0.0077 | 0.0176 |
1109
+ | 1.7251 | 68100 | 0.0033 | - |
1110
+ | 1.7277 | 68200 | 0.0041 | - |
1111
+ | 1.7302 | 68300 | 0.0061 | - |
1112
+ | 1.7327 | 68400 | 0.0086 | - |
1113
+ | 1.7353 | 68500 | 0.0073 | - |
1114
+ | 1.7378 | 68600 | 0.0056 | - |
1115
+ | 1.7403 | 68700 | 0.0074 | - |
1116
+ | 1.7429 | 68800 | 0.0028 | - |
1117
+ | 1.7454 | 68900 | 0.0056 | - |
1118
+ | 1.7479 | 69000 | 0.0048 | 0.0148 |
1119
+ | 1.7505 | 69100 | 0.0053 | - |
1120
+ | 1.7530 | 69200 | 0.0057 | - |
1121
+ | 1.7555 | 69300 | 0.0036 | - |
1122
+ | 1.7581 | 69400 | 0.0053 | - |
1123
+ | 1.7606 | 69500 | 0.0049 | - |
1124
+ | 1.7631 | 69600 | 0.0051 | - |
1125
+ | 1.7657 | 69700 | 0.0056 | - |
1126
+ | 1.7682 | 69800 | 0.0042 | - |
1127
+ | 1.7707 | 69900 | 0.0051 | - |
1128
+ | 1.7733 | 70000 | 0.0036 | 0.0215 |
1129
+ | 1.7758 | 70100 | 0.0089 | - |
1130
+ | 1.7783 | 70200 | 0.0072 | - |
1131
+ | 1.7809 | 70300 | 0.0042 | - |
1132
+ | 1.7834 | 70400 | 0.004 | - |
1133
+ | 1.7859 | 70500 | 0.0077 | - |
1134
+ | 1.7885 | 70600 | 0.0074 | - |
1135
+ | 1.7910 | 70700 | 0.0081 | - |
1136
+ | 1.7935 | 70800 | 0.0044 | - |
1137
+ | 1.7961 | 70900 | 0.0042 | - |
1138
+ | 1.7986 | 71000 | 0.0055 | 0.0155 |
1139
+ | 1.8011 | 71100 | 0.0066 | - |
1140
+ | 1.8037 | 71200 | 0.006 | - |
1141
+ | 1.8062 | 71300 | 0.0049 | - |
1142
+ | 1.8087 | 71400 | 0.0061 | - |
1143
+ | 1.8113 | 71500 | 0.006 | - |
1144
+ | 1.8138 | 71600 | 0.0044 | - |
1145
+ | 1.8163 | 71700 | 0.0031 | - |
1146
+ | 1.8189 | 71800 | 0.0051 | - |
1147
+ | 1.8214 | 71900 | 0.0068 | - |
1148
+ | 1.8239 | 72000 | 0.0042 | 0.0185 |
1149
+
1150
+ </details>
1151
+
1152
+ ### Framework Versions
1153
+ - Python: 3.11.10
1154
+ - Sentence Transformers: 3.3.1
1155
+ - Transformers: 4.46.3
1156
+ - PyTorch: 2.5.1+cu124
1157
+ - Accelerate: 1.1.1
1158
+ - Datasets: 3.1.0
1159
+ - Tokenizers: 0.20.3
1160
+
1161
+ ## Citation
1162
+
1163
+ ### BibTeX
1164
+
1165
+ #### Sentence Transformers
1166
+ ```bibtex
1167
+ @inproceedings{reimers-2019-sentence-bert,
1168
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
1169
+ author = "Reimers, Nils and Gurevych, Iryna",
1170
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
1171
+ month = "11",
1172
+ year = "2019",
1173
+ publisher = "Association for Computational Linguistics",
1174
+ url = "https://arxiv.org/abs/1908.10084",
1175
+ }
1176
+ ```
1177
+
1178
+ #### MultipleNegativesRankingLoss
1179
+ ```bibtex
1180
+ @misc{henderson2017efficient,
1181
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
1182
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
1183
+ year={2017},
1184
+ eprint={1705.00652},
1185
+ archivePrefix={arXiv},
1186
+ primaryClass={cs.CL}
1187
+ }
1188
+ ```
1189
+
1190
+ <!--
1191
+ ## Glossary
1192
+
1193
+ *Clearly define terms in order to be accessible across audiences.*
1194
+ -->
1195
+
1196
+ <!--
1197
+ ## Model Card Authors
1198
+
1199
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
1200
+ -->
1201
+
1202
+ <!--
1203
+ ## Model Card Contact
1204
+
1205
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
1206
+ -->
config.json ADDED
@@ -0,0 +1,58 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "models/nomic-embed-text-v1.5-tin/checkpoint-72000/",
3
+ "activation_function": "swiglu",
4
+ "architectures": [
5
+ "NomicBertModel"
6
+ ],
7
+ "attn_pdrop": 0.0,
8
+ "auto_map": {
9
+ "AutoConfig": "configuration_hf_nomic_bert.NomicBertConfig",
10
+ "AutoModel": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertModel",
11
+ "AutoModelForMaskedLM": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForPreTraining"
12
+ },
13
+ "bos_token_id": null,
14
+ "causal": false,
15
+ "dense_seq_output": true,
16
+ "embd_pdrop": 0.0,
17
+ "eos_token_id": null,
18
+ "fused_bias_fc": true,
19
+ "fused_dropout_add_ln": true,
20
+ "initializer_range": 0.02,
21
+ "layer_norm_epsilon": 1e-12,
22
+ "max_trained_positions": 2048,
23
+ "mlp_fc1_bias": false,
24
+ "mlp_fc2_bias": false,
25
+ "model_type": "nomic_bert",
26
+ "n_embd": 768,
27
+ "n_head": 12,
28
+ "n_inner": 3072,
29
+ "n_layer": 12,
30
+ "n_positions": 8192,
31
+ "pad_vocab_size_multiple": 64,
32
+ "parallel_block": false,
33
+ "parallel_block_tied_norm": false,
34
+ "prenorm": false,
35
+ "qkv_proj_bias": false,
36
+ "reorder_and_upcast_attn": false,
37
+ "resid_pdrop": 0.0,
38
+ "rotary_emb_base": 1000,
39
+ "rotary_emb_fraction": 1.0,
40
+ "rotary_emb_interleaved": false,
41
+ "rotary_emb_scale_base": null,
42
+ "rotary_scaling_factor": null,
43
+ "scale_attn_by_inverse_layer_idx": false,
44
+ "scale_attn_weights": true,
45
+ "summary_activation": null,
46
+ "summary_first_dropout": 0.0,
47
+ "summary_proj_to_labels": true,
48
+ "summary_type": "cls_index",
49
+ "summary_use_proj": true,
50
+ "torch_dtype": "float32",
51
+ "transformers_version": "4.46.3",
52
+ "type_vocab_size": 2,
53
+ "use_cache": true,
54
+ "use_flash_attn": true,
55
+ "use_rms_norm": false,
56
+ "use_xentropy": true,
57
+ "vocab_size": 30528
58
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.3.1",
4
+ "transformers": "4.46.3",
5
+ "pytorch": "2.5.1+cu124"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
+ }
configuration_hf_nomic_bert.py ADDED
@@ -0,0 +1,56 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from transformers import GPT2Config
2
+
3
+
4
+ class NomicBertConfig(GPT2Config):
5
+ model_type = "nomic_bert"
6
+
7
+ def __init__(
8
+ self,
9
+ prenorm=False,
10
+ parallel_block=False,
11
+ parallel_block_tied_norm=False,
12
+ rotary_emb_fraction=0.0,
13
+ fused_dropout_add_ln=False,
14
+ fused_bias_fc=False,
15
+ use_flash_attn=False,
16
+ use_xentropy=False,
17
+ qkv_proj_bias=True,
18
+ rotary_emb_base=10_000,
19
+ rotary_emb_scale_base=None,
20
+ rotary_emb_interleaved=False,
21
+ mlp_fc1_bias=True,
22
+ mlp_fc2_bias=True,
23
+ use_rms_norm=False,
24
+ causal=False,
25
+ type_vocab_size=2,
26
+ dense_seq_output=True,
27
+ pad_vocab_size_multiple=1,
28
+ tie_word_embeddings=True,
29
+ rotary_scaling_factor=None,
30
+ max_trained_positions=2048,
31
+ **kwargs,
32
+ ):
33
+ self.prenorm = prenorm
34
+ self.parallel_block = parallel_block
35
+ self.parallel_block_tied_norm = parallel_block_tied_norm
36
+ self.rotary_emb_fraction = rotary_emb_fraction
37
+ self.tie_word_embeddings = tie_word_embeddings
38
+ self.fused_dropout_add_ln = fused_dropout_add_ln
39
+ self.fused_bias_fc = fused_bias_fc
40
+ self.use_flash_attn = use_flash_attn
41
+ self.use_xentropy = use_xentropy
42
+ self.qkv_proj_bias = qkv_proj_bias
43
+ self.rotary_emb_base = rotary_emb_base
44
+ self.rotary_emb_scale_base = rotary_emb_scale_base
45
+ self.rotary_emb_interleaved = rotary_emb_interleaved
46
+ self.mlp_fc1_bias = mlp_fc1_bias
47
+ self.mlp_fc2_bias = mlp_fc2_bias
48
+ self.use_rms_norm = use_rms_norm
49
+ self.causal = causal
50
+ self.type_vocab_size = type_vocab_size
51
+ self.dense_seq_output = dense_seq_output
52
+ self.pad_vocab_size_multiple = pad_vocab_size_multiple
53
+ self.rotary_scaling_factor = rotary_scaling_factor
54
+ self.max_trained_positions = max_trained_positions
55
+
56
+ super().__init__(**kwargs)
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0d37ffa3abd423f09c2454898c65c513eec2846170ba9bab7cec7434f2f62974
3
+ size 546938168
modules.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ }
14
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 8192,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "unk_token": {
31
+ "content": "[UNK]",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ }
37
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,62 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[PAD]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "100": {
12
+ "content": "[UNK]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "101": {
20
+ "content": "[CLS]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "102": {
28
+ "content": "[SEP]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "103": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "clean_up_tokenization_spaces": true,
45
+ "cls_token": "[CLS]",
46
+ "do_lower_case": true,
47
+ "mask_token": "[MASK]",
48
+ "max_length": 8192,
49
+ "model_max_length": 8192,
50
+ "pad_to_multiple_of": null,
51
+ "pad_token": "[PAD]",
52
+ "pad_token_type_id": 0,
53
+ "padding_side": "right",
54
+ "sep_token": "[SEP]",
55
+ "stride": 0,
56
+ "strip_accents": null,
57
+ "tokenize_chinese_chars": true,
58
+ "tokenizer_class": "BertTokenizer",
59
+ "truncation_side": "right",
60
+ "truncation_strategy": "longest_first",
61
+ "unk_token": "[UNK]"
62
+ }
vocab.txt ADDED
The diff for this file is too large to render. See raw diff