david-quiros/finetuned-snowflake-e79a91f5-6c6e-4b6d-bb90-1f543a7278c4

SentenceTransformer based on Snowflake/snowflake-arctic-embed-l-v2.0

This is a sentence-transformers model finetuned from Snowflake/snowflake-arctic-embed-l-v2.0. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Snowflake/snowflake-arctic-embed-l-v2.0
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("david-quiros/finetuned-snowflake-e79a91f5-6c6e-4b6d-bb90-1f543a7278c4")
# Run inference
sentences = [
    'The weather is lovely today.',
    "It's so sunny outside!",
    'He drove to the stadium.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.6667
cosine_accuracy@3	1.0
cosine_accuracy@5	1.0
cosine_accuracy@10	1.0
cosine_precision@1	0.6667
cosine_precision@3	0.5556
cosine_precision@5	0.6
cosine_precision@10	0.4667
cosine_recall@1	0.131
cosine_recall@3	0.3476
cosine_recall@5	0.6286
cosine_recall@10	0.8857
cosine_ndcg@10	0.7742
cosine_mrr@10	0.8333
cosine_map@100	0.6825

Training Details

Training Dataset

Unnamed Dataset

• Size: 5 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 5 samples:

  	sentence_0	sentence_1
  type	string	list
  details	min: 9 tokens mean: 11.8 tokens max: 16 tokens	min: 2 elements mean: 4.67 elements max: 8 elements

• Samples:

  sentence_0	sentence_1
  Qué tipo de cosas le interesan a Robert Monestel?	[' Robert Monestel: \u200eLos mensajes y las llamadas están cifrados de extremo a extremo. Solo las personas en este chat pueden leerlos, escucharlos o compartirlos.\n David: Primo, vos podrías pasarnos mañana unas fotos de los colores de los marcos? Sólo para estar seguros\n Robert Monestel: Si claro no hay problema\n David: Pv 👌\n\u200e Robert Monestel: \u200eimagen omitida\n David: Ok ... y cómo se ve del otro color?\n Robert Monestel: Ya te mando la foto\n David: Pv\n\u200e Robert Monestel: \u200eimagen omitida\n David: Qué raro, se ve como blanco ahí 😐\n Robert Monestel: Es gris! Claro\n David: Cómo el tono de los marcos de las celosías?\n Robert Monestel: Si algo parecido\n David: Ok, pv ... entonces mejor cotizame ese marco gris con vidrios transparentes\n Robert Monestel: Ok perfecto ahora te mando el precio\n David: Pv 👍\n David: ... y con el cedazo\n Robert Monestel: Correcto!!!\n David: Ok, tuanis\n Robert Monestel: Hola primo , sale la ventana ya instalada en 70 000 colones...
  Qué le interesa a Abel?	[' Abel: \u200eLos mensajes y las llamadas están cifrados de extremo a extremo. Solo las personas en este chat pueden leerlos, escucharlos o compartirlos.\n\u200e David: \u200eimagen omitida\n David: cualquier cosa, me avisa\n Abel: Me dijeron que puede ser que ese tipo de transferencia demora un poco voy a regresar más tarde a preguntar ahí le aviso.\n David: Ok 👍\n Abel: David hola volví al banco a las tres y media y nada,y el empleada del banco me dijo que le parecía raro pero que esperara a mañana y si no está el depósito entonces es que algo pasó ahí le aviso.\n David: Ok, estamos en contacto\n Abel: Ok.\n Abel: David hola,ya está todo bien con lo del banco,dicen que hay veces que se demora más de viente cuatro horas,bueno Gracia y que la pasen bien,ahí nos hablamos.\n David: Qué dicha! De acuerdo, entonces nos vemos el 3 de enero?\n Abel: Ok.\n Abel: David Hola,cuando pueda deme una llamadita para una consulta,saludes.\n David: Hola don Abel, sería muy tarde para llamarlo ahora? Si no, conversamos mañana.\n\u200e David: \u200eVideo omitido\n Abel: Jajaja,un gran saludo y un abrazo a la familia.\n\u200e David: \u200eaudio omitido\n', ' Abel: \u200eLos mensajes y las llamadas están cifrados de extremo a extremo. Solo las personas en este chat pueden leerlos, escucharlos o compartirlos.\n\u200e David: \u200eimagen omitida\n David: cualquier cosa, me avisa\n Abel: Me dijeron que puede ser que ese tipo de transferencia demora un poco voy a regresar más tarde a preguntar ahí le aviso.\n David: Ok 👍\n Abel: David hola volví al banco a las tres y media y nada,y el empleada del banco me dijo que le parecía raro pero que esperara a mañana y si no está el depósito entonces es que algo pasó ahí le aviso.\n David: Ok, estamos en contacto\n Abel: Ok.\n Abel: David hola,ya está todo bien con lo del banco,dicen que hay veces que se demora más de viente cuatro horas,bueno Gracia y que la pasen bien,ahí nos hablamos.\n David: Qué dicha! De acuerdo, entonces nos vemos el 3 de enero?\n Abel: Ok.\n Abel: David Hola,cuando pueda deme una llamadita para una consulta,saludes.\n David: Hola don Abel, sería muy tarde para llamarlo ahora? Si no, conversamos mañana.\n\u200e David: \u200eVideo omitido\n Abel: Jajaja,un gran saludo y un abrazo a la familia.\n\u200e David: \u200eaudio omitido\n David: Hola don Abel, usted cree que podríamos cambiar mañana por el jueves?\n David: ... u otro día que le sirva en esta semana\n Abel: David hola,si no hay problema el jueves está bue saludes .\n Abel: Jueves está bien\n David: Perfecto. Gracias, don Abel. Por cierto, feliz año 🎉👍\n David: Nos vemos el jueves entonces, si Dios quiere\n Abel: De acuerdo,y también para ustedes un feliz año.\n', ' David: Hola don Abel, usted cree que podríamos cambiar mañana por el jueves?\n David: ... u otro día que le sirva en esta semana\n Abel: David hola,si no hay problema el jueves está bue saludes .\n Abel: Jueves está bien\n David: Perfecto. Gracias, don Abel. Por cierto, feliz año 🎉👍\n David: Nos vemos el jueves entonces, si Dios quiere\n Abel: De acuerdo,y también para ustedes un feliz año.\n Abel: David hola,jaja le cuento seguí su consejo de lo que le conté de los recibos de la luz y el teléfono que me cobraron lo mismo y apunte en tiempos y salió mi numero lo que son los aguisotes y me acorde de su consejo que jugará esos número ,saludes .\n David: Jeje, para eso estamos 😄 Qué bueno! Con mucho más razón, feliz fin de semana 🎉👍\n Abel: Ok\n David: Hola don Abel. Viera que Allison me acaba de recordar que mañana Noel tiene cita en el seguro entonces usted cree que podríamos mejor cambiar mañana por el jueves?\n David: Ahí disculpe que sea tan de último momento\n Abel: Si está bien .\n David: Ok 👌\n Abel: Esta es la planta que le comenté,es la lotería.\n David: 😐 ... va haber que buscarle otro lugar a la planta\n David: Lástima, tanto que le había gustado ahí 😕\n David: Gracias, don Abel 👍\n Abel: Jaja al otro lado de la tapia.\n Abel: David hola,una pregunta,como saldrá más barato comprar el celular por Amazon o comprado directamente en USA.\n David: Hola don Abel, pues yo le tengo bastante fe a Amazon. Por lo que he visto normalmente sale igual o un poco más barato que en las tiendas ... posiblemente vaya saliendo parecido si se toma en cuenta el gasto de shipping pero la gran ventaja es que le evita a uno hacer la vuelta de ir a comprarlo\n Abel: Ok gracias.\n David: 👍\n David: Hola don Abel, con esto de los feriados, qué le parece si mejor nos vemos el próximo martes?\n Abel: Ok\n David: De acuerdo. Gracias. Espero que la pasen bien y que pueda terminar con las verjas 😉\n\u200e Abel: \u200eimagen omitida\n Abel: Sí mucho calor.\n David: 😂\n', ' David: Hola don Abel. Viera que Allison me acaba de recordar que mañana Noel tiene cita en el seguro entonces usted cree que podríamos mejor cambiar mañana por el jueves?\n David: Ahí disculpe que sea tan de último momento\n Abel: Si está bien .\n David: Ok 👌\n Abel: Esta es la planta que le comenté,es la lotería.\n David: 😐 ... va haber que buscarle otro lugar a la planta\n David: Lástima, tanto que le había gustado ahí 😕\n David: Gracias, don Abel 👍\n Abel: Jaja al otro lado de la tapia.\n Abel: David hola,una pregunta,como saldrá más barato comprar el celular por Amazon o comprado directamente en USA.\n David: Hola don Abel, pues yo le tengo bastante fe a Amazon. Por lo que he visto normalmente sale igual o un poco más barato que en las tiendas ... posiblemente vaya saliendo parecido si se toma en cuenta el gasto de shipping pero la gran ventaja es que le evita a uno hacer la vuelta de ir a comprarlo\n Abel: Ok gracias.\n David: 👍\n David: Hola don Abel, con esto de los feriados, qué le parece si mejor nos vemos el próximo martes?\n Abel: Ok\n David: De acuerdo. Gracias. Espero que la pasen bien y que pueda terminar con las verjas 😉\n\u200e Abel: \u200eimagen omitida\n Abel: Sí mucho calor.\n David: 😂\n David: Hola, don Abel 👋 Cómo ha seguido del hombro?\n\u200e Abel: \u200eVideo omitido\n Abel: David qué tal la lluviecita de hoy qué tal,esto es en Cartgo es la esquina noroste del mercado y al fondo la estación del tren jaja.\n David: 😐\n David: Uufff ... ojalá que no haya sido usted tomando el vídeo\n David: Qué baldazo!!\n Abel: Jaja me lo mandó un corresponsal,pero sí que bandazos .\n David: Hola don Abel! Por aquí estamos con visitas entonces cómo le quedaría venir mañana a las 9 o 10 en vez de las 8?\n Abel: David hola,viera qué junto con mi hijo tenemos una cita en tributación en San Pedro justo a las dos de la tarde y ya no se cambian y es qué no urge arreglar un asunto y lo peor es qué para el jueves ya estoy comprometido tendría qué se para el próximo martes y ahí sí pueden ser a cualquier hora.\n David: Ah bueno, ni modo. Qué disfrute la visita de su hijo. Nos vemos el próximo martes si Dios quiere 👌\n Abel: Gracias y disculpe.\n David: No hay problema\n Abel: David hola,cómo estamos para mañana.\n David: Hola don Abel, siempre estamos para mañana. Le quedaría bien venir a las 9 en vez de las 8 en vista de que mis suegros salen como a las 8:30?\n Abel: Si no hay problema a las 9.\n David: Perfecto 👌 Muchas gracias.\n David: Hola don Abel, no me había dado cuenta que hoy es feriado\n David: Usted siempre viene para acá?\n Abel: Si ya casi llego pero ahí ablamos\n David: Ok\n\u200e Abel: \u200eVideo omitido\n Abel: Jaja que tal este vídeo .\n David: No sabía yo que Trump hablara español y menos que cantara 😂\n Abel: Jaja no hay duda que es muy versátil y presidente de USA de este tipo todo se puede esperar,y asta cantante:))&&/€bueno.\n David: Hola don Abel, cómo ha seguido? Qué le parece venir el viernes?\n Abel: Bueno yo creo que ya pase lo peor Uff ,y si no hay problema el viernes está bien.\n David: 👍 Que siga mejor\n Abel: Gracias .\n David: Hola don Abel, cómo ha seguido? Siempre estamos para mañana?\n Abel: Todo bien,y si mañana nos vemos.\n David: Ok 👍 Usted cree que podría venir más bien a las 8:30? Es que tengo una reunión a las 8?\n Abel: Si no hay problema .\n David: Gracias. Ahí disculpe. Buenas noches, don Abel.\n Abel: Igual.\n\u200e David: \u200eimagen omitida\n Abel: Jaja.\n']
  Qué le gusta hacer a Abel para divertirse?	[' Abel: David hola,cómo estamos para mañana.\n David: Hola don Abel, siempre estamos para mañana. Le quedaría bien venir a las 9 en vez de las 8 en vista de que mis suegros salen como a las 8:30?\n Abel: Si no hay problema a las 9.\n David: Perfecto 👌 Muchas gracias.\n David: Hola don Abel, no me había dado cuenta que hoy es feriado\n David: Usted siempre viene para acá?\n Abel: Si ya casi llego pero ahí ablamos\n David: Ok\n\u200e Abel: \u200eVideo omitido\n Abel: Jaja que tal este vídeo .\n David: No sabía yo que Trump hablara español y menos que cantara 😂\n Abel: Jaja no hay duda que es muy versátil y presidente de USA de este tipo todo se puede esperar,y asta cantante:))&&/€bueno.\n David: Hola don Abel, cómo ha seguido? Qué le parece venir el viernes?\n Abel: Bueno yo creo que ya pase lo peor Uff ,y si no hay problema el viernes está bien.\n David: 👍 Que siga mejor\n Abel: Gracias .\n David: Hola don Abel, cómo ha seguido? Siempre estamos para mañana?\n Abel: Todo bien,y si mañana nos vemos.\n David: Ok 👍 Usted cree que podría venir más bien a las 8:30? Es que tengo una reunión a las 8?\n Abel: Si no hay problema .\n David: Gracias. Ahí disculpe. Buenas noches, don Abel.\n Abel: Igual.\n\u200e David: \u200eimagen omitida\n Abel: Jaja.\n Abel: David hola,para preguntarle si llevo o no la mochila mañana?\n David: Hola don Abel, sí ... ahora que casi no estamos usando el carro no vemos que nos haga falta. Igual, muchas gracias. Nos vemos mañana si Dios quiere 👍\n Abel: Ok.\n David: Buenos días, don Abel. Ahora que vinieron mis suegros íbamos a aprovechar para salir esta semana que viene. Entonces era para ver si podríamos vernos de nuevo el martes 10. Qué tal?\n Abel: Ok,\n David: Gracias. Que tenga una buena semana 👍\n Abel: Igualmente y qué disfruten.\n Abel: David hola,espero qué esté en su casa o en el Caribe y no en Guanacaste y si está ahí todos bien??\n Abel: Terrible lluvia.\n David: Hola don Abel, pues sí estuvo feo. Andábamos en Guanacaste 😬Perdimos comunicación desde el miércoles hasta ayer. Llegamos hace poquito. Todos bien, por dicha. Lección aprendida.\n David: Por cierto, quería preguntarle ... usted cree que sea posible cambiar el martes por el jueves en vista de que mis suegros se van el miércoles?\n Abel: Por dicha qué todo salió bien pero si estaba anunciado el mal clima y bueno ya en casa y si nos vemos el jueves,saludes,\n David: Ok, perfecto 👌Nos vemos el jueves, si Dios quiere. Ahí luego le cuento la aventura con lujo de detalle 😄\n Abel: Ok\n David: Buenos días, don Abel. Viera que se nos quebró el pichel del coffeemaker. Usted sabe donde podría comprar un repuesto aquí en Tres Ríos.\n David: ??\n Abel: Bueno aquí en tres rios de Musmani cincuenta metros al norte,de la Muni cien al norte la esquina deagonal ay otra venta de repuestos y costado norte del cementerio sobre carretera vieja,ojalá encuentre,saludes.\n David: Ok, voy a ponerme vivo 👍 Gracias, don Abel. Feliz fin de semana!\n David: Hola don Abel, ya Allison y yo nos recuperamos. Le parece bien venir mañana a las 7am?\n Abel: Si esta bien,nos vemos.\n David: Gracias. Buenas noches! Nos vemos\n Abel: David hola,para preguntarle cómo estamos para mañana.\n David: Hola don Abel, disculpe que no le haya avisado antes. Sí, todo en pie. Aquí lo esperamos mañana si Dios quiere.\n Abel: A las siete u ocho?\n David: A las ocho ... de ahora en adelante seguimos a las 8\n Abel: Ok\n David: Buenas noches! Que descanse\n Abel: Gracias igual .\n David: Hola don Abel, para el tamal de mañana ... usted prefiere de cerdo o de pollo?\n Abel: Como de los dos,pero si se puede de pollo mejor y gracias.\n David: Ok, perfecto 👌 Hasta mañana si Dios quiere\n Abel: Ok\n', ' David: Hola don Abel, cómo empieza la semana? Fíjese que quería hacerle unos arreglos a los tubos de los lavatorios y quería saber si usted tenía un fontanero de confianza. No creo que lo vaya a hacer ya pero quería ir averiguando. Gracias. Saludos!\n Abel: Hola David,aquí de momento todo tranquilo,Ojalá un día qué saqué un ratito y me pueda dar una llamadita para contarle algo,no.es urgente y de momento no se me ocurre algún fontanería pero voy a ver qué le averiguo,saludes.\n David: Ok, claro don Abel ... espero pegarle una llamadita hoy o mañana en la noche\n David: después de las 9pm no hay problema?\n Abel: No hay problema.\n David: 👍\n Abel: David Hola,viera qué tengo una buena producción de bananos y me gustaría regalarles unos,sí le parece se los paso a dejar mañana e la mañana,se los dejó dentro de una bolsa y guindado del portón para qué los recojan después,saludes a la familia.\n\u200e David: \u200eaudio omitido\n Abel: David Hola,pasé en la mañana y deje los bananonos en la jardinera entre el portón del garaje y el portón de la entrada a la casa,saludes.\n David: https://www.facebook.com/1164778026875794/posts/3474658972554343/?sfnsn=wa\n Abel: WOW qué triste realidad.\n Abel: Davi Hola,y qué la pase súper bien hoy y siempre con su linda familia,saludes y un abrazo.\n\u200e David: \u200eaudio omitido\n Abel: Jajajajajaja éste vídeo son las palabras más sabias qué escuche en mí vida.\n Abel: Y claro me encantaría verlos,aunque sea de la acera guardando el espacio,nos hablamos,un abrazo.\n David: 😉👍\n Abel: HAY David qué pena ,anoche salí un momento con mí esposa un mandado rápido y dejé el teléfono en la casa y cuándo regrese no lo revisé y no vi su mensaje,lo qué le iba a preguntar es qué tengo una mano de bananos qué le quería compartir y ponernos de acuerdo cuándo se los podía llevar,saludes.\n David: Buenos días, don Abel. Muchas gracias por acordarse de nosotros. Viera que nosotros tenemos restricción hoy pero mañana teníamos pensado salir a hacer unas vueltas entonces podríamos coordinar. De lo contrario, vamos a estar guardados hoy aquí en la casa. Estamos en contacto. Saludes!\n Abel: David Hola y buenos días,yo no tengo inconveniente de salir pero me dice mí esposa qué le encantaría ver a los chicos,bueno igual a mí entonces sí pueden pasar por aquí sería genial,ahí me avisa si puede y más o menos la hora,yo estoy todo el día,saludes.\n David: De acuerdo 👍 Mañana antes de salir lo llamamos para ver si podemos darnos la vuelta. Feliz tarde! Que disfruten la lluvia!\n Abel: Jaja a quedarse en casa,ni modo.\n\u200e David: \u200eVideo omitido\n David: Hola don Sabel, por aquí me pasaron este vídeo con buenos tips y me acordé de usted. Espero que estén todos bien. Saludos 👋😃\n David: … don Sabel 🤦\u200d♂️\n Abel: David HOLA y buenos días,y si muy interesante el vídeo u más qué yo me paso haciendo arreglos en la casa,y muchos saludes para usted y un gran abrazo a la familia,saludes.\n\u200e David: \u200eaudio omitido\n Abel: David HOLA y qué gusto tener noticias de ustedes y sí yo siempre me acuerdo mucho de ustedes y viera qué é ido a la feria algunas veces me encantaría vernos aunque se qué tenemos diferentes horarios,pero me alegra saber de ustedes,saludes y un abrazo a toda la familia por cierto tengo un gran racimo de bananas y cuándo madure le pasó unas manitas muchos saludes.\n\u200e David: \u200eimagen omitida\n Abel: Ok,qué linda foto.\n Abel: Abel Mesen Quiros 1461-128.\n David: Muchas gracias, don Abel 🙏 La audiencia es en el Juzgado de Violencia Doméstica (ahí en el PISAV) este lunes 15 de mayo a las 10am. Estamos en contacto.\n Abel: David éso es del cementerio Asia el sur?\n David: más bien del cementerio hacia el oeste, como hacia el Taller del Artista: https://www.google.com/maps/place/PISAV+La+Uni%C3%B3n/@9.9081089,-83.9923854,17.39z/data=!4m6!3m5!1s0x8fa0e1137ae7b49b:0x9338ea2f900860e8!8m2!3d9.9091859!4d-83.9935134!16s%2Fg%2F11b7q5wf9_\n Abel: Ok ya me ubique.']

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 10
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	cosine_ndcg@10
1.0	1	0.7742
2.0	2	0.7742
3.0	3	0.7742
4.0	4	0.7742
5.0	5	0.7742
6.0	6	0.7742
7.0	7	0.7742
8.0	8	0.7742
9.0	9	0.7742
10.0	10	0.7742

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}