File size: 2,556 Bytes
8640452 1d54259 8640452 1d54259 770579c 1d54259 7275230 1d54259 7275230 1d54259 7275230 06fab6d 770579c 06fab6d 1d54259 7275230 1d54259 7275230 3bf7b8b a070d7f 3bf7b8b 770579c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 |
---
license: apache-2.0
language:
- es
---
# Introducci贸n al Chatbot con Fine-Tuning para Consultas de SQL
La conversi贸n de consultas de usuarios en comandos SQL, es una de las aplicaciones m谩s importantes de los LLM en el mundo real en la actualidad, pudiendo facilitar el
procedimiento de acceso a los datos para usuarios de bases de datos no profesionales que no est谩n familiarizados con SQL.
## Detalles del modelo
### Descripcion
En este proyecto se busco hacer fine-tuning a 2 modelos diferentes:
- Mistral 7B
- Code Llama
Para ver cual arrojaba mejores resultados como base
Metodolog铆a como primer paso es generar un set de datos a partir de datos donde se incluya la pregunta y su SQL correspondiente, el segundo paso consiste en augmentar los datos utilizando diferentes t茅cnicas, una vez generados los datos procedemos a una fase de entrenamiento
Despu茅s de entrenar el modelo procedemos a una fase de pruebas se colocan instrucciones ya sean por voz o texto en caso de existir inconsistencias procedemos a una fase de correcci贸n y obtenemos de manera multimodal el resultado esperado, en caso de ser una respuesta corta se dar谩n los resultados con voz y si son muy grades se presentaran en forma de tablas o imagenes
## Uso
Aqui se muestra un link al github con los los notebooks de entreamiento de cada modelo
Primeramente se hizo un fine-tuning al modelo Code Llama para ver los resultados que nos daria
- [CodeLlama](https://github.com/Asis41/LLM_SQL_BaseDatosEspanol/blob/main/sql-consulta-escuela.ipynb)
Como segundo modelo se utilizo Mistral7b este se hizo un fine-tuning con el modelo quantizado a 4bits para que pueda ser ejectuado en una mayor cantidad de equipos
- [Mistral](https://github.com/Asis41/LLM_SQL_BaseDatosEspanol/blob/main/trainer-llm-detect-ai-comp-mistral-7b%20(1).ipynb)
#### Restulados
Todo esto con el fin de poder ver cual modelo da mejores rstulados para ver cual hacia un mejor ajuste pese a la poca cantidad de datos que se esperan aumentar
en un futuro
## Contribuciones
Nuestras contribuciones se listan a continuaci贸n:
- Generar consultas por medio de audio o texto a una base de datos personalizada.
- Entrenamiento de un modelo con texto en espa帽ol para realizar consultas en SQL.
- Entregar respuestas a consultas utilizando un enfoque multimodal (texto, audio o im谩genes).
- Validaci贸n de la calidad de las respuestas con mecanismos de autocorrecci贸n
|