File size: 1,127 Bytes
8e635a7
4e195b0
8e635a7
5e1716d
 
 
 
 
 
4e195b0
8e635a7
4e195b0
8e635a7
5e1716d
 
 
8e635a7
4e195b0
8e635a7
5e1716d
 
 
 
 
8e635a7
 
b282e27
8e635a7
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer

# Cargar el modelo en 8 bits usando bitsandbytes
model = AutoModelForCausalLM.from_pretrained(
    "JuanCabs/lapepav0",  # Nombre de tu modelo en Hugging Face
    load_in_8bit=True,     # Cargar el modelo en 8 bits
    device_map="auto"      # Asignar autom谩ticamente a la GPU si est谩 disponible
)
tokenizer = AutoTokenizer.from_pretrained("JuanCabs/lapepav0")

# Definir la funci贸n para generar texto
def generate_text(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(**inputs, max_length=100)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Crear la interfaz de Gradio
interface = gr.Interface(
    fn=generate_text,  # Funci贸n que se ejecutar谩 cuando el usuario env铆e un prompt
    inputs="text",     # Entrada de texto
    outputs="text",    # Salida de texto
    title="Text Generation with 8-bit Model",  # T铆tulo del Space
    description="Introduce un prompt para generar texto usando un modelo en 8 bits"  # Descripci贸n
)

# Lanzar la aplicaci贸n
interface.launch()