RichardErkhov/jerteh_-_gpt2-orao-4bits

Quantization made by Richard Erkhov.

gpt2-orao - bnb 4bits

Model creator: https://huggingface.co/jerteh/
Original model: https://huggingface.co/jerteh/gpt2-orao/

Original model description:

datasets: - jerteh/cc100-sr-jerteh - jerteh/SrpWiki - jerteh/SrpELTeC - srwac - procesaur/STARS language: - sr tags: - Srpski - Serbian - GPT2 - generisanje license: cc-by-sa-4.0 pipeline_tag: text-generation widget: - text: Kada bi čovek znao gde će pasti, - text: Jednom davno, - text: Srbija je - text: Najbolji lek za stres je

gpt2-orao — Najveći generativni model za srpski jezik.

Generiše novi tekst, ili nastavlja započeti tekstualni unos
Zasnovan na GPT2-large arhitekturi, 810 miliona parametara
Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena
Jednaka podrška unosa i na ćirilici i na latinici!

Upotreba

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='jerteh/gpt2-orao')
>>> set_seed(23)
>>> generator("", max_length=30, num_return_sequences=5)

[{'generated_text': 'Ja, međutim, ne idem na Adu - kaže Miodrag.'},
{'generated_text': 'Domaćinstvo se nalazilo na mestu zvanom Kulina (ranije Kulina Vakuf) i bilo je jedno od najvećih i naj'},
{'generated_text': 'Regionalne razlike se uglavnom odnose na geografski položaj, geografsko-geografski položaj i ekonomsku razvijenost.'},
{'generated_text': 'Od tada do danas Srbija ne stoji na nogama'},
{'generated_text': 'Iz tog razloga, na ovaj način se postiže bolja efikasnost rada, odnosno smanjuje se vreme potrebno za sprovođenje simulacije.'}]

Pored navedenih, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.

U slučaju potrebe za manjim modelom, pogledajte gpt2-vrabac — manji model obučen na istom korpusu.

Autor

Mihailo Škorić

@procesaur

Computation

Nacionalna AI platforma

ai.gov.rs

Data

JeRTeh

@jerteh

Citiranje

@article{skoric24modeli,
  author    = {Mihailo \vSkori\'c},
  title     = {Novi jezi\vcki modeli za srpski jezik},
  journal   = {Infoteka},
  volume    = {24},
  issue     = {1},
  year      = {2024},
  publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
  url       = {https://arxiv.org/abs/2402.14379}
}