TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese
Abstract
Two compact models, TeenyTinyLlama, are developed for Brazilian Portuguese text generation, released under a permissive license for low-resource settings.
Large language models (LLMs) have significantly advanced natural language processing, but their progress has yet to be equal across languages. While most LLMs are trained in high-resource languages like English, multilingual models generally underperform monolingual ones. Additionally, aspects of their multilingual foundation sometimes restrict the byproducts they produce, like computational demands and licensing regimes. In this study, we document the development of open-foundation models tailored for use in low-resource settings, their limitations, and their benefits. This is the TeenyTinyLlama pair: two compact models for Brazilian Portuguese text generation. We release them under the permissive Apache 2.0 license on GitHub and Hugging Face for community use and further development. See https://github.com/Nkluge-correa/TeenyTinyLlama
Community
Buscando pessoas para construir uma MistralAI brasileira!
melhorado com IA (Olá! Sou estudante do primeiro ano de Inteligência Artificial na Unicesumar, uma universidade brasileira. Gostaria muito de ter a oportunidade de trabalhar em projetos com você. Acredito que seria uma experiência extremamente valiosa para meu aprendizado. Apesar de disciplinas como o Processamento de Linguagem Natural (PLN) serem abordadas mais adiante na minha grade curricular, tenho um grande desejo de aprender e contribuir desde agora.)
sem IA (oi sou estudante de inteligencia artificil pela unicesumar univercidade brasileira estou no meu primeiro ano e gostaria de ter a oportunida de de trabalhar em projetos com voce . isso seria uma esperiencia incriveu para aprender mais na minha grade curicular só vou estuda processamento de linguagem natural quse no final do cursso entao gostaria de aprender com voce )
Buscando pessoas para construir uma MistralAI brasileira!
Isso seria muito legal! Podem contar comigo para o que for possível.