File size: 470 Bytes
70d956a |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
def chunk_text(text: str, max_words: int = 100, stride: int = 50) -> list[str]:
"""
Metni kayan pencere yöntemiyle chunk'lara böler.
- max_words: Her chunk'taki maksimum kelime sayısı
- stride: Her chunk'ın kaç kelime ileri kayacağı
"""
words = text.split()
chunks = []
i = 0
while i < len(words):
chunk = " ".join(words[i:i + max_words])
chunks.append(chunk)
i += stride
return chunks |