|
|
--- |
|
|
title: Input Method Acceleration |
|
|
emoji: 💻 |
|
|
colorFrom: blue |
|
|
colorTo: pink |
|
|
sdk: gradio |
|
|
sdk_version: 5.34.0 |
|
|
app_file: app.py |
|
|
pinned: true |
|
|
license: mit |
|
|
short_description: Chinese input method accelerator |
|
|
--- |
|
|
|
|
|
# 台灣中文輸入法加速器（ZeroGPU + Gradio v5） |
|
|
|
|
|
## 一、專案概述 |
|
|
本示範結合多種小型中文語言模型，並透過 Hugging Face 的 **ZeroGPU**（H200）即時執行文字生成，模擬中文輸入法中的候選詞建議功能。 |
|
|
|
|
|
## 二、主要功能 |
|
|
… |
|
|
4. **使用 GPU 生成建議**： |
|
|
- 採用 **Beam Search**（`num_beams=M`）同時產出 M 條最可能的候選下段，並在 H200 上執行推理。 |
|
|
… |
|
|
|
|
|
## 三、運作原理 |
|
|
- 點擊「使用 GPU 生成建議」時，函式會以 **Beam Search** 模式呼叫模型： |
|
|
```python |
|
|
outs = gen_pipe( |
|
|
text, |
|
|
max_new_tokens=K, |
|
|
num_beams=M, |
|
|
num_return_sequences=M, |
|
|
do_sample=False, |
|
|
early_stopping=True |
|
|
) |
|
|
|
|
|
|
|
|
## 四、部署步驟 |
|
|
1. 在 Hugging Face Spaces 建立新 Space，框架選 **Gradio SDK**。 |
|
|
2. 在 **Hardware** 欄位選擇 **Zero GPU**（需 PRO 帳號）。 |
|
|
3. 設定 Python 版本為 3.10.13。 |
|
|
4. 上傳 `app.py`、`requirements.txt`、`README.md`。Spaces 會自動安裝相依套件。 |
|
|
5. 點擊 **Deploy**，即可線上使用。 |
|
|
|
|
|
## 五、使用效益 |
|
|
- **快速回應**：利用 GPU burst 提升生成速度。 |
|
|
- **零門檻**：免本地 GPU，開發者與使用者皆可輕鬆試用。 |
|
|
- **多模型對比**：可快速測試不同模型品質與效能。 |
|
|
|
|
|
歡迎體驗高效、無痛的台灣中文輸入法下段建議 Demo！ |
