Upload 3 files

Model/NER/VLSP2016/Load_model.py

@@ -0,0 +1,34 @@
+from transformers import RobertaConfig, AutoConfig
+from transformers import AutoTokenizer, AutoModelForTokenClassification
+from Model.NER.VLSP2021.Ner_CRF import PhoBertCrf,PhoBertSoftmax,PhoBertLstmCrf
+from Model.NER.VLSP2021.Predict_Ner import ViTagger
+import torch
+from spacy import displacy
+import re
+device = 'cuda' if torch.cuda.is_available() else 'cpu'
+MODEL_MAPPING = {
+    'vinai/phobert-base': {
+        'softmax': PhoBertSoftmax,
+        'crf': PhoBertCrf,
+        'lstm_crf': PhoBertLstmCrf
+    },
+}
+if device == 'cpu':
+        checkpoint_data = torch.load('E:/demo_datn/pythonProject1/Model/NER/VLSP2016/best_model.pt', map_location='cpu')
+else:
+        checkpoint_data = torch.load('E:/demo_datn/pythonProject1/Model/NER/VLSP2016/best_model.pt')
+
+configs = checkpoint_data['args']
+print(configs.model_name_or_path)
+tokenizer = AutoTokenizer.from_pretrained(configs.model_name_or_path)
+model_clss = MODEL_MAPPING[configs.model_name_or_path][configs.model_arch]
+config = AutoConfig.from_pretrained(configs.model_name_or_path,
+                                        num_labels=len(checkpoint_data['classes']),
+                                        finetuning_task=configs.task)
+model = model_clss(config=config)
+model.resize_token_embeddings(len(tokenizer))
+model.to(device)
+model.load_state_dict(checkpoint_data['model'],strict=False)
+print(model)
+
+

Model/NER/VLSP2016/best_model.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:13751c02dcf0158d003899ff0aa11b0489772446f41e0ab9e57c3790756119ec
+size 537745865

Model/NER/app_NER.py

@@ -0,0 +1,131 @@
+import streamlit as st
+from spacy import displacy
+from Model.NER.VLSP2021.Predict_Ner import ViTagger
+import re
+
+import torch
+
+
+
+
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
+def process_text(text):
+    # Loại bỏ dấu cách thừa và dấu cách ở đầu và cuối văn bản
+    processed_text = re.sub(r'\s+', ' ', text.strip())
+    return processed_text
+
+def show_ner():
+
+    st.sidebar.title('Datasets')
+    dataset = st.sidebar.selectbox("Datasets", ("VLSP2016", "VLSP2021"))
+    st.header("NER")
+    text = st.text_area("Enter your text for NER:", height=300)
+    text = process_text(text)
+    if st.button("Process NER"):
+        if dataset == "VLSP2021":
+                tagger = ViTagger(model_path='E:/demo_datn/pythonProject1/Model/NER/VLSP2021/best_model.pt')
+                a = text
+                b = tagger.extract_entity_doc(a)
+
+                # Danh sách các từ và nhãn NER
+                # words_and_labels = [('Dự', 'O'), ('báo', 'O'), ('thời', 'O'), ('tiết', 'O'), ('2 ngày', 'DATETIME-DATERANGE'), ('tới', 'O'), ('Nam   Bộ', 'LOCATION-GPE'), ('có', 'O'), ('mưa', 'O'), ('dông', 'O')]
+                words_and_labels = b
+                # Tạo danh sách từ
+                words = [word for word, _ in words_and_labels]
+                # Tạo danh sách thực thể và nhãn cho mỗi từ, loại bỏ nhãn 'O'
+                entities = [{'start': sum(len(word) + 1 for word, _ in words_and_labels[:i]),
+                             'end': sum(len(word) + 1 for word, _ in words_and_labels[:i + 1]), 'label': label} for
+                            i, (word, label)
+                            in enumerate(words_and_labels) if label != 'O']
+                # print(entities)
+
+                # Render the visualization without color for 'O' labels
+                html = displacy.render(
+                    {"text": " ".join(words), "ents": entities, "title": None},
+                    style="ent",
+                    manual=True,
+                    options={"colors": {"DATETIME-DATERANGE": "#66c2ff",
+                                        "LOCATION-GPE": "#ffcc99",
+                                        "O": None,  # Màu cho nhãn 'O'
+                                        "QUANTITY-NUM": "#ffdf80",
+                                        "EVENT-CUL": "#bfbfbf",
+                                        "DATETIME": "#80ff80",
+                                        "PERSONTYPE": "#ff80ff",
+                                        "PERSON": "#bf80ff",
+                                        "QUANTITY-PER": "#80cccc",
+                                        "ORGANIZATION": "#ff6666",
+                                        "LOCATION-GEO": "#66cc66",
+                                        "LOCATION-STRUC": "#cccc66",
+                                        "PRODUCT-COM": "#ffff66",
+                                        "DATETIME-DATE": "#66cccc",
+                                        "QUANTITY-DIM": "#6666ff",
+                                        "PRODUCT": "#cc6666",
+                                        "QUANTITY": "#6666cc",
+                                        "DATETIME-DURATION": "#9966ff",
+                                        "QUANTITY-CUR": "#ff9966",
+                                        "DATETIME-TIME": "#cdbf93",
+                                        "QUANTITY-TEM": "#cc9966",
+                                        "DATETIME-TIMERANGE": "#cc8566",
+                                        "EVENT-GAMESHOW": "#8c8c5a",
+                                        "QUANTITY-AGE": "#70db70",
+                                        "QUANTITY-ORD": "#e699ff",
+                                        "PRODUCT-LEGAL": "#806699",
+                                        "LOCATION": "#993366",
+                                        "ORGANIZATION-MED": "#339933",
+                                        "URL": "#ff4d4d",
+                                        "PHONENUMBER": "#99cc99",
+                                        "ORGANIZATION-SPORTS": "#6666ff",
+                                        "EVENT-SPORT": "#ffff80",
+                                        "SKILL": "#b38f66",
+                                        "EVENT-NATURAL": "#ff9966",
+                                        "ADDRESS": "#cc9966",
+                                        "IP": "#b38f66",
+                                        "EMAIL": "#cc8566",
+                                        "ORGANIZATION-STOCK": "#666633",
+                                        "DATETIME-SET": "#70db70",
+                                        "PRODUCT-AWARD": "#e699ff",
+                                        "MISCELLANEOUS": "#806699",
+                                        "LOCATION-GPE-GEO": "#99ffff"}}
+                )
+                # print(html)
+                st.markdown(html, unsafe_allow_html=True)
+        elif dataset == "VLSP2016":
+                tagger = ViTagger(model_path='E:/demo_datn/pythonProject1/Model/NER/VLSP2016/best_model.pt')
+                a = text
+                b = tagger.extract_entity_doc(a)
+
+                # Danh sách các từ và nhãn NER
+                # words_and_labels = [('Dự', 'O'), ('báo', 'O'), ('thời', 'O'), ('tiết', 'O'), ('2 ngày', 'DATETIME-DATERANGE'), ('tới', 'O'), ('Nam   Bộ', 'LOCATION-GPE'), ('có', 'O'), ('mưa', 'O'), ('dông', 'O')]
+                words_and_labels = b
+                # Tạo danh sách từ
+                words = [word for word, _ in words_and_labels]
+                # Tạo danh sách thực thể và nhãn cho mỗi từ, loại bỏ nhãn 'O'
+                entities = [{'start': sum(len(word) + 1 for word, _ in words_and_labels[:i]),
+                             'end': sum(len(word) + 1 for word, _ in words_and_labels[:i + 1]), 'label': label} for
+                            i, (word, label)
+                            in enumerate(words_and_labels) if label != 'O']
+                # print(entities)
+
+                # Render the visualization without color for 'O' labels
+                html = displacy.render(
+                    {"text": " ".join(words), "ents": entities, "title": None},
+                    style="ent",
+                    manual=True,
+                    options={"colors": {"MISC": "#806699",
+                                        "ORG": "#ff6666",
+                                        "LOC": "#66cc66",
+                                        "PER": "#bf80ff",
+                                        "O": None}}
+                )
+                # print(html)
+                st.markdown(html, unsafe_allow_html=True)
+
+
+
+
+
+        # Sử dụng widget st.html để hiển thị HTML
+
+    # Hiển thị văn bản đã nhập
+    # st.write("Văn bản đã nhập:", text)