Update app.py

app.py

@@ -1,152 +1,111 @@
 import streamlit as st
 import requests
+import openai
 from transformers import pipeline
+import matplotlib.pyplot as plt
 import pandas as pd
 
-# Step 1: 네이버 뉴스 API 호출 함수
-def fetch_naver_news(query, display=10, start=1, sort="date"):
-    client_id = "I_8koTJh3R5l4wLurQbG"  # 네이버 개발자 센터에서 발급받은 Client ID
-    client_secret = "W5oWYlAgur"  # 네이버 개발자 센터에서 발급받은 Client Secret
+# OpenAI API 키 설정
+openai.api_key = "YOUR_OPENAI_API_KEY"
 
+# Step 1: 네이버 뉴스 데이터 수집
+def fetch_news(query, display=5):
+    client_id = "YOUR_NAVER_CLIENT_ID"
+    client_secret = "YOUR_NAVER_CLIENT_SECRET"
     url = "https://openapi.naver.com/v1/search/news.json"
-    headers = {
-        "X-Naver-Client-Id": client_id,
-        "X-Naver-Client-Secret": client_secret,
-    }
-    params = {
-        "query": query,
-        "display": display,
-        "start": start,
-        "sort": sort,
-    }
-
+    headers = {"X-Naver-Client-Id": client_id, "X-Naver-Client-Secret": client_secret}
+    params = {"query": query, "display": display, "start": 1, "sort": "date"}
     response = requests.get(url, headers=headers, params=params)
-    if response.status_code == 200:
-        news_data = response.json()
-        return news_data
-    else:
-        st.error(f"Error: {response.status_code}, {response.text}")
-        return None
-
-# Step 2: GPT 모델 로드 (진보적, 보수적 기사 생성)
-def load_gpt_model():
-    try:
-        gpt_model = pipeline("text-generation", model="gpt2")  # Hugging Face에서 사용할 수 있는 GPT 모델
-        st.write("GPT model loaded successfully.")
-        return gpt_model
-    except Exception as e:
-        st.error(f"Error loading GPT model: {e}")
-        return None
+    return response.json()["items"] if response.status_code == 200 else []
 
-# Step 3: Hugging Face 정치 성향 분석 모델 로드
-def load_huggingface_model():
+# Step 2: 정치 성향 분석 모델 로드
+def load_sentiment_model():
+    return pipeline("text-classification", model="bucketresearch/politicalBiasBERT")
+
+# Step 3: GPT-4를 사용해 대조 관점 기사 생성
+def generate_article_gpt4(prompt):
     try:
-        classifier = pipeline("text-classification", model="bucketresearch/politicalBiasBERT")
-        st.write("Political bias model loaded successfully.")
-        return classifier
+        response = openai.ChatCompletion.create(
+            model="gpt-4",
+            messages=[{"role": "user", "content": prompt}],
+            max_tokens=512,
+            temperature=0.7,
+        )
+        return response['choices'][0]['message']['content']
     except Exception as e:
-        st.error(f"Error loading political bias model: {e}")
-        return None
-
-# Step 4: 정치 성향 분류 함수
-def classify_political_sentiment(text, classifier):
-    result = classifier(text[:512])  # 입력이 너무 길면 잘라서 분석
-    sentiment = result[0]
-    label = sentiment["label"]
-    score = sentiment["score"]
-
-    sentiment_score = score if label == "POSITIVE" else -score
-
-    progressive_keywords = ["복지", "평등", "민주", "환경", "사회적 책임"]
-    conservative_keywords = ["안보", "전통", "경제", "성장", "질서", "국방"]
-
-    if any(keyword in text for keyword in progressive_keywords):
-        return "진보", sentiment_score
-    elif any(keyword in text for keyword in conservative_keywords):
-        return "보수", sentiment_score
-    else:
-        return "중립", sentiment_score
-
-# Step 5: 뉴스 분석 및 결과 출력
-def analyze_news_political_orientation(news_items, classifier, gpt_model):
-    results = {"진보": 0, "보수": 0, "중립": 0}
-    detailed_results = []
-
-    for item in news_items:
+        return f"Error generating text: {e}"
+
+# Step 4: 뉴스 데이터 분석 및 결과 생성
+def analyze_news_political_viewpoint(query, sentiment_model):
+    news_data = fetch_news(query)
+    if not news_data:
+        return "뉴스 데이터를 불러오는 데 실패했습니다.", None, None
+
+    results = []
+    sentiment_counts = {"진보": 0, "보수": 0}
+
+    for item in news_data:
         title = item["title"]
         description = item["description"]
         combined_text = f"{title}. {description}"
 
-        # 정치 성향 분류
-        orientation, score = classify_political_sentiment(combined_text, classifier)
-        results[orientation] += 1
-        
-        # 진보적/보수적 기사 생성
-        prompt = f"진보적 관점에서 기사를 작성해 주세요: {combined_text}"
-        progressive_article = gpt_model(prompt, max_length=512, num_return_sequences=1)[0]['generated_text']
-        
-        prompt = f"보수적 관점에서 기사를 작성해 주세요: {combined_text}"
-        conservative_article = gpt_model(prompt, max_length=512, num_return_sequences=1)[0]['generated_text']
-        
-        detailed_results.append({
+        # 성향 분석
+        sentiment = sentiment_model(combined_text[:512])[0]
+        sentiment_label = sentiment["label"]
+        sentiment_score = sentiment["score"]
+
+        # 진보적/보수적 관점 반대로 기사 생성
+        if sentiment_label == "진보":
+            prompt = f"다음 기사를 보수적 관점에서 작성해주세요:\n{combined_text}"
+        elif sentiment_label == "보수":
+            prompt = f"다음 기사를 진보적 관점에서 작성해주세요:\n{combined_text}"
+        else:
+            continue  # 중립 기사는 제외
+
+        generated_article = generate_article_gpt4(prompt)
+        sentiment_counts[sentiment_label] += 1
+
+        # 결과 저장
+        results.append({
             "제목": title,
-            "요약": description,
-            "성향": orientation,
-            "점수": score,
-            "링크": item["link"],
-            "진보적 기사": progressive_article,
-            "보수적 기사": conservative_article
+            "원본 기사": description,
+            "성향": sentiment_label,
+            "성향 점수": sentiment_score,
+            "대조 관점 기사": generated_article,
         })
 
-    return results, detailed_results
+    return "뉴스 분석이 완료되었습니다.", results, sentiment_counts
 
+# Step 5: 시각화 함수
+def visualize_sentiment_distribution(sentiment_counts):
+    labels = list(sentiment_counts.keys())
+    values = list(sentiment_counts.values())
+    fig, ax = plt.subplots()
+    ax.bar(labels, values, color=['blue', 'red'])
+    ax.set_title("진보 vs 보수 기사 수")
+    ax.set_ylabel("기사 수")
+    st.pyplot(fig)
 
-# Step 6: Streamlit 앱 시작
-st.title("정치 성향 분석 대시보드")
-st.markdown("### 네이버 뉴스 데이터를 실시간으로 수집하고 정치 성향을 분석합니다.")
+# Step 6: Streamlit UI
+st.title("정치적 관점 비교 분석 도구")
+st.markdown("### 뉴스 기사의 정치 성향 분석과 반대 관점 기사 생성")
 
-# 검색 키워드 입력
 query = st.text_input("검색 키워드를 입력하세요", value="정치")
-
 if st.button("분석 시작"):
-    with st.spinner("데이터를 분석 중입니다..."):
-        try:
-            # 네이버 뉴스 데이터 수집
-            news_data = fetch_naver_news(query, display=10)
-            
-            if news_data is None:
-                st.error("뉴스 데이터를 불러오는 데 실패했습니다.")
-            else:
-                news_items = news_data["items"]
-
-                # Hugging Face 모델 로드
-                classifier = load_huggingface_model()
-                gpt_model = load_gpt_model()
-
-                # 뉴스 데이터 분석
-                results, detailed_results = analyze_news_political_orientation(news_items, classifier, gpt_model)
-
-                # 분석 결과 시각화
-                st.subheader("분석 결과 요약")
-                st.write(f"진보: {results['진보']}건")
-                st.write(f"보수: {results['보수']}건")
-                st.write(f"중립: {results['중립']}건")
-
-                # 성향 분포 차트 (막대 차트)
-                st.subheader("성향 분포 차트")
-                st.bar_chart(pd.DataFrame.from_dict(results, orient='index', columns=["건수"]))
-
-                # 세부 결과 출력
-                st.subheader("세부 결과")
-                df = pd.DataFrame(detailed_results)
-                st.dataframe(df)
-
-                # 링크 포함한 뉴스 출력
-                st.subheader("뉴스 링크")
-                for index, row in df.iterrows():
-                    st.write(f"- [{row['제목']}]({row['링크']}) (성향: {row['성향']}, 점수: {row['점수']:.2f})")
-                    st.write(f"**진보적 기사**: {row['진보적 기사']}")
-                    st.write(f"**보수적 기사**: {row['보수적 기사']}")
-
-        except Exception as e:
-            st.error(f"오류 발생: {e}")
+    with st.spinner("분석 중입니다..."):
+        sentiment_model = load_sentiment_model()
+        status_message, analysis_results, sentiment_counts = analyze_news_political_viewpoint(query, sentiment_model)
+
+        # 결과 출력
+        st.subheader(status_message)
+        if analysis_results:
+            st.write("### 성향 분포 시각화")
+            visualize_sentiment_distribution(sentiment_counts)
+
+            st.write("### 분석 결과")
+            for result in analysis_results:
+                st.write(f"#### 제목: {result['제목']}")
+                st.write(f"- **원본 기사**: {result['원본 기사']}")
+                st.write(f"- **성향**: {result['성향']} (점수: {result['성향 점수']:.2f})")
+                st.write(f"- **대조 관점 기사**: {result['대조 관점 기사']}")
+                st.write("---")