🖥️ 코딩 및 개발 자료
경기북부 도시 주제 분석 프로그램 공유
P
Park DK
Category
Empty
URL
Empty
경기북부 도시들 가평, 구리, 고양, 남양주, 동두천, 양주, 연천, 의정부, 파주, 포천 (가나다 순) 의 최근 5개년 뉴스 주제를 분석할 수 있는 프로그램입니다.
패키지 설치 및 환경 설정
먼저 프로그램이 제대로 작동하기 위해 필요한 패키지를 설치하고 설정하는 단계입니다. 이 작업은 처음 프로그램을 실행할 때만 필요하며, 모든 필수적인 도구들이 설치됩니다. 예를 들어, 폰트 설정과 자연어 처리를 위한 도구들이 준비됩니다.
!pip install bareunpy
!pip install pymysql
!pip install pymysql
이 두 줄의 코드는 필요한 라이브러리(예: bareunpy, pymysql)를 설치합니다. Bareunpy는 한국어 자연어 처리를 돕고, PyMySQL은 데이터베이스와의 연결을 가능하게 해줍니다.
Google Drive 마운트
Google Drive에서 데이터를 불러오기 위해 Google Drive를 마운트합니다. 데이터 파일은 Google Drive에 저장되며, 이 데이터를 불러와서 뉴스 분석을 진행합니다.
from google.colab import drive
drive.mount('/content/drive')
drive.mount('/content/drive')
데이터 처리
이 단계에서는 프로그램이 뉴스 데이터를 불러오고, 결측값(NaN)을 처리하여 데이터가 깨끗하게 준비되도록 합니다. 긍정 또는 부정 감성을 필터링하고, 원하는 날짜 범위로 데이터를 제한합니다.
sent_data['date'] = pd.to_datetime(sent_data['date'], format='%Y%m%d')
filtered_data = sent_data[(sent_data['date'] >= start_date) & (sent_data['date'] < end_date)]
filtered_data = sent_data[(sent_data['date'] >= start_date) & (sent_data['date'] < end_date)]
이 코드는 뉴스 데이터에서 날짜를 기준으로 최근 5년치 데이터를 필터링하는 코드입니다.
선택할 수 있는 도시들 (가나다 순)
도시를 선택하는 단계에서는 초보자도 쉽게 사용할 수 있도록 원하는 도시를 선택할 수 있습니다. 예를 들어, 가평, 구리, 고양 등 경기북부의 도시를 선택하여 그 도시와 관련된 뉴스를 분석할 수 있습니다.
cities = ['가평', '구리', '고양', '남양주', '동두천', '양주', '연천', '의정부', '파주', '포천']
target = '가평' # 예시로 가평을 선택
target = '가평' # 예시로 가평을 선택
사용자는 이 부분에서 원하는 도시를 선택할 수 있습니다.
주제 추천 함수
선택한 도시에 대한 뉴스를 분석하여 주요 주제를 추출합니다. 주요 단어와 문서 내용을 바탕으로 적합한 주제를 추천하는 방식입니다. 이 과정에서는 주제를 명사형으로 헤드라인처럼 도출하고, 그 이유도 함께 제공합니다.
def create_prompt(entry):
top_words = entry.get('Top Words', [])
top_docs = entry.get('Top Document Contents', [])
prompt = "다음의 주요 단어들과 문서 내용을 바탕으로 가장 적절한 주제를 추천해 주세요:"
return prompt
top_words = entry.get('Top Words', [])
top_docs = entry.get('Top Document Contents', [])
prompt = "다음의 주요 단어들과 문서 내용을 바탕으로 가장 적절한 주제를 추천해 주세요:"
return prompt
이 코드를 통해 프로그램이 도시와 관련된 주요 단어와 문서 내용을 기반으로 뉴스 주제를 추천합니다.
시각화
마지막 단계는 분석 결과를 시각화하여 보여줍니다. 이 부분은 그래프 등을 통해 뉴스 주제의 흐름이나 빈도 등을 시각적으로 확인할 수 있는 부분입니다.
import matplotlib.pyplot as plt
import seaborn as sns
import seaborn as sns
sns.barplot(x='year', y='frequency', data=topic_data)
plt.show()
plt.show()
이 코드는 분석한 데이터를 그래프로 시각화하여 최근 5개년 동안의 주요 주제를 한눈에 볼 수 있게 해줍니다.
Subscribe to '동두천 Upgrade'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to '동두천 Upgrade'!
Join Slashpage and subscribe to '동두천 Upgrade'!
