[Python] : Open API 데이터를 DataFrame으로 불러오기

[출처 : stratascratch]

 

🐼 : 기상청_단기예보((구)_동네예보) Open API 데이터 불러오기

데이터를 보기 위해 우리가 직접 데이터를 만드는 방법도 있지만, Open API를 활용하면 굳이 직접 데이터를 만들지 않아도 공짜로 제공되는 데이터가 있어서 이를 활용해보려고 한다.

 

STEP1. 데이터 활용 신청하기

우선, 아래 공공데이터 포털에서 회원가입 및 로그인 진행해야 데이터를 가져올 수 있다. (회원가입 ~ 로그인까지 진행 Go!) 

공공데이터 포털

 

검색에 '기상청'을 검색하면 아래 제목과 같이 이번 포스팅에서 활용하려는 오픈 API가 있다.

여기서 우측 하단 '활용신청'을 클릭해요~

기상청_단기예보((구)_동네예보) 조회서비스 오픈 API 검색

신청 완료 후 '마이페이지 > 데이터활용 > Open API > 활용신청 현황' 경로로 들어오면 아래 [승인] 된 건을 클릭해주세요.

 

오픈API 확인할 수 있는 마이페이지

그러면 아래와 같이 개발계정 상세보기가 뜨는데 여기서 기본정보 칸의 '상세설명'을 클릭하여 Request Parameter와 Response Parameter 확인하기!

 

 

 

STEP2. API를 사용하여 데이터 불러오기

• 개발환경 : Jupyter Notebook / Python3.10.4 / VSCode

# 1. 필요한 module부터 import하기
import requests

# 2. url 입력
url = '${Endpoint}?serviceKey=${서비스키}&pageNo=1&numOfRows=1000&dataType=JSON&base_date=20240316&base_time=0630&nx=55&ny=127'

# 3. url 불러오기
response = requests.get(url)

# 4. response 객체에서 JSON 데이터를 파싱
data = response.json()

# 5. json 데이터를 파싱한 것을 출력해보기!
# 출력하면 아래 이미지와 같이 데이터가 보이는 것을 확인할 수 있음!
print(data)

 

위의 출력물을 봤을 때 뭔지 모르겠음..우선 데이터는 받아온 건 알겠는데 JSON 형태인지 눈으로 구분되지 않아 아래 코드 추가하여 출력!

# 파싱된 데이터를 JSON 문자열로 변환
# 단, 아래 코드를 입력할 때 json Moduel을 import 해주어야 함!
json_api = json.dumps(data, indent=4)

# 데이터값 출력해보기
print(json_api)

indent를 통해 우리가 자주 본 json 형태로 출력되는 것을 확인할 수 있음!

자, 여기까지 왔으면 데이터는 잘 가지고 온 상황이니, 이제 DataFrame을 입혀주자!

# 판다스로 데이터 감싸주기 
fcstInfo_df = pd.DataFrame(data['response']['body']['items']['item'])

# 데이터가 판다스로 잘 출력되는지 확인하기
print(fcstInfo_df)

 

print(fcstInfo_df) 값이 실행됐을 때 결과값!

이렇게 Open API를 python 코드로 간단히 활용하여 출력해보았다. 공공데이터 홈페이지에는 테마별, 국가중점데이터 등 다양한 카테고리별로 데이터가 있으니 공공데이터 포털 내 모든 데이터를 자유롭게 활용해보자!

 

dataType이 XML인 경우는 다음편에 작성 예정이다.

 

표 Header가 좀 더 잘보이도록 아래 추가 코드를 첨부해놨다!

Add Python Code 

# 라이브러리 import
import requests
# import json
import pandas as pd

# url 입력
url = '${Endpoint}?serviceKey=${서비스키}&pageNo=1&numOfRows=1000&dataType=JSON&base_date=20240316&base_time=0630&nx=55&ny=127'

# url 불러오기
response = requests.get(url)

# response 객체에서 JSON 데이터를 파싱
data = response.json()

# data 변수가 json 형태로 잘 출력되는지 확인
# print(data)

# data 결과값
# {'response': {'header': {'resultCode': '00', 'resultMsg': 'NORMAL_SERVICE'}
# , 'body': {'dataType': 'JSON', 'items': {'item': [{'baseDate': '20240316', 
# 'baseTime': '0630', 'category': 'LGT', 'fcstDate': '20240316', 'fcstTime': '0700', 'fcstValue': '0', 
# 'nx': 55, 'ny': 127}, {'baseDate': '20240316', 'baseTime': '0630', 'category': 'LGT', 'fcstDate': '20240316',
# ....

# 2차원 형태로 데이터프레임을 만들어보자!
# 우선 각 Key별로 빈 리스트부터 만들어주자
baseDate_list = []
baseTime_list = []
category_list = []
fcstDate_list = []
fcstTime_list = []
fcstValue_list = []
nx_list = []
ny_list = []

for temps in data['response']['body']['items']['item']:
    baseDate_list.append(temps['baseDate'])
    baseTime_list.append(temps['baseTime'])
    category_list.append(temps['category'])
    fcstDate_list.append(temps['fcstDate'])
    fcstTime_list.append(temps['fcstTime'])
    fcstValue_list.append(temps['fcstValue'])
    nx_list.append(temps['nx'])
    ny_list.append(temps['ny'])

# list가 잘 만들어졌는지 확인
# print(baseDate_list)
# print(category_list)
# print(fcstTime_list)
# print(nx_list)

# list에 잘 들어가면 데이터프레임으로 만들어주기!
Fcast_df = pd.DataFrame({
    'baseDate' : baseDate_list,
    'baseTime' : baseTime_list,
    'category' : category_list,
    'fcstDate' : fcstDate_list,
    'fcstTime' : fcstTime_list,
    'fcstValue' : fcstValue_list,
    'nx' : nx_list,
    'ny' : ny_list
})

# 확인!
display(Fcast_df)

 

출력값