새로운 시작~!

방학에 아이와 함께! 백설 머핀믹스로 홈베이킹 도전기

보안인 — Sun, 15 Feb 2026 21:54:06 +0900

방학 추천 활동
아이와 함께 만드는 홈베이킹
백설 머핀믹스 도전기!
방학 시간, 아이와 달콤한 추억을 만들어 보세요

방학이 시작되면 부모님들의 가장 큰 고민, "아이와 뭘 하면서 시간을 보낼까?" 이거 아닐까요?

밖에 나가기엔 춥고, 집에만 있자니 아이가 심심해하고... 그래서 저희가 선택한 것은 바로 홈베이킹이었어요!

준비물도 간단하고, 아이가 직접 만들 수 있어서 성취감도 느낄 수 있는 CJ 백설 머핀믹스를 소개합니다.

오늘의 주인공 상품 소개

CJ제일제당 백설 머핀믹스 500g

용량 500g (250g x 2봉, 총 2회 조리분)

조리 에어프라이어 / 오븐 모두 가능

수량 머핀 7개 x 2회 = 총 14개 제조 가능

인증 HACCP 인증 안심 제품

최저 7,410원 (배송비 포함)

아이도 쉽게!

계란, 물만 넣고 섞으면 끝!
별도 계량 없이 간편해요

️

촉촉한 맛

겉은 바삭, 속은 촉촉!
카페 머핀 부럽지 않아요

⏰

짧은 조리시간

반죽 10분 + 굽기 20분
총 30분이면 완성!

가성비 최고

7,410원으로 14개!
개당 약 530원의 행복

우리 아이의 머핀 만들기 도전!

단계별로 직접 만들어 본 생생 후기에요

1 달걀과 물을 넣고 거품기로 풀어주기

먼저 볼에 달걀과 물을 넣고 거품기로 열심히 저어줍니다. 아이가 직접 거품기를 잡고 힘차게 섞는 모습이 너무 진지하더라고요! 이 과정에서 아이의 소근육 발달에도 도움이 된답니다.

2 백설 머핀믹스 가루 투입!

달걀물에 백설 머핀믹스 가루를 쏟아 넣어줍니다. 빨간 패키지를 직접 뜯어 넣는 것도 아이에게는 재미있는 경험! 가루가 날리지 않게 천천히 넣어주는 모습이 제법 의젓합니다.

3 가루가 보이지 않을 때까지 골고루 섞기

가루가 보이지 않을 때까지 열심히 섞어주면, 부드럽고 걸쭉한 머핀 반죽이 완성돼요! 반죽 상태를 보며 "엄마, 이 정도면 됐어?" 하고 물어보는 모습이 정말 귀여웠답니다. 반죽 농도가 딱 적당하게 맞춰져 있어서 실패할 걱정이 없어요.

4 반죽을 틀에 정성스럽게 담기

머핀 틀에 반죽을 담아주는 과정! 흘리지 않으려고 조심조심 집중하는 모습이 정말 대견했어요. 다양한 크기의 틀에 나눠 담으니 여러 모양의 머핀을 만들 수 있어서 아이가 더 재미있어 했답니다.

5 두근두근, 오븐에서 완성된 머핀!

오븐에서 갓 나온 머핀들! 볼록하게 부풀어 오른 모습이 정말 탐스러워요. 황금빛으로 예쁘게 구워진 머핀에서 달콤한 냄새가 솔솔~ 집 안 가득 베이킹 향이 퍼져서 온 가족이 행복해지는 순간이었어요. 겉은 살짝 바삭하고, 속은 정말 촉촉해서 식감이 끝내줍니다!

나만의 머핀 꾸미기

만들기의 재미는 여기서 두 배!

초코펜으로 정성스럽게 데코 중!

별, 하트 토핑으로 완성된 작품!

구운 머핀 위에 초코펜, 화이트 초코, 알록달록 슈가 토핑을 올려 꾸며주면 세상에 하나뿐인 나만의 머핀 완성! 아이의 창의력이 빛나는 순간이에요. 만드는 과정 자체가 놀이가 되니 방학에 이보다 좋은 활동이 있을까요?

솔직 후기

처음엔 "아이가 직접 할 수 있을까?" 걱정했는데, 정말 쉬웠어요! 달걀이랑 물만 있으면 되니까 준비할 것도 거의 없고, 아이 혼자서도 대부분의 과정을 해낼 수 있었어요.

맛은요? 겉은 살짝 바삭하면서 속은 정말 촉촉하고 부드러워요. 달달한 향이 입 안 가득 퍼지는데, 카페에서 파는 머핀이랑 비교해도 전혀 뒤지지 않더라고요! 아이도 "엄마, 이거 맛집이다!" 하면서 엄지척을 해줬답니다.

무엇보다 아이가 직접 만들었다는 성취감에 더 맛있게 느껴지는 것 같아요. 가족들한테 나눠주면서 뿌듯해하는 모습이 정말 보기 좋았습니다.

⭐⭐⭐⭐⭐

이런 분들께 추천해요!

✓ 방학 동안 아이와 함께할 활동을 찾고 계신 부모님

✓ 베이킹 초보지만 실패 없는 홈베이킹에 도전하고 싶은 분

✓ 아이에게 직접 만드는 즐거움과 성취감을 느끼게 해주고 싶은 분

✓ 합리적인 가격으로 온 가족이 즐길 간식을 만들고 싶은 분

✓ 에어프라이어나 오븐 하나로 간편하게 베이킹하고 싶은 분

백설 머핀믹스 최저가 보러가기

이 포스팅은 직접 구매하여 작성한 솔직한 후기입니다.

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (3/4)

보안인 — Thu, 20 Jun 2024 21:44:59 +0900

https://cocoabba.tistory.com/66

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (2/4)

https://cocoabba.tistory.com/63#comment9750537 [PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (1/4)그 간 여러번의 포스팅을 통해서 네이버 부동산에 대한 정보를 들여다 볼 수 있었다. https://cocoabba.

cocoabba.tistory.com

이전 2/4 포스팅 이후 포스팅을 진행합니다.

목표 : 네이버 부동산에서 전국 모든 아파트/오피스텔 단지 정보 추출하기
- 항목 : 아파트, 매매가, 전세가, 평형구조, 구조 별 세부 정보

1. 네이버 부동산 단지 정보 살펴보기 (개발자 도구 포함), 결과 양식 확인하기
2. 시/도, 시/군/구, 읍/면/동 정보를 순차적으로 가져오기 (핵심)
3. 선택 아파트 단지 세부 정보 추출하기
4. GUI 버전으로 레이아웃 구성하기

먼저 단지의 기본 정보를 추출하는 코드를 확인합니다.

앞에서 언급했듯이 아파트 단지 선택 시 왼쪽 상단에 보이는 이 정보를 추출하기 위한 코드입니다.

아파트 단지 간략정보

python

def get_simpleInform_danji(simple_Information):

complexTypeName = str(simple_Information["complexTypeName"])   #구분(APT/OP)
complexName = str(simple_Information["complexName"])           #단지이름
totalHouseHoldCount = str(simple_Information["totalHouseHoldCount"]) #세대수
totalDongCount = str(simple_Information["totalDongCount"])   #동 수
useApproveYmd = str(simple_Information["useApproveYmd"])          #사용승인일
AreaRange=str(simple_Information["minArea"])+"~"+str(simple_Information[“maxArea"]) #면적

#매매가
PriceRange=str(simple_Information[“minPrice"]) +"~"+ str(simple_Information[“maxPrice"])

#전세가
LeasePriceRange=str(simple_Information[“minLeasePrice"])+"~"+str(simple_Information [“maxLeasePrice"])

    ret_val = {"구분(APT/OP)":complexTypeName,
               "단지이름":complexName,   "세대수":totalHouseHoldCount,
               "동 수":totalDongCount,   "사용승인일":useApproveYmd,
               "면적 범위":AreaRange,     "매매가":PriceRange,
               "전세가":LeasePriceRange}
    return ret_val

danji_name = complexNMs_in[0]
complex = complexNos_in[0]

#단지 간략정보
print("[결과 추출] {} - {}({})".format(cities_dep3[6], danji_name, complex))
down_url_simple='https://new.land.naver.com/api/complexes/overview/{} ?complexNo={}'.format(complex, complex)
r_simple = requests.get(down_url_simple,headers=headers)
r_simple.encoding = "utf-8-sig"
simple_Information_json=json.loads(r_simple.text)

simple_info = get_simpleInform_danji(simple_Information_json)
print("[simple_info]", simple_info)

이 코드는 특정 단지의 간략 정보를 추출하고 출력하는 함수와 그 함수를 호출하는 예제입니다.

다음은 코드의 동작을 단계별로 설명한 것입니다.

- 단지 간략 정보 추출 함수 정의:

> get_simpleInform_danji 함수는 단지 정보를 입력 받아, 여러 가지 속성을 추출하여 반환.

> 각 속성은 입력된 simple_Information 딕셔너리에서 값을 추출하여 문자열로 변환한 후, ret_val 딕셔너리에 저장.

> ret_val 딕셔너리는 단지의 구분, 이름, 세대수, 동 수, 사용승인일, 면적 범위, 매매가, 전세가 등의 정보를 포함.

- 단지 정보 조회 및 출력:

> 첫 번째 단지의 이름과 코드를 가져옵니다. (=”부천옥길자이”)

> 단지 정보를 조회하기 위해 네이버 부동산 API를 호출.

> API 응답을 JSON 형식으로 변환하여 저장.

- get_simpleInform_danji함수를 호출하여 단지 정보 추출.

- 추출된 단지 간략 정보 출력.

실제 코드 수행 결과값은 아래와 같이 출력됩니다.

결과값

[결과 추출] 옥길동 - 부천옥길자이(110647)

[simple_info]

{'구분(APT/OP)': '아파트',
'단지이름': '부천옥길자이',
'세대수': '566',
'동 수': '5',
'사용승인일': '20180126',
'면적 범위': '110.08~163.58',
'매매가': '74000~160000',
'전세가': '0~0'}

이를 통해 브라우저 내 화면에 있는 정보를 그대로 추출할 수 있는 것을 확인할 수 있습니다.

이어서는 단지 선택 시 상세하게 나오는 정보를 추출해보도록 하겠습니다.

아파트 단지 상세 정보

python

def get_basicInform_danji(info):

# 층 주차대수
    parkingPossibleCount=str(info["parkingPossibleCount"])+"대(세대당 "+str(info["parkingountByHousehold"])+")"
...
    managementOfficeTelNo = str(info["managementOfficeTelNo"]) # 관리사무소

    ret_val = {"총 주차대수":parkingPossibleCount,
               "난방":heatMethodTypeCode,
               "주소(도로)":Address_road, "주소(지번)":Address_jibun,
               "층 수":Floor,             "용적률":batlRatio,
               "건폐율":btlRatio,          "평형대":pyoengNames,
               "건설사":constructionCompanyName, "관리사무소":managementOfficeTelNo}
    return ret_val

#단지 기본정보
down_url_basic = 'https://new.land.naver.com/api/complexes/{}?sameAddressGroup=false'.format(complex)
r_basic = requests.get(down_url_basic,headers=headers)
r_basic.encoding = "utf-8-sig"
basic_Information_json=json.loads(r_basic.text)

basic_info = get_basicInform_danji(basic_Information_json)
print("[basic_info]", basic_info)

이 코드는 특정 단지의 기본 정보를 추출하고 출력하는 함수와 그 함수를 호출하는 예제입니다. 다음은 코드의 동작을 단계별로 설명한 것입니다.

- 단지 기본 정보 추출 함수 정의:

> get_basicInform_danji 함수는 단지 정보를 입력 받아, 여러 가지 속성을 추출하여 반환.

> 각 속성은 입력된 info 딕셔너리에서 값을 추출하여 문자열로 변환한 후, ret_val 딕셔너리에 저장.

> ret_val 딕셔너리는 단지의 총 주차대수, 난방 방식, 주소(도로 및 지번), 층 수, 용적률, 건폐율, 평형대, 건설사, 관리사무소 전화번호 등의 정보 포함.

- 단지 기본 정보 조회 및 출력:

> down_url_basic를 사용하여 단지 정보 URL 생성.

> 응답을 JSON 형식으로 basic_Information_json 저장.

> get_basicInform_danji 를 호출하여 단지 정보 추출.

> 추출된 단지 기본 정보 출력.

요약하면, 이 코드는 단지의 기본 정보를 추출하는 함수를 정의하고, 이를 이용해 특정 단지의 정보를 조회하여 출력합니다. 조회된 정보에는 단지의 총 주차대수, 난방 방식, 주소(도로 및 지번), 층 수, 용적률, 건폐율, 평형대, 건설사, 관리사무소 전화번호 등이 포함됩니다.

이를 통해 브라우저 내 화면에 있는 정보를 그대로 추출할 수 있는 것을 확인할 수 있습니다.

이어서는 단지 선택 후 확인할 수 있는 “단지 내 면적별 정보”에 대해서 조금 더 상세하게 정보를 추출해보도록 하겠습니다. 본 단지에서는 8개의 면적 별 정보가 존재하는 것을 확인할 수 있습니다.

단지 내 면적별 세부 정보

python

def get_additionalInform_danji(pyeong):

    Area = str(pyeong["supplyArea"]) + "/"+str(pyeong["exclusiveArea"]) # 공급/전용
...
    entranceType = str(pyeong["entranceType"]) # 현관구조

    ret_val = {"공급/전용":Area,
               "방수/욕실수":room_bathcnt,
               "해당면적 세대수":householdCountByPyeong,
               "현관구조":entranceType
               }
    return ret_val

complex = complexNos_in[0]

# 단지 기본정보
down_url_basic = 'https://new.land.naver.com/api/complexes/{}?sameAddressGroup=false'.format(complex)
r_basic = requests.get(down_url_basic,headers=headers)
r_basic.encoding = "utf-8-sig"
basic_Information_json=json.loads(r_basic.text)

# 보유 평형대
danji_p_list = basic_Information_json['complexPyeongDetailList']
cnt_pyeong = len(danji_p_list)

if cnt_pyeong == 0:
    print("평형 정보가 없습니다.")

else :
    print("[pyeong information]")
    for p_idx,pyeong in enumerate(danji_p_list) :
        #단지 정보
        additional_info = get_additionalInform_danji(pyeong)
        print(additional_info)

이 코드는 특정 단지의 추가 정보를 추출하고 출력하는 함수와 그 함수를 호출하는 예제입니다. 다음은 코드의 동작을 단계별로 설명한 것입니다.

- 추가 정보 추출 함수 정의:

> get_additionalInform_danji 함수는 입력된 평형 정보를 받아, 여러 가지 속성을 추출하여 반환.

> 각 속성은 입력된 pyeong 딕셔너리에서 값을 추출하여 문자열로 변환한 후, ret_val 딕셔너리에 저장.

> ret_val 딕셔너리는 단지의 공급/전용 면적, 방수/욕실수, 해당 면적의 세대수, 현관 구조 등의 정보를 포함.

- 단지 기본 정보 조회 및 평형 정보 추출:

> down_url_basic를 사용하여 단지 정보 URL을 생성.

> requests.get을 사용하여 해당 URL에 GET 요청.

> 응답을 JSON 형식으로 basic_Information_json에 저장.

> basic_Information_json에서 complexPyeongDetailList를 추출하여 단지의 평형 정보를 가져옵니다.

> 평형 리스트 크기가 0인 경우 평형 정보가 없는 경우입니다.

> 평형 정보가 있는 경우 각 평형에 정보를 추출하여 출력합니다.

요약하면, 이 코드는 단지의 추가 정보를 추출하는 함수를 정의하고, 이를 이용해 특정 단지의 평형 정보를 조회하여 출력합니다. 조회된 정보에는 단지의 공급/전용 면적, 방수/욕실수, 해당 면적의 세대수, 현관 구조 등이 포함됩니다. 이 정보는 complexPyeongDetailList에서 추출되며, 각 평형에 대해 별도로 출력됩니다.

이를 통해 브라우저 내 화면에 있는 8개 평형대에 대해서 각각의 상세 정보를 그대로 추출할 수 있는 것을 확인할 수 있습니다.

마지막으로 해당 단지에서 확인할 수 있는 매물 목록을 추출해보도록 하겠습니다.

단지 내 매물 목록

python

nms, cities = get_sidolist ()
nms_dep2, cities_dep2 = get_sigungulist(nms[1])
nms_dep3, cities_dep3 = get_sigungulist(nms_dep2[12])
complexNos_in, complexNMs_in = get_danjilist(nms_dep3[6])

# 단지 코드 입력
complex = complexNos_in[0]
down_url = 'https://new.land.naver.com/api/articles/complex/{}?realEstateType={}&page={}&tradeType={}'.format(complex, "APT", 1, "A1")
r = requests.get(down_url,data={"sameAddressGroup":"false"},headers=headers)
r.encoding = "utf-8-sig"

# print("r.text:", r.text)
temp=json.loads(r.text)

# flag_continue = temp['isMoreData']
# temp=pd.DataFrame(temp['articleList'])

print("단지명 : ", complexNMs_in[0])
selected_columns = ['articleNo','tradeTypeName','floorInfo','dealOrWarrantPrc','direction','buildingName','latitude','longitude','realtorName']

temp=pd.DataFrame(temp['articleList'])

temp = temp[selected_columns]
print(temp)

이 코드는 네이버 부동산 특정 단지(=“부천옥길자이”)의 매물 정보를 조회하고 출력합니다. 전체적인 동작을 단계별로 요약하면 다음과 같습니다.

- 매물 정보 조회:

> 샘플로 매물 정보를 추출할 단지로 “부천옥길자이” 첫 번째 단지 코드를 사용하여 매물 정보를 조회합니다.

> realEstateType은 아파트(APT), page는 1, tradeType은 매매(A1) 의미

- 매물 정보 출력:

> 조회된 매물 정보 중 선택된 컬럼만 추출하여 데이터프레임으로 변환하고 출력합니다.

> 선택된 컬럼은 articleNo(매물 번호), tradeTypeName(거래 유형), floorInfo(층 정보), dealOrWarrantPrc(거래 가격), direction(방향), buildingName(건물 이름), latitude(위도), longitude(경도), realtorName(공인중개사 이름)입니다.

이 코드는 특정 단지의 매물 정보를 조회하고, 필요한 정보만 추출하여 출력하는 작업을 수행합니다.

이를 통해 브라우저 내 화면에 있는 매물의 정보 중 원하는 정보를 추출할 수 있는 것을 확인할 수 있습니다.

본 과정을 전자책으로 발행하였습니다.

전자책에서는 개발 전체 과정을 디테일하게 다루고 있으며, 특히 Full-소스코드를 포함하고 있습니다.

관심있으신 분들은 아래 링크 확인해주시면 감사드리겠습니다.

https://kmong.com/self-marketing/582782/YUlipmOiWe

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (2/4)

보안인 — Thu, 20 Jun 2024 11:22:37 +0900

https://cocoabba.tistory.com/63#comment9750537

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (1/4)

그 간 여러번의 포스팅을 통해서 네이버 부동산에 대한 정보를 들여다 볼 수 있었다. https://cocoabba.tistory.com/56 [PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/4) 앞선 포스팅에 이어 약 1년이 지난

cocoabba.tistory.com

이전 1/4 포스팅 이후 오랜만에 포스팅을 진행합니다.

목표 : 네이버 부동산에서 전국 모든 아파트/오피스텔 단지 정보 추출하기
- 항목 : 아파트, 매매가, 전세가, 평형구조, 구조 별 세부 정보

1. 네이버 부동산 단지 정보 살펴보기 (개발자 도구 포함), 결과 양식 확인하기
2. 시/도, 시/군/구, 읍/면/동 정보를 순차적으로 가져오기 (핵심)
3. 선택 아파트 단지 세부 정보 추출하기
4. GUI 버전으로 레이아웃 구성하기

i. 시/도 선택 시 python 코드화

python

# HTTP 요청 헤더 설정
headers = {
}

def get_sidolist():
    # 시/도 결정을 위한 URL 설정
    url = 'https://new.land.naver.com/api/regions/list?cortarNo=0000000000'

    # HTTP GET 요청 보내기
    # data={"sameAddressGroup":"false"}: GET 요청의 쿼리 : “동일매물 묶기”:체크해제 옵션
r = requests.get(url, data={"sameAddressGroup": "false"}, headers=headers)

    # HTTP 응답 데이터의 인코딩 설정
    r.encoding = "utf-8-sig"
    # HTTP 응답 데이터를 JSON 형태로 파싱
    temp = json.loads(r.text)

    # 'regionList' 키를 가진 리스트에서 'cortarNo' 및 'cortarName' 추출
    nms = list(pd.DataFrame(temp["regionList"])["cortarNo"]) # 도시 코드 추출
    cities = list(pd.DataFrame(temp["regionList"])["cortarName"]) # 도시명 추출

    # 도시 코드와 도시명을 dictionary 타입으로 묶기
    temp_dicts = dict(zip(nms, cities))
    # 생성된 dictionary 반환
    return temp_dicts

# get_sidolist 함수 호출 및 결과 출력
print(get_sidolist())

이 코드는 다음과 같이 동작합니다:

- requests, json, pandas 라이브러리를 import합니다.

- HTTP 요청에 필요한 헤더 정보를 headers 변수에 설정합니다.

- get_sidolist 함수를 정의합니다.

> 시/도 결정을 위한 URL 설정 합니다.

> HTTP GET 요청을 보내고 응답을 받습니다.

> 받은 응답 데이터를 JSON 형태로 파싱합니다.

> 파싱된 JSON 데이터에서 regionList의 cortarNo와 cortarName을 추출합니다.

> 추출된 데이터를 dictionary 타입으로 묶고 반환합니다.

- get_sidolist 함수를 호출하여 결과를 출력합니다.

이렇게 “시/도”의 목록을 가져오는 코드와 각 라인별로 의미를 살펴보았습니다. 앞서 보았듯 동일한 방법으로 “시/군/구”, “읍/면/동”의 정보도 가져올 수 있습니다.

동일한 코드를 제외하고, 추가되는 부분만 코드를 표현해보겠습니다.

python

[동일 코드]
import requests # 라이브러리 추가영역
…
headers = { … } # HTTP 요청 헤더 설정
data = { … } # HTTP 요청 쿼리 데이터 설정
…
def get_sidolist(): { .. }# 시/도 결정을 위한 URL 설정

#시/군/구, 읍/면/동 추출 함수 정의
def get_sigungulist (param):
url = 'https://new.land.naver.com/api/regions/list?cortarNo={}'.format(param)
r = requests.get(url,data=data,headers=headers)
r.encoding = "utf-8-sig"
temp=json.loads(r.text)

#시/군/구, 읍/면/동 추출
nms_dep2=list(pd.DataFrame(temp["regionList"])["cortarNo"])
#도시명 추출
cities_dep2 = list(pd.DataFrame(temp["regionList"])["cortarName"])

return nms_dep2, cities_dep2

실제 이 과정까지 동일하게 따라와보면 알겠지만, 사실 개발자 도구에서도 보았듯이 “시/군/구” 값을 요청하는 URL 과 “읍/면/동” 값을 요청하는 URL은 서로 같은 요청을 하고 있습니다.

다만, 달라지는 부분은 “cortarNo=” 영역에서 “시/도”에 해당하는 코드를 전달할 경우는 결과로 “시/군/구” 목록에 대한 응답을 받게되며, “시/군/구”에 해당하는 코드를 전달하는 경우는 결과로 “읍/면/동” 목록에 대한 응답을 받게 됩니다.

출력값 검증을 위한 테스트 코드

# 출력값 검증을 위한 테스트 코드
nms, cities = get_sidolist ()
print("시/도 코드 ={}, 시/도 = {}".format(nms[1], cities[1]))

print("\n##경기도 조회 : {}".format(nms[1]))

# get_sigungulist() 함수 호출을 통한 시/군/구 코드 요청 : “경기도”
nms_dep2, cities_dep2 = get_sigungulist(nms[1])
for idx, param in enumerate(nms_dep2):
    print("{} : 시/군/구 코드 ={}, 시/군/구 명 = {}".format(idx, nms_dep2[idx], cities_dep2[idx]))

print("\n##부천시 소사구 조회 : {}".format(nms_dep2[12]))

# get_sigungulist() 함수 호출을 통한 읍/면/동 코드 요청 : “부천시 소사구”
nms_dep3, cities_dep3 = get_sigungulist(nms_dep2[12])
for idx, param in enumerate(nms_dep3):
    print("{} : 읍/면/동 코드 ={}, 읍/면/동 명 = {}".format(idx, nms_dep3[idx], cities_dep3[idx]))

이 코드는 특정 지역의 코드와 이름을 확인하고 출력하는 것입니다. 코드는 세 단계로 나뉘어 있으며, 각 단계는 특정 행정 구역에 대한 정보를 요청하고 출력합니다. 아래는 각 단계의 동작을 설명합니다.

- 시/도 정보 조회:

> get_sidolist() 함수를 호출하여 시/도 코드와 이름을 가져옵니다.

> nms는 시/도 코드 리스트이고, cities는 시/도 이름 리스트입니다.

> 두 번째 시/도 코드를 출력합니다 (nms[1]). (=”경기도”)

> nms[1]과 cities[1] 값을 출력합니다.

- 경기도의 시/군/구 정보 조회:

> get_sigungulist(nms[1]) 함수를 호출하여 경기도의 시/군/구 코드와 이름을 가져옵니다.

> nms_dep2는 시/군/구 코드 리스트이고, cities_dep2는 시/군/구 이름 리스트입니다.

> 각 시/군/구의 코드와 이름을 출력합니다.

- 부천시 소사구의 읍/면/동 정보 조회:

> get_sigungulist(nms_dep2[12]) 함수를 호출하여 부천시 소사구의 읍/면/동 코드와 이름을 가져옵니다. (=“부천시 소사구”)

> nms_dep3는 읍/면/동 코드 리스트이고, cities_dep3는 읍/면/동 이름 리스트입니다.

> 각 읍/면/동의 코드와 이름을 출력합니다.

요약하면, 이 코드는 시/도, 시/군/구, 읍/면/동의 코드와 이름을 단계적으로 조회하고 출력하는 테스트 코드입니다. get_sidolist() 함수는 시/도 정보를, get_sigungulist() 함수는 주어진 코드에 해당하는 시/군/구나 읍/면/동 정보를 반환합니다.

ii. 출력한 특정 동 내의 단지 목록 추출

우리는 위 단계에서 옥길동의 동 코드까지 확인할 수 있었습니다. 해당 동 선택하여 단지 목록 추출을 해보겠습니다.

python

[동일 코드]
import requests # 라이브러리 추가영역
…
headers = { … } # HTTP 요청 헤더 설정
data = { … } # HTTP 요청 쿼리 데이터 설정
def get_sidolist(): { .. }# 시/도 결정을 위한 URL 설정
#시/도, 시/군/구, 읍/면/동 추출 함수 정의
def get_sidolist (): ….
def get_sigungulist (param): ….

#단지 목록 추출 함수 정의
def get_danjilist (dong_code):
    down_url = 'https://new.land.naver.com/api/regions/complexes?cortarNo={} &realEstateType=APT&order='.format(dong_code)
    r = requests.get(down_url,data={"sameAddressGroup":"false"},headers=headers)
    r.encoding = "utf-8-sig"
    temp=json.loads(r.text)

    if len(pd.DataFrame(temp["complexList"])) < 1:
        print ("목록없음")
        return 0
    else:
        #시/군/구 추출
        complexNos_in=list(pd.DataFrame(temp["complexList"])["complexNo"])
        #도시명 추출
        complexNMs_in = list(pd.DataFrame(temp["complexList"])["complexName"])
        return complexNos_in, complexNMs_in

아래의 URL 요청 시, 응답값은 JSON 타입으로 반환이 되며, 응답 내 ["complexList"] 속성 정보 유무를 통해 단지 목록이 존재하는지를 체크합니다. 해당 속성의 정보가 있다면, 단지코드(=complexNo)와 단지명(=complexName)을 추출할 수 있습니다.

URL : new.land.naver.com/api/regions/complexes?cortarNo={dong_code}&realEstateType=APT%3AOPST&order=

아래 결과 추출을 위한 코드 및 결과 값을 보실 수 있습니다.

출력값 검증을 위한 테스트 코드

nms, cities = get_sidolist ()
nms_dep2, cities_dep2 = get_sigungulist(nms[1])
nms_dep3, cities_dep3 = get_sigungulist(nms_dep2[12])
complexNos_in, complexNMs_in = get_danjilist(nms_dep3[6])

#단지 목록 출력
for idx, param in enumerate(complexNos_in):
print("{} : 단지 코드 ={}, 단지명 = {}".format(idx, complexNos_in[idx], complexNMs_in[idx]))

이 코드는 특정 동(=옥길동) 내 위치하는 아파트 단지 코드와 단지 이름을 확인하고 출력하는 코드 입니다.

- 옥길동의 단지 정보 조회:

> get_danjilist(nms_dep3[6]) 함수를 호출하여 옥길동의 단지 코드와 이름을 가져옵니다.

> complexNos_in는 단지 코드 리스트이고, complexNMs_in는 단지 이름 리스트입니다.

> 각 단지의 코드와 이름을 출력합니다.

지금까지의 단계를 요약하면, 브라우저 내 요청이 어떤 데이터를 응답하고, 어떻게 데이터에 접근하는지를 개발자 도구를 통해 확인했습니다. 데이터에 접근하기 위해 시/도, 시/군/구, 읍/면/동, 단지 선택의 과정을 거쳤습니다. 앞에서 살펴본 전체 과정을 파이썬 코드로 구현하는 방법도 확인했습니다.

이어지는 다음 포스팅에서는 아파트 단지를 선택했을 때, 해당 단지의 세부 정보를 어떻게 추출하는지 파이썬 코드로 살펴보겠습니다.

https://cocoabba.tistory.com/67

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (3/4)

https://cocoabba.tistory.com/66 [PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (2/4)https://cocoabba.tistory.com/63#comment9750537 [PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (1/4)그 간 여러번

cocoabba.tistory.com

본 과정을 전자책으로 발행하였습니다.

전자책에서는 개발 전체 과정을 디테일하게 다루고 있으며, 특히 Full-소스코드를 포함하고 있습니다.

관심있으신 분들은 아래 링크 확인해주시면 감사드리겠습니다.

https://kmong.com/self-marketing/582782/YUlipmOiWe

부동산 주거용 매물 추출 프로그램 작성소스코드 제공 - 크몽

꿈꾸는보안인 전문가의 전자책 서비스를 만나보세요. <p>1. 독자 : 부동산에 관심있는 모든 사람들(부동산중개사 포함)</p...

kmong.com

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (1/4)

보안인 — Mon, 18 Dec 2023 13:07:44 +0900

그 간 여러번의 포스팅을 통해서 네이버 부동산에 대한 정보를 들여다 볼 수 있었다.

https://cocoabba.tistory.com/56

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/4)

앞선 포스팅에 이어 약 1년이 지난 시점에 관련 질문이 있는 듯 하여 각 과정을 아래와 같은 단계로 포스팅하려고 합니다. https://cocoabba.tistory.com/42 [PYTHON] 네이버 부동산 상가 매물 크롤링하기 개

cocoabba.tistory.com

https://cocoabba.tistory.com/57

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(2/4)

앞선 포스팅에서 파이선을 이용하여 네이버 부동산 상가 매물 크롤링을 하기 위한 첫 단계로 개발자도구를 활용하여 PC 웹 페이지에 접근하여 과정 별 데이터를 확인하였다. 원하는 데이터가 jso

cocoabba.tistory.com

https://cocoabba.tistory.com/58

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(3/4)

앞선 포스팅에서 python을 이용하여 네이버 부동산 상가 매물 크롤링을 하기 위한 두번째 단계로 개발자도구를 활용하여 PC가 아닌 모바일 웹 페이지에 접근하여 PC에서 요청 시 발생하는 정보보

cocoabba.tistory.com

https://cocoabba.tistory.com/59

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(4/4)

앞선 포스팅 1~3에서 python을 이용하여 네이버 부동산 상가 매물 크롤링을 하기 위한 과정을 세번째 단계로 정리하여 포스팅 하였다. 하지만 이렇게 코드로는 사용성이 낮아지는 부분이 있어서,

cocoabba.tistory.com

본 포스팅 부터는 전국의 모든 아파트 단지 정보를 추출하기 위한 포스팅을 진행하려고 한다.

우선 네이버 부동산에서 어떤 정보를 읽어와야 하는지, 아웃풋이 되는 엑셀에는 어떤 정보들을 담아야 하는지 본 포스팅에서 확인 후 순차적으로 포스팅을 진행할 예정이다.

목표 : 네이버 부동산에서 전국 모든 아파트/오피스텔 단지 정보 추출하기
- 항목 : 아파트, 매매가, 전세가, 평형구조, 구조 별 세부 정보

1. 네이버 부동산 단지 정보 살펴보기 (개발자 도구 포함), 결과 양식 확인하기
2. 시/도, 시/군/구, 읍/면/동 정보를 순차적으로 가져오기 (핵심)
3. Json 데이터 중 원하는 데이터 Pandas를 활용하여 Excel 에 추가하기
4. GUI 버전으로 레이아웃 구성하기

네이버 부동산에서 어떤 정보들을 보여주고 있는지 확인해보자.

N사 아파트·오피스텔 메뉴에서 원하는 매물 구분 선택

지역 선택 1단계 (시(특별, 광역시)/도) -> 2단계 (시/군/구) -> 3단계 (읍/면/동)

읍/면/동 선택 후 해당 단지 내에 존재하는 주거용 부동산 단지 선택 => 단지 매물, 단지 기본정보, 면적 별 정보 열람 가능

이번 과정을 통해 브라우저 상 보이는 정보를 엑셀에 담을 예정이다.

특히, 매물에 대한 정보와 단지 정보 (단지 내 면적별 정보에 대해서는 한 뎁스 안으로 확인하여 기록)도 함께 저장하려고 한다.

브라우저 상 이러한 절차를 확인했으면 위 각 과정 진행 시 개발자 도구에서 우리가 원하는 데이터를 어떻게 가져와야 할 지 확인이 필요하다. 그럼 이어서 개발자도구에서의 데이터를 확인해보자!

(사실 여기가 이 전체 크롤링에서 가장 핵심이 되는 부분이다..!!!)

1. 시/도 클릭 시 개발자 도구에서 확인한 응답 패킷 확인

시/도 버튼 클릭("list?cortarNo=0000000000") 시 전국의 시/도 리스트 응답

이 부분이 전체에서 가장 핵심이 되는 부분이다.

네이버 부동산 화면 내에서 "경기도" 탭을 클릭할 경우( "list?cortarNo=0000000000" 요청), 서울시-경기도 를 시작으로 전국 특별시-광역시-특별자치도를 포함하여 전국 17개 시/도 리스트를 json 타입으로 응답한다. 개발자 도구에서는 Network 탭에서 Type을 "Fetch/XHR" 로 선택하여 값을 확인하였다.

시/도 선택에서는 "경기도"를 선택해 보았다.

2. 시/도 선택("경기도") 시 개발자 도구에서 확인한 응답 패킷 확인

"경기도" 클릭("list?cortarNo=4100000000") 시 경기도 내 시/군/구 리스트 응답

비슷한 구조로 시/도 선택 화면에서 "경기도" 탭을 클릭할 경우, 가평군-고양시 덕양구를 시작으로 경기도 내 모든 시/군/구 리스트를 json 타입으로 응답한다. 1~2번을 잘 생각해보면, 3~4번을 예상할 수 있을 것이다.

시/군/구 선택에서는 "부천시"를 선택해 보았다.

3. 시/군/구("부천시") 선택 시 개발자 도구에서 확인한 응답 패킷 확인

"부천시" 클릭("list?cortarNo=4119000000") 시 부천시 내의 읍/면/동 리스트 응답

비슷한 구조로 시/군/구 선택 화면에서 "부천시" 탭을 클릭할 경우, 계수동-고강동을 시작으로 부천시 내 모든 읍/면/동 리스트를 json 타입으로 응답한다.

읍/면/동 선택에서는 "옥길동"를 선택해 보았다.

4. 읍/면/동("옥길동") 선택 시 개발자 도구에서 확인한 응답 패킷 확인

"옥길동" 클릭("list?cortarNo=4119011500") 시 옥길동 내의 아파트 단지 리스트 응답

비슷한 구조로 읍/면/동 선택 화면에서 "옥길동" 탭을 클릭할 경우( "list?cortarNo=4119011500" 요청) 해당 지역 내 모든 아파트 단지 리스트를 json 타입으로 응답한다.

이제 네이버 부동산에서 확인해야 할 대부분의 정보를 획득하였다. 실제로 위의 과정을 수행해보면, 단지 선택 시 아파트 매물 목록을 확인할 수 있다. (본 포스팅에서는 단지 목록을 가져오는 단계까지 진행 예정)

2번째 포스팅에서부터는 " 2. 시/도, 시/군/구, 읍/면/동 정보를 순차적으로 가져오기 (핵심)" 과정을 실제로 코드와 함께 진행 할 예정이다.

https://cocoabba.tistory.com/66

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (2/4)

cocoabba.tistory.com

본 글을 읽어주시는 모든 분들 2024년 새해 복 많이 받으세요.
올해 본인이 원하는 모든 일들 꼭 이루시는 새로운 한 해 되시길 진심으로 바랍니다.

감사합니다.

본 과정을 전자책으로 발행하였습니다.

전자책에서는 개발 전체 과정을 디테일하게 다루고 있으며, 특히 Full-소스코드를 포함하고 있습니다.

관심있으신 분들은 아래 링크 확인해주시면 감사드리겠습니다.

https://kmong.com/self-marketing/582782/YUlipmOiWe

부동산 주거용 매물 추출 프로그램 작성소스코드 제공 - 크몽

꿈꾸는보안인 전문가의 전자책 서비스를 만나보세요. <p>1. 독자 : 부동산에 관심있는 모든 사람들(부동산중개사 포함)</p...

kmong.com

Django - 에러 해결 방안 str returned non-string (type int)

보안인 — Mon, 5 Jun 2023 09:32:54 +0900

Django 에서 아래와 같은 에러가 발생하여 해결방안을 남겨둔다.

일반적으로 models.py 파일에서 객체를 문자열로 표현하는 메서드"__str__"을 사용하게 된다.

이때 하는 실수로 return 하는 값의 타입을 str 타입이 아닌 다른 타입으로 했을 때 발생하는 오류이다.

필자는 아래와 같이 메서드"__str__"을 사용하면서 return 타입으로는 django 에서 자동으로 생성되는 integer type 의 self.id 값을 return 하게 되면서 타입에 대한 에러가 발생하였다.

아래와 같이 "Exception Type : TypeError" 를 확인 할 수 있다.

이에 아래와 같이 return 타입을 바꾸거나,

return 값을 str 형태로 바꾸어 주면 해결할 수 있다.

[PYTHON] 네이버 중고나라(joonggonara) 물건 크롤링하기-엑셀 추출

보안인 — Tue, 25 Apr 2023 21:47:52 +0900

1. 개발자 도구를 활용한 웹페이지에 대한 분석
2. 분석한 데이터를 활용한 페이지 요청
3. Workbook 을 활용한 Excel 추출

개발자 도구를 활용한 웹페이지에 대한 분석

최근 크몽을 통해서 문의가 들어온 요청을 대응 했던 과정을 포스팅 하려고 한다.

문의사항은 간결하고 명확했다.

필요한 정보는 제목, 내용, 링크, 가격(추가 요청), 작성일(추가요청) 총 5가지 정보로,

검색결과 목록에서 제목, 링크, 작성일 정보를 추출한 후, 해당 물건 상세 페이지에서 내용과 가격정보를 크롤링하면 되는 비교적 간단한 크롤링 요청 건 이다. 추가 조건 중 하나는 "판매완료" 여부를 확인하면 된다.

이를 위해서 우선 중고나라에서 특정 검색어를 입력하여 웹페이지에서 동작 상태를 확인해보았다.

검색조건으로 적용할 수 있는 내용은 기간을 내가 원하는 기간으로 입력하여 조회 할 수 있었다.

상품별 상세 페이지에서 가격과 내용(상세정보)를 확인 할 수 있었다.

이제 데이터 추출을 실제로 어떻게 할지 개발자 도구를 통해서 확인해보자.

먼저 제목의 경우는 HTML 상 <a> 태그의 -> class 명 : "article" 로 find 하면 찾을 수 있을 것으로 판단이 되었다.

그리고 조건이였던 판매완료 정보는 <td> 태그에서 class 명 : "sellout" 포함여부로 구분할 수 있을 것 같다.

판매중의 경우 td_article, 판매 완료의 경우 td_article sellout으로 구분되어 있었다.

작성일 정보도 <td> 태그에서 class 명 : "td_date" 로 확인 할 수 있었다.

다음은 하나의 상품을 선택했을 때 보이는 상세 페이지에서의 데이터를 확인해보자.

상품 선택 시 노출되는 정보는 json 형태로 제공이 되고 있었다.

상품으로의 이동은 상품 고유 번호(articleId)로 이동하게 되며 아래와 같이 접근할 수 있다.

https://apis.naver.com/cafe-web/cafe-articleapi/v2.1/cafes/10050146/articles/{상품 articleId}?query=&useCafeId=true&requestFrom=A

JSON 경로를 살펴보면,

내용 정보는 ['result']['article']['contentHtml'] 경로에 있고, 가격 정보는 ['result']['saleInfo']['price'] 임을 확인 할 수 있다.

이제 모든 준비가 완료되었다.

1. 최초 검색 요청 경로 확인 : 검색 기간 / 검색 명령어 / 페이지 당 상품 수 변수 적용

: https://cafe.naver.com/ArticleSearchList.nhn?search.clubid=10050146&search.searchdate= {검색기간} &search.searchBy=0&search.query={검색 명령어}&search.defaultValue=1&search.includeAll=&search.exclude= &search.include=&search.exact=&search.sortBy=date&userDisplay={페이지 당 상품 수} &search.media=0&search.option=0

2. 필요한 정보의 접근 방법

상품목록 (HTML)
- 판매완료 : <td> 태그에서 class 명 : "sellout" 포함여부
- 제목 : <a> 태그의 -> class 명 : "article"
- 작성일 : <td> 태그에서 class 명 : "td_date"
상품상세 (JSON)
- 내용 : ['result']['article']['contentHtml']
- 가격 : ['result']['saleInfo']['price']

다음 포스팅에서 실제 소스코드를 통해 데이터에 대한 접근 및 추출을 진행해보자.

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(4/4)

보안인 — Wed, 5 Apr 2023 20:48:16 +0900

앞선 포스팅 1~3에서 python을 이용하여 네이버 부동산 상가 매물 크롤링을 하기 위한 과정을 세번째 단계로 정리하여 포스팅 하였다. 하지만 이렇게 코드로는 사용성이 낮아지는 부분이 있어서, 상가매물 선택 시 GUI 로 제공하기 위한 포스팅을 진행하려고 한다.

https://cocoabba.tistory.com/56

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/4)

cocoabba.tistory.com

https://cocoabba.tistory.com/57

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/6)

cocoabba.tistory.com

https://cocoabba.tistory.com/58

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/4)

cocoabba.tistory.com

1. 개발자 도구를 활용한 웹페이지에 대한 분석 -> PC 웹 페이지에 대한 분석
2. 개발자 도구를 활용한 웹페이지에 대한 분석 -> 모바일 페이지에 대한 분석
3. 분석한 데이터를 활용한 페이지 요청 : 그룹(단지) 정보 / 물건정보 추출
4. Tkinter 를 활용한 GUI 프로그램 제작

우선 최종 결과 화면은 아래와 같다.

아래와 같이 원하는 ①지역명을 입력 시 ②상가 종류(상가, 상가주택, 사무실, 공장/창고, 건물, 토지, 지식산업센터)와

거래 유형(매매, 전세, 월세, 단기임대)를 선택 한 후 검색을 하면 표 형태로 검색 결과를 보여주며,

③"엑셀 저장" 기능을 통해 검색 결과를 엑셀로 추출 할 수 있다.

[그림 1] 상가 매물 검색 프로그램

"엑셀 저장" 시 추출되는 결과는 아래의 형태를 보인다.

[그림 2] 상가 검색 결과 엑셀 출력 형태

tkinter 를 활용한 절차는 아래와 같이 진행된다.

1. 관련 라이브러리 추가

2. 전체 레이아웃 구성

2-1 : 3개의 큰 Frame 으로 검색 / 조건 선택 / 결과 출력 레이아웃 구분

2-2 : 상단 Frame -> Entry, Button 추가

2-3 : 중간 Frame -> CheckButton 레이아웃 추가

2-4 : 하단 Frame -> ttk.Treeview 레이아웃(표 형태 레이아웃) 데이터 구성, scrollbar 설정

3. "검색" 기능 구현

: 1~3 포스팅에서 구현한 내용 수행하여, 하단 Frame 의 Treeview 에 데이터 insert

4. "엑셀 저장" 기능 구현

: openpyxl 의 workbook 라이브러리를 활용하여 엑셀 시트에 데이터 입력 후 추출

: 3번 검색 기능 수행 시, 엑셀 시트에 데이터 append 수행

1. 관련 라이브러리 추가

from tkinter import *
import tkinter.ttk
import tkinter.messagebox as msgbox
import requests, math
from bs4 import BeautifulSoup
import json
from openpyxl import Workbook
import datetime

tkinter 관련 라이브러리와 웹 크롤링을 위한 requests, Beautifulsoup, json 을 추가해준다.
openpyxl은 엑셀 작업을 위한 라이브러리이다.
tkinter.ttk 는 treeview는 결과 출력을 위한 테이블(표) 구성을 위한 라이브러리이다.

2. 전체 레이아웃 구성

2-1 : 3개의 큰 Frame 으로 검색 / 조건 선택 / 결과 출력 레이아웃 구분

[그림 3] 상가 매물 검색 프로그램 전체 레이아웃

2-2 : 상단 Frame -> Entry, Button 추가

root = Tk()
root.title("부동산 상가 매물 검색 프로그램")

#검색 프레임 (entry, 검색버튼, 엑셀 버튼)
search_frame = Frame(root)
search_frame.pack(expand=True, pady=10,fill="both")

#검색 입력 창
entry = Entry(search_frame)
entry.pack(side="left",fill="both", expand=True)
entry.insert(0, "검색할 지역명 검색 (예: 서울시 강서구)")
entry.configure(state='disabled')

#entry에 클릭했을 때 on_forcus_in 함수 실행 
x_focus_in = entry.bind('<Button-1>', lambda x: focus_in(entry)) #<Button-1> 왼쪽버튼 클릭
x_focus_out = entry.bind('<FocusOut>', lambda x: focus_out(entry, '검색할 지역명 검색 (예: 서울시 강서구)')) #<FocusOut> 위젯선택 풀릴 시 (다른 곳 클릭 or tab)

#검색버튼
btn_search = Button(search_frame, text="검색", padx=5, pady=5, command = btnsearchcmd)
btn_search.pack(side="left", padx=5, fill="both")

#엑셀 저장 버튼
btn_exportexcel = Button(search_frame, text="엑셀 저장",  padx=5, pady=5, command = btnexportexcel, state=DISABLED)
btn_exportexcel.pack(side="left", padx=5,fill="both")

#프로그램 종료 버튼
btn_exit = Button(search_frame,  text="프로그램 종료", padx=5, pady=5, command = btnexit)
btn_exit.pack(side="left", padx=5,fill="both")

focus_in(entry), focus_out(entry) 함수 기능
- in : 현재 위젯 상태가 "disabled" 인지 확인 후 상태를 "normal" 로 변경 후, 입력되어 있는 정보 삭제
- out : entry 위젯의 값을 불러와서 공백인 경우에 비활성화 처리 한 후, hint(=placeholder) 값을 세팅
각 위젯 별로 pack() 할 시 fill="both" 처리하여 layout 의 양쪽으로 채움

2-3 : 중간 Frame -> CheckButton 레이아웃 추가

# 상가 구분 프레임
sg_condition_frame = Frame(root)
sg_condition_frame.pack(side="top", pady=20,fill="both")

# 큰 프레인 안에 좌:"상가 구분", 우:"거래 유형" 으로 레이아웃 쪼개기
# LableFrame 을 활용하여, checkbutton 을 묶어서 제목:"상가 구분" 붙이기
frame_middle_left = LabelFrame(sg_condition_frame, text="상가 구분")
frame_middle_left.pack(side="left", fill="both", expand=True)

sg_chk1 = IntVar()
sg_chk1_box = Checkbutton(frame_middle_left, text="상가", variable = sg_chk1)# 상가
sg_chk1_box.pack(side="left")
sg_chk1_box.select()

sg_chk2 = IntVar()
sg_chk2_box = Checkbutton(frame_middle_left, text="상가주택", variable = sg_chk2)# 상가주택
sg_chk2_box.pack(side="left")

....

# 거래 유형 프레임
frame_middle_right = LabelFrame(sg_condition_frame, text="거래유형")
frame_middle_right.pack(side="right", fill="both", expand=True)

tr_type1 = IntVar()
tr_type1_box = Checkbutton(frame_middle_right, text="매매", variable = tr_type1)# 매매 
tr_type1_box.pack(side="left")
tr_type1_box.select()

....

체크버튼을 활용하는 경우에는 variable 을 확인 후 결과값(int 값: 체크(1), 비체크(0))을 검사하여, 해당 상가 구분 및 거래 유형 사항을 포함하도록 요청 메시지를 구성해야 함.

2-4 : 하단 Frame -> ttk.Treeview 레이아웃(표 형태 레이아웃) 데이터 구성, scrollbar 설정

# 결과 출력 프레임
result_print_frame = LabelFrame(root, text = "검색 결과")
result_print_frame.pack(side="top", fill="both")

list_frame  = Frame(result_print_frame)
list_frame.pack(side="top", fill="both")

scrollbar = Scrollbar(list_frame)
scrollbar.pack(side="right", fill = "y")

tableview = tkinter.ttk.Treeview(list_frame, columns=["rletTpNm","tradTpNm","prc","spc1","spc2","hanPrc","rentPrc", "rate"],\
                     displaycolumns=["rletTpNm","tradTpNm","prc","spc1","spc2","hanPrc","rentPrc", "rate"], height=20, yscrollcommand=scrollbar.set)
tableview.pack(fill="both")

# 각 컬럼 설정. 컬럼 이름, 컬럼 넓이, 정렬 등
tableview.column("rletTpNm", width=80,anchor="center")
tableview.heading("rletTpNm", text="상가 구분")

tableview.column("tradTpNm", width=80, anchor="center")
tableview.heading("tradTpNm", text="거래 유형", anchor="center")

....

#스크롤바를 움직일 때 표도 같이 이동할 수 있도록 적용
scrollbar.config(command=tableview.yview)

tkinter 에서 Listbox, Treeview와 같이 데이터의 양이 동적으로 변화할 수 있는 위젯을 사용하는 경우는 scrollbar 를 사용해야 하며, 적용해야 하는 layout 에 scrollbar를 생성할 수 있음

scrollbar = Scrollbar(list_frame)

스크롤바를 움직일 때 연결되어 있는 위젯도 같이 반응할 수 있도록 적용 필요(scrollbar.config)

3. "검색" 기능 구현

: 1~3 포스팅에서 구현한 내용 수행하여, 하단 Frame 의 Treeview 에 데이터 insert

def btnsearchcmd():
    maximum_count = 0
    keyword = entry.get()

    url = "https://m.land.naver.com/search/result/{}".format(keyword)
    res = requests.get(url, headers=headers)
    res.raise_for_status()
    
    ....
    
    # 표에 삽입될 데이터
    tablelist = [str(rletTpNm), str(tradTpNm), str(format(prc, ','))+" 만원", str(spc1),
                str(spc2),str(hanPrc)+" 만원", str(format(rentPrc,',') +" 만원"),"7%"]
                
    tableview.insert("", 'end', values=tablelist)
    
    ....
    #엑셀시트에 데이터 append
    ws.append([str(rletTpNm), str(tradTpNm), str(prc * 10000), str(spc1),
                str(spc2),
                str(hanPrc), str(rentPrc * 10000),
                str(flrInfo),str(tagList),
                str(rltrNm), detaild_information])
    ....
    
    
    #검색 완료 후 엑셀 저장 버튼 활성화
    btn_exportexcel.config(state="active")

4. "엑셀 저장" 기능 구현

: openpyxl 의 workbook 라이브러리를 활용하여 엑셀 시트에 데이터 입력 후 추출

: 3번 검색 기능 수행 시, 엑셀 시트에 데이터 append 수행

def btnexportexcel():

    now = datetime.datetime.now()
    nowDatetime = now.strftime('%Y%m%d_%H%M%S')
    keyword = entry.get()

    file_name = keyword+"_"+nowDatetime+".xlsx"
    wb.save("./"+file_name)
    
    msgbox.showinfo("파일 저장", "'"+file_name+"' 파일로 정상적으로 추출되었습니다.")

이상으로 python을 활용하여 네이버 부동산 상가 매물 크롤링하기란 주제로 4번의 포스팅을 통해 개발자모드에서 어떤 데이터를 확인해야 하는지, 웹 -> 모바일 상에 데이터의 모습을 확인하였고, 여기에서 확인된 데이터를 얻는 과정을 알게되었다.

이 과정의 결과물로 나올 수 있는 값을 python 의 tkinter 라이브러리를 활용하여 단순 텍스트가 아닌 GUI 형태의 프로그램을 제작하여, 검색을 용이하게하여 결과도 바로 excel 로 추출할 수 있도록 구현하였다.

모든 포스팅을 보신분이면 하시겠지만, https://cocoabba.tistory.com/58 자료를 통해 거의 핵심이 되는 대부분의 소스코드도 포함해두었으니, 비슷한 기능을 하시는 분들께 도움이 되었으면 좋겠습니다.

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(3/4)

cocoabba.tistory.com

이 글을 읽어주시는 분들 모두 원하는 작업을 더 쉽게 하시는 데 도움이 되었으면 좋겠습니다.

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(3/4)

보안인 — Tue, 4 Apr 2023 10:33:05 +0900

앞선 포스팅에서 python을 이용하여 네이버 부동산 상가 매물 크롤링을 하기 위한 두번째 단계로 개발자도구를 활용하여 PC가 아닌 모바일 웹 페이지에 접근하여 PC에서 요청 시 발생하는 정보보다 간소화 된 데이터를 확인하면서 실제 필요 데이터를 확인하기 위한 요청메시지를 구성하는 단계까지 확인하였다.

https://cocoabba.tistory.com/57

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/6)

cocoabba.tistory.com

1. 개발자 도구를 활용한 웹페이지에 대한 분석 -> PC 웹 페이지에 대한 분석
2. 개발자 도구를 활용한 웹페이지에 대한 분석 -> 모바일 페이지에 대한 분석
3. 분석한 데이터를 활용한 페이지 요청 : 그룹(단지) 정보 / 물건정보 추출
4. Tkinter 를 활용한 GUI 프로그램 제작

이번 포스팅에서는 python 의 requests, beautifulsoup 라이브러리를 이용하여 앞선 포스팅에서 살펴 보았던 각 요청 메시지를 구성하여 진행한다.

전체 요청 절차는 아래와 같다.

1. 모바일 네이버 부동산 사이트에서 검색어(지역명) 입력 : https://m.land.naver.com/search/result/검색어

2. 응답 메시지 내에서 필요 데이터 추출 및 요청 데이터 구성: lat, lon, z, cortarNo, rletTpCds, tradTpCds

3. 재구성한 URL로 상가 물건 그룹 데이터 요청 : https://m.land.naver.com/cluster/clusterList

: 상가 물건 그룹?
- 앞선 포스팅에서 보았던 것처럼 상가를 처음 검색하면 매물 목록이 아니라 원형 형태의 데이터 그룹이 생기고,

각 그룹으로 접근하여, 물건 별 데이터를 확인 할 수 있다.

4. 각 물건 별 데이터 요청 : https://m.land.naver.com/cluster/ajax/articleList

5. JSON 형태 데이터 파싱을 통한 원하는 데이터 추출 : Excel 형태

1. 모바일 네이버 부동산 사이트에서 검색어(지역명) 입력 : https://m.land.naver.com/search/result/검색어

import requests
from bs4 import BeautifulSoup
import json

keyword = "원하는 지역명"

url = "https://m.land.naver.com/search/result/{}".format(keyword)
res = requests.get(url)
res.raise_for_status()


soup = (str)(BeautifulSoup(res.text, "lxml"))

첫 번째 단계는 아주 간단하다. 검색할 지역명을 넣어주고, 다음 데이터 파싱을 위해 soup 객체에 할당하는 과정이 전부다.

2. 응답 메시지 내에서 필요 데이터 추출 및 요청 데이터 구성: lat, lon, z, cortarNo, rletTpCds, tradTpCds

#응답 메시지 속에서 원하는 데이터 얻기
#  filter: {
#             lat: '37.550985',
#             lon: '126.849534',
#             z: '12',
#             cortarNo: '1150000000',
#             cortarNm: '강서구',
#             rletTpCds: '*',
#             tradTpCds: 'A1:B1:B2'
#         },

value = soup.split("filter: {")[1].split("}")[0].replace(" ","").replace("'","")

lat = value.split("lat:")[1].split(",")[0]
lon = value.split("lon:")[1].split(",")[0]
z = value.split("z:")[1].split(",")[0]
cortarNo = value.split("cortarNo:")[1].split(",")[0]
rletTpCds = value.split("rletTpCds:")[1].split(",")[0]
tradTpCds = value.split("tradTpCds:")[1].split()[0]

# lat - btm : 37.550985 - 37.4331698 = 0.1178152
# top - lat : 37.6686142 - 37.550985 = 0.1176292
lat_margin = 0.118

# lon - lft : 126.849534 - 126.7389841 = 0.1105499
# rgt - lon : 126.9600839 - 126.849534 = 0.1105499
lon_margin = 0.111

btm=float(lat)-lat_margin
lft=float(lon)-lon_margin
top=float(lat)+lat_margin
rgt=float(lon)+lon_margin

# 최초 요청 시 디폴트 값으로 설정되어 있으나, 원하는 값으로 구성
rletTpCds="SG" #상가
tradTpCds="A1:B1:B2" #매매/전세/월세 매물 확인

응답메시지 속에 필요한 데이터인 filter: {} 값을 파싱하여 다음 요청에 필요한 각 필드 데이터를 추출하였다.

검색 시, 조건에 해당하는 rletTpCds (상가 구분), tradTpCds (거래 유형) 에 대해서도 응답 메시지 내 데이터를 통해 아래와 같이 디테일한 정보를 확인 할 수 있다.

최초 요청 메시지에서 각 속성값 확인 가능

_tradTpCd = [{tagCd: 'A1', uiTagNm: '매매'}, 
             {tagCd: 'B1', uiTagNm: '전세'},  
             {tagCd: 'B2', uiTagNm: '월세'},
             {tagCd: 'B3', uiTagNm: '단기임대'}];
_rletTpCd = [{tagCd: 'APT', uiTagNm: '아파트'}, {tagCd: 'OPST', uiTagNm: '오피스텔'}, {tagCd: 'VL', uiTagNm: '빌라'},
             {tagCd: 'ABYG', uiTagNm: '아파트분양권'}, {tagCd: 'OBYG', uiTagNm: '오피스텔분양권'}, {tagCd: 'JGC', uiTagNm: '재건축'},
             {tagCd: 'JWJT', uiTagNm: '전원주택'}, {tagCd: 'DDDGG', uiTagNm: '단독/다가구'}, {tagCd: 'SGJT', uiTagNm: '상가주택'},
             {tagCd: 'HOJT', uiTagNm: '한옥주택'}, {tagCd: 'JGB', uiTagNm: '재개발'}, {tagCd: 'OR', uiTagNm: '원룸'},
             {tagCd: 'GSW', uiTagNm: '고시원'}, {tagCd: 'SG', uiTagNm: '상가'}, {tagCd: 'SMS', uiTagNm: '사무실'},
             {tagCd: 'GJCG', uiTagNm: '공장/창고'}, {tagCd: 'GM', uiTagNm: '건물'}, {tagCd: 'TJ', uiTagNm: '토지'},
             {tagCd: 'APTHGJ', uiTagNm: '지식산업센터'}];

3. 재구성한 URL로 상가 물건 그룹 데이터 요청 : https://m.land.naver.com/cluster/clusterList

: 상가 물건 그룹?
- 앞선 포스팅에서 보았던 것처럼 상가를 처음 검색하면 매물 목록이 아니라 원형 형태의 데이터 그룹이 생기고,

각 그룹으로 접근하여, 물건 별 데이터를 확인 할 수 있다.

# clusterList?view 를 통한 그룹(단지)의 데이터를 가져온다.
remaked_URL = "https://m.land.naver.com/cluster/clusterList?view=atcl&cortarNo={}&rletTpCd={}&tradTpCd={}&z={}&lat={}&lon={}&btm={}&lft={}&top={}&rgt={}"\
     .format(cortarNo, rletTpCds, tradTpCds, z, lat, lon,btm,lft,top,rgt)

res2 = requests.get(remaked_URL)
json_str = json.loads(json.dumps(res2.json()))

2번에서 구성한 데이터를 활용하여 상가 물건 그룹 데이터를 요청할 수 있다.

[그림 1] clusterList 요청으로 원형 형태의 물건 그룹 정보 확인 가능

응답 메시지 속 JSON 형태의 데이터를 확인해보면 JSON 의 ['data']['ARTICLE'] 값을 통해 상가 물건 그룹 데이터를 확인 할 수 있다.
# 2/4 포스팅과 캡쳐의 시간이 다름에 따라 일부 매물의 수가 다를 수 있음

우린 여기에서 이 데이터를 활용하여, 다음 각 물건 별 데이터 요청을 위한 추가 값을 확인 할 수 있다.

[그림 2] 각 그룹의 데이터를 활용하여 물건 별 데이터 요청 속성값 확인

4. 각 물건 별 데이터 요청 : https://m.land.naver.com/cluster/ajax/articleList

values = json_str['data']['ARTICLE']

# 큰 원으로 구성되어 있는 전체 매물그룹(values)을 load 하여 한 그룹씩 세부 쿼리 진행
for v in values:
    lgeo = v['lgeo']
    count = v['count']
    z2 = v['z']
    lat2 = v['lat']
    lon2 = v['lon']

    len_pages = count / 20 + 1
    for idx in range(1, math.ceil(len_pages)):
        
        remaked_URL2 = "https://m.land.naver.com/cluster/ajax/articleList?""itemId={}&mapKey=&lgeo={}&showR0=&" \
               "rletTpCd={}&tradTpCd={}&z={}&lat={}&""lon={}&totCnt={}&cortarNo={}&page={}"\
            .format(lgeo, lgeo, rletTpCds, tradTpCds, z2, lat2, lon2, count,cortarNo, idx)

5. JSON 형태 데이터 파싱을 통한 원하는 데이터 추출

[그림 3] acticleList 요청에 대한 응답 JSON 형태

마지막 단계에서 articleList 요청을 통해서 각 매물 별 요청 진행 및 원하는 데이터를 얻을 수 있다.

코드는 아래와 같이 구성할 수 있다.

atclNo = v['atclNo']        # 물건번호
rletTpNm = v['rletTpNm']    # 상가구분
tradTpNm = v['tradTpNm']    # 매매/전세/월세 구분
prc = v['prc']              # 가격
spc1 = v['spc1']            # 계약면적(m2) -> 평으로 계산 : * 0.3025
spc2 = v['spc2']            # 전용면적(m2) -> 평으로 계산 : * 0.3025
hanPrc = v['hanPrc']        # 보증금                
rentPrc = v['rentPrc']      # 월세
flrInfo = v['flrInfo']      # 층수(물건층/전체층)
tagList = v['tagList']      # 기타 정보
rltrNm = v['rltrNm']        # 부동산
detaild_information = "https://m.land.naver.com/article/info/{}".format(atclNo)

사실 여기까지가 상가 매물 분석 및 크롤링의 모든 단계이다.

여기에 필자는 사용성 측면의 용이성을 위해 아래와 같이 간단히 GUI 형태의 프로그램을 작성하였다.

내용은 지금까지 작성한 절차를 그대로 적용하였으며, UI 요소만 적용되었다.

마지막 단계에서는 tkinter 를 통해서 지금까지 작성한 내용을 쉽게 사용할 수 있도록 GUI 프로그램 작성에 대한 포스팅을 진행해보겠다.

[그림 4] tkinter 를 활용한 부동산 상가 매물 검색 프로그램 GUI 버전

https://cocoabba.tistory.com/59

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(4/4)

cocoabba.tistory.com

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(2/4)

보안인 — Mon, 3 Apr 2023 23:49:46 +0900

앞선 포스팅에서 파이선을 이용하여 네이버 부동산 상가 매물 크롤링을 하기 위한 첫 단계로 개발자도구를 활용하여 PC 웹 페이지에 접근하여 과정 별 데이터를 확인하였다. 원하는 데이터가 json 형태로 보이는 것은 확인하였으나 원하는 위치(지역)에 대해 요청을 적절히 하기 위한 데이터 구성 파악의 과정이 다소 어려운 것을 확인 할 수 있었다.

https://cocoabba.tistory.com/56

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/6)

cocoabba.tistory.com

1. 개발자 도구를 활용한 웹페이지에 대한 분석 -> PC 웹 페이지에 대한 분석
2. 개발자 도구를 활용한 웹페이지에 대한 분석 -> 모바일 페이지에 대한 분석
3. 분석한 데이터를 활용한 페이지 요청 : 그룹(단지) 정보 / 물건정보 추출
4. Tkinter 를 활용한 GUI 프로그램 제작

이에 이번 포스팅에서는 동일한 작업을 모바일에서 해 봄으로써 데이터 분석을 조금 더 쉽게 할 수 있는지 확인해보려고 한다.

첫번째 화면은 아래와 같다.

[그림 1] 모바일버전의 네이버 부동산에서 "부천시 옥길동" 검색 결과

PC에서 검색했을 때에는 분명 151건의 물건이였으나 모바일에서는 134건으로 물건의 개수부터 차이가 발생했다. 첫번째 화면부터 막히는 것인가? 하지만, 각각의 원 그룹을 눌러보며 확인한 결과 모바일 버전이 이미 최적화되어 있음을 확인했다. 그 최적화란 "동일매물 묶기"가 이미 적용되어 있는 것이였다. PC 버전에서 동일매물 묶기를 적용했더니 동일한 결과가 나오는 것을 확인 할 수 있었다.

[그림 2] 동일매물 묶기로 인한 물건 수 차이 확인

자 이제 처음의 계획처럼 모바일 버전의 트래픽을 살펴보기로 하자.

우선 모든 검색이 끝났을 때 보이는 트래픽은 거의 반으로 줄었다. (PC : 250 -> 모바일 130)

[그림 3] 모바일 네이버부동산 페이지에서 "부천시 옥길동" 검색 시 요청 메시지

모바일 페이지의 요청메시지는 요청한 지역명을 가지고 좌표정보로 변경하여 리다이렉트 요청을 하였고, 해당 메시지의 응답메시지에 다음 요청 메시지 구성을 위한 정보를 제공하고 있었다.

[그림 4] 리다이렉트된 요청의 응답에서 다음 요청을 구성할 수 있는 정보 제공

응답 메시지 내에서는 filter 라는 값에 아래와 같은 정보를 담고 있었다.

 filter: {
            lat: '37.46801',
            lon: '126.82423',
            z: '14',
            cortarNo: '4119011500',
            cortarNm: '옥길동',
            rletTpCds: '*',
            tradTpCds: 'A1:B1:B2'
        },

이번에도 마지막 매물의 정보는 JSON 형태로 응답을 하였고, 해당 요청을 위해서는 몇가지 정보가 필요하였다.

[그림 5] clusterList 요청을 통해 물건 정보 요청

[그림 6] JSON 형태의 물건상세 정보 응답

PC에서 요청한 정보와 유사해 보이지만, 필요한 정보의 개수가 훨씬 적었으며 특히 위 [그림 4]에서 제공한 정보들을 활용하여 재구성할 수 있었다.

https://m.land.naver.com/cluster/clusterList?view=atcl&
                                             cortarNo=4119011500&
                                             rletTpCd=SG&
                                             tradTpCd=A1&
                                             z=14&
                                             lat=37.46801&
                                             lon=126.82423&
                                             btm=37.4349629&
                                             lft=126.7418325&
                                             top=37.5010425&
                                             rgt=126.9066275&
                                             pCortarNo=&
                                             addon=COMPLEX&
                                             isOnlyIsale=false

조금 자세히 살펴보면 데이터를 아래와 같이 구성할 수 있었다.

1. cortarNo, z, lat, lon 정보는 [그림 4] 에서 응답받은 데이터로 구성할 수 있었다.

2. rletTpCd, tradTpCd 정보는 [그림 4] 에서 응답받는 메시지 내에서 html 로 정보를 아래와 같이 제공해주고 있었다. 이에 따라 우리가 원하는 상가 구분과 거래 유형을 지정하면 되는 것이다.

_tradTpCd = [{tagCd: 'A1', uiTagNm: '매매'}, 
             {tagCd: 'B1', uiTagNm: '전세'},  
             {tagCd: 'B2', uiTagNm: '월세'},
             {tagCd: 'B3', uiTagNm: '단기임대'}];
_rletTpCd = [{tagCd: 'APT', uiTagNm: '아파트'}, {tagCd: 'OPST', uiTagNm: '오피스텔'}, {tagCd: 'VL', uiTagNm: '빌라'},
             {tagCd: 'ABYG', uiTagNm: '아파트분양권'}, {tagCd: 'OBYG', uiTagNm: '오피스텔분양권'}, {tagCd: 'JGC', uiTagNm: '재건축'},
             {tagCd: 'JWJT', uiTagNm: '전원주택'}, {tagCd: 'DDDGG', uiTagNm: '단독/다가구'}, {tagCd: 'SGJT', uiTagNm: '상가주택'},
             {tagCd: 'HOJT', uiTagNm: '한옥주택'}, {tagCd: 'JGB', uiTagNm: '재개발'}, {tagCd: 'OR', uiTagNm: '원룸'},
             {tagCd: 'GSW', uiTagNm: '고시원'}, {tagCd: 'SG', uiTagNm: '상가'}, {tagCd: 'SMS', uiTagNm: '사무실'},
             {tagCd: 'GJCG', uiTagNm: '공장/창고'}, {tagCd: 'GM', uiTagNm: '건물'}, {tagCd: 'TJ', uiTagNm: '토지'},
             {tagCd: 'APTHGJ', uiTagNm: '지식산업센터'}];

# 최초 요청 시 디폴트 값으로 설정되어 있으나, 원하는 값으로 구성
rletTpCds="SG" #상가
tradTpCds="A1:B1:B2" #매매/전세/월세 매물 확인

그 이외의 btm(bottom), lft(left), top, rgt(right) 의 값은 위도(lat), 경도(lon) 정보를 활용하여 정상적인 요청 메시지를 참고하여 아래와 같이 구성할 수 있었다.

[정상 요청 데이터]

#   lat=37.550985&
#   lon=126.849534&
#   btm=37.4331698&
#   lft=126.7389841&
#   top=37.6686142&
#   rgt=126.9600839&

[필요 데이터 재구성]

# lat - btm : 37.550985 - 37.4331698 = 0.1178152
# top - lat : 37.6686142 - 37.550985 = 0.1176292
lat_margin = 0.118

# lon - lft : 126.849534 - 126.7389841 = 0.1105499
# rgt - lon : 126.9600839 - 126.849534 = 0.1105499
lon_margin = 0.111

btm=float(lat)-lat_margin
lft=float(lon)-lon_margin
top=float(lat)+lat_margin
rgt=float(lon)+lon_margin

이와 같은 과정을 통해서 최종적으로 우리가 원하는 물건의 정보를 가지고 있는 JSON 값을 요청하는 메시지를 구성할 수 있었다. 이어서 3/6에서는 실제 python 코드를 통해서 구성한 값을 적용하는 내용을 다뤄보겠다.

https://cocoabba.tistory.com/58

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(3/4)

cocoabba.tistory.com

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/4)

보안인 — Mon, 3 Apr 2023 22:14:23 +0900

앞선 포스팅에 이어 약 1년이 지난 시점에 관련 질문이 있는 듯 하여 각 과정을

아래와 같은 단계로 포스팅하려고 합니다.

https://cocoabba.tistory.com/42

[PYTHON] 네이버 부동산 상가 매물 크롤링하기

개인적으로 대학교 시절 컴퓨터 공학과를 나왔다는 점, 그 동안 개발 업무를 해오진 않았지만 대학교 시절이 기억을 되새기면 최근 파이썬 스크립트 작성에 재미를 붙이고 있는 중에 있다. 그

cocoabba.tistory.com

1. 개발자 도구를 활용한 웹페이지에 대한 분석 -> PC 웹 페이지에 대한 분석
2. 개발자 도구를 활용한 웹페이지에 대한 분석 -> 모바일 페이지에 대한 분석
3. 분석한 데이터를 활용한 페이지 요청 : 그룹(단지) 정보 / 물건정보 추출
4. Tkinter 를 활용한 GUI 프로그램 제작

1. 개발자 도구를 활용한 PC 웹페이지에 대한 분석

먼저 네이버부동산 페이지에서 간단하게 지역명을 입력하고, 해당 페이지에서 어떤 정보들을 볼 수 있는지 확인해보자. 아래는 네이버부동산(https://land.naver.com/)에서 "부천시 옥길동" 이란 지역을 검색한 후 검색을 "상가.업무.공장.토지" 선택한 후 상가 구분을 "상가" 로 선택하고, 매매구분을 "매매" 로 선택했을 때 화면이다. 해당 조건의 경우, 검색되는 물건은 151개로 확인 할 수 있다.

우리의 목적은 여기에서 확인할 수 있는 151개의 상가의 각 정보를 추출하는 데 있다.

[그림1] "부천시 옥길동" 상가 & 매매 조건의 상가 매물 수

그럼 여기에서 실제 데이터는 어떻게 보이는지 개발자도구를 통해서 확인해보자.

'F12' 을 통해 접근하거나 "기타" -> "고급기능" 을 통해 "개발자 도구"에 접근 할 수 있다.

개발자 도구를 켜 놓고 방금 했던 동일한 행위를 해보면 인터넷 상에서 내가 원하는 데이터가 어디에 있는지 확인해볼 수 있다. 아무런 다른 액션을 하지 않고 단순히 "부천시 옥길동" 키워드만을 검색했는데 아래와 같이 105번의 requests 가 있었다.

[그림 2] "부천시 옥길동" 검색 시 requests 수

여기에서 아파트로 되어 있는 구분은 상가로 선택하는 순간 트래픽은 두배로 늘어 아래와 같이 250여 requests 를 하는 것을 볼 수 있다. 데이터가 많을수록 우리가 분석해야 할 내용이 많아지므로 이 단계에서 우리는 트래픽을 멈추고 데이터를 살펴볼 수 있다.

[그림 3] "아파트"에서 "상가"로 물건 종류 변경 시 requests 수

이 단계에서 우린 개발자도구의 검색 기능을 활용하여, [그림1]에서 잠시 보였던 상가 매물에 있는 키워드를 통해 검색을 해보자. 필자는 첫번째 매물에 있는 키워드 "투자추천"으로 검색을 해 보았다.

[그림 4] "투자추천"으로 검색 시 요청하는 header Message

https://new.land.naver.com/api/articles?cortarNo=4119011500&order=rank&~

페이지로 검색과 관련한 몇가지 정보를 전달하여 결국은 아래와 같이 json 형태로 구성되어 있는 우리가 원하는 데이터에 접근할 수 있는 것을 볼 수 있다.

[그림 5] 검색결과로 찾은 json 형태의 상가 매물 목록 확인

자 그럼 여기에서 우린 아래와 같은 과정을 통해 특정 페이지를 요청하면 우리가 원하는 매물 목록을 확인 할 수 있음을 알 수 있다.

1. 네이버 부동산 페이지 접속 
2. 원하는 지역명 입력 예) "부천시 옥길동"
3. 지역명에 매핑되는 특정 URL 요청
  > https://new.land.naver.com/api/articles?cortarNo=4119011500&
                                            order=rank&
                                            realEstateType=SG&
                                            tradeType=A1
                                            &tag=::::::::&
                                            rentPriceMin=0&
                                            rentPriceMax=900000000&
                                            priceMin=0&
                                            priceMax=900000000&
                                            areaMin=0&
                                            areaMax=900000000&
                                            oldBuildYears&
                                            recentlyBuildYears&
                                            minHouseHoldCount&
                                            maxHouseHoldCount&
                                            showArticle=false&
                                            sameAddressGroup=false&
                                            minMaintenanceCost&
                                            maxMaintenanceCost&
                                            priceType=RETAIL&
                                            directions=&
                                            page=1&
                                            articleState
4. 호출되는 json 파일 파싱을 통해 원하는 정보로 excel 추출

거의 다 온 것 같다.

그럼 여기에서 핵심은 3번에서 지역명에 매핑되는 특정 URL 이 어떻게 생성되는지만 확인하면 될 것이다.

[그림 6] PC 웹 페이지 요청과정의 Fetch/XHR 데이터

데이터를 JSON 형태로 응답함에 따라 JSON 형식의 데이터를 요청하는 데이터를 확인할 수 있는 개발자 도구의 Fetch/XHR 데이터를 보면, 실제 물건의 세부 데이터를 요청/응답하는 정보를 확인 할 수 있다. 하지만, 앞선 request와 response 를 통해서 다음의 요청메시지를 구성하는 것은 말 처럼 쉽지 않다.

약 400여개의 requets 의 흐름에서 위에서 나오는 다양한 변수가 생성되는 과정을 이해해야 하고 각각의 정보가 어떤 정보를 의미하는지 이해해야 정확하게 원하는 데이터를 얻을 수 있다.

이때 이렇게 복잡한 데이터를 좀 더 쉽게 볼 수 있는 방법 한가지가 바로 mobile 버전의 데이터를 확인해보는 것이다.

스마트폰으로 네이버부동산에 접속하여 동일한 정보를 본다면? 그때도 이렇게 복잡한 데이터 표현될 것인가?

저자는 이 포인트로 모바일 버전으로 동일한 데이터를 다시 확인해 보았다.

https://cocoabba.tistory.com/57

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(2/6)

cocoabba.tistory.com

새로운 시작~!

방학에 아이와 함께! 백설 머핀믹스로 홈베이킹 도전기

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (3/4)

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (2/4)

[PYTHON] 전국 모든 아파트/오피스텔 단지 목록 가져오기 (1/4)

Django - 에러 해결 방안 __str__ returned non-string (type int)

[PYTHON] 네이버 중고나라(joonggonara) 물건 크롤링하기-엑셀 추출

1. 개발자 도구를 활용한 웹페이지에 대한 분석2. 분석한 데이터를 활용한 페이지 요청3. Workbook 을 활용한 Excel 추출

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(4/4)

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(3/4)

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(2/4)

[정상 요청 데이터]

[필요 데이터 재구성]

[PYTHON] 네이버 부동산 상가 매물 크롤링하기(1/4)

Django - 에러 해결 방안 str returned non-string (type int)

1. 개발자 도구를 활용한 웹페이지에 대한 분석
2. 분석한 데이터를 활용한 페이지 요청
3. Workbook 을 활용한 Excel 추출