일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- Python
- 자료구조
- 데이터베이스
- mysql
- django
- Spring
- node.js
- rabbitmq
- 스프링부트
- HTTP
- 파이썬3
- BCI
- db
- 개발
- 웹
- bytecode
- 디자인 패턴
- 파이썬
- ORM
- java
- 스프링 부트
- JPA
- 웹 개발
- 자바
- python3
- 장고
- 보안
- Spring Boot
- 안드로이드
- 스프링
- Today
- Total
목록Crawling (2)
semtax의 개발 일지
개요 이번 시리즈에서는 사용자가 등록한 메가박스 영화의 잔여좌석을 조회해서 알려주는 프로젝트를 진행할 예정입니다. 이번 포스팅에서는, 메가박스 영화 잔여좌석 목록을 크롤링하는 크롤링 함수를 제작할 예정입니다. 메가박스 데이터 수집 일단, 메가박스에서, 영화목록 및 영화 잔여좌석 목록을 어떻게 가져오는지 분석을 해봅시다. 먼저, 아래와 같이 크롬 브라우저로 메가박스에 접속을 해줍시다. 그런 뒤, F12로 개발자 도구를 켜서 네트워크 탭을 클릭한 상태로 예매버튼을 눌러줍시다. 그리고, XHR 탭을 클릭해 줍시다. 그러면은 위 그림과 같이 메가박스 예매버튼을 클릭했을때, 크롬 개발자 도구를 통해 HTTP를 이용해서 서버와 브라우저간에 어떤 데이터가 왔다갔다 하는지 확인할 수 있습니다. 계속해서 개발자 도구를 ..
개요 이번 포스팅에서는 파이썬에서 쉽고 편하게 HTTP(S) 요청을 보내고 받을 수 있는 Requests 라이브러리에 대해 알아보도록 하겠다. Why Requests? 사실 파이썬에는, http(s) 요청을 보내고 받을 수 있는 urllib이나 httplib과 같은 내장 라이브러리들이 존재한다. 하지만, 파이썬 내장 라이브러리들은 사용하는게 불편하다는 단점이 존재한다. 그래서 파이썬 HTTP 라이브러리로 여러가지가 나왔는데, 그 중에서 가장 많이 쓰고있는것이 바로 이 Requests 라이브러리이다. 설치 아래 명령어를 이용해서 설치를 수행하면 된다. $ pip3 install requests 일단 사용은 아래와 같이 하면 된다. import requests r = requests.post('https:/..