HTML+CSS+JS+Flask/mongoDB+pymongo+크롤링

크롤링한 데이터 mongoDB에 저장하기

What to do? 네이버 영화 랭킹 홈페이지에 들어가서 영화의 평점 순위, 제목, 평점을 크롤링해서 mongoDB에 저장해보자 db의 이름은 duck, 콜렉션의 이름은 movies로 하자! https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829 랭킹 : 네이버 영화 영화, 영화인, 예매, 박스오피스 랭킹 정보 제공 movie.naver.com 순서 request, bs4, pymongo 라이브러리 설치 크롤링할 데이터를 soup 객체에 저장 pymongo로 mongoDB와 연결 soup 객체에서 원하는 데이터만 추출해서 mongoDB에 저장 소스코드 import requests from bs4 import BeautifulS..

pymongo로 mongoDB 연결 + 조작

pymongo란? mongoDB라는 데이터베이스를 조작하려면 특별한 라이브러리인 pymongo라는 라이브러리가 필요하다. 기본 파이썬 라이브러리가 아니기 때문에 따로 설치를 하거나 pycharm professional을 사용하고 있으면 아래 링크를 참고하여 pymongo, dnspython를 설치하자. https://duckgugong.tistory.com/152 프로젝트 생성 및 패키지 설치하기 프로젝트 생성하기 (Pycharm Professional) 첫번째 방법 파이참 왼쪽 상단 File -> New Project를 클릭하고 나타나는 화면의 상단 Location 에서 원하는 경로를 선택한 다음 New enviroment using 클릭 후 Vritua.. duckgugong.tistory.com p..

mongoDB + Atlas 설정

mongoDB란? No-SQL 딕셔너리 형태로 데이터를 저장해두는 DB다. 고로 데이터 하나 하나 마다 같은 값들을 가질 필요가 없다. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있다. Atlas란? DB를 Cloud형태로 제공해주는 클라우드 서비스! Atlas 가입하기 우선 아래 링크로 접속하자 https://account.mongodb.com/account/register Cloud: MongoDB Cloud account.mongodb.com sign up with Google 선택해서 구글로 로그인 박스에 체크 후 Submit 클릭 Organization 생성 아래 링크로 접속 https://cloud.mongodb.com/ MongoDB Cloud MongoDB Cloud ..

크롤링 (bs4)

우선 크롤링에 필요한 bs4(beautifulsoup4) 패키지를 설치하자! 아래 링크를 참고해서 bs4 패키지를 설치하자! 만약 requests 패키지가 없다면 추가로 설치해주자! https://duckgugong.tistory.com/152 프로젝트 생성 및 패키지 설치하기 프로젝트 생성하기 (Pycharm Professional) 첫번째 방법 File -> Location 에서 원하는 경로를 선택한 다음 New enviroment using 클릭 후 Vritualenv 선택하기. 그 다음, Location에 선택한 경로 뒤에 venv가 써.. duckgugong.tistory.com 크롤링 기본 세팅 코드 아래 기본 템플릿을 가지고 크롤링을 위한 코드를 작성하면 된다! import requests ..