Pycharm 설치 우선 아래 링크로 들어가서 Pycharm Professional을 다운받자. https://www.jetbrains.com/pycharm/download/ Download PyCharm: Python IDE for Professional Developers by JetBrains Download the latest version of PyCharm for Windows, macOS or Linux. www.jetbrains.com 설치 도중 Intallation Options이 나오면 아래와 같이 체크하자. Pycharm 기본 세팅 Pycharm을 실행시킨 후 왼쪽 상단 위 File -> Open -> 원하는 폴더 선택 -> OK 클릭 해당 폴더에 .idea 폴더가 생성된 것을 확인할..

pymongo란? mongoDB라는 데이터베이스를 조작하려면 특별한 라이브러리인 pymongo라는 라이브러리가 필요하다. 기본 파이썬 라이브러리가 아니기 때문에 따로 설치를 하거나 pycharm professional을 사용하고 있으면 아래 링크를 참고하여 pymongo, dnspython를 설치하자. https://duckgugong.tistory.com/152 프로젝트 생성 및 패키지 설치하기 프로젝트 생성하기 (Pycharm Professional) 첫번째 방법 파이참 왼쪽 상단 File -> New Project를 클릭하고 나타나는 화면의 상단 Location 에서 원하는 경로를 선택한 다음 New enviroment using 클릭 후 Vritua.. duckgugong.tistory.com p..

mongoDB란? No-SQL 딕셔너리 형태로 데이터를 저장해두는 DB다. 고로 데이터 하나 하나 마다 같은 값들을 가질 필요가 없다. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있다. Atlas란? DB를 Cloud형태로 제공해주는 클라우드 서비스! Atlas 가입하기 우선 아래 링크로 접속하자 https://account.mongodb.com/account/register Cloud: MongoDB Cloud account.mongodb.com sign up with Google 선택해서 구글로 로그인 박스에 체크 후 Submit 클릭 Organization 생성 아래 링크로 접속 https://cloud.mongodb.com/ MongoDB Cloud MongoDB Cloud ..

우선 크롤링에 필요한 bs4(beautifulsoup4) 패키지를 설치하자! 아래 링크를 참고해서 bs4 패키지를 설치하자! 만약 requests 패키지가 없다면 추가로 설치해주자! https://duckgugong.tistory.com/152 프로젝트 생성 및 패키지 설치하기 프로젝트 생성하기 (Pycharm Professional) 첫번째 방법 File -> Location 에서 원하는 경로를 선택한 다음 New enviroment using 클릭 후 Vritualenv 선택하기. 그 다음, Location에 선택한 경로 뒤에 venv가 써.. duckgugong.tistory.com 크롤링 기본 세팅 코드 아래 기본 템플릿을 가지고 크롤링을 위한 코드를 작성하면 된다! import requests ..

HTTP (Hypertext Transfer Protocol) HTTP는 서버와 클라이언트가 인터넷상에서 데이터를 주고받기 위한 프로토콜(Protocol)이다 HTTP는 HTML 문서와 같은 리소스들을 가져올 수 있도록 해주는 프로토콜이다. 프로토콜은 컴퓨터 내부에서, 또는 컴퓨터 사이에서 데이터의 교환 방식을 정의하는 규칙 체계이다. HTTP는 웹에서 이루어지는 모든 데이터 교환의 기초이며, 서버-클라이언트 프로토콜이기도 하다. 서버-클라이언트 프로토콜이란 (보통 웹브라우저인) 수신자 측에 의해 요청이 초기화되는 프로토콜을 의미한다. HTTP 특징 1. 클라이언트-서버 구조 클라이언트가 서버에 요청을 보내면 서버는 그에 대한 응답을 보내는 클라이언트-서버 구조로 이루어져 있다. Request/Respo..

메타문자 . ^ $ * + ? { } [ ] \ | ( ) 메타 문자란 원래 그 문자가 가진 뜻이 아닌 특별한 용도로 사용하는 문자를 말한다. 문자 클래스 [ ] 문자 클래스를 만드는 메타 문자인 [ ] 사이에는 어떤 문자도 들어갈 수 있다. [ ] 사이의 문자들 중 한 글자를 의미한다. 예를들어 [abcd]라면 a, b, c, d 중 한개라는 의미이다. [ ] 안의 -는 범위를 의미한다. [0-9]라면 0~9 사이 숫자중 하나라는 의미이다. [ ] 안의 맨 앞의 ^는 NOT을 의미한다. [^0-9]라면 0~9를 제외한 문자 하나를 의미한다. 주의사항 ! [ ] 사이에서 ^를 쓰고 싶으면 맨 앞에 쓰면 안됨! NOT을 의미하기 때문 Dot(.) .은 줄 바꿈 문자인 \n을 제외한 모든 문자와 매치됨을 의..