분류 전체보기

Programming/Python 웹 스크래퍼 만들기

Python selenium 활용해서 webscrapper 기초 제작 3

5.14 Select 이전에 작성했던 코드 실행하면, indeed 로 접속해서 python 검색한 크롬창이 띄어진다. 마우스 우클릭 - inspect(검사) from requests import get from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.chrome.options import Options options = Options() options.add_experimental_option('excludeSwitches', ['enable-logging']) browser = webdriver.Chrome(options=options) base_url = 'https://kr.indeed.com/j..

Programming/Python 웹 스크래퍼 만들기

Python None

5.13 None None은 True, False, 숫자, 문자열 처럼 변수에 넣을 수 도 있고, 리스트나 딕셔너리 안에 넣어도 되는 데이터 타입이다. None 을 쓸 때는, 무언가가 없을 때 이다. False와 헷갈릴수 있는데, False 는 True 가 아니다는 것을 의미한다. None은 무언가가 "없을 때"를 의미한다, 혹은 무언가가 있어야 하는데 아무것도 없을 때를 의미. None은 무언가가 있어야 하는데 없다고 나타내주는 데이터 타입이다. 지난 게시물에서 아래 코드를 사용했을 때 li들을 출력했는데, 일부 li 들은 구인 정보가 있었지만, 어떤 li 는 mosic-zone 으로 구인 정보가 없는 li 가 있었다. from requests import get from bs4 import Beaut..

Programming/Python 웹 스크래퍼 만들기

Python selenium 활용해서 webscrapper 기초 제작 2

5.11 Recursive 이전 게시물에서 Selenium 을 이용해서 브라우저를 열었다. from requests import get from selenium import webdriver from selenium.webdriver.chrome.options import Options options = Options() options.add_experimental_option('excludeSwitches', ['enable-logging']) browser = webdriver.Chrome(options=options) browser.get('https://kr.indeed.com/jobs?q=python') print(browser.page_source) while(True): pass 이전에 제작..

Programming/Python 웹 스크래퍼 만들기

Python selenium 활용해서 webscrapper 기초 제작 1

5.11 Recursive https://indeed.com/ indeed 역시 weworkremotely 사이트와 마찬가지로 구인구직 사이트 이다. weworkremotely 에서 했듯이 동작방법을 알아본다. 검색창에 python 을 검색하고 어떤 방식으로 동작하는지 알아본다. jobs?q= 부분에 검색하고 싶은 키워드를 입력하면 된다. 이전에 만들었던 main.py 파일로 들어가서 base_url → 검색에 필요한 최소 url search_term → 검색어(키워드) response → base_url 과 search_term 변수를 합친 전체 url status_code != 200 으로 접속한 웹페이지가 정상인지 확인 ( status_code 관련 게시물은 여기를 클릭 ) response.text..

Programming/Python 웹 스크래퍼 만들기

Python Refactor

5.10 Refactor Refactor : 결과의 변경 없이 코드의 구조를 재조정함. - 가독성을 높이고 유지보수를 편하게 한다. 코드를 삭제하기는 싫고 재사용하기 위해 아래 코드를 별도의 파일로 이동시키고 function 안에 넣으려고 한다. from requests import get from bs4 import BeautifulSoup base_url = "https://weworkremotely.com/remote-jobs/search?utf8=%E2%9C%93&term=" search_term = "python" response = get(f'{base_url}{search_term}') if response.status_code != 200: print("Can't request websit..

Programming/Python 웹 스크래퍼 만들기

Python Beautifulsoup 복습

5.9 Recap Beautifulsoup를 이용하여 웹사이트의 HTML 데이터를 가져왔었다. https://weworkremotely.com/ We Work Remotely: Remote jobs in design, programming, marketing and more Find the most qualified people in the most unexpected places: Hire remote! We Work Remotely is the best place to find and list remote jobs that aren't restricted by commutes or a particular geographic area. Browse thousands..

Security Engineer
'분류 전체보기' 카테고리의 글 목록 (23 Page)