웹크롤링2 다음 웹 사이트 검색결과 크롤링 해오기 - Python, BeautifulSoup4, requests 작업환경 Visual Studio Code 1.74.3 Python 3.11.1 Beautifulsoup4 - 4.11.2 들어가기 전 크롤링은 어떤 웹 사이트에서든 가능하나 네이버의 경우에는 웹 로직이 계속 변경되어서 bs4와 request 만으로는 크롤링이 불가능하고 pandas와 selenium 모듈을 사용해야 되는 걸로 알고 있습니다. 거기다가 로직 변경이 계속 이루어져서 주기적으로 코드 최신화가 되어야 합니다. 1. Requests 모듈을 이용한 GET Request 예제 import requests url = "https://www.naver.com/" response = requests.get(url) print("STATUS CODE : ", response.status_code) HTTP.. 2023. 2. 21. 파이썬 셀레니움 find_element의 InvalidArgumentException, NoSuchElementException 에러 이슈 관련 작업환경 : python 3.10.2 작업 라이브러리 버전 : selenium 4.3.0 일단 InvalidArgumentException 에러는 메서드에 제공된 인수가 유효하지 않을 때 발생하는 에러입니다. 즉 인수를 두개 받아야 하는 메서드에 인수가 하나만 지정되었거나 유효하지 않은 인수가 지정되었을 때 발생합니다. NoSuchElementException 에러는 유효하지 않은(존재하지 않는) 요청을 받았을때 발생하는 에러입니다. 요즘 크롤링 공부를 해볼까 해서 인프런에서 크롤링 관련 인강을 듣는데 더보기 코드 from asyncore import write from flask import Flask, render_template, request import requests from bs4 impor.. 2022. 9. 13. 이전 1 다음
