반응형 웹 스크래핑2 웹 크롤링과 스크래핑의 차이 웹 크롤링과 웹 스프래핑은 단어도 비슷하고 기본적으로 유사한 의미를 지니다보니 혼용되어 많이 쓰기도 하고 어떤 단어를 어떤 상황에 써야하나 헷갈릴 때도 많다. 이 두가지의 차이점을 알아보자. 웹 크롤링 웹 크롤링은 자동적으로 웹 상의 URL을 탐색해 반복적으로 링크를 찾고 가져오는 과정이다. 웹 크롤링이 아닌 스파이더링이라는 단어를 사용할 때도 있다고 한다. 웹 크롤러라는 단어도 있는데 영어 단어에서도 알 수 있듯이 웹 크롤링을 실행하는 하나의 프로그램을 의미한다. 정리하자면 웹 상에 존재하는 데이터를 자동적으로 탐색할 수 있도록 하는 시스템이 웹 크롤링이라고 할 수 있다. 웹 스크래핑 웹 크롤링은 데이터를 단순히 탐색하는 행위를 의미한다고 보면 된다. 웹 스크래핑은 거기서 좀 더 나가서 웹 사이트 상에.. 2023. 5. 15. [Project]AutoMailing WebServer(Spring 웹 스크래핑 부분) 전 직장에서 받은 단기 프로젝트이다. 당시 회사에서는 유해물질 측정 센서의 결과 값을 이용하는 프로젝트가 진행 중이였다. 문제는 간혹 센서가 꺼져버리는 경우가 있어서 센서가 잘 살아있는지 외부센서 API를 확인한 후에 전 날 센서가 이상이 없는지 확인해서 구두로 알리라는 지시가 내려왔다. 그런데 같이 일하는 동기가 매일 같은 업무를 하기 싫었는지 이걸 자동화 시켜보자고 했다.ㅋㅋ API 서버는 5분 단위의 정보만 제공하지만 해당 정보를 날마다 보여주는 웹 페이지가 있었다. 처음엔 API 서버를 이용하려다가 그러면 하루가 1440분이니까 288번 API 서버를 다녀와야 했기 때문에 그냥 웹 페이지에서 웹 스크래핑을 통해 데이터를 긁어온 뒤 이상여부를 확인 후 메일로 자동으로 보내기로 했다. 그래서 나는 파.. 2023. 4. 14. 이전 1 다음 반응형
