36일차. IT 개념 정리

---

🕸️ 크롤링이란 무엇인가요?

크롤링 또는 **웹 크롤링(Web Crawling)**은 자동화된 방법으로 웹사이트의 데이터를 체계적으로 탐색하고 추출하는 과정을 말합니다. 이 작업을 수행하는 소프트웨어 프로그램을 크롤러(Crawler) 또는 **스파이더(Spider)**라고 부릅니다.

크롤러는 보통 다음과 같은 단계를 거칩니다:

1. 시작 URL 목록을 가지고 시작합니다.
2. 해당 URL의 HTML 문서를 다운로드합니다.
3. 다운로드한 문서에서 원하는 데이터를 추출합니다 (이 추출 과정을 **스크레이핑(Scraping)**이라고 합니다).
4. 문서 내에 있는 **새로운 하이퍼링크(URL)**를 찾아냅니다.
5. 이 새로운 URL을 탐색할 목록에 추가하고 위의 과정을 반복합니다.

크롤링은 검색 엔진 인덱싱, 데이터 분석, 가격 비교, 모니터링 등 다양한 목적으로 사용됩니다.

---

🐍 파이썬 크롤링 라이브러리

파이썬은 웹 크롤링 및 데이터 스크레이핑에 매우 강력하게 사용되며, 다양한 라이브러리를 제공합니다. 가장 대표적인 3가지 라이브러리는 다음과 같습니다.

1. Requests

• 역할: HTTP 요청을 보내 웹페이지의 HTML이나 데이터를 받아오는(다운로드하는) 역할을 합니다.
• 특징: 사용하기 매우 간단하고 직관적이며, 대부분의 크롤링 작업에서 필수적인 기초 도구로 사용됩니다.

2. Beautiful Soup (bs4)

• 역할: Requests 등으로 받아온 HTML 및 XML 문서를 파싱(Parsing)하여 원하는 데이터를 쉽게 탐색하고 추출할 수 있도록 도와주는 라이브러리입니다.
• 특징: HTML 구조를 분석하여 태그 이름, 속성 등을 이용해 데이터를 찾기 쉽게 만들어 줍니다. 순수한 스크레이핑 작업에 최적화되어 있습니다.

3. Scrapy

• 역할: 전문적인 대규모 크롤링 프레임워크입니다.
• 특징:
  • 비동기(Asynchronous) 방식으로 작동하여 빠르게 데이터를 수집할 수 있습니다.
  • 크롤링, 데이터 처리, 저장 등의 모든 단계를 통합적으로 관리할 수 있는 구조를 제공합니다.
  • 설정 파일, 미들웨어, 파이프라인 등 복잡하지만 체계적인 기능들을 제공하여 대량의 데이터 수집에 적합합니다.

💡 기타 보조 라이브러리: Selenium

• 역할: 웹 브라우저를 직접 제어하는 자동화 도구입니다.
• 특징: 자바스크립트(JavaScript)로 동적으로 콘텐츠가 로드되는 현대적인 웹사이트를 크롤링할 때 필수적으로 사용됩니다. (Beautiful Soup, Requests만으로는 동적 콘텐츠를 가져올 수 없는 경우가 많습니다.)

---

🔎 크롤링의 종류 (용도별 분류)

크롤링의 종류는 주로 어떤 목적으로 데이터를 수집하는지에 따라 구분할 수 있습니다.

1. 범용 크롤링 (General-Purpose Crawling)

• 목적: 웹 전체를 포괄적으로 탐색하고 인덱싱합니다.
• 예시: Google, Naver와 같은 검색 엔진이 사용하는 크롤링입니다. 웹상의 방대한 정보를 수집하여 검색 결과를 제공하기 위해 사용됩니다.

2. 특정 대상 크롤링 (Focused/Topical Crawling)

• 목적: 특정 주제나 도메인에 관련된 데이터만을 집중적으로 수집합니다.
• 예시:
  • 뉴스 크롤링: 특정 언론사나 주제의 뉴스 기사만 모으는 경우.
  • 쇼핑몰 가격 비교: 여러 쇼핑몰에서 특정 상품의 가격 정보만 수집하는 경우.

3. 증분 크롤링 (Incremental Crawling)

• 목적: 이전에 크롤링한 웹페이지 중 변경되거나 새로 추가된 부분만을 찾아 업데이트합니다.
• 예시: 이미 대량의 데이터를 수집한 후, 매일 혹은 매시간 새로운 정보만 효율적으로 갱신하여 데이터베이스에 반영할 때 사용됩니다.

4. 심층 크롤링 (Deep Crawling)

• 목적: 웹사이트의 구조가 깊숙이 숨겨져 있어 일반적인 링크 탐색만으로는 도달하기 어려운 페이지(예: 검색 결과를 통해 접근해야 하는 페이지)까지 탐색합니다.
• 예시: 특정 검색창에 키워드를 입력하거나 페이지네이션(Pagination)을 조작하며 숨겨진 데이터를 수집하는 경우입니다.

---

🕸️ 크롤링이란 무엇인가?

**크롤링(crawling)**은 인터넷에 있는 공개 웹페이지의 정보를 자동으로 수집하는 기술을 말합니다.
사람이 일일이 웹사이트를 방문해서 데이터를 복사하는 대신, 프로그램(크롤러·봇)이 웹페이지를 읽고 필요한 정보를 가져오는 방식입니다.

➡️ 예: 뉴스 제목 수집, 쇼핑몰 가격 비교, 블로그 글 내용 분석 등

---

🐍 파이썬에서의 크롤링 라이브러리란?

파이썬은 크롤링할 때 자주 사용하는 **도구(라이브러리)**가 매우 풍부합니다.
HTML 문서를 가져오고(parse), 필요한 부분만 골라내고, 자동으로 페이지 이동 등을 처리하는 기능을 제공합니다.

---

📦 파이썬 크롤링 라이브러리 주요 종류

아래는 가장 많이 쓰이는 라이브러리들을 역할별로 정리했습니다.

### 1) 웹페이지 가져오기(HTTP 요청) 라이브러리

라이브러리설명

requests	가장 많이 사용되는 HTTP 요청 라이브러리. 사용법이 쉽고 직관적.
httpx	비동기 요청도 쉽게 작성 가능.

---

### 2) HTML 분석(파싱) 라이브러리

라이브러리설명

BeautifulSoup(bs4)	HTML/XML 문서를 다루기 쉽게 만들어주는 대표 라이브러리.
lxml	매우 빠른 파싱 성능을 제공.
html5lib	웹 브라우저와 유사한 방식으로 HTML을 해석.

---

### 3) 자동 브라우저 제어(동적 크롤링)

자바스크립트가 많은 사이트는 단순 요청으로는 내용이 안 보이기 때문에, 브라우저를 직접 띄워 크롤링해야 합니다.

라이브러리설명

Selenium	실제 브라우저를 자동으로 조작하는 도구. (Chrome, Firefox 등)
Playwright	매우 빠르고 안정적인 최신 자동화 라이브러리.
Puppeteer(Pyppeteer)	크롬 기반 자동화(파이썬 포트 버전).

---

### 4) 대규모 크롤링/프레임워크

라이브러리설명

Scrapy	전문적인 크롤링·스크래핑 프레임워크. 대규모 수집에 최적화.
Requests-HTML	간단한 크롤링 + 자바스크립트 렌더링 지원.

---

📌 정리

• 크롤링 → 웹에서 정보를 자동으로 수집하는 기술
• 파이썬 라이브러리 → 크롤링을 쉽게 해주는 도구 모음
• 종류는 정확히 정해진 개수는 없지만, 보통
  → 요청, 파싱, 브라우저 자동화, 프레임워크 이렇게 크게 4가지 범주로 나눔

 

---

🔒 스프링 시큐리티의 주요 역할

스프링 시큐리티는 주로 다음 두 가지 핵심 기능을 담당하며, 이는 웹 애플리케이션 보안의 기본 축입니다.

1. 인증 (Authentication)

• 정의: 사용자가 누구인지 확인하는 과정입니다. 사용자가 **제공한 자격 증명(ID와 비밀번호)**이 맞는지 확인하여 신원을 입증합니다.
• 예시: 로그인 페이지에서 아이디와 비밀번호를 입력하면, 시큐리티가 이를 검증하고 사용자 세션 정보를 생성합니다.

2. 인가 (Authorization)

• 정의: 인증된 사용자가 특정 자원(URL, 데이터)에 접근할 권한이 있는지 확인하는 과정입니다.
• 예시:
  • 관리자(Admin) 권한을 가진 사용자만 '/admin' 페이지에 접근하도록 허용합니다.
  • 일반 사용자(User) 권한은 '/mypage'에만 접근할 수 있도록 제한합니다.

---

🛡️ 스프링 시큐리티의 작동 방식 (필터 체인)

스프링 시큐리티는 **서블릿 필터(Servlet Filter)**를 기반으로 작동합니다.

1. 사용자가 웹 애플리케이션에 **요청(Request)**을 보냅니다.
2. 이 요청은 여러 개의 시큐리티 필터들로 구성된 **필터 체인(Filter Chain)**을 통과합니다.
3. 각 필터는 요청에 대해 인증, 인가, 세션 관리, CSRF 방어 등 특정 보안 작업을 수행합니다.
4. 만약 필터 중 하나라도 보안 규칙을 위반했다고 판단하면, 해당 요청은 애플리케이션 컨트롤러(Controller)로 도달하기 전에 차단되고 적절한 응답(예: 401 Unauthorized, 403 Forbidden)이 사용자에게 반환됩니다.

---

✨ 핵심 장점

• 설정 기반 보안: 대부분의 보안 설정을 XML이나 자바 코드로 쉽게 구성할 수 있어, 개발자가 보안 로직을 직접 구현할 필요가 줄어듭니다.
• 표준화된 기능: 웹 애플리케이션에서 흔히 발생하는 CSRF(Cross-Site Request Forgery), XSS(Cross-Site Scripting) 같은 공격 방어 기능을 기본으로 제공합니다.
• 유연성: 다양한 인증 방식(폼 기반 로그인, OAuth 2.0, JWT 등)을 쉽게 적용하고 확장할 수 있습니다.