​
노드 입력

  • url (string 또는 string[]): 크롤링할 웹사이트의 URL입니다. 단일 URL 또는 URL 리스트 형식으로 제공될 수 있습니다.

​
노드 출력

  • content (string 또는 string[]): 웹사이트에서 수집된 콘텐츠입니다. 단일 문자열 또는 여러 개의 문자열 리스트로 반환될 수 있습니다.

​
기능

WebsiteScraper 노드는 지정된 URL에서 웹사이트의 콘텐츠를 자동으로 스크래핑합니다. 이를 통해 사용자는 해당 웹사이트의 텍스트 콘텐츠를 수집하여 다양한 목적으로 활용할 수 있습니다. AI 기반의 스크래핑 도구와 전략을 사용하여 데이터를 수집하고 반환합니다.

​
언제 사용할까요?

WebsiteScraper 노드는 다음과 같은 상황에서 유용하게 사용됩니다:

  • 뉴스 기사, 제품 정보, 블로그 포스트 등 특정 웹 페이지의 내용을 수집해야 할 때
  • 대규모 데이터 수집이나 반복적인 웹 콘텐츠 수집 작업이 필요한 경우
  • 자동화된 웹 크롤링이 필요한 워크플로우

​
예시

  1. 블로그 포스트 콘텐츠를 자동으로 수집하여 데이터베이스에 저장
  2. 특정 웹사이트의 제품 설명을 크롤링하여 마켓 리서치에 활용
  3. 뉴스 사이트에서 최신 기사를 자동으로 수집하여 요약 작업 진행