본문 바로가기

반응형

IT/WEB, WAS

(15)
개발·품질 환경을 동일 서버에서 운영 시 발생 가능한 이슈 개발 서버와 품질(QA) 서버를 서버 자원 및 라이센스 부족으로 동일한 서버에서 운영할 경우의 주요 이슈와 이를 해결할 수 있는 방안 및 가상화 환경에서의 제안을 다음과 같이 정리합니다.📌 개발·품질 환경을 동일 서버에서 운영 시 발생 가능한 이슈✅ 환경 분리 문제개발 환경과 QA 환경 간의 설정 충돌 및 자원 경쟁잘못된 배포로 인한 환경 오염 및 서비스 중단데이터 격리 실패로 인한 데이터 오염 또는 유출 위험✅ 성능 이슈리소스 경쟁으로 인한 성능 저하 (CPU, 메모리, 스토리지)특정 작업(테스트 등)의 급격한 자원 소모로 인해 개발 업무 지연✅ 라이센스 문제라이센스가 IP 또는 서버 대수 기반이라면, 동일 서버 내 분리 운영 시 라이센스 정책 위반 가능성한 서버 내 복수의 환경 운영으로 인한 사용량..
리눅스에서 port 차단에 대한 규칙 설정하는 명령어 리눅스에서 특정 포트를 차단하는 규칙을 설정하는 방법은 여러 가지가 있습니다. 대표적으로 iptables, firewalld, ufw 등을 사용할 수 있습니다.1. iptables을 이용한 포트 차단sudo iptables -A INPUT -p tcp --dport -j DROP: 차단하려는 포트 번호를 입력예: 8080 포트 차단sudo iptables -A INPUT -p tcp --dport 8080 -j DROP규칙 저장 및 확인현재 설정된 규칙 확인:sudo iptables -L -n -v설정된 규칙 저장:sudo iptables-save | sudo tee /etc/iptables/rules.v4차단 해제sudo iptables -D INPUT -p tcp --dport -j DROP 2...
robots.txt 를 이용한 웹 크롤링 규칙 설정 robots.txt는 웹사이트의 루트 디렉토리에 위치하는 텍스트 파일로, 검색 엔진의 웹 크롤러가 특정 페이지를 크롤링할 수 있는지 여부를 지정하는 역할을 합니다. 또한 웹사이트 소유자가 검색 엔진이 어떤 페이지를 크롤링하고 색인할 수 있을지를 제어하는 규칙을 담고 있습니다.robots.txt의 주요 역할 • 검색 엔진이 특정 페이지를 크롤링하지 않도록 차단 • 웹사이트의 특정 섹션을 검색 엔진에서 제외 • 사이트 맵(XML Sitemap) 위치 제공 • 크롤러(bot)의 접근 속도 제한robots.txt의 기본 문법robots.txt 파일은 User-agent(검색 엔진 봇)에 대한 차단 또는 허용 규칙을 정의합니다. 기본 형식User-agent: [크롤러 이름]Disallow: [크롤링 차단할 경로]..
반응형 웹과 적응형 웹의 비교 반응형 웹(Responsive Web)과 적응형 웹(Adaptive Web)은 다양한 디바이스 환경에서 최적의 사용자 경험을 제공하기 위한 웹 디자인 방법론입니다. 반응형 웹 (Responsive Web)하나의 웹페이지가 모든 디바이스(스마트폰, 태블릿, 데스크탑)의 화면 크기와 해상도에 따라 유연하게 변형되는 방식입니다.특징 • Fluid Grid : 유동적인 그리드 시스템 • Flexible Images : 이미지 크기 자동 조정 • Media Query 활용 : CSS의 미디어 쿼리를 사용하여 화면 크기별 레이아웃 자동 변경 • 단일 소스코드로 모든 기기 대응 가능장점 • 유지보수 비용 절약 (단일 코드 관리) • 모든 디바이스에서 통일된 사용자 경험 제공 • 검색엔진 최적화(SEO)에 유리 (..
robots.txt 파일을 이용한 웹 크롤링 여부 판단 robots.txt 파일을 사용하여 웹 크롤러(특히 Googlebot 등 검색 엔진 크롤러)가 사이트를 크롤링하는지 확인하는 방법은 다음과 같습니다.1. robots.txt 파일의 위치  • 웹사이트의 robots.txt 파일은 항상 루트 디렉터리에 위치해야 합니다.  • 예를 들어, 사이트 도메인이 https://example.com이면 robots.txt 파일은 다음 위치에 있어야 합니다:https://example.com/robots.txt  • 이 파일은 공개적으로 접근 가능해야 하며, 웹 크롤러들은 이를 먼저 읽고 허용된 페이지를 크롤링합니다.2. robots.txt에서 크롤러 확인 방법  • robots.txt 파일을 직접 확인하여 특정 크롤러(Googlebot 등)의 크롤링 허용 여부를 판단..
HTTP 헤더 정보를 통한 웹 크롤러 여부 판단 웹 서버는 HTTP 헤더 정보를 활용하여 클라이언트가 웹 크롤러인지 아닌지를 판단할 수 있습니다. 이를 위한 주요 방법들은 다음과 같습니다.1. User-Agent 확인 • 대부분의 웹 크롤러는 User-Agent 값을 특정 문자열(예: Googlebot, Bingbot)로 설정합니다. • 웹 서버는 User-Agent 값을 분석하여 크롤러인지 여부를 판단할 수 있습니다. • 예시 User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) • 단, User-Agent는 쉽게 조작할 수 있어 신뢰도가 낮습니다.2. Referer 헤더 분석 • Referer 헤더는 요청이 어디에서 유입되었는지를 나타..
제우스 WAS에서 역방향 DNS 조회로 크롤러 필터링 적용하는 방법 제우스 WAS는 TmaxSoft의 Java EE 기반 애플리케이션 서버로, 필터(Filter) 또는 인터셉터(Interceptor)를 활용하여 Googlebot 등 공식 검색 엔진 크롤러를 판별하고 비공식 크롤러를 차단할 수 있습니다.역방향 DNS 조회 적용 순서  1. 클라이언트 요청을 인터셉트 (Servlet Filter 활용)  2. 클라이언트 IP 확인  3. 역방향 DNS 조회 수행 (IP → 도메인)  4. 도메인이 공식 크롤러 도메인(googlebot.com, bing.com 등)인지 검증  5. 정방향 DNS 조회 수행 (도메인 → IP)  6. IP 주소가 원래 요청한 IP와 일치하는지 확인  7. 검증 실패 시 요청 차단 (403 Forbidden 반환)JEUS WAS에 적용하는 방법 ..
역방향 DNS 조회(Reverse DNS Lookup)로 웹 크롤링 확인하는 방법 웹 크롤러(예: Googlebot, Bingbot 등)는 HTTP 요청 시 User-Agent 헤더를 포함하지만, 이는 쉽게 조작할 수 있습니다. 따라서 보다 신뢰할 수 있는 방법은 역방향 DNS 조회(Reverse DNS Lookup) 를 이용하여 요청한 IP 주소가 실제로 해당 크롤러의 공식 도메인에서 온 것인지 확인하는 것입니다.1. 역방향 DNS 조회 개념  • 웹 크롤러가 사이트를 방문하면 요청의 IP 주소가 서버 로그에 기록됩니다.  • 해당 IP 주소의 도메인을 확인하기 위해 역방향 DNS 조회(reverse DNS lookup, rDNS) 를 수행합니다.  • 얻어진 도메인이 공식 크롤러 도메인(googlebot.com, bing.com 등)인지 확인합니다.  • 다시 해당 도메인으로 정방..

반응형