분류 전체보기 (753) 썸네일형 리스트형 Spark 공부 관련 유투브 "> 1. https://www.youtube.com/watch?v=KVWCMrM-t0w&utm_source=chatgpt.com 2. https://www.youtube.com/watch?v=rjJ54qtOjW4 3. https://www.youtube.com/watch?v=zyVw1V-Hyh4&utm_source=chatgpt.com iptables 로 특정 아이피 차단하는 방법 특정 IP 차단예를 들어, 192.168.1.100이라는 IP에서 오는 모든 패킷을 차단하려면 다음 명령어를 실행합니다.sudo iptables -A INPUT -s 192.168.1.100 -j DROP-A INPUT : 들어오는 트래픽을 필터링-s 192.168.1.100 : 해당 IP에서 오는 패킷만 차단-j DROP : 해당 패킷을 버림 (응답도 하지 않음)특정 IP의 특정 포드 차단만약 192.168.1.100에서 오는 SSH(포트 22) 트래픽만 차단하려면sudo iptables -A INPUT -s 192.168.1.100 -p tcp --dport 22 -j DROP 특정 IP 허용하고 나머지 차단특정 IP(192.168.1.200)만 허용하고 나머지는 차단하려면sudo iptables -.. Oracle SQLException : ORA-01555: snapshot too old ORA-01555: snapshot too old 오류는 Oracle 데이터베이스에서 장시간 실행된 쿼리가 과거에 생성된 데이터를 읽으려고 시도할 때 발생하는 오류입니다. 이 오류는 주로 다음과 같은 상황에서 발생합니다:원인언두 테이블스페이스(Undo Tablespace) 또는 롤백 세그먼트의 부족: Oracle 데이터베이스는 쿼리가 실행되는 동안 변경된 데이터를 추적하기 위해 언두 테이블스페이스를 사용합니다. 오래된 데이터를 읽어야 하는 장시간 실행된 쿼리가 있는 경우, Oracle은 해당 데이터를 언두 테이블스페이스에서 검색하려고 합니다. 하지만 언두 테이블스페이스가 충분하지 않으면 해당 데이터를 유지하지 못해 오류가 발생할 수 있습니다.장시간 실행되는 쿼리와 경쟁하는 트랜잭션: 다른 트랜잭션이 같은.. WAS가 죽었을 경우, 웹 서버에서 특정 페이지로 리다이렉트 또는 특정 에러 페이지 제공 방법 Nginx 설정Nginx에서는 proxy_pass로 WAS와 연결된 경우, WAS가 다운되었을 때 특정 페이지를 보여줄 수 있습니다.방법 1 : 커스텀 에러 페이지 설정Nginx의 error_page 디렉티브를 사용하여 특정 상태 코드 발생 시 사용자 지정 HTML 페이지로 리디렉트할 수 있습니다.server { listen 80; server_name yourdomain.com; location / { proxy_pass http://was_server:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarde.. 해당일 기준 14일 이전 데이터 파일 삭제 스크립트 스크립트#!/bin/bash# 기준 날짜: 현재 날짜에서 14일 전TARGET_DATE=$(date -d "-14 days" +"%Y-%m-%d")# 파일 패턴 (예: 파일 이름에 날짜 포함된 경우)FILE_PATTERN="*${TARGET_DATE}*"# 삭제할 파일 찾기 및 삭제echo "삭제 대상 파일 목록:"find . -type f -name "${FILE_PATTERN}" -print# 파일 삭제find . -type f -name "${FILE_PATTERN}" -exec rm -f {} \;echo "삭제 완료: ${TARGET_DATE} 기준" 설명date -d "-14 days" +"%Y-%m-%d": 현재 날짜에서 14일 전 날짜를 YYYY-MM-DD 형식으로 계산.FILE_PATTE.. 오라클 데이터베이스에서 마리아DB(MariaDB) 접속 위한 DB Link 생성 윈도우 서버에 설치된 오라클 데이터베이스에서 마리아DB(MariaDB)에 접속하기 위해 데이터베이스 링크(DB Link)를 생성하는 방법은 다음과 같습니다. 이 과정에서 필요한 몇 가지 주요 단계를 알려드리겠습니다.ODBC 드라이버 설치: MariaDB를 오라클 데이터베이스에서 접근하기 위해 ODBC 드라이버를 설치해야 합니다. MariaDB 공식 웹사이트에서 Windows용 ODBC 드라이버를 다운로드 받아 설치합니다.ODBC 데이터 소스 설정제어판에서 '관리 도구' > '데이터 원본(ODBC)'로 이동합니다.'시스템 DSN' 탭에서 '추가'를 클릭하여 MariaDB ODBC 드라이버를 선택하고, 필요한 정보(서버 주소, 데이터베이스 이름, 사용자 이름, 비밀번호 등)를 입력하여 데이터 소스를 구성합니.. Spark Job 리소스 설정 Spark Job 결과로 100GB의 대용량 데이터를 효율적으로 관리하기 위해 적절한 파티셔닝과 리소스 설정은 성능 최적화와 클러스터 자원의 효율적인 사용에 필수적입니다. 아래와 같은 방법으로 설정할 수 있습니다. Partition 설정 적절한 파티션 수 설정: 일반적으로 파티션의 크기가 약 100~200MB가 되도록 설정하는 것이 좋습니다. 이를 위해 데이터 크기를 파티션 크기로 나눈 값만큼 파티션을 생성하는 것이 권장됩니다. 예를 들어, 100GB의 데이터를 128MB로 나눈다면 약 800개의 파티션이 필요합니다. 코어와 메모리의 조화 고려: 각 Executor가 동시에 처리할 수 있는 코어 수에 맞춰 파티션 수를 조정합니다. 너무 많은 파티션은 오.. Oracle UCP(Universal Connection Pool) 기반 로드밸런싱 Oracle UCP(Universal Connection Pool)를 사용하여 헬스 체크와 연결 복구 기능을 강화할 수 있습니다. UCP는 자동으로 노드의 상태를 확인하고 문제가 있는 노드를 회피합니다.import oracle.ucp.jdbc.PoolDataSource;import oracle.ucp.jdbc.PoolDataSourceFactory;PoolDataSource pds = PoolDataSourceFactory.getPoolDataSource();pds.setConnectionFactoryClassName("oracle.jdbc.pool.OracleDataSource");pds.setURL("jdbc:oracle:thin:@(DESCRIPTION=" + "(ADDRESS_.. 이전 1 ··· 89 90 91 92 93 94 95 다음
