본문 바로가기
반응형

전체 글

 (824)
모델옵스(ModelOps) ModelOpsModelOps(Model Operations)는 머신러닝(ML) 및 AI 모델의 배포, 모니터링, 거버넌스, 유지보수를 위한 운영 프로세스를 의미합니다.ModelOps는 단순히 모델을 개발하는 단계에서 끝나는 것이 아니라, 모델이 실제 프로덕션 환경에서 원활하게 작동하고 지속적으로 개선될 수 있도록 관리하는 데 중점을 둡니다.ModelOps의 핵심 개념모델 개발과 운영의 연결AI/ML 모델이 연구 개발(Research & Development) 단계에서 프로덕션(Production)으로 원활하게 배포될 수 있도록 지원자동화 및 모니터링모델 배포 이후에도 지속적인 모니터링을 통해 성능 저하(Drift) 감지 및 자동 재학습(Auto retraining) 기능 제공거버넌스 및 규제 준수AI ..
ELK(Elasticsearch/Logstach/Kibana) 스택 ELK 스택(Elasticsearch, Logstash, Kibana) 개요ELK 스택은 로그 및 데이터 분석을 위한 오픈 소스 도구 모음으로, 대용량 데이터의 수집, 저장, 검색, 시각화를 지원합니다. 각 구성 요소의 역할은 다음과 같습니다Elasticsearch - 데이터 저장 및 검색Logstash - 데이터 수집 및 변환Kibana - 데이터 시각화 및 대시보드 제공최근에는 Beats라는 경량 데이터 수집 도구가 추가되어 ELK 대신 Elastic Stack으로 불리기도 합니다1. ELK 스택 구성 요소(1) Elasticsearch분산 검색 및 분석 엔진JSON 기반 문서 저장 및 검색 (RESTful API 지원)대량의 데이터를 빠르게 색인 및 검색 (Full-Text Search)클러스터 및..
큐싱 (Qshing) 큐싱(Qshing)큐싱(Qshing)은 QR 코드(QR Code)와 피싱(Phishing)의 합성어로, QR 코드를 이용한 피싱 공격을 의미합니다.공격자는 악성 QR 코드를 생성하여 피해자가 스캔하도록 유도하고, 이를 통해 악성 웹사이트로 접속하게 하거나 악성 앱을 설치하도록 유도합니다.큐싱 공격 방식악성 QR 코드 생성공격자가 악성 웹사이트로 연결되는 QR 코드를 생성합니다.QR 코드에 금융정보 탈취, 악성 앱 다운로드, 로그인 정보 입력을 유도하는 링크가 포함될 수 있습니다.공격 QR 코드 배포이메일, 문자(SMS), SNS 등에 QR 코드를 포함하여 배포공공장소(ATM, 포스터, 전단지 등)에 QR 코드 스티커를 붙여 유포피해자 QR 코드 스캔피해자가 QR 코드를 스캔하면 악성 사이트로 이동하거나 ..
RDD(Resilient Distributed Dataset) RDD(Resilient Distributed Dataset)란?RDD(Resilient Distributed Dataset)는 Apache Spark의 기본 데이터 구조로, 분산 환경에서 대규모 데이터를 처리할 수 있도록 설계된 불변(Immutable)하고 분산된 컬렉션입니다.RDD의 주요 특징1. 불변성(Immutability)RDD는 생성 후 변경할 수 없습니다.데이터를 변경하려면 변환(Transformation)을 통해 새로운 RDD를 생성해야 합니다.불변성을 통해 데이터 무결성을 유지하고 병렬 처리 효율성을 높일 수 있습니다.2. 분산(Distributed)RDD는 여러 노드에 걸쳐 분산 저장됩니다.데이터를 여러 파티션(Partition)으로 나누어 저장하고 처리하므로, 대용량 데이터 처리에 적..
Python의 Venv(Virtual Environment, 가상 환경) 1. 프로젝트별 의존성 격리Python 프로젝트마다 필요한 패키지 버전이 다를 수 있습니다.venv를 사용하면 각 프로젝트별로 독립적인 환경을 만들어 충돌 없이 사용할 수 있습니다.예를 들어, 프로젝트 A에서는 Django 3.2, 프로젝트 B에서는 Django 4.0이 필요할 경우 각각의 venv에서 다른 버전을 설치하여 사용 가능합니다.2. 전역 패키지 오염 방지pip를 사용하여 패키지를 설치할 때, 기본적으로 글로벌 환경(시스템 전체)에 설치됩니다.여러 프로젝트에서 공통 패키지를 사용하면, 다른 프로젝트에서 특정 버전의 패키지를 필요로 할 때 충돌이 발생할 수 있습니다.venv를 사용하면 프로젝트 내부에만 패키지가 설치되므로, 전역 환경을 오염시키지 않습니다.3. 배포 및 재현성 유지프로젝트 개발이..
PySpark 관련 유투브 1. PySpark 파트1 기본환경 가져와서 바로 시작하기 https://www.youtube.com/watch?v=KENGITVDr8U 2. Spark RDD 기본 개념 및 PySpark 파이썬 세팅https://www.youtube.com/watch?v=T03U-zgTvd4
개인정보 보호 강화기술(Privacy Enhancing Technology) 개인정보 보호 강화 기술(Privacy Enhancing Technology, PET)개인정보 보호 강화 기술(PET, Privacy Enhancing Technology)은 사용자의 개인 정보를 보호하면서도 데이터 활용이 가능하도록 지원하는 기술을 의미합니다. PET는 데이터 수집, 저장, 처리 및 공유 과정에서 개인정보가 노출되거나 침해되는 것을 방지하기 위한 다양한 기술을 포함합니다. 1. PET의 주요 기술1) 차등 개인정보 보호(Differential Privacy)데이터 분석 과정에서 개별 데이터의 영향을 숨기기 위해 노이즈를 추가하는 기술.사용자가 특정 데이터를 포함한 결과를 추론하지 못하도록 보호.주요 활용 사례Google, Apple의 사용자 데이터 분석 시스템미국 인구조사국(US Cen..
인터미턴트 컴퓨팅(Intermittent Computing) 인터미턴트 컴퓨팅인터미턴트 컴퓨팅(Intermittent Computing)은 전력 공급이 불규칙하거나 제한적인 환경에서 컴퓨팅을 지속적으로 수행할 수 있도록 설계된 컴퓨팅 모델입니다.이는 배터리 없는 IoT 디바이스, 에너지 하베스팅 시스템(예: 태양광, 진동, 열 등을 이용한 전력 공급), 초저전력 임베디드 시스템에서 주로 활용됩니다.인터미턴트 컴퓨팅의 주요 특징비연속적인 전력 공급 대응전력이 완전히 공급되지 않는 순간에도 데이터를 유지하면서 지속적으로 연산할 수 있도록 설계됨.기존의 컴퓨터는 전력이 차단되면 작업이 중단되지만, 인터미턴트 컴퓨팅은 중단된 작업을 다시 이어서 수행함.체크포인트 및 상태 복원작업 중간에 시스템 상태를 저장(Checkpointing)하고, 이후 전력이 공급될 때 복원하여 ..
반응형

티스토리툴바