saul's log

https://www.elastic.co/docs/reference/fleet/example-kubernetes-fleet-managed-agent-helm Example: Install Fleet-managed Elastic Agent on Kubernetes using Helm | Elastic DocsThis example demonstrates how to install a Fleet-managed Elastic Agent on a Kubernetes system using a Helm chart, collect Kubernetes metrics and logs...www.elastic.cohttps://www.elastic.co/docs/reference/fleet/scaling-on-kuber..

https://shasheenrashmina.medium.com/mastering-kubernetes-persistent-storage-pvs-pvcs-and-storage-classes-explained-81c66d27d656 Mastering Kubernetes Persistent Storage: PVs, PVCs, and Storage Classes ExplainedKubernetes has become the go-to container orchestration platform, but managing persistent data in a dynamic and distributed environment…shasheenrashmina.medium.com PV, PVC, StorageClass 개념-..

들어가기 전- 로그스태시 파이프라인으로 원본 이벤트 내용을 유지하기 위해 event.original 필드를 생성하는 스크립트를 작성하였습니다.- 그러나 키바나로 확인한 필드는 Null 값이 들어오는 상황이었습니다.- 환경 : elastic-agent로 AKS 및 다른 서버 애플리케이션의 로그를 수집, elastic-agent는 stand-alone이 아닌 Fleet 서버를 바라보는 상황입니다. 해결 - 해당 백킹 인덱스의 셋팅값을 확인하여 어떤 인제스트 파이프라인이(Final Pipeline)이 적용되었는지 확인하였습니다.- 플릿 서버 기본 인제스트 파이프라인이었고, 해당 인제스트 파이프라인의 옵션에 ctx.tags.contains('preserve_original_event') 코드를 확인하고 해당..

- 토크나이저(Tokenizer)는 문장을 AI가 처리할 수 있는 작은 단위로 나누는 역할이고, 임베딩(Embedding)은 텍스트의 의미를 숫자 벡터로 표현하는 과정입니다. https://huggingface.co/openai-community/gpt2-xl/tree/main openai-community/gpt2-xl at mainWe’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.co 문장 -> 토크나이저 -> 토큰from transformers import AutoTokenizer# 허깅페이스에서 tokenizer.json 파일을 다운로..

https://blog.naver.com/ksh368/223411421968 AI 학습 vs 추론인공지능(AI)의 두 핵심 기능인 학습과 추론은 AI 시스템의 지능을 구현하는 데 중요한 역할을 합니다....blog.naver.com - 학습(Training)은 모델의 파라미터를 바꾸는 과정이고, 추론(Inference)은 학습이 끝난 모델의 파라미터를 그대로 사용해서 결과를 만드는 과정입니다. 구분 학습(Training)추론(Inference)목적모델이 패턴을 배우게 함학습한 내용을 이용해 답을 생성입력대량의 학습 데이터사용자의 질문/프롬프트가중치 변경OX역전파OXOptimizer사용사용하지 않음계산량매우 큼상대적으로 작음예시GPT 모델을 학습/파인튜닝ChatGPT에게 질문하기 학습 (Trainin..

https://aws.amazon.com/ko/compare/the-difference-between-etl-and-elt/ ETL과 ELT - 데이터 처리 접근 방식 간의 차이점 - AWSETL과 ELT의 차이점은 무엇인가요? AWS에서 ETL 및 ELT를 사용하는 방법.aws.amazon.com ETL(Extrack Transform Load), 추출 가공 저장 1. 다양한 소스에서 원시 데이터 추출 2. 보조 처리 서버를 사용하여 해당 데이터를 전환(가공)3. 해당 데이터를 대상 데이터베이스에 적재(저장) EX) 애플리케이션 로그 ↓Logstash input ↓grok / mutate / date / 개인정보 마스킹 ↓Elasticsearch 저장 ELT(xtrack Load Tra..

https://www.elastic.co/kr/what-is/retrieval-augmented-generation 검색 증강 생성(RAG)이란? | 포괄적인 RAG 안내서기술 및 애플리케이션에서의 검색 증강 생성과 그 사용 사례를 정의합니다. 검색 증강 생성의 이점, 문제점 및 미래 동향을 이해합니다.www.elastic.co RAG (Retrieval Augmented Generation, 검색 증강 생성)- 검색 증강 생성(RAG)은 프라이빈 또는 독점 데이터 소스의 정보로 텍스트 생성을 보완하는 기술입니다.- 검색 증강 생성은 추가 데이터 소스의 컨텍스트를 더하고 훈련을 통해 LLM의 원래 지식 기반을 보완함으로써 검색 경험의 정확도를 개선할 수 있습니다. (Prompt Stuffing, 벡터 디..

https://www.elastic.co/kr/what-is/vector-embedding 벡터 임베딩이란 무엇인가? | 벡터 임베딩 종합 안내서벡터 임베딩을 정의하고 자연어 처리 및 머신 러닝의 사용 사례를 이해합니다. 벡터 임베딩 유형과 생성 방법을 살펴보세요.www.elastic.cohttps://www.bobdc.com/blog/semantic-web-semantics-vs-vect/ Semantic web semantics vs. vector embedding machine learning semanticsIt's all semantics.www.bobdc.com 벡터 임베딩 정의- 벡터 임베딩은 단어와 문장 및 기타 데이터를 의미와 관계를 포착하는 숫자로 변환하는 방법입니다.- 텍스트, 이미..

https://www.hanbit.co.kr/channel/view.html?cmscode=CMS5675948724&gad_source=1&gad_campaignid=23518945342&gbraid=0AAAAA_x2BewgWi5F5NZcIneowfewkbxH9&gclid=CjwKCAjwqonVBhA4EiwA9wYJ3Vq5fC5Be7fuBSnwJJH-eZXifvZGy6V7QwshVh25bb-0GXCcsRe3axoCX3MQAvD_BwE 원리부터 이해하는 쿠버네티스 - 클러스터, 컨트롤 플레인, 노드, 워크로드, 네트워크, 스토리지✅쿠버네티스의 개념 쿠버네티스는 어떻게 탄생했으며 어떤 역할을 수행하는지 알아봅시다. 1-1) 쿠버네티스의 어원과 역사쿠버네티스Kubernetes는 컨테이너화된 애플리케이션의 자동..

https://kubernetes.io/ko/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/ HorizontalPodAutoscaler 연습HorizontalPodAutoscaler(약어: HPA)는 워크로드 리소스(예: 디플로이먼트 또는 스테이트풀셋)를 자동으로 업데이트하며, 워크로드의 크기를 수요에 맞게 자동으로 스케일링하는 것을 목표로 한다. 수평kubernetes.io HPAHorizontal scaling means that the response to increased load is to deploy more Pods. This is different from vertical scaling, which for Kuberne..