선 조치 후 분석

들어가며오늘 RAG 파이프라인에 임베딩 모델을 붙이면서 챗 모델(Nemotron)과 임베딩 모델(nemotron-3-embed)을 같이 다뤘는데, 둘이 완전히 다른 모델이라는 걸 확인했다. "LLM"이라는 말로 다 뭉뚱그려 부르지만 실제로는 역할별로 나뉜 여러 종류의 모델이 있어서, 자주 마주치는 것들을 정리해본다.1. 생성형(Chat/Generative) 모델흔히 "LLM"이라고 하면 떠올리는 그 모델이다. 입력 뒤에 이어질 텍스트를 예측해서 생성한다. 질문에 답하거나, 글을 요약하거나, 코드를 짜는 등 "결과물을 만들어내는" 모든 작업에 쓰인다.예: GPT, Claude, NVIDIA Nemotron 계열입력: 프롬프트(텍스트) / 출력: 생성된 텍스트2. 임베딩(Embedding) 모델텍스트를 의미..

들어가며RAG(검색 증강 생성) 파이프라인을 직접 만들어보면서 가장 많이 헷갈렸던 개념이 임베딩이었다. "벡터로 바꾼다"는 말은 들어봤는데, 정확히 뭘 어떻게 바꾸고 그걸로 뭘 하는 건지 정리해본다.임베딩(Embedding)이란임베딩은 텍스트(단어, 문장, 문서)를 숫자로 이루어진 벡터로 바꾸는 것을 말한다. 예를 들어 "OpenSearch"라는 문장을 [0.12, -0.05, 0.88, ...] 같은 실수 배열로 바꾸는 것이다.이때 핵심은 단순히 숫자로 바꾸는 게 아니라, 의미가 비슷한 텍스트는 벡터 공간에서 서로 가까운 위치에 놓이도록 바꾼다는 점이다.왜 필요한가 - 키워드 매칭의 한계전통적인 검색(SQL의 LIKE, 단순 키워드 매칭)은 문자열이 겹쳐야만 찾을 수 있다."포트 번호"로 검색 → "포..

들어가며업무에서 파일 저장소로 MinIO를 마주쳤는데 제대로 정리해본 적이 없어서, 개념부터 실무에서 쓰이는 방식까지 한 번에 정리한다.오브젝트 스토리지가 뭔가파일을 저장하는 방식은 크게 세 가지로 나뉜다.블록 스토리지: 디스크를 블록 단위로 잘라서 제공. DB 서버의 디스크처럼 저수준 I/O가 필요할 때 쓴다.파일 스토리지: 우리가 흔히 아는 디렉토리/파일 구조(NFS 같은). 계층 구조가 있다.오브젝트 스토리지: 파일(데이터) + 메타데이터 + 고유 Key를 하나의 "오브젝트"로 묶어서 평평한(flat) 네임스페이스인 "버킷"에 저장한다. 디렉토리 개념이 없고, Key 문자열이 경로처럼 보일 뿐이다.대용량 비정형 데이터(이미지, 동영상, 로그, 백업 파일, AI 파이프라인의 원본 문서 등)를 다룰 때..

최근 기업 보안 이슈로 인해 외부 API(OpenAI 등)를 쓰지 않고 로컬에서 LLM을 구동하려는 수요가 많습니다.오늘은 S3(MinIO), OpenSearch, Ollama를 활용해 자바 환경에서 간단한 RAG 시스템을 구축한 과정을 공유합니다.1. 전체 아키텍처본 시스템은 데이터 수집 → 벡터화 → 저장 → 검색 → 답변 생성의 5단계 흐름을 가집니다.Storage: MinIO (S3 compatible)Vector DB: OpenSearchLLM Engine: Ollama (Llama 3)Framework: LangChain4j2. 핵심 기술 스택 및 역할기술역할비고MinIO원본 데이터(txt) 저장소S3 호환 로컬 스토리지OpenSearch벡터 데이터 및 텍스트 검색지식 창고 역할Ollama (..

먼저 간단하게 요약하면, 세션스토리지(SessionStorage)는 '일회용 포스트잇' 같고, 로컬스토리지(LocalStorage)는 '지워지지 않는 메모장' 같다고 표현할 수 있을 거 같다.두 저장소 모두 브라우저 내부에 데이터를 저장하는 공간이지만, 데이터가 "언제까지 유지되는가"와"범위가 어디까지인가"에서 큰 차이가 있다.개념도 (Storage Structure)● 브라우저 내부는 아래와 같은 구조로 데이터를 관리한다.① 로컬스토리지 (LocalStorage) → 도메인별로 할단된 영구적인 서랍장 (브라우저를 꺼도 유지)② 세션스토리지 (SessionStorage) → 탭마다 할당된 임시 포스트잇 (탭을 닫으면 파기)③ 쿠키 (Cookie) → 서버와 주고받는 작은 증표 (용량이 작고 만료일이 있음..

개발을 진행하면서 log4j / slf4j / Logback 을 왜 사용하는지 그리고 각각의 개념을 정리했다. SLF4J (Simple Logging Facade for Java)로깅 파사드(Facade)실제 로그 구현체가 아니라 인터페이스(추상화 계층)로깅 구현체(Log4J, Logback 등)를 느슨하게 연결로깅 API의 표준 인터페이스 역할 ● 구조[ Application ] ↓ SLF4J - 표준 인터페이스 ↓[ Logback | Log4J | Log4J2 ] - 구현체 ● Lombok 사용 안하는 방법import org.slf4j.Logger;import org.slf4j.LoggerFactory;public class SampleService { private st..