본문 바로가기

전체 글57

K8s from scratch - 2. 쿠버네티스 구성 요소 쿠버네티스 클러스터를 이루는 구성 요소들은 파드 형태로 이루어져 있습니다. K8s Cluster Architecture 마스터노드 (Control-Plane) kubectl 쿠버네티스 클러스터에 명령을 내림. 마스터노드에 있을 필요는 없지만 통상적으로 API서버와 통신하므로 API서버가 위치한 마스터노드에 구성하였습니다. api-server 클러스터의 중심역할을 하는 통로입니다. 상태값을 저장하는 etcd와 주로 통신합니다. etcd 구성요소들의 상태값이 모두 저장되는곳입니다. 분산저장이 가능한 키-밸류 저장소이므로 복제본을 둔다면 etcd에서 장애가 나더라도 가용성을 확보할 수 있습니다. controller-manager 클러스터의 오브젝트 상태를 관리합니다.워커노드에 통신이 안되는경우 상태 체크와 복.. 2023. 10. 25.
K8s from scratch - 1. AWS 에서 쿠버네티스 환경 구축하기 AWS의 VPC환경에 EC2를 생성하여 쿠버네티스 클러스터를 쉽게 구축하는법입니다. 준비사항 Kubeadm을 사용하기위해 최소스펙인 2vCPU, 4G Mem의 인스턴스가 필요하며 비용대비 가장 저렴한 인스턴스는 2023년 10월 25일 기준 t3.small 타입입니다. 클러스터 내 모든 마스터/워커 노드가 통신이 가능하도록 인바운드 설정이 필요합니다. 모든 EC2 인스턴스를 동일한 보안그룹으로 설정 후 해당 보안그룹을 인바운드로 Anywhere 설정하는방법이 가장 간단합니다. 유저데이터 해당 포스트는 EC2의 유저데이터(UserData) 를 사용하여 쉽게 스크립트를 설치하는 방법을 다루고있습니다. 때문에 설정해야 하는 가지 존재합니다. NODE_NAME 설정될 호스트네임입니다. VPC내에서 유니크해야합니.. 2023. 10. 25.
Amazon Bedrock, LangChain과 사용하기 - 8. 챗봇 구현 (RAG + Conversation Memory) Amazon Bedrock, LangChain과 사용하기 1. Amazon Bedrock, 개발환경 설정 2. Amazon Bedrock API, LangChain 사용해보기 3. 추론 매개변수 4. 스트리밍 API, 벡터 임베딩 5. Streamlit, 텍스트/이미지 생성 6. 간단한 검색증강(RAG : Retrieval Augmented Generation) 구현 7. 간단한 챗봇 구현 (Conversation Memory) 8. 챗봇 구현 (RAG + Conversation Memory) 이전에 챗봇에 RAG패턴을 적용하여 조금더 강력한 챗봇을 개발해보고자 합니다. ConversationBufferWindowMemory 를 사용하여 메모리를 구현하고 ConversationalRetrievalChai.. 2023. 10. 18.
Amazon Bedrock, LangChain과 사용하기 - 7. 간단한 챗봇 구현 (Conversation Memory) Amazon Bedrock, LangChain과 사용하기 1. Amazon Bedrock, 개발환경 설정 2. Amazon Bedrock API, LangChain 사용해보기 3. 추론 매개변수 4. 스트리밍 API, 벡터 임베딩 5. Streamlit, 텍스트/이미지 생성 6. 간단한 검색증강(RAG : Retrieval Augmented Generation) 구현 7. 간단한 챗봇 구현 (Conversation Memory) 8. 챗봇 구현 (RAG + Conversation Memory) Amazon Bedrock과 일반적인 LLM의 경우 상태나 메모리에 대한 개념이 존재하지 않습니다. 모든 데이터는 외부적으로 추적된 다음 새로운 메세지와 함께 모델로 전달되어야합니다. 이번에는 채팅 기록을 추적하기.. 2023. 10. 18.

티스토리툴바