본문 바로가기

분류 전체보기

[Spring boot] - 서킷브레이커 도입하기 2026. 2. 1. 서킷브레이커 도입 배경보통 공통 플랫폼에서 제공하는 기능들은 실시간성을 보장하기 위해 동기 방식으로 연동됩니다.고객 상태 정보, 서비스 사용 현황 등 사용자가 요청하는 즉시 조회하거나, 데이터가 확보되지 않으면 그 다음 api를 호출하지 못하는 경우 비동기로 처리하기엔 제약이 많기 때문입니다. 동기식 연동은 구현이 직관적이고 실시간 데이터를 즉시 확보할 수 있다는 장점이 있지만, 서비스와 외부 시스템 간의 강력한 결합이라는 대가를 치러야 합니다. 호출한 외부 시스템이 느려지면 호출한 쪽의 쓰레드가 응답을 기다리며 묶이게 되고, 이는 곧 시스템 전체의 장애 전파로 이어집니다.물론 MSA 형태로 분리했다고 하더라도, 외부 호출을 담당하는 어플리케이션은 하나의 플랫폼이 아니라 여러 플랫폼을 호출하는 기능을 가..
t 보호되어 있는 글입니다.
RNN의 문제점과 LSTM RNN의 동작 방식
RNN의 문제점과 LSTM RNN의 동작 방식 2025. 6. 19. 들어가기에 앞서 기존 RNN의 문제점RNN(Recurrent Neural Network)은 순서가 있는 데이터를 처리하는데 특화된 딥러닝 모델이다.그런데 순서가 길어질수록, 즉 입력 시퀀스가 점점 길어질수록 앞쪽의 정보가 뒤쪽까지 충분히 전달되지 못하는 문제가 있다. 이를 Long-Term Dependency problem 이라고 하며 원인은 Vanishing Gradient problem(그레디언트 소실)에 있다. 위 그림에서 보이듯이, RNN은 이전 단계의 출력값을 현재 단계의 입력값으로 받는 순환 구조를 가진다.그래서 현재 시간 t 에서 결과 h(t) 는 이전 단계의 은닉 상태 h(t-1)과 현재 입력 x(t)를 받아 계산된다. 그런데 위에서 4번째 시점과 0번째 시점 간의 관계를 학습하려고 하면..
ANN - GridSearchCV를 활용한 최적의 layer, 뉴런 개수 찾기 2025. 6. 14. GridSearchCV란?이름 그대로 격자(grid)를 만들어 모든 가능한 조합을 탐색하는 방법이다.layer, neuron, epoch, batch 등 여러 경우의 수를 조합하여 최적의 방법을 찾아내도록 도와준다.해당 라이브러리는 scikit-learn에 있는 도구이다. 시나리오 : 데이터를 기반으로 고객이 은행을 이탈하는지에 대한 여부를 판단해야 한다. 1. 관련 라이브러리 import (sklearn, pandas, tensorflow 등등)import pandas as pdfrom sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.preprocessing import StandardScaler, LabelEncode..
Cbow, skipgram
Cbow, skipgram 2025. 6. 7. Cbow(continuous bag of words)란? CBOW 모델은 주변에 있는 여러 단어(문맥)를 보고, 그 한가운데에 어떤 단어가 올지를 예측하는 방식으로 작동한다. 마치 빈칸 채우기 문제를 푸는 것과 같다.이름의 의미: 'Bag-of-Words'라는 이름처럼, 주변 단어들의 순서는 고려하지 않고 주머니(Bag)에 한 번에 담아 처리한다. 신경망에 입력하기 전에 주변 단어 벡터들의 평균을 구하는 과정에서 순서 정보가 사라지기 때문이다.작동 방식:중심 단어를 기준으로 주변 단어(Context)들을 입력으로 받는다.이 주변 단어들의 벡터를 평균 내어 하나의 문맥 벡터를 만든다.이 문맥 벡터를 통해 원래의 중심 단어(Target)를 예측하도록 학습한다.구조: 여러 개의 입력을 받아 하나의 출력을 내는..
Word Embedding, Word2Vec
Word Embedding, Word2Vec 2025. 6. 7. Word Embedding 이란?워드 임베딩(Word Embedding) 이란 자연어 처리(NLP)에서 사람이 사용하는 단어를 컴퓨터가 이해할 수 있도록 숫자의 나열, 즉 벡터(vector)로 변환하는 기술이다. 여기에는 두 가지 타입이 존재한다.1. count of frequency이 방식은 대규모 텍스트(Corpus)에서 각 단어가 어떤 단어와 함께 얼마나 자주 등장하는지를 세고, 이 통계 정보를 바탕으로 단어의 의미를 벡터로 표현한다. 즉 비슷한 앞서 포스팅했던 one-hot encoding, bag of words, tf-idf 기법은 모두 이 방식이다.2. deep learning trained model이 방식은 신경망(딥러닝) 모델을 사용하여 특정 단어 주변의 단어들을 예측하는 과정에서 학습..
[NLP - 벡터 변환 알고리즘] TF-IDF
[NLP - 벡터 변환 알고리즘] TF-IDF 2025. 5. 25. TF-IDF 기법이란?TF(Term Frequency, 단어 빈도) 와 IDF(Inverse Document Frequency, 역문서 빈도) 두 가지를 사용한다.즉 특정 단어가 얼마나 많이 등장하는지와 특정 단어가 포함된 문장의 수 를 가지고 희귀도를 나타낼 수 있다. 아래와 같이 계산할 수 있다.TF = (문장 내 특정 단어 개수 / 문장 내 전체 단어 개수)IDF = loge(전체 문장 개수 / 특정 단어가 등장하는 문장 개수) 아래 3개의 문장이 있다고 가정해보자.S1 : good boyS2 : good girlS3 : boy girl good 그럼 TF와 IDF는 다음과 같이 계산될 것이다. 그리고 TF-IDF의 최종 계산은 TF 곱하기 IDF 이다.각 문장마다 곱해주면 다음과 같은 결과가 ..
[NLP - 벡터 변환 알고리즘] Bag of Words, N-Gram
[NLP - 벡터 변환 알고리즘] Bag of Words, N-Gram 2025. 5. 22. Bag-of-Words (BoW) 이란?Bag-of-Words (BoW)는 문장을 단어들의 "가방"으로 간주하고, 각 단어의 등장 빈도수를 세어 벡터로 만드는 방식이다. 여기서 단어의 순서나 문맥은 무시되는 것이 중요한 특징이다. 아래 3개 문장이 있다고 가정하자.1. He is a good boy2. She is a good girl good3. Boy and girl are good 1. 먼저 문장을 단어로 분리하며 소문자로 변환하고, 불용어(stop word)를 제거한다.여기서 불용어에는 (he, she, is, a, and, are) 가 있다. 그러면 아래와 같이 변환된다.1. good boy2. good girl good3. boy girl good 2. 단어 사용 빈도를 내림차순으로 저장하고 ..

티스토리툴바