40일차.

@ai.seoeunjin.com/mlservice/app/titanic/train.csv 을 DF로 전환하려고 해 @ai.seoeunjin.com/mlservice/app/titanic/titanic_method.py 이 코드를 여기에 pd.read_csv를 리턴하는 메소드로 작성해줘

 

 

@titanic_method.py (31-43) 여기에 @titanic_method.py (16-30) 이 DF에서 Survived 값을 제거하는 값을 리턴하는 코드를 작성해줘

@titanic_method.py (47-59) 여기에 @titanic_method.py (16-29) 이 DF에서 Survived을 라벨만 분리시킨 DF를 만들어줘

 

@titanic_method.py (46-61) 이 메소드 밑에 피쳐를 삭제하는 메소드와 널을 체크하는 메소드를 이름만 너가 생성하여 내부는 pass로 만들어줘

 

@titanic_method.py (67-69) df에서 널의 갯수를 리턴하는 메소드를 코딩해줘

 

 

 

 

    def preprocess(self):

        ic("전처리 시작")

        the_method = TitanicMethod()

        ic(f'1. Train 의 type \n {type(this.train)} ')

        ic(f'2. Train 의 column \n {this.train.columns} ')

        ic(f'3. Train 의 상위 1개 행\n {this.train.head()} ')

        ic(f'4. Train 의 null 의 갯수\n {this.train.isnull().sum()}개')

        ic(f'5. Test 의 type \n {type(this.test)}')

        ic(f'6. Test 의 column \n {this.test.columns}')

        ic(f'7. Test 의 상위 1개 행\n {this.test.head()}개')

        ic(f'8. Test 의 null 의 갯수\n {this.test.isnull().sum()}개')

        ic("전처리 완료")

 

이부분 넣기

 

 

from pathlib import Path

import pandas as pd

from app.titanic.titanic_dataset import TitanicDataSet

from icecream import ic

class TitanicMethod(object):

    def __init__(self):

        self.dataset = TitanicDataSet()

    def new_model(self, fname: str) -> pd.DataFrame:

        return pd.read_csv(fname)

    def create_train(self) -> pd.DataFrame:

        return self.new_model().drop(columns=['Survived'])

    def create_label(self) -> pd.DataFrame:

        return self.new_model()[['Survived']]

    def drop_feature(self, *feature: str) -> pd.DataFrame:

        df_train = self.create_train()

        feature_list = list(feature)

        df_dropped = df_train.drop(columns=feature_list)

        return df_dropped

    def null_check(self) -> int:

        ic('🔍 데이터 결측치 확인')

        df_train = self.create_train()

        null_count = df_train.isnull().sum().sum()

        return int(null_count)

 

메소드 파일 이걸로 바꿈

 

from pathlib import Path

import pandas as pd

from app.titanic.titanic_dataset import TitanicDataSet

from icecream import ic

class TitanicMethod(object):

    def __init__(self):

        self.dataset = TitanicDataSet()

    def new_model(self, fname: str) -> pd.DataFrame:

        return pd.read_csv(fname)

    def create_train(self, df: DataFrame, label: str) -> pd.DataFrame:

        return self.new_model().drop(columns=[label])

    def create_label(self, df: DataFrame, label: str) -> pd.DataFrame:

        return self.new_model()[[label]]

    def drop_feature(self, df: DataFrame, *feature: str) -> pd.DataFrame:

        feature_list = list(feature)

        df_dropped = df.drop(columns=feature_list)

        return df_dropped

    def null_check(self) -> int:

        return int(df.isnull().sum().sum())

 

한번더 내용 바꿈

 

 

 

@titanic_method.py (19-23) 이것을 리스트 컴프리헨션으로 변경해줘.

 

변경 사항:

이전:

 

 

feature_list = list(feature)

 

변경 후:

 

feature_list = [f for f in feature]

 

 

리스트 컴프리헨션으로 변경했습니다. 동작은 동일하며, *feature 튜플의 각 요소를 리스트로 변환합니다.

 

 

 

251208 스프링, 파이썬, 넥스트 모두 통합된 msa 구조에서 필요한 것만 컨테이너로 띄워서 리소스를 아끼는 방법 기존의 docker-compose.yaml 을 docker-compose.local.yaml 로 임시 이름으로 변경하고 , 원본의 카피본을 만듭니다. 그리고 프롬프트로 사용할 것들만 컨테이너로 만드는 것으로 편집을 요청한 후 이것을 docker compose up 을 하면 됩니다

 

@docker-compose.yaml @api.seoeunjin.com @ai.seoeunjin.com 이 두개의 컨테이너만 생성되도록 코드를 변경해줘

 

 

@ai.seoeunjin.com/mlservice/app/titanic/router.py 여기에 @ai.seoeunjin.com/mlservice/app/main.py 여기를 거쳐 @titanic_service.py (103-114) 이 로그가 보여주는 라우터를 작성해줘 이름은 /titanic 으로 해줘

 

포스트맨에서 링크를 누르면 터미널에서 위에 내용이 뜨게 하기!

에러 계속 잡으면서 구현하였음

 

---

@titanic_method.py (8-26) 이거를 Titanic 데이터 전처리용 클래스를 구현하려고 합니다.

아래 메서드 시그니처와 주석을 기준으로, 각 피처의 척도(nominal, ordinal, ratio/interval)에 맞게 전처리를 구현해 주세요.

 

전제 조건

- 입력 df는 Titanic 데이터셋의 pandas DataFrame입니다.

- 주요 컬럼: ["Pclass", "Fare", "Embarked", "Sex", "Age", "Name"] 가 존재한다고 가정합니다.

- 모든 메서드는 df를 수정한 뒤, 수정된 df 자체를 반환하도록 구현합니다.

- 가능한 한 in-place 연산을 사용하되, 체이닝 가능성을 위해 df를 명시적으로 반환합니다.

- 결측치 처리 전략도 간단히 포함해 주세요.

 

아래는 클래스의 골격입니다.

 

```python

import numpy as np

import pandas as pd

from pandas import DataFrame

 

class TitanicPreprocessor:

 

def pclass_ordinal(self, df: DataFrame) -> pd.DataFrame:

"""

Pclass: 객실 등급 (1, 2, 3)

- 서열형 척도(ordinal)로 처리합니다.

- 1등석 > 2등석 > 3등석이므로, 생존률 관점에서 1이 가장 좋고 3이 가장 안 좋습니다.

구현 요구사항:

- df["Pclass"]가 int 또는 category라고 가정합니다.

- 별도의 인코딩 컬럼명을 사용할지, 기존 Pclass를 덮어쓸지는 합리적으로 선택하세요.

(예: "Pclass_ordinal" 컬럼을 새로 만들고, 기존 Pclass는 유지해도 좋습니다.)

"""

pass

 

def fare_ordinal(self, df: DataFrame) -> pd.DataFrame:

"""

Fare: 요금 (연속형 ratio 척도이지만, 여기서는 구간화하여 서열형으로 사용하려고 합니다.)

구현 요구사항:

- 결측치가 있으면 중앙값으로 채웁니다.

- Fare를 사분위수 또는 적절한 구간으로 binning 하여 ordinal 피처를 만듭니다.

예: pd.qcut(df["Fare"], q=4, labels=[0,1,2,3]) 와 같은 방식.

- 새로운 컬럼명 예: "Fare_band" 또는 "Fare_ordinal".

- 원래 Fare 컬럼은 그대로 유지하고, band 컬럼만 추가하는 방식으로 구현합니다.

"""

pass

 

def embarked_ordinal(self, df: DataFrame) -> pd.DataFrame:

"""

Embarked: 탑승 항구 (C, Q, S)

- 본질적으로는 nominal(명목) 척도입니다. 다만 메서드 이름은 embarked_ordinal로 남기되,

실제 전처리는 명목형에 맞게 one-hot encoding을 사용하는 것이 더 타당합니다.

구현 요구사항:

- 결측치는 가장 많이 등장하는 값으로 채웁니다 (mode).

- df["Embarked"]를 이용해 one-hot 컬럼을 생성합니다.

예: "Embarked_C", "Embarked_Q", "Embarked_S"

- 원래 "Embarked" 컬럼은 남겨둬도 되고, 삭제해도 됩니다. 둘 중 합리적인 쪽으로 구현하세요.

- pandas.get_dummies를 사용해도 됩니다.

"""

pass

 

def gender_nominal(self, df: DataFrame) -> pd.DataFrame:

"""

Sex: 성별 (male, female)

- nominal 척도입니다.

구현 요구사항:

- df["Sex"]를 이진 인코딩 또는 one-hot encoding으로 변환합니다.

- 예1) "Sex_male" = 1, "Sex_female" = 0

- 예2) get_dummies(df["Sex"], prefix="Sex") 사용

- 기존 "Sex" 컬럼을 유지할지 여부는 구현에서 합리적으로 결정합니다.

- 반환 시 df에는 학습에 사용 가능한 수치형 컬럼이 포함되도록 합니다.

"""

pass

 

def age_ratio(self, df: DataFrame) -> pd.DataFrame:

"""

Age: 나이

- 원래는 ratio 척도지만, 여기서는 나이를 구간으로 나눈 ordinal 피처를 만들고자 합니다.

- 이미 bins 리스트가 아래와 같이 제공되어 있습니다.

"""

bins = [-1, 0, 5, 12, 18, 24, 35, 60, np.inf]

 

"""

구현 요구사항:

- Age 결측치는 중앙값 또는 평균으로 채웁니다 (중앙값 추천).

- 위 bins를 사용해서 나이를 구간화합니다.

예: pd.cut(df["Age"], bins=bins, labels=False) 등

- 새로운 컬럼명 예: "Age_band" 또는 "Age_ordinal".

- 필요하다면 범주(label)와 의미(유아/어린이/청소년/성인 등)를 주석으로 남겨주세요.

- 원본 Age 컬럼은 유지하고, band 컬럼을 추가하는 방식으로 구현합니다.

"""

pass

 

def title_nominal(self, df: DataFrame) -> pd.DataFrame:

"""

Title: 명칭 (Mr, Mrs, Miss, Master, Dr, etc.)

- Name 컬럼에서 추출한 타이틀입니다.

- nominal 척도입니다.

구현 요구사항:

- df["Name"] 컬럼에서 정규표현식 등을 써서 Title을 추출합니다.

예: df["Name"].str.extract(r',\s*([^\.]+)\.', expand=False)

- 희소한 타이틀은 "Rare" 그룹으로 묶습니다.

예: ["Lady", "Countess", "Capt", "Col", "Don", ...] → "Rare"

- 최종적으로 df["Title"] 컬럼을 만들거나 정리하고,

이를 one-hot encoding 또는 LabelEncoding 등 수치형으로 변환합니다.

- 전처리 결과가 모델에 바로 넣을 수 있는 형태가 되도록 합니다.

"""

pass

 

--이 전략을 승인하므로 커서는 이대로 작업해줘

 

 

def gender_nominal(self, df: DataFrame) -> pd.DataFrame:

        """

        Sex: 성별 (male, female)

        - nominal 척도입니다.

        - one-hot encoding으로 변환합니다.

        - 기존 "Sex" 컬럼은 유지하고, one-hot 컬럼을 추가합니다.

        """

        df = df.copy()

        # one-hot encoding

        sex_dummies = pd.get_dummies(df["Sex"], prefix="Sex")

        df = pd.concat([df, sex_dummies], axis=1)

        return df

 

@titanic_method.py (88-99) 주석대로 피처 이름을 Gender 로 변경해줘

 

 

---

 

 

 

    def preprocess(self):

        ic("😎😎 전처리 시작")

        the_method = TitanicMethod()

        df_train = the_method.new_model('train.csv')

        this_train = the_method.create_train(df_train, 'Survived')

        ic(f'1. Train 의 type \n {type(this_train)} ')

        ic(f'2. Train 의 column \n {this_train.columns} ')

        ic(f'3. Train 의 상위 5개 행\n {this_train.head(5)} ')

        ic(f'4. Train 의 null 의 갯수\n {the_method.check_null(this_train)}개')

        drop_features = ['SibSp', 'Parch', 'Cabin', 'Ticket']

        this_train = the_method.drop_feature(this_train, *drop_features)

        this_train = the_method.pclass_ordinal(this_train)

        this_train = the_method.fare_ordinal(this_train)

        this_train = the_method.embarked_ordinal(this_train)

        this_train = the_method.gender_nominal(this_train)

        this_train = the_method.age_ratio(this_train)

        this_train = the_method.title_nominal(this_train)

        drop_name = ['Name']

        this_train = the_method.drop_feature(this_train, *drop_name)

        ic("😎😎 전처리 완료")

        ic(f'1. Train 의 type \n {type(this_train)} ')

        ic(f'2. Train 의 column \n {this_train.columns} ')

        ic(f'3. Train 의 상위 5개 행\n {this_train.head(5)} ')

        ic(f'4. Train 의 null 의 갯수\n {the_method.check_null(this_train)}개')

 

 

 

docker compose up gateway

docker compose up mlservice

 

 

 

 

다시 수정하고 할 때

docker compose build mlservice
docker compose up -d mlservice

 

 

 

 

 

왜 에러가 발생한거야? mlservice 컨테이너의 로그를 보여줘

 

 

Error" -Context 5

 

INFO: 172.18.0.1:43250 - "GET /docs HTTP/1.1" 200 OK

INFO: 172.18.0.1:43250 - "GET /openapi.json HTTP/1.1" 200 OK

> INFO: 172.18.0.1:52272 - "GET /titanic/preprocess HTTP/1.1" 500 Internal

Server Error

INFO: 172.18.0.1:52388 - "GET /docs HTTP/1.1" 200 OK

INFO: 172.18.0.1:52388 - "GET /openapi.json HTTP/1.1" 200 OK

> INFO: 172.18.0.1:52392 - "GET /titanic/preprocess HTTP/1.1" 500 Internal

Server Error

INFO: 172.18.0.1:40128 - "GET /docs HTTP/1.1" 200 OK

INFO: 172.18.0.1:40128 - "GET /openapi.json HTTP/1.1" 200 OK

> INFO: 172.18.0.1:40128 - "GET /titanic/preprocess HTTP/1.1" 500 Internal

Server Error

> INFO: 172.18.0.1:40128 - "GET /titanic/preprocess HTTP/1.1" 500 Internal

Server Error

INFO: 172.18.0.1:51412 - "GET /docs HTTP/1.1" 200 OK

INFO: 172.18.0.1:51412 - "GET /openapi.json HTTP/1.1" 200 OK

INFO: 172.18.0.1:51412 - "GET /docs HTTP/1.1" 200 OK

INFO: 172.18.0.1:51412 - "GET /openapi.json HTTP/1.1" 200 OK

> INFO: 172.18.0.1:48824 - "GET /titanic/preprocess HTTP/1.1" 500 Internal -이 로그를 보고 에러를 수정해줘

 

 

 

@titanic_method.py (91-102) male은 0, female 은 1로 나오도록 매핑해줘. 현재는 male, female로 나오고 있어.

 

gender가 없어짐