43일차. 서울시 범죄 발생현황&자연어 처리

 
히트맵 그려달라하기, 지오코딩
 
로직을 짜서 종로구끼리 묶고 
 
 
 
@save 이 파일에 새로 csv 파일을 만들어줘 너가 근데 그 새로 만든 csv 파일은 crime.csv에서 주소와 자치구가 추가 된 컬럼이어야해.
 
관서명이 '서울중부경찰서', '서울종로경찰서', '서울남대문경찰서' 이런식으로 나와야해 다시 만들어줘

 
 
 
계속 바꿔달라고 하니까 바꿔줌! 안되면 껐다가 켜기

 
 

---

폴더랑 파일 만들기
 
 
https://python-visualization.github.io/folium/latest/getting_started.html

Getting started — Folium 0.20.0 documentation

 
9번가져오기

https://python-visualization.github.io/folium/latest/getting_started.html
 

import pandas

state_geo = requests.get(
    "https://raw.githubusercontent.com/python-visualization/folium-example-data/main/us_states.json"
).json()
state_data = pandas.read_csv(
    "https://raw.githubusercontent.com/python-visualization/folium-example-data/main/us_unemployment_oct_2012.csv"
)

m = folium.Map(location=[48, -102], zoom_start=3)

folium.Choropleth(
    geo_data=state_geo,
    name="choropleth",
    data=state_data,
    columns=["State", "Unemployment"],
    key_on="feature.id",
    fill_color="YlGn",
    fill_opacity=0.7,
    line_opacity=0.2,
    legend_name="Unemployment Rate (%)",
).add_to(m)

folium.LayerControl().add_to(m)

m

 
 

---

pip install folium
 
터미널에 입력해서 설치
 
 
docker compose up 해서 게이트웨이랑 mlservice 켜준다음에
이거 하기전에 컨테이너 다 지워야해요
 
 
@ai.seoeunjin.com/mlservice/app/us_unemployment/router.py 여기에 @ai.seoeunjin.com/mlservice/app/main.py 이곳과 연동하여 전체 url 이 localhost:8080/api/ml/usa 로 라우팅 해줘
 
 

사용 가능한 URL

이제 다음 URL로 접근할 수 있습니다:

 

 

GET http://localhost:8080/api/ml/usa

GET http://localhost:8080/api/ml/usa/health

 

 

컨테이너를 재빌드하고 재시작하면 적용됩니다:

 

 

docker compose build mlservice

docker compose restart mlservice

 

 

또는 전체 재시작:

 

 

docker compose up -d --build

 

 

 

 
 

사용 방법

Postman에서 다음 URL로 POST 요청을 보내세요:

 

 

POST http://localhost:8080/api/ml/seoul/preprocess

 

 

 

 

 

또는 GET 요청도 가능합니다:

 

 

GET http://localhost:8080/api/ml/seoul/preprocess

 

 

 

 

 

파일 저장 위치

파일은 다음 위치에 저장됩니다:로컬 경로:

 

 

ai.seoeunjin.com/mlservice/app/seoul_crime/save/crime_with_address.csv

 

 

 

 

 

컨테이너 내부 경로:

 

 

/app/app/seoul_crime/save/crime_with_address.csv

 

 

 

 

 

이제 /preprocess 엔드포인트로 요청하면 save 폴더에 주소와 자치구 컬럼이 추가된 CSV 파일이 생성됩니다. Postman에서 다시 시도해보세요.
 
 

---

@ai.seoeunjin.com/mlservice/app/seoul_crime/save 여기에 서울시 경찰서, 파출소 정보를 카카오맵으로 불러와서 csv파일을 만들건데, 컬럼은 3가지로 할거야. 경찰서이름, 경찰서주소, 관서 이 3가지 컬럼을 만들어서 csv파일을 만들어줘
 
 
 
 
 
 
 
 
 

---

자연어 처리
01. 자연어 처리(natural language processing) 준비하기 - 딥 러닝을 이용한 자연어 처리 입문
 
 
 

1. 아나콘다(Anaconda) 설치

링크 : https://www.anaconda.com/distribution/

위 사이트 링크로 이동하여 사이트 하단으로 이동하면 (저자가 이 책을 작성할 당시 기준) 좌측에 파이썬 3.7 버전과 우측에 파이썬 2.7 버전의 아나콘다 설치 파일이 있습니다. 여기서는 파이썬 3.7 버전 64 비트를 설치합니다.

설치 파일을 실행한 후에 다른 윈도우 프로그램을 설치하는 것과 마찬가지로 Next > 를 누르면서 설치를 완료하면 됩니다. 아나콘다를 설치하면 머신 러닝을 위한 기본적인 파이썬 패키지들은 자동으로 설치가 됩니다. 다만 텐서플로우, 케라스, 젠심, 코엔엘파이와 같은 패키지들은 별도 설치가 필요한데 이에 대해서는 뒤에서 추가적으로 설명하겠습니다.
아나콘다를 다 설치했다면 아나콘다 프롬프트를 오픈하겠습니다.

아나콘다 프롬프트를 열었다면 아나콘다 프롬프트에 아래의 커맨드를 입력하여 아나콘다 파이썬 패키지를 전부 최신 버전으로 업데이트 합니다.
 
 

> conda update -n base conda
> conda update --all

이 책이 작성되었을 당시에는 파이썬 3.7 버전이 최신 버전이었지만, 독자분들이 파이썬을 설치하기 위해서 아나콘다 페이지에 접속하였을 때는 3.7보다 더욱 최신 버전으로 업데이트가 되었을 수 있습니다. 이 경우 무작정 파이썬 최신 버전을 설치하는 것은 좋은 방법이 아닙니다. 일반적으로 아래의 링크에서 파이썬 버전과 호환되는 텐서플로우 버전에 대한 안내가 나와있으니 반드시 설치 전 확인이 필요합니다.
링크 : https://www.tensorflow.org/install/pip?hl=ko
예를 들어 위 페이지에서 'Python 3.9 지원에는 Tensorflow 2.5 이상이 필요합니다.' 라고 기재되어져 있다면, 파이썬 3.9를 설치하였을 때는 반드시 Tensorflow는 2.5 이상을 설치해야만 합니다.
 
 
 

2. 구글의 코랩(Colab)

텐서플로우는 기본적으로 64비트 플랫폼만을 지원하므로 32비트 환경에서는 딥 러닝 실습 환경을 구축하기에는 많은 애로 사항이 있습니다. 또는 개인의 컴퓨터 사양이나 다른 이유로 아나콘다나 여러 패키지 설치가 어려운 경우도 있을 것입니다. 이런 경우에는 인터넷만 된다면 바로 파이썬을 실습할 수 있는 구글의 코랩(Colab)이 있습니다. 구글의 Colab은 뒤에서 설명하게 될 '주피터 노트북'과 매우 유사한 실습 환경을 제공합니다.

• Colab 주소 : https://colab.research.google.com/

구글의 Colab에 접속하는 방법은 위의 URL을 통해서 접속하거나, 구글(http://www.google.co.kr/)에서 Colab이라고 검색해서 접속할 수 있습니다.

1) 파이썬 실습하기

Colab 사용 시에는 구글 계정이 필요하므로 구글 아이디가 없으신 분들은 먼저 회원가입 후 로그인부터 해주세요.

로그인 후 좌측 상단에서 파일 > 새 노트 를 클릭합니다. 조금만 기다리면 파이썬을 실습할 수 있는 실습 환경 창이 뜨게 됩니다.
이때 위 그림과 같이 Colab에서 코드를 작성하는 부분의 단위를 '셀'이라고 합니다. 그림에서 보이는 좌측 상단의 '+ 코드' 버튼을 클릭하여 새로운 셀을 추가할 수 있으며, 셀에서 코드를 작성하고 Shift + Enter키를 눌러서 코드를 실행할 수 있습니다.

셀에 3 + 5라는 코드를 작성하고, Shift + Enter를 누르면 8이라는 결과가 나오게 됩니다. 좌측에 [1]은 해당 코드가 몇 번째로 실행되었는지를 의미합니다. 셀을 추가해보면서 다른 파이썬 코드도 추가적으로 작성해보세요.

2) 무료로 GPU 사용하기

딥 러닝에서는 CPU보다는 GPU를 사용합니다. Colab에서 실습할 때의 장점은 GPU를 무료로 사용할 수 있다는 점입니다. GPU가 장착된 컴퓨터가 없는 딥 러닝 입문자들은 향후 이 책의 실습을 진행할 때 Colab에서 GPU를 사용하면서 딥 러닝을 공부하는 것을 강하게 권장드립니다. GPU를 사용하지 않고 실습을 진행하면 딥 러닝 모델을 학습하는 시간이 지나치게 소요될 수 있습니다.

Colab에서 GPU를 사용하는 방법은 새 노트에 진입했을 때 상단에서 런타임 > 런타임 유형 변경을 클릭합니다.

노트 설정의 하드웨어 가속기 > GPU 를 선택 후 저장을 누릅니다. 이후 실습을 진행합니다.

3) 파일 업로드

구글의 Colab에서 데이터를 업로드하여 해당 데이터로 실습을 하고자 한다면, 좌측 상단에서 폴더 모양의 버튼을 클릭합니다. 그 후 윗 방향의 화살표(↑)가 그려진 버튼을 클릭하여 파일을 업로드 할 수 있습니다. 위 그림에서 숫자 1번 버튼과 숫자 2번 버튼이 각각 이에 해당합니다. 예를 들어 test.txt 파일을 업로드한다고 해봅시다.

업로드 후에는 파일 목록에 test.txt 파일이 보입니다.
 
3. 텐서플로우
 

1. NLTK와 NLTK Data 설치

 
 

---

윈도우+x
 
장치관리자
 

 
이게 엔비디아여야함
 
내거는 안돼서 다른 컴퓨터 써서 나중에 바꿔야할듯
 
훈련을 시키고 빌드할때 필요함
 
 

 
엔비디아 앱 다운로드
 
 

 
파이썬/자연어/2020-05-24/ NLTK를 활용한 제인 오스틴의 엠마 분석
 
 
 
이내용을 엠마파일에 넣고 
oop 형식으로 바꿔달라고 하기
 
@emma_wordcloud.py oop 형식으로 바꿔줘
 
 
@nlp_router.py 여기에 @emma_wordcloud.py 이 메소드를 호출하여 localhost:8080/api/ml/nlp/emma에서 작동하도록 코딩해줘. 워드클라우드로 생성된 파일을 @save 파일에 저장되게 해줘
 
save 폴더에 저장하게 해줘 
 
 
터미널 열고 도커 컴포즈업 하기 전에 base말고
conda activate torch313 들어가서 하기

 
 
 
@ai.seoeunjin.com/mlservice/app/nlp/emma/emma_wordcloud.py 이거 실행하는 방법을 알려줘
 
 
cd C:\Users\hi\Documents\seoeunjin.com
.\torch313\Scripts\activate
cd ai.seoeunjin.com\mlservice
python -m app.nlp.emma.emma_wordcloud
 
 

 

 
1) mlservice만 재빌드/재시작

 

 

cd C:\Users\hi\Documents\seoeunjin.com

docker compose build mlservice

docker compose up -d mlservice

 

 

2) Postman 호출 (게이트웨이 8080 경유)
GET http://localhost:8080/api/ml/nlp/emma
# 저장 경로 기본값: /app/app/nlp/save/emma_wordcloud.png
# 필요 시 지정: ?save=/app/app/nlp/save/emma_wordcloud.png
# 폰트 옵션: &font_path=/app/app/nlp/D2Coding.ttf
 

 
 
엄청나게 오류를 계속 잡아달라고 하고 결국 해냈다!!!!!! 8080으로 해줘라고 말함