espriter

2018년부터 2020년까지 진행했던 정부과제 데이터 분석 프로젝트에 대한 회고입니다. 분석 및 개발 업무 자체는 거의 혼자서 진행했기 때문에 이것저것 배운 게 많았습니다. 물론 보안 상 상당수는 말할 수는 없겠지만 대략 어떤 분석이 있었고, 다음에는 어떤 걸 하지 말아야지 하는 정도의 회고를 써볼까 합니다. 대략 어떤 프로젝트였는가 하면... 제가 진행했던 프로젝트는 제품을 생산하는 공장 데이터를 바탕으로 진행되었으며, 차수 별로 진행되었는데요. 제가 참여하는 전체 기간 중 분기 별로 아래 3가지 일을 진행하였습니다. 크게 EDA를 기반으로 모델링을 수행하는 절차라고 보면 될 듯 합니다. A분기 → 데이터 특성 조사 및 필요 데이터 요약 B분기 → 제품 생산시간 예측 모델링 C분기 → 예측 모델 기반 ..

02_Big Data 2021. 5. 22. 12:05

import pandas as pd d = {'NAME': ['PIKACHU', 'GYARADOS', 'LAPRAS', 'Rattata', 'ZAPDOS'], 'NUM': [10, 250, 10, 20, 700], 'ENERGY' : [1, 1, 1, 1, 1]} df = pd.DataFrame(data=d) df NAME NUM ENERGY 0 PIKACHU 10 1 1 GYARADOS 250 1 2 LAPRAS 10 1 3 Rattata 20 1 4 ZAPDOS 700 1 누적합(cumsum) 수행 NUM이 10일 때까지 ENERGY의 값을 누적하여 저장 NUM이 10이 되는 순간 다시 cumsum을 reset하고 재 누적합 계산 시작 df['cumsum'] = df.groupby((df.NUM ==..

02_Big Data 2020. 9. 11. 20:40

파이썬 패키지를 사용하면 보통 pip를 통해서 설치를 진행하게 됩니다. 그런데 특정 패키지를 설치하다보면 그에 딸린 종속 패키지들이 설치될 때가 있습니다. 쓰고 있을 때는 문제가 없는데 오류가 난다던가 해서 지우고 재설치 할 때 pip uninstall로는 종속 패키지가 삭제되지 않아서 문제가 될 때가 있습니다. 그럴 때 사용할 수 있는게 autoremove 입니다. 관련 공식 문서는 https://pypi.org/project/pip-autoremove/ 입니다. pip install pip-autoremove 설치 후 아래와 같이 삭제 할 패키지 이름을 명시해주고 진행하면 끝입니다. pip-autoremove '삭제할 패키지명' -y 시도해보진 않았지만 모든 패키지를 삭제할 땐 아래와 같이 진행하면 ..

03_Language 2020. 9. 8. 22:29

파이썬 패키지를 오프라인 환경에 구축해야 할 경우가 있습니다. 보통 폐쇄망이죠... 기업 같은.. 그런 곳에서는 PIP를 통해 온라인으로 다운받을 수 없기 때문에 설치 패키지를 오프라인으로 다운 받아서 폐쇄망 PC에 옮겨서 재설치 해야 하는 경우가 생깁니다. 기본 순서는 아래와 같습니다. 1. pip freeze로 기존에 설치된 패키지 목록 파일 구성 2. 목록 파일 순서를 바탕으로 설치 패키지 다운로드 3. 파일 복사해서 재설치 크게 어렵지는 않으나 패키지 다운로드 시간 + 재설치 시간이 있어서 지루한 작업입니다.

02_Big Data 2020. 6. 24. 11:12

개요 pymssql을 사용해서 파이썬에서 MS-SQL 테이블을 가져오는 예제 코드

02_Big Data 2020. 5. 25. 19:31

소개 # 데이터 프레임에서 특정 칼럼 내에서 특정 값이 포함된 row만 가져옵니다 자료 출처 # https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.str.contains.html 라이브러리 및 데이터 불러오기 # 라이브러리 import pandas as pd # 데이터 mock_data = pd.read_csv('MOCK_DATA.csv') mock_data.head(3) id ssn first_name last_name email gender ip_address city country car_make car_model 0 1 352-83-7834 Josselyn Commuzzo jcommuzzo0@shop-pro.jp Fe..

02_Big Data 2019. 10. 21. 17:22

소개 # 시각화 할 때 한글이 깨지거나 마이너스가 ㅁ 처럼 보이는 현상을 수정합니다. 자료 출처 # https://rfriend.tistory.com/408 라이브러리 및 데이터 불러오기 # 라이브러리 import pandas as pd # 데이터 mock_data = pd.read_csv('MOCK_DATA.csv') mock_data.head(3) id ssn first_name last_name email gender ip_address city country car_make car_model 0 1 352-83-7834 Josselyn Commuzzo jcommuzzo0@shop-pro.jp Female NaN Aībak Afghanistan GMC Yukon XL 2500 1 2 129-55-2..

02_Big Data 2019. 10. 17. 12:49

소개 # pymssql을 사용하여 ms sql에 접속하여 테이블을 추출합니다. 자료 출처 # http://pythonstudy.xyz/python/article/208-MSSQL-%EC%82%AC%EC%9A%A9 라이브러리 및 데이터 불러오기 # 라이브러리 import pandas as pd import pymssql # 접속 정보 정의 conn = pymssql.connect(server='192.168.0.1', user='ID', password='PASSWORD', port=NUMBER) SQL 문 정의 sql_statement = ''' SELECT * FROM TABLE ''' DB에 접속하여 가져오기 data = pd.read_sql(sql=sql_statement, con=conn) dat..

02_Big Data 2019. 10. 15. 15:36