Dask 소개 및 자주 사용하는 함수
안녕하세요 coconut입니다. 이번에는 유명한 Pandas 외에 Dask라는 오픈소스를 소개합니다. 기존의 pandas는 읽어들이는 모든 데이터를 메모리에 적재하여, 연산하는 방식이어서 거대한 규모의 데이터를 pandas에 적재할 시에 메모리가 부족해 …
Tag: python
유용한 파이썬 문법(Useful Skill)
안녕하세요 개발자 코코넛입니다. 새해가 지나고 처음으로 글을 쓰네요. 이번에는 파이썬을 쓰면서 유용하다고 생각되는 파이썬의 문법? 스킬들을 기록할 겸 정리해 보았습니다. 컴프리헨션 이 기술은 알고 나서 정말 즐겨 사용하는 문법입니다. 시각적…
json to csv by python method call(파이썬으로 json을 csv 변환)
안녕하세요. 이번에는 간단하게 nested json 포맷 데이터를 csv로 변환하는 코드를 여러분께 공유해 드리려고 합니다. 전체 코드부터 공유하겠습니다. # -*- coding: utf-8 -*- import json import …
BERT 한국어버전(korquad) training 및 evaluating 해보기
안녕하세요 coconut입니다. 오랜만에 BERT에 관해 포스팅을 하게 되었습니다. BERT(Bidirectional Encoder Representations from Transformers)는 구글에서 배포한 오픈 소스입니다. BERT 전에는 NLP 알고리…
python으로 동영상 정보 확인하기(feat. PyAV)
안녕하세요 coconut입니다. 회사일을 진행하던 중 작업에 동영상 정보를 확인할 일이 생겨서 python으로 동영상을 읽어서 정보를 열람하는 것을 포스팅하게 되었습니다. 우선 동영상을 읽어올 수 있는 여러가지 파이썬 패키지 중에서 저는 PyAV를 선택하여…
Python list VS Numpy for matrix multiply
Hello!! I'm Coconut~ This time, running simple test for matrix multiply with python list and python numpy Run environment : 800 by 400 X 400…
파이썬 크롤링의 기초와 간단한 실행
안녕하세요 코코넛입니다. 이번에는 크롤링 관련 세미나를 진행하면서 정리한 자료를 포스팅하게 되었습니다. 세미나를 진행하면서 사용한 ppt를 포스팅에서 그대로 사용하였습니다. 자 이제 시작합니다! 순서는 간단하게 왜 어떻게 하는지에 대한 이유…
Python을 이용한 엑셀 읽기 및 쓰기(xlrd, xlwt)
안녕하세요, coconut입니다 이번에는 파이썬을 이용한 엑셀 읽고 쓰기를 알려드리려 합니다. 일단 지금 포스팅에서 쓰이는 라이브러리는 .xls만 지원한다는 점에 유의해 주시기 바랍니다. .xlsx를 기대하고 찾으신 분은 아쉽지만 다른 블로그를 참고해 주시기 …
zappa를 이용한 파이썬 서버리스 구현
안녕하세요 이번에는 python 코드를 서버없이 실행할 수 있게 해주는 zappa를 사용하는 방법을 소개하겠습니다. 우선 zappa에 관해 간단히 설명을 하겠습니다. 최근들어 aws, azure, gcp 같은 클라우드 플랫폼 서비스에서 …
MeCab 및 mecab-python 설치하기(MacOS)
안녕하세요 코코넛입니다. 이번에는 형태소분석기 중에서도 뛰어난 능력을 자랑하는 은전한닢(MeCab)을 MacOS에 설치하는 방법을 메모할 겸 포스트하게 되었습니다. https://bitbucket.org/eunjeon/mecab-ko/downloads/ …