전체 글191 [BigQuery] 최신의 데이터를 가져오는 3 가지 방법 먼저, 아래와 같은 데이터가 있다고 가정을 합니다. A 파트의 데이터가 우리가 갖고 있는 user_id 기준으로 중복이 있는 tbl_user 라는 테이블입니다.B 파트는 우리가 사용하고자 하는 user_id 기준으로 최신의 정보만 있는 "만들려고 하는 테이블" 입니다. 방법 1첫번째 방법은 사용자(user_id)별로 updated_at 기준으로 번호를 생성하고, 최신의 데이터를 가져오는 방법입니다.withuser_info as ( select user_id , name , phone , address , hobby , row_number() over(partition by user_id order by updated_at desc) as.. 2024. 12. 9. 앙상블 학습에서 Voting 간단한 예를 통해서 LogisticRegrerssion , KNN 두 개별모델의 성과와 두 모델의 Voting 을 통한 성과를 본다. 여러 분류학습기(estimators)들을 생성하고 예측을 결합하여,단일 분류기가 가진 것보다 더 나은 예측결과를 도출하기 위한 기법을 말한다.넓은 의미로 앙상블 학습은 서로 다른 모델을 결합한 것을 얘기하기도 한다.앙상블 학습의 유형으로 보팅 voting, 배깅 bagging, 부스팅, boosting, 스태킹 stacking 등이 있다. In [ ]:from sklearn.datasets import load_breast_cancerfrom sklearn.ensemble import VotingClassifierfrom sklearn.linear_model impo.. 2024. 8. 28. 캐논 LBP623CDW 모델 양면인쇄를 지원하는 모델. 윈도우즈에서는 프린트 드라이버가 잘 작동하지만, 맥에서는 옵션 찾기가 쉽지 않다. 서비스센터와 한참 통화 후에 아래 옵션 찾기 성공. 2024. 8. 28. 그룹별로 랜덤 sampling 하기 예전에 단순히 랜덤 sampling 을 하는 SQL 을 공유한 적이 있다. https://walkingfox.tistory.com/149 Mysql 샘플링 (Sampling) : 랜덤 추출Mysql 에서 랜덤(무작위)으로 몇개의 데이터를 추출하는 경우에 사용할 수 있는 쿼리 문장이다. order by 절에 rand() 함수를 적용하면 데이터가 랜덤한 순서로 추출이되면 limit 절로 그 갯수를 정하는walkingfox.tistory.com 이번에는 데이터가 그룹별로 있을 경우 그룹별로 랜덤하게 sampling 하는 방법에 대해서 적어보려 한다. 아래와 같은 tbl_user 테이블이 있다고 가정한다.연령대와 유져id 로 구성되어 있는age_groupuser_id10대12310대23420대345......6.. 2024. 8. 27. 맥(mac)에 Redash 설치 ( Install Redash on Mac) 맥에 Redash 를 설치하는 방법은 Docker 라는 가상화 tool 을 사용하여 설치를 해야한다. 그래서 아래의 사항이 먼저 설치되어 있어야 한다.gitdocker, docker-compose그리고 위 내용에 대한 자세한 내용은 적지 않는다. 아래의 작업을 하기 전에 docker desktop 이 실행되어 있어야 한다.Step 1 MacOS 에서 docker를 통해서 redash를 설치할 수 있도록 미리 구성을 해주신 (고마운) 아래의 git repository 를 clone 한다.https://github.com/kdabir/redash-mac GitHub - kdabir/redash-mac: Running Redash locally on Mac using Docker ComposeRunning .. 2024. 8. 10. 도커로 설치된 Redash 에서 MySQL 접속이 안되는 경우 문제의 상황은 아래와 같습니다. 1. mac (14.x) 에 homebrew 를 이용하여 mysql (8.x) 이 설치됨. - termianl 이나 dbeaver 같은 tool 에서 접속이 잘 되고 있음. 2. docker 를 이용하여 redash를 설치. - biqquery 에 잘 접속이 되는 것을 확인. - 문제는 local에 설치된 mysql 에 접속이 안되는 사황. 리대시에서 mysql 을 연결했을 때 나오는 에러는 이렇습니다. (2006, "Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)") 이는 mysql 서버가 켜져 있지 않거나, 아예 접속을 못하여 서비스를 인지하지 못하는 경우입니다.아래.. 2024. 8. 10. 맥(mac)에서 airflow 설치하기 에어플로우(Airflow)를 간단히 설명하자면, 어떤 반복적인 작업(task)들을 실행해주는 scheduler 이다. 여기에서는 anaconda가 설치되어있는 mac환경에서 airflow를 설치하는 내용을 적어보려한다. 1. airflow를 위한 python 가상환경 만들기conda create --name airflow_env python=3.9 -y 2. 가상환경 확인 및 만들어진 가상환경으로 전환 3. airflow 설치// airflow 설치conda install apache-airflow 4. airflow가 설치airflow가 설치되었다면, 터미널에서 다음 명령어로 db를 초기화해준다.// DB 초기화airflow db init DB가 초기화되면 사용자 계정의 폴더에 airflow 라는 폴더.. 2024. 7. 14. Python : 기간의 시작, 끝 날짜 구하기 오늘 날짜 또는 특정 날짜를 기준을 "전 주" 또는 "전 달"의 시작, 끝 날짜를 구해야하는 경우가 있습니다.예를 들면 매주 월요일에 전 주의 데이터를 가져와서 계산을 한다거나 등의 경우에 말이죠. 이 때 사용할 수 있는 몇 가지 경우의 코드를 작성해보았습니다. 12345678910111213141516171819202122232425262728293031323334353637383940414243444546import datetimefrom dateutil.relativedelta import relativedelta the_date = datetime.date.today()# the_date = datetime... 2024. 7. 13. 모던필라테스 지축역점 Open 와이프님이 지축역에 "모던필라테스 지축역점"을 오픈하였습니다. 많은 응원부탁드려요. [인스타]https://www.instagram.com/modernpilates_jichuk/ [카카오 채널]http://pf.kakao.com/_wIxhYG 모던필라테스 지축역점안녕하세요. 모던필라테스 지축역점입니다. #다이어트 #필라테스 #체형교정 #산전산후 #키즈pf.kakao.com [블로그]https://blog.naver.com/modernpilates-jichuk 모던필라테스 지축역점 : 네이버 블로그아름다운 몸을 만들고, 건강한 삶을 연구하는 모던필라테스 지축역점입니다. 새롭게 오픈한 지축점은 자연과 도심이 어우러진 최고의 환경속에서 건강과 아름다움을 추구하는 모든분들을 위한blog.naver.com 2024. 7. 10. 피처 스케일링 (Feature Scaling) 피처 스케일링이란 서로 범위가 다른 변수(피처)들의 스케일을 일치시켜주는 작업을 말한다. 예를 들면 아래와 같이 x1, x2, x3의 범위나 분포를 같은 규격으로 맟춰주는 작업인데,거리를 기반으로 하는 모델에서는 스케일이 맞지 않으면 좋지 않은 성과를 나타내게 되기 때문이다. 여기서는 두 가지 방법을 소개해보고자 한다. 1. min-max 정규화 : 최소값을 0 최대값을 1로 정규화 한다.2. standardization 정규화 : 평균을 0 표준편차를 1로 표준화한다. 아래와 같은 테이블이 있다고 하면,import pandas as pdheight_weight_dict = {'키':[1.7, 1.4, 1.9], '무게':[60, 50, 70]}df = pd.DataFrame(height_weight_d.. 2024. 5. 22. 이전 1 2 3 4 ··· 20 다음
