분류 전체보기 (152) 썸네일형 리스트형 [Jmeter] Jmeter를 통한 심플한 성능테스트 [ 성능 테스트 ! ] [GCP] Cloud Monitoring 로 VM 인스턴스 로그 수집하기 - 2. 부하테스트(Locust) [ 부하테스트 ] 다음은 지정한 URL로 부하테스트를 해보려고 한다. 사용할 툴은 바로 Locust! Python으로 스트립트를 작성하기도 하고, 또 사용하기 쉽다고 해서 바로 써보기로 했다. 정식 document는 다 buildabetterworld.tistory.com 이전에 사용해본 부하테스트 툴인 'Locust' 이번에 새로운 프로젝트를 진행하면서, API테스트와 부하테스트를 한번에 해주는 툴을 만들기로 했다! (쿠버네티스 + 프로메테우스 + 그라파나 조합인데 공부하면서 3주안에 만들 수 있으련지...) 그러려면 기존의 툴에 대한 이해는 필수이다! 따라서 전에 사용해본.. [Docker] 내가 복붙해서 쓰려고 적는 도커 설치 스크립트 [ AWS EC2 Ubuntu 환경에서 Docker 설치 ] #!/bin/bash # 패키지 업데이트 sudo apt-get update -y # 기존에 있던 도커 삭제 sudo apt-get remove docker docker-engine docker.io # 도커 설치 sudo apt-get install docker.io -y # docker 서비스 실행 sudo service docker start # /var/run/docker.sock 파일의 권한을 666으로 변경하여 그룹 내 다른 사용자도 접근 가능하게 변경 sudo chmod 666 /var/run/docker.sock # ubuntu 유저를 docker 그룹에 추가 sudo usermod -a -G docker ubuntu 참고로 새로.. [Docker] Buildx: Multi-Arch images 빌드하기 (linux/amd64, arm64) [사용중인 모델에 딱 맞는 '가성비 갑' 인스턴스를 찾아서...] 프로젝트를 하면서 자연어 감정분류 모델로 BERT를 썼다. 이놈을 돌리기 위해 좀 비싼 모델(Linux t2.xlarge )을 사용했는데, 얼마 쓰지 않았는데도 요금 폭탄의 조짐이 보이기 시작했다. 아무래도 아직 취준생 신분이라... 용돈을 까먹으면서 살아가기 때문에 절약할 수 있는 비용은 최대한 절약해야 했다. 이대로 가다간 EC2 대여비용으로 파산할 지도 모르는 상황이;; 그래서 일단 이 모델이 도대체 얼마나 자원을 잡아먹는지를 알아봤다. 기존의 대여중이였던 (BERT모델이 돌아가는 중이던) 서버에서 top명령어로 찾아보니 사용중인 RAM 용량이 거의 8GB에 육박했다.... 젠장...최소 8GB의 RAM을 보유하는 인스턴스 모델은 내.. [Hadoop/기록] 8. Hadoop map-reduce (WordCount / Python) [How abount python] 동일한 WordCount 예제를 이번에는 python으로 작성해 보도록 한다. 먼저 리눅스에 python을 설치해 준다. (공부중인 영상을 참고했는데, 매번 인스턴스 벽돌만 만져서 그런가 역대급 깔끔 설치;;) sudo apt update sudo apt-get install python-is-python3 1. Java는 한 파일에 다 담았지만 python은 mapper와 reducer를 따로 작성해본다. 먼저 mapper를 작성하고, 실행권한을 추가한다. mapper 파일의 역할은 다음과 같다. 단순히 잘라...준다. 2. 다음은 reducer 파일이다. reducer 또한 들어오는 라인의 tab을 기준으로 첫번째 것만 잘라서, int형으로 변환하고, 만약 word.. [Docker] 이미 실행한 컨테이너 포트포워딩 재설정하기 [ jenkins...bye.. ] 프로젝트가 거의 끝물에 이르면서, 벡엔드 서버는 정리+마무리 단계다. jenkins를 도커 컨테이너로 만들어서 쓰면 기본포트가 8080인데, 포트번호를 바꿔줄수 있냐는 팀원 요청이 있었다. 해본적이 없어서 간단한 방법을 찾았는데 유용할 것 같아 기록으로 남긴다. Wrong solution !! -> 먼저 시도한 방법은 ..... 커밋하고, 포트포워딩 바꿔서 다시 실행! (예상은 했지만 역시 실패... ) docker stop jenkins-container-name docker commit jenkins-container-name jenkins-image-name docker run -p 8081:8080 -d jenkins-image-name 그리고 다시 접속해보면... [Kafka] Intro. + AWS에 Kafka 브로커 생성하기 [하나씩 배우고 싶은데, 프로젝트는 기다려주질 않고...] 아파치 카프카 애플리케이션 프로그래밍 with 자바 - YES24 아파치 카프카 애플리케이션 개발을 위한 「실전 가이드」아파치 카프카란 무엇일까? 카프카 애플리케이션은 어떻게 만들까? 데이터 파이프라인을 만들기 위해 어떤 카프카 라이브러리를 사용 www.yes24.com 추천시스템 프로젝트를 시작하면서 내가 써보고 싶었던 것은 FastAPI, AWS S3(Object Storage), 그리고 빅데이터 아키텍쳐였다. 앞의 두개는 금방 배우고 적용했는데, 그나마 제일 베이스가 많았던 빅데이터 아키텍쳐는... 역시 쉽지않다. 알아야 할게 너무 많아!!! Spark..ML.. [취준 불합격기] 카카오 Data Scientist 최종탈락 후기 [이거 왜 쓰나... 나 취직 언제쯤 하려나... ~.~] 한창 상반기 취준을 시작하면서 설레던 몇달 전으로 거슬러 올라간다. 얼마전에 kakao 공채 2차 blind 테스트를 봤다. 리더보드 상으로 200위 안팍을 한 것 같아서 별 기대는 하지 않고 있다. ( 추가: 놀랍게도 2차 코테도 합격해서 면접 보고 왔다!! ) 사실 이번 카카오 공채는 칠 생각도 없었던 것이, 이미 수시 최종 탈락한 경험이 있어 1년간 K자는 볼 이유가 없을것이라 생각했다. (맞다 카카오는 인터뷰 탈락시 1년간 재지원이 불가하다). 다행히 수시채용과 공채는 별개로 진행되어 2차까지 오긴 했지만, 아직 그 옛날의 뼈아픈 기억이 잊혀지진 않는다. 그래도 생각난 김에 회고도 하고, 다시 정신도 바짝 잡을 겸 해서 쓴다. 지금이 9월.. [AWS S3] FastAPI - S3 Image upload [Amazon Simple Storage Service(Amazon S3)] Amazon S3이란 무엇인가요? - Amazon Simple Storage Service HTTP를 통한 SOAP 지원은 중단되었지만 HTTPS를 통해 계속해서 사용할 수 있습니다. 새로운 Amazon S3 기능은 SOAP에 대해 지원되지 않습니다. REST API 또는 AWS SDK를 사용하는 것이 좋습니다. docs.aws.amazon.com 추천시스템을 만들면서, 대용량의 이미지 파일을 저장할 필요가 생겼다. 원래 사용하던 GCP(Google-Cloud-Platform)의 Bucket을 사용할까 생각하다가 AWS의 S3를 사용하기로 했다. 이유는? S3 써보고 싶어서! 그러면 S3가 정확하게 어떤것이고, 언제 사용하면 좋.. [Sqoop] Avro File [Avro File] [Sqoop] Parquet File [Parquet File] Apache Parquet Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language. parquet.apache.org Parquet(파케이)는 빅데이터를 저장하는 방식(파일포멧) 중 하나이다. 빅데이터 에코 시스템에서 유명한데, 데이터를 효율적으로 저장할 수 있다. 그렇다면 Parquet의 장점은 무엇일까? 간단하게 세가지 정도를 꼽아볼 수 있다. 빠르게 읽을 수 있다 압축률이 좋다 특정 언어,프레임워크에 종.. 이전 1 2 3 4 ··· 16 다음
