IntroductionAirflow 는 airbnb 에서 워크플로우를 관리하고 스케줄링하기 위해 개발한 파이썬 기반 오픈소스입니다. 본격적인 MLOps 환경을 구성하기 위해 새로 구축된 GPU 클러스터에 helm 차트를 이용해서 airflow 를 배포했습니다. Airflow를 선정한 이유는 Dynamic, Extensible, Flexible이라는 장점 때문입니다. 운영 환경에서 모델 학습을 함께 실행해야 한다는 요구사항을 고려할 때 확장성(scalability)이 매우 중요했으며, GPU 리소스 관리도 필요했습니다. 개발 속도 측면에서 강점을 가진 Prefect도 대안으로 검토했으나, 최종적으로는 Airflow가 팀의 요구사항에 가장 적합하다고 판단하여 선정했습니다. OS: Rocky LinuxKub..

마음의 고향같은 부스트캠프 AI Tech 의 프리코스 에서 다룬 딥러닝 학습에 이용되는 수학적 개념들을 정리해 보았습니다.강의가 입문자를 대상으로 하는 만큼 핵심만 다루고, 수식들은 최대한 자연어로 풀어보았습니다. [부스트캠프 AI Tech 프리코스] 인공지능 기초 다지기 (1)[부스트캠프 AI Tech 프리코스] 인공지능 기초 다지기 (2) 확률론실제 존재하는 데이터의 분포를 학습하여 새로운 데이터에서 가장 높은 성능을 보이기 위하여 확률론을 도입했습니다.다양한 loss function 들이 확률론적 원리로 유도됩니다 확률분포확률분포는 "데이터의 초상화" 입니다. 해당 데이터가 가지는 특성에 따라 이산확률분포와 연속확률분포로 나눌 수 있습니다. 이산확률분포넓은 범위에서 "분류" 로 정의될 수 있는..

PruningPruning 은 Neural Net의 크기를 줄이는 작업이다.Neural Net은 앞장에서 다뤘듯 synapse 와 neuron 으로 구성되어 있는데, 이중 상대적으로 적은 양의 정보를 담고 있는 값들을 삭제함으로서 정보 손실을 최소화하면서 경량화를 수행한다. 파란색 정규분포 그래프는 pruning 전 weight의 값 분포로, 대부분이 0 근처에 모여있는 정규분포 형태를 가진다. 그렇지만 pruning 을 수행하면 0 근처의 값, 즉 적은 양의 정보를 가진 값들이 삭제되었이 분포에 나타난다 그러나 이 과정에서 성능 하락 (위 그래프에서 accuracy loss) 는 피할 수 없으므로 tradeoff 를 고려해서 상황에 맞는 최적점을 찾는다. Pruning 과 finetuning 을 cyc..

MIT HAN Lab의 2024년도 가을학기 EfficientML.ai 강의를 듣고 관련 내용을 정리했습니다또한 삽입된 모든 그림은 강의 사이트에 공개된 슬라이드에서 참고하였습니다. 좋은 강의를 공개해 주신 Song Han 교수님께 감사드립니다! 강의OT 이후 첫 강의라 그런지 Nerual Network 의 기본 개념들을 정리하고 넘어가는 내용이었다. 뉴런과 시냅스흔히 Neural Net을 신경계의 뉴런에 많이 비유하는데 지금까지 그런가보다~ 하고 넘어갔던 부분을 자세히 설명해주셨다. Neuron은 외부에서 정보를 받아들이는 수상돌기(dendrite), 정보를 전달하는 축색돌기(axon)로 구성된다. input layer와 weight를 합쳐서 synapse로, weighted sum 과 act..

3줄 요약정규표현식(regex) 을 Language Model의 결과를 후처리하고 있습니다. 특히 hallucination 을 필터링하는 데 유용하게 쓰고 있는데요, regex 에서도 무한루프가 걸릴 수 있답니다! (저는 몰랐고 알고 싶지 않았습니다) 이런 regex 의 무한루프에 대해 알아보고 python 에서 해결방법을 구현해 보았습니다.   Regex정규표현식은 Regular Expression 으로, 문자열에서 특정 패턴을 찾고, 대체하고, 분할하는 데 사용합니다.대표적인 사용처는- 데이터 유효성 검사 (ID, PW, 이메일 주소, 전화번호 등)- 데이터셋 전처리 등이 있습니다.  python에서 정규표현식은 내장 모듈인 re를 대부분 이용합니다.이 re 모듈의 사용예시를 간단히 살펴보면 아래와 ..

- CloudNet에서 주관하는 Terraform 스터디 내용입니다- 내용은 위 책 테라폼으로 시작하는 IaC 를 기준으로 정리하였습니다.- 실습은 M1 macbook air 에서 진행했습니다.- 매번 좋은 스터디를 진행해 주시는 CloudNet 팀 감사드립니다- 잘못된 점, 업데이트된 지식, 다른 코멘트 언제나 환영입니다!   OpenTofu 소개 테라폼을 포크해서 만든 완전한 오픈소스 IaC 툴 이라고 한줄로 요약할 수 있겠습니다툴은 바뀌었지만 문법은 기존과 같이 HCL을 사용합니다! 기존에는 Terraform도 완전한 오픈소스였으나 아래 타임라인에 따라 점차 변화합니다23.08 : 해시코프가 테라폼 라이센스를 MPL -> BUSL 로 변경, OpenTF 포크 발표23.09 : OpenTF 레포 공개..