ok-lab

Contents Spring MVCSpring MVC는 Model + View + Controller를 의미하며, 웹 사이트에서 들어오는 요청을 역할을 구분지어 관리하기 위한 기본적인 구조라고 볼 수 있다. Model은 비즈니스 로직, 데이터, DB 접근 등을 담당하고, View는 화면 단계에서 어떤 것을 보여줄지(View)에 대한 부분만 집중한다. 마지막으로 Controller는 웹 상에서의 사용자의 요청을 받아 적절한 Model을 호출하고, 결과를 View에 전송하는 중간 역할을 담당한다. src ├─ main │ ├─ java/com/example/demo │ │ ├─ controller │ │ │ └─ HomeController.java ← Control..

협업을 하다보면 requirements.txt 를 통해 본인이 실험하고 있는 환경에 대한 정보를 전달할 때가 존재한다. 가장 확실한 방법은 Dockerfile을 공유하여 docker image를 pull해서 서로 같은 가상환경 내에서 작업을 하는 것이다. 그러나, 가상환경을 잡고 하는 부분은 처음 시작하는 사용자에게는 어려울 수 있고, 해당 언어에 대한 내용을 알아야 사용할 수 있기 때문에 requirements.txt를 사용하게 된다. (추가로 poetry를 사용하여 버전 freeze를 할 수도 있다.) 그렇다면 requirements.txt를 어떻게 작성하는지에 대해서 알아보자. 예를 들어 pandas 를 설치하게 된다면 아래와 같은 코드를 사용하여 설치할 것이다. !pip install pandas..

파이썬을 사용하다 보면 경로에 대해 중요시하게 된다. Dataset의 경로 내에 있는 '.csv' 등의 파일을 모두 호출해서 해당 파일을 for 문 형태로 받아오는 일이 생길 수 있다. 이때 주로 사용하는 패키지는 os와 glob가 있다. os.walkBASE_DIR = os.path.dirname(__file__) # os.path.dirname(os.getcwd())def find_file(ext='.csv'): """ 확장자가 일치하는 파일을 호출함. """ paths = [] for (path, _, files) in os.walk(BASE_DIR): for filename in files: ex = os.path.splitext(fil..

Contents LangGraph IntroductionLLM을 사용하다 보면 LangChain과 LangGraph에 대해서 들어보았을 것이다. 두 패키지는 LLM을 쉽게 사용할 수 있고, LLM이 가지고 있는 환각(Hallucination)을 완화하기 위해 제안되었다. LLM의 가장 고질적인 문제인 환각 현상을 회피하기 위해 RAG(Retrieval-Augmented Generation)이 제안되었고, RAG는 LLM에서 학습되지 않은 정보에 대해서 답변할 때 인터넷 혹은 논문 등과 같은 정보를 활용하여 환각이 발생하지 않고 정확한 답변을 내는 기법 중 하나라고 볼 수 있다. 금융권이나 업무 보조 등으로 LLM을 사용하는 경우에는 관련 약관을 제공하거나 법률 등의 질문에 대한 답변에서 환각이 발생하..

파이썬에서 환경변수를 설정하는 방법은 다양하다. 실제 제어판에서 환경변수를 설정하고 경로를 지정하는 방법 외에 dotenv를 통해서도 지정이 가능하다. 도커를 사용하면 Docker Image 파일에서 설정하는 것이 가능하지만, Conda 환경에서는 .env 파일로 관리하는 것이 효율적이다. 주로 LLM 모델을 사용할 때 API_KEY를 지정하는 경우 주로 사용된다. from dotenv import load_dotenvload_dotenv()# True 위 과정을 수행하려면 실행하는 ipynb 혹은 py 파일와 같은 경로상에 .env라는 파일이 필요하다. 해당 파일 내에 API_KEY를 설정해두고 호출하면 환경변수가 설정된 것을 확인할 수 있다. # .envANTHROPIC_API_KEY='your ap..

SSL(Secure Sockets Layer)은 인터넷상에서 데이터 통신 보안을 제공하는 암호 프로토콜을 의미한다. 파이썬에서 해당 오류가 발생하는 것은 회사 내 방화벽 문제나 SSL certification이 제대로 되지 않았음을 의미한다. 위 문제를 해결하는 방법은 두 가지가 존재한다. 첫 번째로는 pip 시 해당 url 정보는 신뢰할 수 있는 사이트라는 것을 명시하고 설치를 할 수 있다. !pip install {packages} --trusted-host pypi.org --trusted-host files.pythonhosted.org 설치하는 packages는 신뢰할 수 있는 파일이라고 명시하고 방화벽 이슈가 발생하지 않도록 처리하는 것이다. 두 번째 방법은 ssl 자체에 검증을 수행하는 과..

딥러닝에는 다양한 하이퍼파라미터가 존재한다. 이때, Wandb의 Sweep을 사용하지 않고, 학습하고 싶은 경우에는 shell 파일을 통해 로그를 저장하면서 학습할 수 있다. 아래와 같이 learning rate, batch size, sequence length 등을 지정하고, 모델을 돌리게 된다면, 각 인자를 변환하면서 모델이 백그라운드로 실행되게 된다. for lr in 0.001 0.0001 0.00001 do for batch in 8 16 32 64 do for len in 64 128 256 512 do nohup python3 train.py --lr ${lr} --batch_size ${batch} --max_length ${len} &> logs/logs-${lr}-${batch}-${..

이번에는 딜로이트(Deloitte) 컨설팅에 지원한 후기를 작성하고자 한다. 딜로이트는 딜로이트 안진회계법인으로 유명하고, 세계 빅4 회계법인 중 하나다. 딜로이트 컨설팅은 자문, 컨설팅 등을 하는 업체로 최근에는 생성형 모델 개발 등에 업무를 컨설팅 및 자문을 하는 것으로 보인다. 이번에 AI 관련 인원을 채용하기에 지원을 해보았다. 지원 내용을 한 번 확인해보면, AI 분석 컨설팅 및 Python 기반 생성형 AI 모델 개발 지원, 기 구축 AI/ML 모델 개발 및 검증 업무라고 되어 있다. 회사 홈페이지를 찾아보니, Whisper, DALL-E, LLM 등의 모델을 이용해서 컨설팅을 하는 것으로 보인다. 추가적으로 통계 데이터 분석을 통해 관련 업무로도 컨설팅을 진행하는 것 같다. 우대사항을 보면,..

최근 이곳 저곳 다양한 회사에 지원서를 넣으면서 YG 엔터테인먼트에서도 데이터사이언스 관련 직무를 채용하는 것을 발견했다. "팬들의 감정을 내포한 언어적 표현" 으로 된 것으로 보아 감성분석 모델링이나, 예측 모델 등을 다루고 시각화 대시보드를 중점적으로 다루는 업무로 보인다. 경력직으로 되어있으나 2년차부터 11년차까지 채용하기 때문에 석졸으로 경력 지원을 해보았다. 채용 프로세스는 서류 전형 -> 실무면접 -> 임원면접 -> 건강검진 -> 최종합격 으로 구성되어 있으며, 실무면접 단계에서 코딩테스트를 따로 보는 것 같다. 서류 전형 서류 전형은 기본적인 조건만 일치한다면, 합격하는 것 같다. 그래서 나도 무난하게 합격하였다. 회사마다 다르지만, 석사를 경력으로 인정해주지 않는 곳도 있다. YG 엔터테..

이번에는 2024 상반기 대웅제약 AI 분야 인턴 모집에 지원하였다. 채용 분야는 LLM, 생성형 모델(Vision), 헬스케어 AI개발, AI 리터러시 교육, 백엔드 등의 직군이 있었는데, 나는 헬스케어 AI 개발 직무에 지원하였다. 전형 절차는 서류 전형 -> 온라인 인적성 검사 -> 1 Day 면접 -> 최종 입사(6개월 인턴) 로 구성되어 있다. 인턴을 채용하는 만큼 매우 간소화된 프로세스로 이루어져 있고, 최종 합격한 후 우수 인턴 사원에 한하여 정규직 입사 기회를 제공한다고 한다. 아무래도 프로세스가 간단하다 보니 인턴을 6개월이나 진행하는 것 같다. 서류 전형 다른 회사에서도 마찬가지로 서류에서는 무난하게 합격하는 것 같다. 인턴 모집이다 보니 서류 자체에는 크게 비중을 많이 두지 않았지 않..