ok-lab

협업을 하다보면 requirements.txt 를 통해 본인이 실험하고 있는 환경에 대한 정보를 전달할 때가 존재한다. 가장 확실한 방법은 Dockerfile을 공유하여 docker image를 pull해서 서로 같은 가상환경 내에서 작업을 하는 것이다. 그러나, 가상환경을 잡고 하는 부분은 처음 시작하는 사용자에게는 어려울 수 있고, 해당 언어에 대한 내용을 알아야 사용할 수 있기 때문에 requirements.txt를 사용하게 된다. (추가로 poetry를 사용하여 버전 freeze를 할 수도 있다.) 그렇다면 requirements.txt를 어떻게 작성하는지에 대해서 알아보자. 예를 들어 pandas 를 설치하게 된다면 아래와 같은 코드를 사용하여 설치할 것이다. !pip install pandas..

파이썬을 사용하다 보면 경로에 대해 중요시하게 된다. Dataset의 경로 내에 있는 '.csv' 등의 파일을 모두 호출해서 해당 파일을 for 문 형태로 받아오는 일이 생길 수 있다. 이때 주로 사용하는 패키지는 os와 glob가 있다. os.walkBASE_DIR = os.path.dirname(__file__) # os.path.dirname(os.getcwd())def find_file(ext='.csv'): """ 확장자가 일치하는 파일을 호출함. """ paths = [] for (path, _, files) in os.walk(BASE_DIR): for filename in files: ex = os.path.splitext(fil..

Contents LangGraph IntroductionLLM을 사용하다 보면 LangChain과 LangGraph에 대해서 들어보았을 것이다. 두 패키지는 LLM을 쉽게 사용할 수 있고, LLM이 가지고 있는 환각(Hallucination)을 완화하기 위해 제안되었다. LLM의 가장 고질적인 문제인 환각 현상을 회피하기 위해 RAG(Retrieval-Augmented Generation)이 제안되었고, RAG는 LLM에서 학습되지 않은 정보에 대해서 답변할 때 인터넷 혹은 논문 등과 같은 정보를 활용하여 환각이 발생하지 않고 정확한 답변을 내는 기법 중 하나라고 볼 수 있다. 금융권이나 업무 보조 등으로 LLM을 사용하는 경우에는 관련 약관을 제공하거나 법률 등의 질문에 대한 답변에서 환각이 발생하..

파이썬에서 환경변수를 설정하는 방법은 다양하다. 실제 제어판에서 환경변수를 설정하고 경로를 지정하는 방법 외에 dotenv를 통해서도 지정이 가능하다. 도커를 사용하면 Docker Image 파일에서 설정하는 것이 가능하지만, Conda 환경에서는 .env 파일로 관리하는 것이 효율적이다. 주로 LLM 모델을 사용할 때 API_KEY를 지정하는 경우 주로 사용된다. from dotenv import load_dotenvload_dotenv()# True 위 과정을 수행하려면 실행하는 ipynb 혹은 py 파일와 같은 경로상에 .env라는 파일이 필요하다. 해당 파일 내에 API_KEY를 설정해두고 호출하면 환경변수가 설정된 것을 확인할 수 있다. # .envANTHROPIC_API_KEY='your ap..

SSL(Secure Sockets Layer)은 인터넷상에서 데이터 통신 보안을 제공하는 암호 프로토콜을 의미한다. 파이썬에서 해당 오류가 발생하는 것은 회사 내 방화벽 문제나 SSL certification이 제대로 되지 않았음을 의미한다. 위 문제를 해결하는 방법은 두 가지가 존재한다. 첫 번째로는 pip 시 해당 url 정보는 신뢰할 수 있는 사이트라는 것을 명시하고 설치를 할 수 있다. !pip install {packages} --trusted-host pypi.org --trusted-host files.pythonhosted.org 설치하는 packages는 신뢰할 수 있는 파일이라고 명시하고 방화벽 이슈가 발생하지 않도록 처리하는 것이다. 두 번째 방법은 ssl 자체에 검증을 수행하는 과..

딥러닝에는 다양한 하이퍼파라미터가 존재한다. 이때, Wandb의 Sweep을 사용하지 않고, 학습하고 싶은 경우에는 shell 파일을 통해 로그를 저장하면서 학습할 수 있다. 아래와 같이 learning rate, batch size, sequence length 등을 지정하고, 모델을 돌리게 된다면, 각 인자를 변환하면서 모델이 백그라운드로 실행되게 된다. for lr in 0.001 0.0001 0.00001 do for batch in 8 16 32 64 do for len in 64 128 256 512 do nohup python3 train.py --lr $lr--batc{h}_{s}ize${batch} --max_length {lr}-$batch-${..

이번에는 딜로이트(Deloitte) 컨설팅에 지원한 후기를 작성하고자 한다. 딜로이트는 딜로이트 안진회계법인으로 유명하고, 세계 빅4 회계법인 중 하나다. 딜로이트 컨설팅은 자문, 컨설팅 등을 하는 업체로 최근에는 생성형 모델 개발 등에 업무를 컨설팅 및 자문을 하는 것으로 보인다. 이번에 AI 관련 인원을 채용하기에 지원을 해보았다. 지원 내용을 한 번 확인해보면, AI 분석 컨설팅 및 Python 기반 생성형 AI 모델 개발 지원, 기 구축 AI/ML 모델 개발 및 검증 업무라고 되어 있다. 회사 홈페이지를 찾아보니, Whisper, DALL-E, LLM 등의 모델을 이용해서 컨설팅을 하는 것으로 보인다. 추가적으로 통계 데이터 분석을 통해 관련 업무로도 컨설팅을 진행하는 것 같다. 우대사항을 보면,..

최근 이곳 저곳 다양한 회사에 지원서를 넣으면서 YG 엔터테인먼트에서도 데이터사이언스 관련 직무를 채용하는 것을 발견했다. "팬들의 감정을 내포한 언어적 표현" 으로 된 것으로 보아 감성분석 모델링이나, 예측 모델 등을 다루고 시각화 대시보드를 중점적으로 다루는 업무로 보인다. 경력직으로 되어있으나 2년차부터 11년차까지 채용하기 때문에 석졸으로 경력 지원을 해보았다. 채용 프로세스는 서류 전형 -> 실무면접 -> 임원면접 -> 건강검진 -> 최종합격 으로 구성되어 있으며, 실무면접 단계에서 코딩테스트를 따로 보는 것 같다. 서류 전형 서류 전형은 기본적인 조건만 일치한다면, 합격하는 것 같다. 그래서 나도 무난하게 합격하였다. 회사마다 다르지만, 석사를 경력으로 인정해주지 않는 곳도 있다. YG 엔터테..

이번에는 2024 상반기 대웅제약 AI 분야 인턴 모집에 지원하였다. 채용 분야는 LLM, 생성형 모델(Vision), 헬스케어 AI개발, AI 리터러시 교육, 백엔드 등의 직군이 있었는데, 나는 헬스케어 AI 개발 직무에 지원하였다. 전형 절차는 서류 전형 -> 온라인 인적성 검사 -> 1 Day 면접 -> 최종 입사(6개월 인턴) 로 구성되어 있다. 인턴을 채용하는 만큼 매우 간소화된 프로세스로 이루어져 있고, 최종 합격한 후 우수 인턴 사원에 한하여 정규직 입사 기회를 제공한다고 한다. 아무래도 프로세스가 간단하다 보니 인턴을 6개월이나 진행하는 것 같다. 서류 전형 다른 회사에서도 마찬가지로 서류에서는 무난하게 합격하는 것 같다. 인턴 모집이다 보니 서류 자체에는 크게 비중을 많이 두지 않았지 않..

이번에는 2022년도 SK브로드밴드 신입사원 채용 후기에 대해서 작성해보려고 한다. 이때는 대학원 1학년 시절, 학사를 졸업하고 얼마 되지도 않았을 때 넣은거라 아무런 실적도 없는 상태였다.. 서류 전형 나는 Data Analyst 직무에 지원하였고, 서류는 무난하게 합격할 수 있었다. 합격한 사람을 대상으로 SKCT를 진행하며, SKCT는 인적성 검사로, GSAT 보다는 쉬운? 느낌이라고 한다. 필기 전형 SKCT 필기 전형에서 Data Analyst 직무는 코딩 테스트를 수행하여야 하며, 코딩 테스트는 일반적인 코테라기보다 이론을 물어보는 시험 + 간단한 코딩 문제 형태로 나왔던 것으로 기억한다. 그 후 SKCT는 오프라인으로 시험을 봤으며, 세종대학교에 가서 시험을 치루었다. 시험 자체는 어려운 것..

이번에는 2023 상반기 SK플래닛 인턴 모집에 지원한 후기를 작성하고자 한다. 모집 분야에서 Engineering (AI) 분야에 지원하였고, 합격하게 되면 2023.04.10 ~ 2023.07.07 까지 인턴을 진행한다. 전형 프로세스는 서류 전형 -> 코딩 테스트 -> 인터뷰 -> SKCT -> 채용검진 -> 합격자 발표 -> 인턴십 으로 구성되어 있다. 서류 전형 서류는 간단하게 보는 것 같고, 무난하게 합격 했다. 별다른 스펙은 없었지만... 직무 면접/ SKCT 나는 AI 분야에 지원했기 때문에 별도의 코딩 테스트는 없었다. 그래서 서류 전형 이후에 바로 직무 면접과 SKCT를 진행하였다. SK의 경우 6개월 내에 SKCT를 합격한 경험이 있으면, 추가로 시험을 보지는 않는다고 한다. 직무 면..

Contents Abstract Referring Image Segmentation (RIS)는 입력으로 이미지의 영역의 Referring expression이 주어지면 Segmentation mask를 찾는 태스크다. RIS Task를 수행하기 위해서는 각 이미지 내 Segmentation에 대한 라벨이 지정된 데이터가 요구되는데 많은 비용과 인력이 투자된다. 본 논문에서는 이와 같은 문제를 해결하고자, 사전 학습된 CLIP을 기반으로 한 Zero-shot referring image segmentation method를 제안한다. 입력으로 주어진 텍스트 정보에서 segmentation mask 를 추출하기 위해, 입력된 이미지의 Global and local contextual information을..

이번에는 비상교육에 지원해보았다. 지원한지는 조금 되었으나, 늦게나마 후기를 작성해본다.. 비상교육은 서류전형 -> AI 역량검사 -> 1차면접 -> 2차면접 -> 최종합격 형태로 진행된다. 다른 회사랑은 다르게, 주 3일 재택근무를 수행하고, 금연 정책을 수행해서 건물 내에 흡연을 할 수 있는 곳이 없다. 자유로운 출퇴근, 그리고 휴가, 문화지원 등 다양한 형태로 복지도 제공하는 것으로 보인다. 서류전형, AI역량검사 서류전형과 AI 역량검사는 다른 회사와 큰 차이점 없이 비슷한 플랫폼에서 역량검사를 수행한다. 서류 전형을 포함해서 AI 역량검사를 한 번에 진행하고 최종 결과를 알려준다. 1차 면접 위에 적힌 프로세스에는 코딩 테스트와 관련된 내용이 없지만, 1차 면접 이후, 장소를 변경해서 코딩 테스..

이번에는 아워홈 채용에 지원을 해보았다. DT Talent 직무에서 데이터분석으로 지원하였고, 아워홈은 신기하게 DT Talent 분야는 서류 전형이 면제였다. 입사 지원 -> AI 역량 검사 -> 사전 과제 -> 실무/PT 면접 -> 임원 면접 -> 최종 입사 형태로 진행되며, 2월 말 정도에 입사하는 것으로 전달 받았다. 서류 전형 서루 전형은 "특이사항"이 없는 경우에는 합격이라, 전혀 다른 분야가 아니거나 그런 경우에는 전부 합격시켜주는 것 같다. 그 후에 AI 역량 검사로 탈락시키는걸로 확인된다. AI 역량 검사 AI 역량 검사는 다른 회사와 마찬가지로 카드 뒤집기, 질문 답변하기 같은 그런 문제들이 나왔다. 해당 역검을 통해서, 회사마다 다르지만 A~B 정도에 배정되면 거기에 배정되는 인력을 ..