[네이버 부스트 캠프 AI Tech 4기] Week 5 주간 회고록
수업
Week5에는 KAIST의 주재걸 교수님의 Seq2 Seq부터지금의 BERT류 모델이 오기까지의 Technical한 논문들과 아이디어를 위주로 수업이 진행되었다.
확실히 대세라고 할 수 있는 Transformer는 2분할 하여 강의를 진행해주셨고, BERT를 기반으로 HuggingFace에 올라온 모델들 중 대표적인 모델들을 위주로 설명해주셨다.
ALBERT와 ELECTRA에 대해서 잘 알고 있다고 생각했지만, 확실히 논문에 대한 100% 이해한다는 것이 중요한 것 같다(그동안은 읽고 '이런거구나~'하고 넘긴 사례가 많은…ㅜ).
그래도 이번 기회에 확실히 잡고자 모르는 것이 있으면 바로 잡고, 개념을 확실히 잡았다.
실습
Embedding에 관하여 주로 실습과제가 나왔다. 사실 이 부분은 알고리즘 푸는 방식과 비슷하여 솔직히 크게 와닿진 않았지만, 뭔가 이렇게 문제를 낸 이유가 있다고 생각하여 최선을 다해 풀었다.
Git이나 구글링을 통해 답을 볼 수 있었지만, 그렇지 않고 스스로 해내려고 하였다. 특히, 못풀것같으면 생각은 끝까지 하되 나중에 풀이를 보며 내가 생각한 방식과 뭐가 다른지 확인까지만 하는 과정을 밟았다.
특강
Egoing님의 Git특강이 있었는데 정말 매우 배우고 싶었던 강의 중 하나고, 유투브로 가르친 경험이 많으셔서 그런가 매우 직관적인 설명을 해주셔서 좋았다.
근데 pull request부터 지식의 한계가 왔고, 조금 더 공부를 하며 연구를 해야할 것 같다.
느낀 점
랜덤 피어세션이나 다른 사람들과 대화를 해보면 확실히 커리큘럼을 100% 소화할 순 없는 것 같다. 그렇다고 편식을 하듯 공부를 하면 안되고 최대한 내 힘으로 해결하려고 노력하며 서칭과 문제에 대해 고민을 많이 하는 시간 자체가 나에겐 자원이 된다고 생각하여 주눅들 필요는 없어보인다.
하지만 내가 원래 하던 공부 방식을 다시 찾는 건 중요한거 같다. 모르는 것을 연구 끝에 알아가며, 문제풀이 형식은맞지 않고 그 문제에 대해서 틀리더라도 끝까지 내것으로 만드는 방법!!!
슬슬 다시 내 템포를 찾는 것같아 기분은 좋지만, 체력적으로 뭔가 힘들다고 느낀 한 주였다. 내 패턴을 찾는 건 좋지만 조금 체계적으로 관리하며 공부하는 방식을 세우며 커리큘럼 외 독서를 하며 사고를 정리하는 시간을 가지는 것이 좋아보인다.
세 줄 요약
- 나도 성장하러 왔다!!!
- 알고리즘 / 코테 / CS 공부를 해야 한다 (근데 어떻게 하지? ㅋㅋㅋ)
- 모델 정리 필수!!