전체 글 174

[데브콘_고투런] 같이 러닝하이 느끼기

귀엽고 순수하던 사회대 학생 시절엔 몰랐다. 소프트웨어학과 친구들은 항상 스스로에게 가혹했다. 한 친구는 "나는 도태될지도 몰라!" 라며 매일을 공부에 매진했다(결국 좋은데 가심..) 개발자의 직업 특성 중 하나가 매일같이 신기술을 공부해야한다는 것이라는 말을 들었을 때도, 속으로는 에이 공부안하는 직무가 어딧써 앓는소리하네 라고 생각했다.그리고 난 개발자가 되었다.후후난 매일같이 도태공포에 떨고 있다다시한번 공룡선배의 조언을 새겨보자 개발과 커리어 관련 이야기를 나눌 모임을 간절히 찾던 중 저번에 오픈세미나를 갔던 데브콘에서 멘토링 활동을 한다는 소식을 듣고 바로 지원했다.https://k-devcon.com/entry/K-DEVCON-%EA%B3%A0%ED%88%AC%EB%9F%B0Go-To-Lear..

Diary 2024.06.09

[TroubleShooting] Error creating bean with name 'jpaAuditingHandler': Cannot resolve reference to bean 'jpaMappingContext' while setting constructor argument

Error creating bean with name 'jpaAuditingHandler': Cannot resolve reference to bean 'jpaMappingContext' while setting constructor argument 트슈 : TEST 코드 작성 중 발생한 에러개발할 때 CommonEntity를 두고 create_at, modified_at과 같은 엔티티의 생성과 수정을 자동으로 기록할 수 있도록 Auditing을 정의한 후 일반 엔티티에 상속받아 사용하고 있다. 이 때 Application class에서  @EnableJpaAuditing 를 달아 트랜잭션 커밋 시점에 플러시가 호출될 때, 하이버네이트가 자동으로 시간 값을 채워주도록 한다. test는 항상 applica..

Today I Run 2024.06.09

[GoogleStudyJam] AI와 어사 탈출하기(수료완료!)

AI가 세상을 바꿔놓을거라는 말을 들은지 어언 10년.. 그 동안 나는 대학을 거쳐 싸피를 거쳐 개발자가 되었다. 앞으로는 변호사도 판검사도 사람의 직업이 아닐것이라는 엄포를 들으며 두려움을 키워갔는데, 결국 AI는 싸움 상대가 아니라 친구가 되어야 한다는 진리를 얻었다. AI에게 어떻게 말을 걸까 고민하던 차에 구글 스터디 잼을 알게되었고 부담없이 온라인 강의를 들을 수 있어 신청했다. 가장 좋았던 점은 그냥 강의만 듣는것이 아니라 실습을 해 볼수 있다는 것이다. 구글에서 제공하는 인공지능 API나 라이브러리를 바로 사용해 볼 수 있고, 실습에서 가장 긴장되는 '코드 따라치기' 없이 주어진 스크립트를 실행시켜가며 진행하는 점이 마음에 들었다. 파이썬을 잘 몰라도 코드를 읽는 정도는 할 수 있고 버전이나..

Today I Run 2024.05.29

[GoogleStudyJam] Vector Search and Embeddings

Vector Search의미적 유사성에 초점을 맞춘 벡터 검색을 사용하면 유사성 높은 것들을 검색할 수 있다. 의미상 유사하거나 관련된 수십억 개의 항목을 검색하는 기능이 있다.vector 검색이 왜 중요한가? :keyword search와 같은 기존 검색 기술과 다른 점 : 키워드 검색은 웹 크롤링, 키워드 색인 생성으로 시작하여 검색 및 순위 지정을 통해 결과를 제공하는 프로세스를 따른다. 데이터는 테이블에 저장되며 검색은 어느정도까지 유효하다.사람들이 점점 더 정교한 검색 기능을 요구함에 따라 검색 엔진이 더욱 지능적이고 사용자의 의도를 더 잘 이해할 수 있기를 기대한다. 또한 검색엔진이 요약 생성 및 추천 생성과 같은 광범위한 작업을 수행하기를 원한다. 그러나 기존 검색기술은 쿼리의 의도와 컨텍스..

Today I Run 2024.05.20

[GoogleStudyJam] Transformer Models and BERT Model

Transformer-ModelTransformer 이전 모델은 단어를 벡터로 표현할 수 있었지만, 이런 벡터에는 context가 포함되지 않았다. 예를 들어 은행나무의 은행과 은행 강도의 은행은 attention mechanism이 등장하기 전에 같은 벡터를 사용했을 가능성이 있다. Transformer model은 인코더 디코더 모델이며 attention mechanism를 사용한다. 또한 모델 아키텍처를 통해 동시 로드를 활용하고 대량의 데이터를 동시에 처리 할 수도 있다. 주목 매커니즘은 기계 번역 어플리케이션의 성능을 개선하는데 도움이 된다.인코딩 컴포넌트는 같은 숫자로 이루어진 인코더의 stack이다. 6개의 인코더를 상호 간에 스태킹한다. (6은 초매개변수에 불과하다) 인코더는 모두 구조적으..

Today I Run 2024.05.10

[GoogleStudyJam] Encoder-Decoder Architecture

정리Encoder-Decoder 아키텍쳐는 두 단계로 진행된다.입력 문장의 vector 표현을 생성하는 encodeing stage. RNN 인코더는 입력 시퀀스의 각 토큰을 한 번에 하나만 처리하고 이전에 수집 된 토큰의 상태를 포함시켜 이 토큰의 상태를 생성한다. 이후 이 상태는 다음 인코딩 단계에서 다음 토큰과 함께 다음 상태를 생성하는 입력으로 사용됩니다. 순환신경망에 모든 입력 토큰이 수집된 후에는 전체 입력 문장을 나타내는 vector를 생성한다.내부의 다양한 아키텍쳐로 구현된 seq output을 생성하는 decoding stage. 아키텍처는 RNN 또는 최신의 초강력 언어보델처럼 보다 복잡한 Transformer 블록 형태일 수도 있다. 디코더는 입력 문장의 벡터 표현을 가져와 해당 표현..

Today I Run 2024.05.09

[GoogleStudyJam] Attention Mechanism

정리예를 들어 영어문장을 프랑스어로 번역하고자 한다면.번역을 개선하기 위해 encoder, decoder에 Attention Mechanism을 추가할 수 있다. 신경망이 입력 시퀀스의 특정 부분에 집중할 수 있도록 하는 기술이다. 이것은 입력 시퀀스의 다른 부분에 가중치를 할당하고 가장 중요한 부분이 가장 높은 가중치를 받음으로써 수행된다. 입력 시퀀스의 가중치 합은 신경망의 다음 계층에 대한 입력으로 사용된다.모델은 한 번에 하나의 단어를 입력받아 hidden state를 업데이트하고 다음 단계로 전달한다. 최종 hidden state만 처리를 위해 디코더로 전달된다.attention medel 이 traditional model과 다른점인코더가 더 많은 데이터를 디코더에게 전달한다 : 최종hidde..

Today I Run 2024.05.09