본문 바로가기

분류 전체보기

(6)
BERT에서의 long text 처리 BERT에서의 long text 처리Article이 논문의 RoBERT 방식의 아이디어를 가져옴.input을 더작은 text로 나누어 BERT의 입력으로 넣는다.200 words를 기준으로 split. (나눌 때 50 words를 overlap)ex : 250 words sentenceChunk 1 : 0:200 wordsChunk 2 : 150:250 words (Chunk 1의 뒷 50 words를 앞에 붙인다.)Hierarchical Transformers for Long Document Classification Recurrence over BERTsplit the input sequence into segments of a fixed size with overlap.각각의 segment에 대해서..
Dialog Systems and Chatbots 정리 Dan Jurafsky의 Speech and Language Processing의 Dialog Systems and Chatbots 중 저에게 필요한 부분만 정리한 내용입니다. 정리에 사용된 사진은 모두 Speech and Language Processing에서 가져온 사진입니다. Speech and Language Processing는 아래의 링크에서 보실 수 있습니다. 링크: web.stanford.edu/~jurafsky/slp3/ Ch.26 Dialog Systems and Chatbots conversational agents, or dialogue systems prgram이 users와 natural language (text, speech, or both)로 소통한다. 2가지 분류 Task..
tistory 포스팅에 수식 넣기. 글쓰기 중 html 모드에서 최상단에 해당 코드를 넣고, 기본모드에서 $\text{수식 내용}$을 작성하면 된다.
NLP 자연어처리 입문 가이드라인 (20.11.10) 2019년 3월부터 NLP에 입문하여 공부중에 있습니다. 제 나름대로 공부해오면서 참고하면 좋았던 자료들을 정리합니다. 해당 포스팅은 지속적으로 업데이트 할 예정입니다. (현재 20.11.10) 댓글로 추천하시는 자료를 알려주시면, 자료를 읽어본 후 업데이트 하겠습니다. 감사합니다. 파이썬 점프투파이썬 파이썬에 대해 모르신다면 점프투파이썬을 통해 파이썬에 대해 공부하시는 것을 추천합니다. 링크: wikidocs.net/book/1 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 하지만 해당 문서를 공부하는 것 외에도 다른 자료들을 찾아보며 파이썬에 상당히 익숙해지셔야합니다. 인공지능 모두를 위한 딥러닝 강좌 시즌1 성킴 교수님의 모두를 위한 딥러닝 강좌 시즌1을 추천합니다. 링크..
Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-EndTask-Oriented Dialog Systems 논문리뷰 Mem2Seq Created: Apr 22, 2020 4:36 PM paper code Abstract Mem2Seq : memories의 multi-hip에 attention + pointer network Introduction Task-oriented dialog systems 유저가 specific goal을 달성할 수 있도록 한다. (restaurant reservation) KB를 쿼리할 수 있는 능력은 필수적. Traditionally → pipeline system Language Understading → dialog management → knowledge query → Language Generation stability of such pipelined systems via combi..
About me 안녕하세요. NLP에 관심이 많은 학생입니다. 감사합니다. 이메일: fairy_of_9@kaist.ac.kr 링크드인: www.linkedin.com/in/cheolhun-heo-54b1b01b1/