40 정보량을 나타내는 엔트로피 Entropy

>> YOUR LINK HERE: ___ http://youtube.com/watch?v=zJmbkp9TCXY

혹시 classification을 위해 cross-entropy를 loss function으로 사용합니다 라든지, 분포의 차이를 줄이기 위해 KL-divergence를 최소화시킵니다 와 같은 이야기를 들어보신 적 있으신가요? • 정보의 양을 따질 때, 혹은 확률 분포들의 차이를 따질 때 중요하게 사용되는 개념 중 하나가 바로 Entropy인데요, 오늘은 엔트로피란 무엇인지에 대해 쉬운 예제와 함께 살펴봤습니다. • 결론을 말씀드리자면 엔트로피는 정보를 최적으로 인코딩하기 위해 필요한 bit수이며, 각 label들의 확률 분포의 함수 입니다. • 테리의 딥러닝 토크 • [youtube] • 테리의 딥러닝 토크 • [facebook] / deeplearningtalk • 슬라이드 이미지는 t-robotics 블로그(t-robotics.blogspot.com)에서 보실 수 있습니다.

#############################

New on site