교차 엔트로피 썸네일형 리스트형 수학기초 9 - 정보이론 들어가기정보이론은 1920년 Harry Nyquist와 Hartley에 의해서 만들어졌고 Claude Shannon에서 의해서 더 발전되었다. 정보이론은 정보의 불확실성을 수치화하고 정보를 손실없이 효율적으로 표현하고 채널을 통해 전달하는 방법을 연구하는 분야이다. 이 분야는 데이터 압축, 통신, 암호화, 머신러닝, 통계등에 여러 분야에 활용되고 있다. 여기서는 인공지능 기준으로 수학의 연속성으로 간주해서 단순 참고용으로 정리했다.작성자: http://ospace.tistory.com/ (ospace114@empal.com)정보량정보량(Quantity of information)이란 놀람의 정도이다. 잘 알고 있어서 놀랄게 없다면 정보량이 적고, 경험하지 못한 놀람을 많이 준다면 정보량이 크다. 다르게 .. 더보기 이전 1 다음
