Introducing
Your new presentation assistant.
Refine, enhance, and tailor your content, source relevant images, and edit visuals quicker than ever before.
Trending searches
김경호 센세- 아이시테마스
3
과학 및 공학기술과 통계학의 접목
Application of Statistics in Science and Technology
Entropy?
(섀넌의 엔트로피)
Shannon's Entropy
보시다시피...
정보 엔트로피 이론은
넓은 범주의 통계학에 속한다!!
를 따를 경우
가 분포
확률변수
정보 엔트로피는
두 확률변수
가 주어지고
가 주어질 때
그 확률분포
조건부 엔트로피는
이는 항상 음이 아니며 X를 알고 있을 때 Y의 무작위한 정도의 양으로 해석 가능하다.
Applications
응용 및 활용
동전을 던지는 경우
Coin Toss
Tail
Head
동전의 밀도가 균일하다면 (1)
Tail
Head
앞면의 밀도가 2배 더 클 경우 (2)
Tail
Head
반드시 앞면만 나오는 경우 (3)
열역학 엔트로피와의 관계
Relationship between Thermodynamcs Entropy
열역학은 섀넌의 정보이론의 응용이라고 간주될 수 있다.
Edwin Thompson Jaynes (1922–1998)
는 볼츠만 상수를 나타냄.
Edwin Thompson Jaynes (1922–1998)
세계의 정보량 평균 계산
The world's technological capacity to store, communicate, and compute information.
Science. 2011 Apr 1;332(6025):60-5. doi: 10.1126/science.1200970. Epub 2011 Feb 10.
ABSTRACT
We estimated the world's technological capacity to store, communicate, and compute information, tracking 60 analog and digital technologies during the period from 1986 to 2007. In 2007, humankind was able to store 2.9 × 10(20) optimally compressed bytes, communicate almost 2 × 10(21) bytes, and carry out 6.4 × 10(18) instructions per second on general-purpose computers. General-purpose computing capacity grew at an annual rate of 58%. The world's capacity for bidirectional telecommunication grew at 28% per year, closely followed by the increase in globally stored information (23%). Humankind's capacity for unidirectional information diffusion through broadcasting channels has experienced comparatively modest annual growth (6%). Telecommunication has been dominated by digital technologies since 1990 (99.9% in digital format in 2007), and the majority of our technological memory has been in digital format since the early 2000s (94% digital in 2007).
이 논문에는
정보 엔트로피를 사용하여
평균값을 추정하였다는 정보가 드러나 있음.
무손실 정보 압축
Lossless Data Compression
ㄱ,ㄴ,ㄷ,ㄹ
을 사용하여
ㄱㄴㄱㄹㄹㄷㄱㄴ
각각의 문자가 나올 확률이 가변적일 경우
가변적인 길이에 대해 정보를 부여 가능
이때 엔트로피가 감소하므로 효율적 압축 가능
자동 완성 예측
Auto Correct Prediction
각 알파벳당 등장 확률이 현저히 차이남
영어는 엔트로피가 낮음!