【天才】情報理論の歴史。クロード・シャノンの偉業とは何か。エントロピーの基礎。

AnthropicのClaudeの名前の由来はクロード・シャノンです！

1948年、ベル研究所のクロード・シャノンが「通信の数学的理論」を発表しました。帯域幅と雑音の大きさが決まると、通信の速さには誰にも超えられない上限ができます。このシャノン限界の近くまで届く符号ができるまで、50年かかりました。
話は1794年、フランスの腕木通信から始まります。モールス電信の符号の長さ、ハートレーの対数、ナイキストの帯域幅、21歳のシャノンが書いた修士論文をたどり、情報を驚きの平均で測るエントロピーに行き着きます。後半は圧縮と伝送の限界を決めた2つの定理と、自宅のガレージで一輪車を30台以上作ったシャノン本人の話です。

現在チャンネル登録者が12.1万人。先日公開した「ネットワーク入門」でさらに伸びました。改めてありがとうございます。しかしまだ未登録の方が77%おられます。ぜひチャンネル登録をお願い致します！登録者は増えているのですがそれを上回って未登録の新規流入が多いので毎回77%前後になっています。

メンバーシップの登録はこちら。
https://www.youtube.com/channel/UCtiDTuG40ZOarubtFm1fbzg/join

====
目次
====
0:00 イントロ
1:12 第1章 遠くへ送る
5:10 第2章 情報を数える
7:52 第3章 スイッチと論理
9:37 第4章 通信のモデル
11:32 第5章 エントロピー
13:59 第6章 圧縮の限界
16:52 第7章 雑音との戦い
19:58 第8章 シャノン限界
21:44 第9章 シャノンという人
23:04 第10章 英語を測る
25:42 まとめ

【PR】ITエンジニア特化の転職エージェント「テックゴー」
https://h.accesstrade.net/sp/cc?rk=0100q5og00osn8

====
note
====
海外ソフトウェアエンジニアリング事例を発信
https://note.com/naoya_tech

====
SNS
====

●X
https://x.com/naoyashiga

●Instagram
https://www.instagram.com/naoya_tech/

●Threads
https://www.threads.com/@naoya_tech

●直也テック TikTok
https://www.tiktok.com/@coding_youtuber


====
おすすめ書籍
====
シャノンの情報理論入門 (ブルーバックス 1795)
https://link.amazon/B0fk995O6


====
低レイヤー自作を行う学習教材
====
バックエンドや要素技術を自作して学びたい方はCodeCraftersがおすすめです。


👇このリンクから登録すると40%OFFになります。
https://app.codecrafters.io/join?via=naoyashiga

------------

●お仕事のご依頼はこちらから
https://www.naoya-tech.com


●BGM素材
BGMer
http://bgmer.net

#情報理論 #シャノン