吳軍信息論40講完整版

吳軍信息論40講吳軍，約翰霍普金斯大學計算機科學博士、計算機科學家、硅谷投資人、著名自然語言處理和搜索專家，他師從于著名的信息論專家賈里尼克和數學家庫旦普，還是信息論中最大熵算法的改進者。

吳軍信息論40講內容

發刊詞：信息時代每個人的必修課

面對不確定性世界的方法論，利用信息消除不確定性(香農)

信息時代的最大特征是不確定性

01：影響世界的三比特信息

對一個未知系統所作出的估計和真實情況的偏離，構成信息損失，偏離越多損失越大

信息量和不確定性有關，大家都知道的事，就沒有信息量

信息作用的大小和信息量有關

02：解開世界之謎的三篇諾貝爾論文

信息是我們世界固有的屬性

世界上最關鍵的信息(知識)其實是非常簡潔的，信息量與信息長度無關

03：大數據思維的科學基礎

發現未知規律：互信息理論

動態調整做事策略：足夠多的數據可以幫助我們動態匹配最佳結果

精準服務：從重研究方法到重數據收集的轉變

解決人工智能問題：利用數據(信息)消除不確定性

04：信息度量，世界上有穩賺不賠的生意嗎？

信息量的大小不在于長短，而在于開創多少新知

復雜交易背后通常都用到了信息的可度量性

充滿可能性的系統(信息源)，當中的不確定性(信息熵)，“信息”是用來消除這些不確定性的，需要的“信息量”就等于黑盒子里的“信息熵”

信息可以衡量，但不是用重要性，而是用信息量，單位是“比特”(香農)

05：信息編碼：數字和文字是如何誕生的？

只要編碼設計得足夠巧妙，就可以找到最短編碼(香農第一定律)

由于它們是等價的，因此一個編碼系統解決不了的問題，換一個系統同樣解決不了

各種編碼系統，其實都是在編碼復雜性和編碼長度之間作平衡，它們在數學上是等價的

數字和文字，都是人類用來消除信息不確定性的編碼手段

06：有效編碼：10個手指能表示多少個數字？

如何組合信息，保證它高效傳遞，還不違背第一條原則，需要我們主動思考

有效編碼，就是讓理論最佳值在應用中落地

采用大量用戶反饋信息決定產品的設計和技術方案

信息編碼的第二個基本原則——有效性

清晰表達的五個原則——明確、誠實、勇氣、責任和同理心

信息編碼的第一個基本原則——易辨識

07：最短編碼：如何利用哈夫曼編碼原理投資？

風險投資的霍夫曼編碼應用——分幾部分逐步投入，每一次投資呈指數減少，而金額倍增，實現大部分資金集中到最優投資項目上

一條信息編碼的長度和出現概率的對數成正比

針對信息組合的信息壓縮，會產生更高壓縮比

哈夫曼編碼原理——MIT教授哈夫曼發明

08：矢量化：象形文字和拼音文字是如何演化的？

象形文字和拼音文字的形成和進化代表了兩種不同的信息編碼方式

讓問題變得簡單，但會丟失信息，而平衡便利性和信息的完整性，就成為了藝術

信息的矢量化原理

09：冗余度：《史記》和《圣經》哪個信息量大？

善用“廢話”側面詮釋想法，利用冗余便于理解

觀點一致性，不要補充可能與主要思想相矛盾或無關的冗余信息

大腦存儲信息要壓縮，明確主線，過濾細節

信息冗余對溝通的應用

冗余度的問題：信息中混有噪音，過多沒用的信息可能導致錯誤

冗余度的好處——易理解、消歧義、容錯性

信息的冗余度——對信息“密集”和“稀疏”程度的描述：(信息的編碼長度-一條信息的信息量)/信息的編碼長度

10：等價性：信息是如何壓縮的？

善用等價信息，是這個時代必須掌握的工作技巧

信息壓縮的基本原理：找到周期性信號的等價信息、對等價信息進行壓縮、如果要使用原有信號，通過壓縮后的等價信息復原原有信號

11：信息增量：信息壓縮中的保守主義原則

保守主義(總體原則不變，不斷作微調)是由世界漸變的特征決定的

善用信息前后的相關性，對后面的信息做增量編碼，達到大幅度壓縮信息冗余的目的

12：壓縮比和失真率：如何在信息取舍之間作平衡？

沒有標準答案和最佳答案，只是針對某個場景好的答案，一切都是妥協的結果

失真率與壓縮比直接相關，壓縮到哪種程度，通常看具體應用場景

信息的壓縮分為有損和無損兩種，有損壓縮在復原后會出現一定程度的失真

13：信息正交性：在信息很多的情況下如何作決策？

信息處理的兩個方法——一是不斷疊加，二是不斷刪除

不同的信息要來自不同的信息源

避免反復使用相互嵌套或者相互包含的信息

看問題要刻意改變一下觀察的角度，從不同角度看

如何找到正交的信息

在使用信息上，要選用彼此垂直的正交信息

14：互信息：相關不是因果，那相關是什么？

高手用互信息工具進行預判，而言感覺

世界上大部分相關的信息未必有因果關系，它們之間只是一種動態的相互關聯的關系

互信息：衡量兩條信息之間相關性的新工具，尋找和利用強相關性

15：條件熵和信息增益：你提供的信息到底值多少錢？

第一個發表意見，以及能夠發表與眾不同的意見，對提高自己的影響力至關重要

信息增益：定量衡量每一條信息價值的尺度

條件熵：概率分布的信息熵——大眾已知的信息對投資和其他決策其實都沒有意義

16：置信度：馬斯克犯了什么數學錯誤？

世界上有很多道理其實都很難驗證，大到歷史事件，由于很難多次重復，總結經驗其實是非常難的

提高置信度的辦法通常是增加所統計的樣本數量

置信度：自己有多么確定這件事也量化地衡量

17:交叉熵：如何避免制訂出與事實相反的計劃？

猜測和真實情況完全一致，將不損失任何東西，但只是不一致就會或多或少有損失

猜測和真實情況相差越大，損失越大

自大的人非常容易遺漏本應考慮的事情

過分防范各種情況，患得患失，也將存在損失

在信息論中，任何硬性的決定(全力以赴對賭)都要損失信息

庫爾貝勒交叉熵：信息誤判時的損失

18：復盤：如何識別誤導人的錯誤信息？

以聳人聽聞的信息刻意引起你注意——放在更大的時空來考量、看信息的一致性、抽取信息要看失真率

沒有出處——信息溯源

缺乏上下文——對信息背景限定條件

誤導人的信息有哪些特征及應對？

19：信噪比：歷史有真相嗎？

歷史的細節是不準確的(而且無法準確)，但歷史的輪廓是可以看清楚的

信號和噪音的相伴存在的——現實中我們不能希望找到全是優點沒有缺點的人

信號與噪音的能量疊加，具體到每一個信號點，其置信度是受到干擾的

理解信號和噪音的關系：

信噪比：信號和噪音的比例，決定了我們是否能夠有效地獲取信息

20：去除噪音：如何獲得更多更準確的信息？

利用信息的冗余和比對過濾噪音——最可貴的意見不是所謂客觀的而是真正反映自已想法的主觀意見

換一個角度看問題——將有噪音的信息分解到不同的維度過濾噪音

如何去除噪音

能夠找到噪音來源VS不清楚來源

有規律噪音VS隨機噪音、固定頻率噪音VS白噪音

噪音分類

21：信道：信息通道的容量有邊界嗎？

信息的傳播是有成本的，其成本就源于信道容量

某一范圍內的無線電波，其所能承載的信息也是有限的

量化度量是重要的

信道與生活的關系：

信道容量：當信息傳輸所用的信道一旦固定，能承載的信息量是有限的，其決定了有效的傳輸率

22：香農第二定律(一)為什么你的網頁總是打不開

在邊界內做事情的重要性，如果先天信道容量不足，唯一的方法就是降低速度

香農第二定律：如果誰要試圖超越信道容量傳輸信息，不論怎樣編碼，出錯的概率都是100%(R≤C)

23：香農第二定律(二)到底要不要扁平化管理？

帶寬是由通信雙方的互信息決定的，這在人際交流中就是信任

拓展帶寬是今天我們所有人都需要做的事情

扁平化管理是香農第二定律的應用，保證一定帶寬內的溝通效率或者利用科技提高帶寬

職級和部門之間的壁壘將人與人通信的帶寬變得非常窄，信息傳輸率非常低

24：糾錯碼：對待錯誤的正確態度是什么？

通過增加信息冗余，增強檢驗甚至糾正錯誤的能力

考慮到錯誤的必然存在，通過巧妙的信道編碼保證有了錯誤能夠自動糾錯

在解決任何問題前，都要考慮世界的不完美和不確定性

不確定性是世界自然的屬性，不要高估自己的仔細，以及自己通過努力做到最仔細后，能夠達到的效果

25：信息加密：韋小寶說謊的秘訣

如果想讓人知道你的觀點，就要明確表述

無法減少你傳遞信息的不確定性

密碼的精髓在于，對方拿到你的密文，得不到額外的信息

26：極簡通信史：從1G到5G通信，到底經歷了什么？

單位能量的信息傳輸率越來越高

網絡不斷融合

設備的輻射越來越小

每一代都會有新的主導型公司：1G摩托羅拉；2G諾基亞；3G、4G蘋果、谷歌和高通；5G是華為

移動通信的發展要點

一是對信息的發送和接收的描述

二是對信息編碼的方式

通信標準的核心：

27：通信趨勢：5G和IOT的商機在哪里？

判斷的標準是：能否以更少的能量傳輸來處理更多的信息

每一代互聯網都有掌握產業鏈的龍頭公司，未來是由掌握核心芯片、操作系統和通信標準公司占據龍頭

第三代互聯網是萬物互聯，會在聯網設備、帶寬及市場規模上有指數級增長

28：復盤：世界不完美，我們該怎么辦？

對世界的態度是，承認噪音的存在，爭取在有噪音的情況下，準確傳遞信息

29：交叉驗證：電信詐騙為什么能成功？

跨界的意義 不在于同時做很多不同的事情，而是從另一個領域回望所在領域的問題

交叉驗證中，垂直正交信息的組合最有效，因為共同作用能最大程度降低信息熵

大數據的重點不在于數據的體量大，而是數據的多維度

交叉驗證：生活中絕大部分時候，一個維度的信息很難消除所有不確定性，解決這個問題的最好辦法，不是把那個維度的信息搞得更準確，而是用其他維度的信息進行交叉驗證

30：等價性：如何從等價信息里找答案？

等價信息和相關信息不同，后者的要求寬松得多，但是可靠性也差很多

很多時候 無法直接獲取某種信息，可使用等價信息解決問題的方法

31：大數據(一)：從四個特征把握大數據的本質

有數據、有技術、有應用場景(騰訊、阿里巴巴、今日頭條等)

有數據、無技術(移動通訊運營商、銀行、零售業等)—需要專業人士

缺乏數據、有技術(數據公司等)—可為第二類企業解決實際問題

大數據時代受益的三類企業：

消除數據間矛盾，亦需要領域知識

在特定應用場景還需要具有實時性

大數據的特征：數據量大、多維度(最好正交)、數據完備性(不是抽樣)

32：大數據(二)：大數據思維的四個層次

第一層：從大量、混亂的數據中總結出相關性

第二層：不事先作假定，從大數據出發得到結論，再分析原因

第三層：利用大數據準確把控宏觀規律的同時，精確到每一個細節

第四層：通過幾個維度的強相關性，替代過去的因果關系

大數據思維是一種全新的思維方式和做事情的方法

33：互聯網廣告：為什么GOOGLE搜索的廣告效果好？

使用正交、可疊加信息的作用(如FACKBOOK)

用信息熵來定量衡量個性化服務，但通常喜好上的差異程度比我們通常想的要小很多

GOOGLE的廣告系統利用的是用戶主動輸入的信息，它最為有效

34：幸存者偏差：如何避免被已知信息誤導？

通識教育的重要性：避免思維習慣帶來的盲點

幸存者偏差：要不斷淘汰不好的項目，在生活中要止損，將利益最大化

35：奧卡姆剃刀法則：最簡單的往往是最有效的

奧卡姆剃刀法則的應用——做減法、不要制造偽需求、可提高判斷力(找到基函數)

世界本身的規律在形式上并不復雜

過于復雜的描述常常是騙局

奧卡姆剃刀法則有實踐驗證

奧卡姆剃刀法則有科學依據——找到這個領域支撐點的關鍵信息

簡潔的往往是正確的，越是復雜，越容易犯錯

36：最大熵原理：確定的答案找到之前，我們該做什么？

光滑——不會遇到黑天鵝事件，方方面面都考慮得很周全

不要把雞蛋放在一個籃子里

一個“光滑”的模型，可以讓預測的風險最小

最大熵原理：當我們需要對一個隨機事件的概率分布進行預測時，我們的預測應當滿足全部已知條件，而對未知的情況不要作任何主觀假設

37：麥克斯韋的妖：為什么要保持系統的開放性？

對于個人而言，引入負熵的方法是：行萬里路、讀萬卷書

一種是直接與外界進行人的交換(能量熵)

另一種是接受外面新的思想(信息熵)

任何一個封閉系統都是越變越無序，要想變得有序，就要引入“負熵”，即能量和信息

38：復盤：如何把信息論學以致用？

需要知道如何把自己領域中的問題，描述成一個信息處理的問題

39：控制論：要不要成為變色龍？

要做變色龍(不斷應對環境變化作出調整)

不要做恐龍(架子大，很唬人，但適應性差)

控制論三要點：突破牛頓絕對時間觀、系統與外界環境刺激有相互影響、通過反饋回路實現自我調節

40：系統論：如何讓整體效用大于部分之和？

發展：空間上作整體考慮，時間要還要考慮影響力，最終決策

科學：分析問題要遵循科學方法，而非簡單的經驗，方可獲得可重復成功

綜合：參考IPHONE的方法論

整體：任何局部改進，需要放回到整體中去考察