【译】走近克劳德·香农：天才是如何思考、工作和生活的？克劳德香农通信的数学理论属于哪个阶段

本文目录

• 【译】走近克劳德·香农：天才是如何思考、工作和生活的
• 克劳德香农通信的数学理论属于哪个阶段
• 克劳德香农提出的信息论属于信息论发展的什么阶段
• 信息时代的牛顿——香农创造性思考的六个方法
• 谁能给我介绍一下香农-信息轮之父

【译】走近克劳德·香农：天才是如何思考、工作和生活的

编译：Fanny克劳德·香农（Claude Shannon）在工程和数学界是一位响当当的人物，他在20世纪30年代到40年代的工作为他赢得了“信息时代之父”的称号。 在他21岁的时候，香农发表了被称为有史以来最重要的硕士论文，文中论述了如何使用二进制开关进行逻辑运算，为未来的电子计算机奠定了基础。在他32岁的时候，《通信的数学理论》诞生。在这部著作中，香农提出了比特数据，证明了信息是可以被量化的，并阐述了如何在保证准确率的前提下用数字编码对信息进行压缩和传输。该著作被誉为“信息时代的大宪章”。 但香农所做的还不止于此。 香农不仅在学术上建树甚多，在生活中也非常有趣并富有创造力。在工程界和数学界里虽然有很多能写出优秀论文的人才，但他们却很少会像香农这样同时擅长玩杂耍、玩独轮单车、下国际象棋，等等。香农甚至还是一个专业级的选股人以及业余诗人。 他曾在二战时在连接罗斯福和丘吉尔的一条跨大西洋的绝密电话线上工作，并共同构建了世界上第一台可穿戴计算机。他学过开飞机和爵士单簧管。他在自己的房间里面做了一面假墙，按下按钮就能旋转的那种。他还曾经做过一个小玩意，这个东西唯一的作用是在打开开关的时候，会出现一个机械手来关闭开关。另外，他的照片还登上过Vogue杂志。 你可以把他想象成爱因斯坦和“世界上最有趣的男人”（出自DOS EQUIS啤酒的电视广告——译者注）的混合体。我们希望能够通过研究香农，解答关于“是什么造就了香农？”以及“我们应该从香农身上学习什么？”的问题。通过几年时间的深入调查与研究，我们总结出了以下12条。也许这不是一份全面的清单，但我们希望它能够帮助大家获得生活上和工作上的一些启发。 比起香农所处的20世纪中叶，我们现在的生活中有更多的事物——比如社交媒体和智能手机——不断地分散着我们的注意力，从而降低了效率（而且香农在其中需承担部分责任）。 但不管在什么时代，如何避免分心都是生活中永恒的主题。香农向我们证明，想要减少分心的影响，光靠短时间的注意力集中是不够的，还需要对个人的生活与工作习惯有长期的塑造。 首先，香农不会让自己花太多时间来清空收件箱。他会把那些不想回复的邮件统一放到一个命名为“拖了很久都没回复的信件（Letters I’ve Procrastinated On For Too Long）”的垃圾箱中。事实上，当我们从华盛顿特区的国会图书馆中翻出他们归档保存的香农的信件时，我们发现寄给他的邮件比他寄出去的要多得多。所有节省出来的时间都被他花在研究和探索上了。 香农把同样的策略用在他的办公室中。他的同事经常会看到香农的办公室大门是紧闭的（这在贝尔实验室的“开门办公”的文化中并不多见）。我们了解到，香农的同事们并不认为他难以相处，但他们也感觉到香农非常注重自己的隐私和安静思考的时间。其中一位同事说道：“你可以敲开他的门，他也会回应你的话，但除此以外，他只会跟自己说话”。 另一方面，如果有同事带着大胆的新想法或吸引人的工程问题来拜访香农的话，香农通常与他进行好几小时的高效对话。香农其实跟其他人一样，都关心时间如何有效利用：应投入到思想碰撞中，而不是闲话家常里。对于那些比香农更为外向的人（说实话，这几乎就是所有人了）来说，多少都能从香农身上学到如何刻意并持续地在工作时间内做到毫无分心。 在数学工作中，香农可以直接抓住问题的核心、并把其他细节放在后面考虑。他曾解释道：“我觉得自己更喜欢具象化而不是符号化。我会试图先感受一下问题本身，然后再谈方程式。”就好像是他先看到了解决方案然后再来解释为什么这个它是正确的。 香农的学生Bob Gallager回忆道：“他有一种神奇的洞察力。他仿佛能看穿事物本身。他会说‘Something like this should be true’，而且往往事后证明他是对的。如果你没有超凡的直觉，你不可能凭空开辟出一片全新的领域。” 不过这偶尔也会给香农带来麻烦——学术界的数学家们有时会职责他的工作不够严谨。但他们的批评通常是错误的。“事实上，” 数学家Solomon Golomb说，“香农对于真相的直觉几乎从未失败过。”即使细节还需要完善，但结论几乎总是正确的。 当然，大多数人都不是天才，而且也都没有像香农那样的神直觉。那么此处有什么值得我们借鉴？我们认为是：即便我们的直觉不足以引导我们去开发出一个像信息论这样的新课题，但往往也能帮助我们决定一个事情到底该不该做。 我们会因为注重细节和中间环节而忽视直觉，但同时也意味着错过了创意迸发的瞬间。不要指望好的想**很有逻辑性地被推导出来，这完全是误解了创意在实际工作中的作用。作家Rita Mae Brown指出：“直觉是源于急躁的一种逻辑暂停。” 我们常常会以一种清晰的方式——比如文章、幻灯片、演讲——向其他人表述自己的想法，而其他人也会这么做，但要知道，我们得到这些想法的过程是错综复杂的，并不会如表达出来的那么有条有理。等待一个清晰明确的突破无异于等待一辆永不到达的列车。 许多文章都大肆宣扬过导师的好处，本文也并不想重复。诚然，导师是很重要的，但很多关于导师制的文章喜欢把导师描写成一种你需要去获取的资源：找到一个聪明的成功人士来为你的职业生涯做支持，然后你就万事大吉了。 事实并没有那么简单。仅依靠自信心去接近一个能在你的发展过程中起到重要作用的导师并不能发挥导师制的所有价值，还需要有足够的谦逊来用心聆听导师的建议，即使这些建议听起来让你不舒服、有挑衅意味、甚至违背直觉。否则的话，导师的存在还有什么意义呢？ 对香农来说最重要的导师应该是他在麻省理工学院的研究生学院顾问范内瓦·布什（Vannevar Bush），他后来在二战中主导美国军事科学研究计划，并成为了第一位总统科学顾问。布什看出了香农的过人天赋，但他同时也尽了身为导师的责任——把香农拉出他的舒适区。比如，在香农的硕士论文大获成功之后，布什就开始敦促香农开始准备理论遗传学方面的博士论文。理论遗传学是一个香农毫无积累的领域，与他所从事多年的工程和数学领域相去甚远。布什希望以此证明他弟子的战胜挑战的能力，而香农也承认这让他认识到了自己的可塑性。 在接到指示的那一刻，香农内心也许会有各种想法（“呵呵，遗传学？”），但布什清楚自己在做什么，而香农也选择相信他导师的判断，虚心接受指导。 用心接受指导实际上是一种谦虚的表现：你对导师有充分的信任，你知道他能看到你看不到的东西。毕竟，当你最开始找到他的时候，必定有你所确信的理由。 范内瓦·布什对香农的影响还体现在另一个方面：比起专才，他更捍卫通才的价值。正如他向MIT的教授所表达的： 布什鼓励香农不要给自己设限，而香农在后续的生涯中也证明了他如何深刻地理解了这个道理。 我们知道：布什的建议如今看来似乎有点不合时宜。工作上的各方面的压力都在要求着我们去竭尽全力地成为领域内的专家，培养一个与众不同的一技之长然后苦心专研。在这种观念下，那种广泛涉猎的行为简直如同儿戏，而且那样的人注定要被那些擅长专注的对手所打败。 如果让香农听到这些，他肯定会生气的。香农深深认同布什的通才观念，我们认为这是因为这与香农的天生好奇的性格不谋而合。香农之所以成功，并不仅仅因为他天生聪明，更由于他不遗余力地保持多样化的兴趣。 他最著名的硕士论文里面糅合了他在布尔逻辑和计算机两方面的兴趣，这两个本来井水不犯河水的学科，在香农的大脑里得到了融合。香农的信息论论文吸收了他在密码破译、语言学、以及文学方面的积累。他曾对布什解释说： 在香农投身到科学研究的同时，他也培养了一些能够帮助他保持思维敏捷的兴趣爱好：爵士乐、独轮单车、杂耍、国际象棋、小发明、诗歌，等等。他本来可以把自己的才华全部用在某个特定的领域，不断地专研深挖，并终此一生。但幸运的是，他并没有这样做。广泛涉猎也意味着想停就停的自由。即使像香农那样的天才，也不能保证所有开启了的工作都能取得结果。这可能也违背了某些现代常识，但是我们认为其中有它的道理。香农通常会工作到他感到满意为止——然后就会转向其他事情。在某些人眼中这是三分钟热度的表现，但我们认为这是因为他已经清晰地知道后面需要付出多少代价。 即使是Time Ferriss（现代生产力运动的先知）也会鼓吹知晓什么时候该停下来的重要性：“懂得在没有结果的事情上及时收手，是成为赢家的必备条件。”同理，这也是为什么许多有才华的画家会在他们的工作室里存放着大量未完成的作品。 当Ed Thorp在1961年与香农共同构建可穿戴计算机的时候，他曾经拜访过香农的工作场所，那是一个香农用来捣鼓各种东西的大型家庭作坊，他是这么描述的：这是“一个发明者的天堂……有数以百计的机械和电子设备，电机、晶体管、开关、滑轮、齿轮、冷凝器、变压器，等等等等”香农随心所欲地在各个项目之间窜来窜去，丝毫不介意自己的手变脏，也不介意那些零件和半成品散落各地。香农在学术研究上也是这样。他的阁楼里塞满了纸条、写了一半的文章，以及写着“好问题”的报告纸。 我们一方面对香农那些未能发表的工作表示遗憾，另一方面，我们也认识到正是这样的混乱给他的创作提供了条件。香农并不把时间和精力花费在整理论文和工作室上，而是将其投入到研究国际象棋、机器人或者投资策略中了。 香农的广泛兴趣使他需要足够的时间才能把想法变成现实。但不幸的是，他通常不会公布他的发现成果。他总是跟随着好奇心而动，虽然有时看起来很低效，但是若干年后他可能会回头来继续研究他最好的想法。 他1948年发表的信息论的论文花了将近十年时间才完成。1939年研究生毕业的时候，他开始有了研究“关于信息传输系统的基本属性，包括电话、无线电、电视、电报等等”的想法。在从有想法到论文发表中间的时间，适逢第二次世界大战，他参与了对高射炮理论和密码学的研究，以致于他只能在业余时间研究信息论。 后来在回顾往事的时候，他捡起了之前的灵感，然后就开始研究。研究工作并不是线性的，想法总是随时到来，“我记得有一天晚上半夜醒来，我突然有了一个想法，然后我就整晚都在研究这个想法。”香农的一个同事说，当他的信息论论文发表时，“就像一颗**“。这是坚持了十年研究的成果，而香农的耐心使得他的理论非常成熟。这也许是我们最难理解的一条，生活在追求“及时满足感”的时代，在工作中多等十分钟都已经变得稀奇古怪，更不用说等10年时间了。但是对于从事创新、创业以及创造性工作的人们而言，也许这就是最好的一课了。精英都把时间当做朋友。 记住：香农并不是十年时间全副精力都扑在研究信息论上，事实上，他非常忙，根本没有空，研究信息论只是业余时间，但是也正是他的坚持和耐心，使得他能完成了这份重要的工作。 如果也可以坚持足够长的时间，我们在业余时间会做些什么？ 香农朋友不多。他贝尔实验室的同事说，香农并不是“不友善”，只是他从来不是社交物种。 Brockway McMillan也是香农的同事，说香农“一贯对数学问题的争论没有耐心，他解决问题的方式与大多数人的做法不同“，香农的出类拔萃的智商使得他有一种冷漠或不耐烦的气质，正如McMillan所说的那样，“他从来没有争辩过他的想法。 如果人们不相信，他就会忽视那些人。“ 傲慢和自信之间只是一线之隔，但香农一般处于右边，因为他有智力资源来支撑他的自信。但同样重要的是，他花了很多时间来积累这些智力资源，因为他从来没有被卷入争权夺位，玩弄办公室政治，或试图让每一位批评家都满意。解决问题的乐趣对他来说比其他所有的东西都重要，因此，当他选择朋友时，他会选择那些志同道合的人，以及那些给他最大帮助的人。这样也使得他的朋友很少。 阿兰·图灵（Alan Turing）是他为数不多的朋友中的一个，二战期间图灵代表英国政府来美国实地调查密码学研究，他们有过一场深入的交流。 在贝尔实验室，香农还与工程师Barney Oliver和John Pierce保持联系，他们每个人都是信息技术史上的先锋人物。 香农同样从交友中受益。 因为他选择他所欣赏的的聪明人和富有创造力的人做朋友，所以，他也变得更聪明，更具创造性。 他在经营自己的友谊中比我们大多数人更加慎重，他只选择那些能激发他自己潜力的人。 香农对待友谊侧重于内容，而不仅仅是关系。 当然，香农和他的朋友们也有一些玩乐的时候，但相对于大多数人而言，他们也花更多的时间讨论严肃和令人头疼的事情。 图灵和香农并没有花时间谈论天气，他们只是谈论人工智能，只有两位先驱可以这么做。这对我们其他的非天才们意味着什么？ 这并不意味着要放弃你现在所有的朋友从而再换一批新的。 这意味着我们要问自己，你的朋友是谁，你们一起做什么事情。多想想你们一起的时间的价值是什么，如果你觉得应该变一变，就改变它。 传说中香农的办公室里到处都是支票，如他的版税、股票投资的收益，但是他好像并不在意这些钱。这和其他的传说一样，都被夸大了，但是无风不起浪。香农的一位同事说确实看到过他的办公桌上有一张大额度未兑现的支票，而且他朋友们在回忆的时候总是提到他似乎对金钱漠不关心。 赚钱从来都不是香农最关心的问题，但是他的确赚到了不少钱。他成功投资了很多早期的硅谷公司， 如Teledyne and Harrison Laboratories（被惠普收购）。香农众多爱好之一就是选股票，他经常给给大家分享投资的经验。到他去世时，他的家底非常丰厚。 那么，他是如何协调赚钱与一门心思地追求科学这两件事情的？ 斯多葛学派哲学家塞内卡有一条伟大的名言：“能够视陶器为银器的人是伟大的，而视银器为陶器的人也同样伟大。没有一个强大的内心就不能够忍受财富的考验。“ 听起来很奇怪，财富为什么要”忍受“？塞内卡又说：对金钱的追求会妨害我们对真正重要事情的追求。 金钱既不是万恶之源，也不能解决我们所有问题：问题在于它是否挡在了对真正重要事情追求的道上。 香农是一个很好的例子，他很富有，也没有被追求财富所左右。 他从来不是为了过奢侈的生活才去积累财富，他的财富使得他能把更多时间花在他喜爱的小玩意儿项目上。他用投资回报的钱来研究杂耍中的物理学并制造杂耍机器人，以及和Ed Thorp一起发明了可穿戴计算机。我们并不是需要知道对金钱的追求会掩盖真正重要的东西。但是我们需要提醒自己，财富随着辛勤的工作而来，但它并不是我们之所以辛勤工作所要追求的目的。硅谷企业家保罗·格雷厄姆这样说道：“我受到过很多批评，因为我告诉创始人先把重点放在做出好东西上，而不是担心如何赚钱。但是这正是谷歌和苹果的成功之道。“ 还有更重要一点，香农并不是只是漠视财富，他是漠视财富但是同时也善于获得财富。我认为漠视财富使得你能集中精力做有价值的事情，这些有价值的事情使得你能获得财富。这是我们都应该深刻理解的道理。 香农从来不会被出版大部头书籍的同事所打动，也不会被最花哨的理论所打动。 他喜欢的是极度的简洁（这让我们不得不又想起乔布斯）。 1952年，在与贝尔实验室工程师的一次谈话中，香农介绍了他自己所用的一个非常有效的问题解决策略。 第一条就是你应该首先通过简化来解决你的问题。香农说 “几乎你遇到的每一个问题都会被各种无关的数据混淆，如果你能简化问题，就能更容易看到问题的本质”。 简化是一门艺术：需要一点点剥去问题表面的东西，而不是让它变得更加有趣。 香农承认一步一步拆分会使得问题慢慢变得不是问题——但这正是解决之道所在：“通常如果你能解决这个简单的问题，你可以在这个解决方案中添加改进方案，直到你能解决最初的那个问题“。 Bob Gallager博士是香农的研究生，后来也成了信息理论研究的领导人物，他亲眼见识过香农是怎么对问题进行简化的。 有一天他来到香农办公室，带着一个复杂的新研究想法，然而，对香农来说，那些只是单纯的“花哨”： 我们从小就被教育说越能掌握复杂的概念越证明我们的智商高。问题越复杂，越需要聪明的人才能解决。但是，香农让我们也看到了相反的一面，那就是越追求简单，越需要更高的智商。 毕竟，正如作者Ben Casnocha写道：“简化复杂的问题并不意味着忽略问题的复杂性。”，香农也是这样，他可以和他最优秀的同事一样用最复杂的数学公式，但是他今天被人们铭记是因为他可以把事情拆解清楚，而不是搞的更复杂。 不要将简单与简单思考混淆。 要将其简化并提炼事物的本质是很难的事情。 如果你在会议上觉得“这个问题太简单”从而不愿意说些什么，你可能需要在想想是不是真是这样，因为，这可能是你最应该要达到的目的。 在香农30几岁的时候，他是美国科学界中最耀眼的明星之一，被媒体和荣誉所环绕着。他的”信息论“迅速走红，而他本人也经常被吹捧为当代最优秀的科学家之一。香农的信息论成为了当时的时髦词，从地质学到政治学再到音乐学，各个学科都恨不得用它来解释一切。然而，正在香农风头最盛的时候，他发表了一篇四段文来呼吁大家减少对他的”吹捧“。 他这么写道：“（信息论）可能有点被过誉了。我们一些在各个领域的同行科学家们被外界对它的赞赏和科学分析的新途径所吸引，开始用它来解决他们领域内的问题...信息论变得有点像万金油的感觉。” 诚然这样的情况会让人感到“愉悦而兴奋”，但香农却建议他的工程师和数学家们要把注意力放回到研究本身。“信息论如果是一个商品的话，现在已经是卖出去了——先不管它有没有被超卖。我们现在应该继续把注意力投入到尽可能高水平的研究和开发工作上去。” 这并不是因为香农想独揽成果。相反，他很欢迎那些对信息论有效应用的成果，他担心的只是他开发出来的这些理论被赋予过多超出它们内在价值的意义。 这份声明在科学界引起了一些回响。这对那些涉世未深的年轻人、以及那些以实际行动大力鼓吹信息论的人来说意味深远。但对他来说，最重要的是回归真实——这是他对真诚、严肃的科学研究的承诺，而这终将给他带来声誉。 换句话说：香农并没有积极地推广他的想法，而且我们认为他也不擅于此。但他确实没有必要去做，因为他的想法是如此的出众而独特，人们自然就会为之吸引。 这对我们的启发是什么？我们难道不都认为自己的工作是出众而独特的吗？可能我们的想法确实有那么好，但是香农的研究工作快速爆红的例子对我们确实好的想法没有什么借鉴意义，反而是当我们的想法并不太好而且一直得不到太多关注的时候反而更有借鉴意义，因为可能我们的研究就是还不够火候，还需要继续努力。 就像伟大的哲学家Regina George在电影《Mean Girls》中说到的”当我们挖空心思去追求的事情一般都不会发生“。水到自然渠成。 在反思职业生涯中的弯路时，香农坦陈说：“我认为自己的目标从来都不是为了获奖，虽然我获了几十个奖。我的动力更多是源自于好奇心，而不是对财富的渴望。我就是想弄明白事物的组成原理，或者运行规则，或者是否有什么理论能决定事物的是与非。主要还是因为我想知道这些。” 他并非在夸大其词。香农经常在被授奖之后推托不愿去领取。那些邀请他去演讲的信件都被他放到我们前文提到的那个邮件垃圾箱里了。 他这种冷漠的态度还以另外一种方式展示出来：他曾被授予过很多荣誉学位，于是他把那些博士服坎肩挂在一个类似旋转式领带架的设备上（这个设备也是他自己做的）。虽然不知道那些颁奖机构会不会不爽，但这表现出了香农对“被赞美”的轻描淡写的态度。 当然，淡泊名利的行为也是有一定好处的。对香农来说，他得以投身于那些“著名”科学家们不屑于涉足的领域：玩具机器人、国际象棋、杂耍、独轮单车。他还造出了会玩杂耍球的机器，以及一个在吹奏的时候会喷火的消耗。 数学家一般不愿意在一些不够高大上的问题上投入时间——他们称之为“幼稚问题”。但香农却愿意做那些真正“幼稚”的事情。而且还屡次三番地在这些可能会让人感到尴尬的、涉及的问题也比较琐碎的事情上找到突破。如果香农一开始就是以诺贝尔奖或国家奖章为目标的话，他还会有心思来做这些事情吗？也许会吧。但事实上，他对外界成就的淡然处之的态度反而让他能够做得更多、走得更远。 我们承认，这些道理说起来容易，做起来难。我们都不会忽视自己的社会地位，特别是对那些具有雄心壮志的精英来说，要做到淡泊名利是多么的困难。香农的例子告诉了我们，在这种淡泊名利的背后隐藏着同样有价值的东西：乐趣与自由。 跟“成就”比起来，“乐趣”可能显得过于随意。但“自由”则不同。即使可能有损他的社会地位，香农也毫不在意。他让自己自由地去探索任何感兴趣的学科，某种程度上，这种自由正是源自他从不关心其他人怎么看待自己。 在我们走在追名逐利的路上时，我们常常会忽略为此付出的自由的代价。放下这些所谓的荣耀，轻松地去生活和学习。 我们有多少人想寻找像香农那样的突破，但是却坐等灵感来袭？坐等可能吗？ 著名画家Chuck Close也有相同的看法，他说，“灵感是给业余爱好者的，我们其他人只是出现并开始工作。 要相信成果会在工作本身中萌芽出来，通过用心工作，你会碰到其他的可能性、打开意料之外的其他的门，如果你只是坐着等着一个伟大的艺术创意出现，那它永远不会出现“。 香农也是相同的看法，只不过香农寻找的是一个伟大的“科学想法”。这个想法可能来自一场高质量的对话，或者在工作坊中的修修补补，或者来自他大部分生命中那种漫无目的折腾——最重要的是，想法来自于做，而不是等待。 香农告诉他的贝尔实验室的工程师们，一个伟大科学头脑的标志并不是秒思如泉涌，而是一种“动机”、“某种想要找到答案的渴望，想要找出事物运行的本质的渴望“。这一根本驱动力是必不可少的：”如果你没有这些，你可能拥有世界上所有的技能与智慧，（但是）你没有问题，你就不可能找到答案“。 这个根本驱动力从何而来呢？ 香农对这种难以捉摸的品质的表述令人回味，是这样的：当事情看起来不太正确时，开始有“轻微的恼怒”，或者是“建设性的不满”。最后，香农对天才的描述也令人耳目一新：天才只是一个把愤懑发泄在有用的地方的人。 而那种有用的刺激一直不会来，直到会在工作中，你偶然发现一些令你烦恼的事情，看起来怪怪的，让你纠结。 不要逃避那些时刻。 不惜一切代价坚持下去。 那些和香农本人一起共事过人应该会感到很幸运，因为认识了他。而我们虽然只能通过书本来了解他，但也同样感到幸运。 我最后的想法是：互联网，数字时代以及所有基础技术——这些都是非凡的人类成就。 但我们可能很容易地忘记他们的历史，它们是什么、它们解决什么问题、为什么要解决这些问题、它们为什么存在、谁创造了它们。我们应该从这些历史中去学习，没有历史就没有未来。 我们不仅仅只是应该学习已经创造出来的这些东西本身，我们应该理解创造这些东西背后所隐含的精神力量。好奇心以及创造力产生了巨大的创新火花，从而不断推动世界的前进。这来自于像香农这样的头脑，他们从工作中获取乐趣。 这是值得记住的精神。 更重要的是，我们应该践行这种精神，发扬这种精神。 原文： https://medium.com/the-mission/10-000-hours-with-claude-shannon-12-less***-on-life-and-learning-from-a-genius-e8b9297bee8f

克劳德香农通信的数学理论属于哪个阶段

理论创立阶段。1948年克劳德·香农（ClaudeShannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，属于理论创立阶段。信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

克劳德香农提出的信息论属于信息论发展的什么阶段

狭义信息论。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论，属于狭义信息论阶段。信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息时代的牛顿——香农创造性思考的六个方法

当大家被问到谁是 历史 上最伟大的科学家的时候，大部分人都会想到牛顿和爱因斯坦，他们的工作推动了人类对物理世界的深层理解，把人类引入到了工业化和电气化时代。同样有一个人通过一己之力奠定了信息学的基础，通过天才的发挥和想象，把人类带进了当今的信息时代。他被誉为信息时代的牛顿。他的名字叫克劳德-香农 （Claude Shannon） 。

香农是公认的20世纪的天才数学家和工程师，他在麻省理工学院1937年的硕士学位论文“A Symbolic Analysis of Relay and Switching Circuits”（继电器和开关电路的符号分析），将 布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系，被誉为有史以来最重要的硕士论文，为之后计算机和数字电路设计打下了理论基础。他在贝尔实验室1948年发表了 “A Mathematics Theory of Communication”（通信的数学理论），认为所有信息都可通过0和1进行编码，提出熵（entropy）和比特（bit）的概念，给出了可量化的信息的定义，把人类带进了信息时代。目前我们使用的电脑和互联网都可以归功于香农的贡献。

创造性思考

香农1952年在贝尔实验室进行了一次关于“创造性思考”(Creative Thinking) 的演讲，在一个著名的演讲中他分享了进行创造性思考的6个原则，至今被很多著名的企业家和科学家所引用。下面是对它们的总结，希望对大家都有裨益。

-- 简化 （simplification)

这个有点像马斯克的第一性思维方法，化繁为简，抓住事物本质。

“ to eliminate everything from the problem except the essentials; that is, cut it down to size . Almost every problem that you come across is befuddled with all kinds of extraneous data of one sort or another; and if you can bring this problem down into the main issues, you can see more clearly what you’re trying to do and perhaps find a solution. “

-- 类比 （seeking similar known problems）

找到类似的问题，研究它的解决方法，并应用到新的问题上。

“You have a problem P here and there is a solution S which you do not know yet perhaps over here. If you have experience in the field represented, that you are working in, you may perhaps know of a somewhat similar problem , call it P’, which has already been solved and which has a solution, S’, all you need to do - all you may have to do is find the ****ogy from P’ here to P and the same ****ogy from S’ to S in order to get back to the solution of the given problem. ”

-- 重新定义（restate problems)

把问题重新定义，试着提出不同的但相关的问题。一般人都习惯了一些思维定式，努力打破它们，往往有柳暗花明的结果。

" try to restate it in just as many different forms as you can. Change the viewpoint. Look at it from every possible angle. It’s difficult really to do this, but it is important that you do. That is the reason why very frequently someone who is quite green to a problem will sometimes come in and look at it and find the solution like that, while you have been laboring for months over it. You’ve got set into some ruts here of mental thinking and someone else comes in and sees it from a fresh viewpoint."

-- 总结推广(generalization)

这就是举一反三的能力吧。

“ if somebody comes along with a clever way of doing something, one should ask oneself：Can I apply the same principle in more general ways? Can I use this same clever idea represented here to solve a larger class of problems? Is there any place else that I can use this particular thing?“

-- 分解问题（structure ****ysis)

把问题分解成若干小问题和容易解决的问题，一一攻克，这样你就逐渐趋近解决更难和更大的问题。

“Suppose you have your problem here and a solution here. You may have too big a jump to take. What you can try to do is to break down that jump into a large number of **all jumps . If this were a set of mathematical axioms and this were a theorem or conclusion that you were trying to prove, it might be too much for me try to prove this thing in one fell swoop. But perhaps I can visualize a number of subsidiary theorems or propositi*** such that if I could prove those, in turn I would eventually arrive at this solution.”

-- 逆向思考（inversion of the problem）

不从众，通过逆向思考，你可能得到不一样的结论。

“The way of doing it was doing it by feedback; that is, you start with the required result and run it back until - run it through its value until it matches the given input.”

谁能给我介绍一下香农-信息轮之父

分类: 社会/文化 》》 历史人物 问题描述: 香农的身世和他所做出的贡献 解析: 这里的资料是我看下来比较全的 香农 克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。 2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。 1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。 1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基?9鸫笱У馁さ悄?Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。” 1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Geics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。 在读学位的同时，他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential *** yzer》(微分分析器的数学理论)，他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。” 1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。 人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。” 香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon，1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。 在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论)，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。 1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。 熵的概念 香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。 众所周知，质量、能量和信息量是三个非常重要的量。 人们很早就知道用秤或者天平计量物质的质量大?H欢颐枪赜谌取⑷剂稀⒐τ肽艿募屏课侍猓僦?9世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。 然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。 1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D 。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。 但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式： H=∑-pi log pi 如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。今天在电脑和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。 事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。 克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行立即通信的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。 今天，我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、追求完美、永不满足的科学精神，这是他获得成功的重要经验。