世界之窗论坛 - Powered by Discuz! Board

标题: [经验交流] Windows内存管理机密+揭穿内存优化工具的骗局 [打印本页]

作者: hannah 时间: 2007-8-8 20:32 标题: Windows内存管理机密+揭穿内存优化工具的骗局

Windows内存管理机密+揭穿内存优化工具的骗局
盆盆译注 4月12日的Webcast，盆盆介绍了Windows Vista最新的内存管理技术SuperFetch。在Webcast的最后，盆盆推荐了Mark Russinovich的一篇揭穿内存优化工具骗局的文章，并承诺会将它翻译成中文，并且加上盆盆自己做的注释，在ITECN博客上分享给大家。以下就是这篇文章的中文译稿，敬请大家批评指正！
我们在浏览网页时，也许会经常看到一些弹出广告，例如“整理内存碎片、提升系统性能”、或者“大大减少系统和程序崩溃的可能性，回收·内存”等等。如果点击这些弹出广告链接，则会看到某些所谓的工具软件，声称只需花费9.95、14.95或者29.95美元，就可以轻松实现所有的功能。看上去，这些工具软件确实不错，但是实际上最好的情况，这些所谓的内存优化工具没有任何效用；而最差的情况，则可能会严重降低系统性能。
盆盆评注在国内，广告语更加精彩，“让您的系统运行如飞”、“让Windows插翅能飞”，充分体现汉语的优越性。
市面上这些所谓的“内存优化工具”有很多—有些是商业软件，有些则是自由软件。可能我们已经在系统上安装了这些软件。这些软件到底能够起什么作用？它们是怎样试图愚弄我们，让我们误认为它们可以达到所承诺的目的？那就让我们一起好好分析一下内存优化程序的内部原理，看看它们如何让Windows内存计数器显示出诱人的结果。
用户界面
通常，内存优化工具会在用户界面上显示一个图形标签，以表明当前的可用内存，还会显示一个指示条，以表明当前设置的阈值，超过这个阈值，该工具就会开始行动（所谓的优化内存）。还有一个指示条，用来显示优化工具可以释放的内存容量。通常用户可以配置以上两种或者其中一种设置，还可以手动触发内存优化，或者设置计划任务。某些工具还会详细显示执行过程。
当执行内存优化的计划任务时，通常这些程序的可用内存计数器会上升，有时候还可以显示动态效果，给人的感觉好像是这些工具确实正在释放内存，以供我们的应用程序使用。要理解这些内存优化工具如何让可用内存的数字不断上升，我们必须理解Windows是如何管理物理内存的。
Windows内存管理
和大多数现代操作系统一样，Windows实现按需调页的虚拟内存机制。由于操作系统使用了虚拟内存，这就给应用程序造成了一个假象，以为计算机安装的内存远远超过自己所需要的数量。
在32位的Windows计算机上，进程具有4GB的虚拟内存地址空间，操作系统通常会把这4GB的地址空间划分为进程和系统两个部分。因此，每个进程可以获得2GB的虚拟内存，根据可用的容量。分配给所有进程的虚拟内存总数不能超过页面文件和大多数物理内存的总和（操作系统本身也要占据一小部分物理内存）。
有了这种机制，加上足够大的页面文件，就可以给进程分配超过物理内存容量的虚拟内存，Windows内存管理子系统必须让多个进程和缓存的文件数据（由缓存管理器管理）共享物理内存。如图1所示，内存管理器给每个进程（例如Windows Explorer、记事本和Word）指派一部分物理内存，这叫做进程的工作集。可分页的内核和驱动程序部分，加上可分页的内核内存缓冲区（叫做分页池），还有缓存管理器所管理的物理内存，它们具有自己的工作集，叫做系统工作集。
http://blogs.itecn.net/photos/ahpeng/images/13080/original.aspx
图1
盆盆译注：可分页表示可以经过调页转移到页面文件上，以便空出可用内存供其他进程使用。但是有些重要部分是不可以进行分页的，例如内存管理器本身就不能分页，还有凭据缓存里的重要凭据信息（例如长期密钥、Kerberos票据等）都不能进行分页。
工作集就是进程在物理内存中的部分，可以用一个队列（数据结构）来表示。也就是说如果进程访问的页在工作集里，就不会发生页面错误事件。话反过来说，如果进程所需访问的页不在工作集中，就必须进行分页操作。
内存管理器可以扩展或者缩短系统和进程的工作集，以便让进程可以快速访问其代码和数据。计算机的内存管理硬件设备要求Windows按照“页”的块级别来管理工作集和虚拟内存。在32位的x86处理器上，页通常是4096字节（4KB）。然而操作系统和其他需要大量访问内存的应用程序，也可以使用4MB的“页”，以便优化性能。
盆盆译注：为什么使用4MB的“页”可以优化性能？通过阅读《Windows Internals》第七章内存管理部分，我们可以了解到，Windows的内存管理采用TLB的硬件数据结构来缓存页表里的数据。如果采用4MB的页，由于总的页数比较少，TLB缓存中的项就不需要经常刷新，这样就不会由于TLB里没有缓存，而被迫到页表里读取地址，以增加性能。
但是为什么不默认采用4MB，而要采用4KB呢？《Windows Internals》进一步提到，由于页需要采用保护机制，大的页面不利于设置更细微的保护粒度。例如在4MB的数据中，一部分需要只读访问，另一部分需要读写访问，则整个页只能设置为读写访问。
如果进程所访问的虚拟内存页不在工作集中，进程就会触发一个页面错误的硬件异常。如果发生这种情况，内存管理器会分配一个可用的物理内存页，以存放最近访问的数据。另外，内存管理器可能会给进程工作集添加新的页，以扩展进程的工作集。然而，如果内存管理器认为进程的工作集已经足够大了，它就会把工作集中的一个页调出去，以便腾出空间存放新的页。替换的策略是选择进程最近最少访问的页，这主要是假设进程在未来访问该页的可能性很小。
当内存管理器把页从进程的工作集中移走，它必须决定应该怎样处理这个页。如果该页已经修改过了，内存管理器会首先把它放到已修改列表中，这个列表中的页最终会写入到页面文件，或者写入这些页所对应的内存映射文件中。内存管理器会把页从已修改列表移动到备用列表中。未修改的页会直接移动到备用列表中。所以，我们可以把备用列表看成是文件数据的缓存。
盆盆译注：总结一下，当进程的工作集已满，想要访问新的页，则必须把老的页移走。这些老的页，如果已经修改过，则会移动到已修改列表，如果没有修改过，则会移动到备用列表。
到现在为止，物理内存的两个列表（数据结构）已经出来了，一个是备用列表，另一个是已修改列表。
可用内存
在本文的前面部分，曾经提到发生页面错误时，内存管理器会给进程提供一个可用的物理内存页，但是还没有讨论什么叫做可用内存。物理内存中的备用列表就是内存管理器所认为的一部分可用内存。其他一部分可用内存，它们的页所包含的数据属于已释放的虚拟内存（例如这些页包含已退出进程的数据）；还有一部分可用内存，包含刚被释放的页，这些页随后会被内存管理器的低优先级页清零线程用全零来填充。这些类型的页分别保存在内存管理器的自由列表和清零页列表中。
盆盆译注：物理内存的另外两个列表（数据结构）自由列表和清零页列表。可用内存由三部分（三个数据结构）组成：备用列表、自由列表和清零页列表，正如图1所示的那样。
图2显示了工作集和这些页列表之间的转化。系统线程每秒钟唤醒一次，调用内存管理器的工作集管理程序，对系统和进程工作集进行分析。如果发现可用内存很低，工作集管理程序就会挑选一些进程，这些进程在过去的一秒钟里页面错误发生率最低，然后从它们的工作集中移走一些页。这些移走的页会转移到已修改列表或者备用列表（还记得盆盆前面的注释吧），这样就可以腾出可用内存了（盆盆译注：其实只有备用列表里的部分，才算是可用内存）。这种协调机制的其中一个重要的副作用是：如果系统需要为其他进程分配内存，内存管理器会从空闲进程的工作集中抽取内存页。所以，空闲进程的工作集会最终消失，这意味着，如果进程长时间处于空闲状态，那么最终它们将不会占据任何物理内存。
http://blogs.itecn.net/photos/ahpeng/images/13081/original.aspx
图2 盆盆汉化版权所有
如果进程需要请求新的物理内存页，内存管理器首先会查看该页是不是位于备用列表或者已修改页列表。如果该页曾经从进程工作集中移走，并且没有因为其他目的而被其他进程重新使用，那么该页应该还在这两个列表里（盆盆译注：就是指备用列表或者已修改列表）。把内存页重新拿回，并放到进程的工作集中，这叫做软页面错误，因为和这硬页面错误不一样，软页面错误不需要从硬盘的页面文件或者其他文件中读入数据。
如果所需请求的内存页并不在备用列表或者已修改列表中，内存管理器就会从某个列表上摘取一页，首先会检查自由列表，然后是清零页列表，最后是备用列表（盆盆译注：这也再次说明了，可用内存由这三部分组成）。如果可用内存不够，内存管理器会触发平衡集管理器，来调整进程的工作集，以便生成上述的三个列表，从而获得可用内存。如果内存管理器不得不从自由列表、备用列表或者清零页列表中移除内存页，以便重新使用，它会确定如何访问目标代码或者数据，这会导致从页面文件或者进程映像文件中读取数据，或者创建由零填充的数据—如果应用程序需要分配新的数据，而且所获得的内存页并不是取自清零页列表（盆盆译注：如果是从清零页列表中获取的页，则无需再由零填充，因为本来就已经清零了）。

作者: hannah 时间: 2007-8-8 20:33

创建可用内存
理解了内存管理器的行为，现在我们可以把目光转向内存优化工具的行为。内存优化工具所显示的可用内存数值，等同于任务管理器的“性能”标签页上所显示的“可用数”，如图3所示。可用内存的数值是备用列表、自由列表和清零页列表这三个数值的相加。而系统缓存，则是备用列表和系统工作集这两个数值的相加。在Windows NT 4.0和以前的版本，文件缓存则只等于系统工作集的大小。
http://blogs.itecn.net/photos/ahpeng/images/13082/original.aspx
图3 盆盆制作　版权所有
盆盆译注：这部分的内容很好地解释了任务管理器“性能”标签页里的术语，什么叫做可用内存，什么叫做系统缓存。
内存管理器可以分配、然后释放一大块虚拟内存，内存优化工具正是利用了内存管理器的这一特点。内存优化工具的作用如图4所示。最上方的条状图显示优化之前的工作集和可用内存。中间的条状图显示内存优化工具（RAM optimizer）发出大内存的请求，在极短的时间里产生大量的页面错误。作为回应，内存管理器会增加内存优化工具的工作集。这种工作集的扩展是以牺牲可用内存作为代价—这时候可用内存会变得很低—同时以减少其他进程的工作集作为代价。最下方的条状图显示，内存优化工具会释放内存，内存管理器会把所有的内存页从它的工作集中转移到自由列表中，所以可用内存会大大增加。绝大多数的内存优化工具隐藏了第一阶段中可用内存急剧下降的事实，但是如果我们在优化的时候启动任务管理器，就可以看到可用内存在最初会急剧下降。
http://blogs.itecn.net/photos/ahpeng/images/13083/original.aspx
图4
尽管从表面上来看，可用内存越多越好，其实不然。内存优化工具虽然使得可用内存数大大增加，但是它们会强迫其他进程的数据和代码交换出内存。假设我们正在运行Word，当内存优化工具强制增加可用内存时，Word的打开文档和程序代码原本是在内存中（工作集），结果不得不从磁盘中重新读入，我们才能继续编辑文档。在服务器上，这种性能的损失将会变得非常严重，这是因为缓存在备用列表和系统工作集中的文件数据（还有活动服务端进程所拥有的代码和数据）很可能会丢失。
盆盆译注：所谓的内存优化工具，是以牺牲其他进程的性能作为代价，同时还会导致系统重要进程的代码和数据交换到磁盘，对于总体性能来说，得不偿失。Windows Vista的内存管理，并没有强调可用内存足够多，而是确保内存里包含正确的内容，这样才能尽可能地减少磁盘I/O，提升整体的用户体验。
其他的宣传功效
一些厂商宣传他们的内存优化产品还具有其他一些功能。例如该优化工具可以把一些无用进程所占据的内存释放出来，例如运行在任务栏通知区域上的进程。这些所谓的功效都是不正确的，因为Windows已经自动调整了空闲进程的工作集。内存管理器已经具有所有必需的内存优化功能。
盆盆译注：盆盆在Windows Vista做实验，证实了Mark Russinovich的说法。以Daemon Tool为例，平时空闲的时候，其工作集只有3MB左右（专用工作集只有350KB），而当打开其配置界面时（使其不处于空闲状态时），其工作集达到10MB左右（专用工作集也达到约3MB）。如图5所示，绿色部分代表空闲时的工作集，而紫色部分代表活动时（Active）的工作集大小。另外要注意，Windows Vista中文版的翻译有误，Working Set，不能翻译为工作设置，而应该是工作集。
http://blogs.itecn.net/photos/ahpeng/images/13084/original.aspx
图5 盆盆制作版权所有
内存优化工具的开发者抛出的另外一个谬论，就是他们的产品可以对内存碎片进行整理。分配一大块虚拟内存，然后再释放，也许会生成一大片物理连续的可用内存。然而，由于虚拟内存对进程屏蔽了物理内存的布局，进程不能直接从虚拟内存（由连续的物理内存所提供）中得益。当进程运行时，由于工作集的调整和扩展，虽然有一大片连续的可用内存，但是进程的虚拟内存到物理内存的映射，还是会产生很多碎片。
获得连续的可用内存，对以下情况是有利的：
当内存管理器希望能够最大化CPU高速缓存的效率时，会采用一种叫做“页面染色”（Page Coloring）的机制，以确定从自由列表（或清零页列表）中把哪些内存页分配给进程。
尽管如此，虽然获得连续的可用内存，可以获得一点好处，但是这种好处要以把有用的代码和数据移出内存作为代价，是得不偿失的。
盆盆译注：为了进一步了解什么叫做“页面染色”机制，盆盆费心在网上搜索不少资料，终于了解到以下的背景资料（经过缩写）：
为了确保在进程上下文切换时，CPU高速缓存里的内容不受影响，现代CPU的L1 Cache会对物理内存页进行缓存，而不是缓存虚拟内存页（否则的话，上下文切换时，必须刷新缓存中的内容，导致缓存性能急剧下降）。这就要求相邻的虚拟内存页最好分配相邻的物理内存页，以获得最好的L1 Cache性能。
更具体的内容，可以参考这篇文档。
最后，软件开发商宣传他们的内存优化工具可以重新获取因泄漏而丢失的内存。这种宣传可能是最虚假的说法。
在所有时刻，内存管理器都知道进程所拥有的物理内存和虚拟内存。然而，如果进程分配内存，但是由于Bug而无法释放内存（内存泄漏），内存管理器就可能无法了解这些已分配的内存无法重新访问，而必须等到进程退出时回收内存。
哪怕产生内存泄漏的进程无法退出，内存管理器的工作集调整机制也会最终从进程的工作集中“盗取”所有的物理页（分配给泄漏的虚拟内存）。该进程会把泄漏的虚拟页发送到页面文件，这样系统就可以腾出物理内存挪作它用。所以对可用物理内存来说，内存泄漏只有有限的影响。真正的影响在于虚拟内存的消耗（在任务管理器中叫做PF使用率和提交更改，如图3所示）。没有任何工具可以解决这种虚拟内存的消耗，除非杀死消耗内存的进程。
欺诈软件
笔者（Mark Russinovich）还在寻找能够实践其承诺的内存优化工具。如果仔细查看，我们会经常发现开发商会在其网站上隐藏着冗长的免责声明，其中包括本文所述的内容—该产品可能对系统性能没有什么影响，甚至可能导致性能下降。甚至无需知道这些产品是如何借助内存管理器来实现其具有明显视觉效果、具有煽情名字的内存管理机制，只要用正常思维就可以明白如果这种内存优化机制是可行的话（而且那么多三流厂商都可以实现），微软的开发工程师早就应该在内核里实现这种功能。

原文信息
本文的英文原版刊发在2004年一月刊的《Windows IT Pro Magzine》上，地址如下。但是由于该文需要访问权限，所以盆盆特地将其全文翻译，共享给大家。
http://www.windowsitpro.com/Articles/ArticleID/41095/41095.html
在《Windows Internals》第七章内存管理部分中，也有该文的部分内容，有兴趣的朋友可以阅读对比。

作者: 天才杨威利 时间: 2007-8-8 20:37

内存就是拿来用的，如果你的内存只能使用50%的话，那你不经是白买了50%的内存吗。