机箱大从外观结构上看，服务器的机箱一般比较大，有的虽然外观上看似与普通PC机差不多，实际上还是要大些，哪怕是入门级的PC服务器，比如说DELL PowerEdge 400SC入门级服务器（目前价格仅5808元）。对于一些中的专业服务器，机箱的差别就更大了，有的还是一个高高的柜子式的机柜，比如说IBM RS/6000系列的S80型号服务器。
另外，由于安装、连接的设备多，工作时发热量也非常大，必须有足够的空间来散热，以确保服务器能长时间稳定工作。以上这些都决定了服务器的机箱架构就必须要比普通PC机要大，即便是一些媒体所说的DIY PC服务器，为了保证服务器长期稳定工作，也必须加大机箱，在选购或配置PC服务器时一定要注意。
主板大一般来说服务器主板要比PC机主板大许多，这主要是因为在它之中要安装比PC机多许多的组件，如更多的PCI（5条以上）、PCI－X、内存插槽（4条以上），还可能有多个CPU插座。比如华硕的一款i875P芯片组的双CPU插座服务器主板，如果是支持4路或者8路以上CPU的主板则更大了。
目前主要支持热插拨技术的有硬盘、电源、风扇、PCI适配卡（主要是指网卡）等。目前还有些较的服务器支持内存、CPU的热插拨，凡是支持热插拨技术的都可以在线（不关闭服务器电源）的情况下直接插上新的部件或者从服务器上拨下旧的部件，这样极大地方便了服务器的维护，确保服务器恒久运行。