在台湾时期，王云五担任过的正式官职是“考试院”副院长和“行政院”副院长。“考试院”副院长的任职始于1954年9月1日，院长由莫德惠担任。莫、王两人都是无党派人士，是国民党台湾政坛上两个不可多得的稀世珍宝，被同时安放在“考试院”，起装点门面的作用。据孙中山中西结合政治体制的构想，国民党政府应实行五院制。“立法院”、“行政院”、“司法院”有似于西方国家的国会、内阁、高等法院，属于“洋为中用”的产物，但又有所不同。“行政院”统辖政府各部会，权力很大，蒋介石作为“总统”可以直接指挥“行政院”，而且连选连任，不受限制，并且不允许台湾其他党派对他的个人独裁体制形成挑战。国民党政府的立法、司法两权其实不独立，无法对行政权起制衡作用。所以，蒋介石对西式政治模式的态度是，形式可以部分借用，独裁实质不可割弃。至于“考试院”和“监察院”，则是采择中国传统政制中的考试、监察制度而形成的。在个人独裁和国民党一党专政的所谓“戡乱时期”，“监察院”无权稽核施政方针，也不能审查各级党部与党员违纪情形，其职权主要限于弹劾与审计两项。“考试院”的职权是分管考试与铨叙，即人才的选拔，但职权也不充分。”考试院“正、副院长的职权，诚如徐矛所述：”院长职权为综理全院事务及提名考选委员会委员长、委员、铨叙部部长、次长请求任命。副院长除了在院长因故不能执行职务时进行代理之外，无别样职权。“
　　作为“考试院”副院长，王云五平时没有专管的事项，只是在1955年3月至7月院长莫德惠病假期间，代理过院务，主持过考试改革，略微有些作为。例如，原先台湾地区高级职校及专科以上学校毕业生就业考试成绩占25%，在校成绩占50%，军训占25%。经过王云五主持的改革，不计在校成绩，就业考成绩占60%，军训占40%，其效果体现在强化了统一标准。1955年，王云五担任“典试委员长”，主持高普考和各类特种方法考试。其中较有特色的是主持机关公务人员首次铨定资格考试，分4个等级进行考试，但整个台湾地区仅有83人应试，其中55人合格。在“考试院”副院长任内，王云五还参与过“改组职位分类委员会”工作，但职权有限，没有明显业绩。他提出过不少建议，如建议多办夜校，大、中学校招生不必限于正规学历，建议设立博士学位，建议改革考选人材方法等，并对当时考选人材的方法提出许多批评及改革设想，但被直接采纳者极少，这与国民党当局不愿锐意改革，及官僚机构固守成法是有很大关系的。对于官场积习，王云五很看不惯，但又没有能力去改变陈规陋矩和腐败习气，加上“考试院”副院长又是极清闲的职位，在全力投入有关行政改革调研事项之前，他有许多空闲时间，时常发表各类文章。由于担任政府官职的关系，1955年1月起，他不再用真名或已为外界熟知的笔名发表文章，另用化名，用得较多的是“龙一江”。有些文章，反映出他对官场腐败风气的不满。兹摘录一段文字，可见其心态之一斑：
　　一千六、七百年以来，官的名称充满了阶级的气味。到了清末，在官尊民卑的观念下，一般人民对于官吏辄按其阶级，分别尊称为“大老爷”、“大人”、“中堂”等，……现今的人尽管讥笑前清的意识称谓，然而政界中仍流行着“院座”、“部座”、“次座”甚至还有“秘座”等的怪称，听起来怪肉麻。为什么大家都有正式的官名，而官名中如院长、部长、次长、司长、科长及其他种种都已寓有阶级的意义，彼此互以官名相称，也足够区别了；又何必画蛇添足，平添一个“座”字以为敬称呢？
　　他认为必须改变官老爷意识和“牧民”意识，要改变官场习气，便要大力进行改革，如果改革获得完美成功，有望达到理想境地，“到了那时，官位都变为职位，官等亦可打破。服公务者之自视与人民对于服公务者的观念将大有改变。做官只是为人民服务；民主与公仆的风气将因而逐渐浓厚，其有助于民主制度之推进，自不待言”。王云五虽有一些民主意识，但通常停留在理论认识阶段，以西方资产阶级上升时期的政治理论为思想来源，对官场习气和封建残余观念，只是泛泛的议论、批评一番。他虽然有改革弊政的愿望，但都是对下不对上的。他本人头脑里的忠君观念是根深蒂固的，反映在其从政实践上，他往往支持国民党一党专政，对蒋介石不乏吹捧之辞。这样的从政态度和改革愿望是很受蒋介石赏识的。因而，从1955年起，蒋介石便开始起用他兼搞行政改革方案，到1958年7月，将他调任“行政院”副院长，负责推行行政改革事宜。