带领IBM进入电子时代和推出系统360无疑是IBM技术转型的一个重要里程，于此小沃森功不可没。但小沃森的另一大贡献，是带领IBM走过管理的转型。世人大多只知道郭士纳带领IBM在90年代转型，却不知道IBM的第一次管理转型，其实是小沃森一手策划。
和父亲看重的忠诚和服从不一样，小沃森更看重员工的专业性和创造力。 在刚接手工作以后，小沃森便意识到父亲的管理方法不能适应越来越大的IBM和以后发展的要求。在上任第一年（1956年）中，他便集中了100位当时最资深的人员到佛吉尼亚州一个叫Williamsburg的地方开了三天会议，决定如何把权力下放。 在小沃森领导下，IBM人员逐步建立起一套完整的组织架构和专业化的管理方法，包括如何做计划和制定业务的政策，并仿效军方的作战部队（Line）和幕僚（Staff）的管控方式。 这种方式早在20年代杜邦和通用汽车这些企业界“大腕”已经采用，但对仍是中等规模的IBM来说当时就像一场革命。
老沃森是个独断专行的人，喜欢自己处理和决定一切，根据小沃森自己的说法，老沃森时的IBM“有一个非常出色的销售部门，但是在其他各方面都缺乏专业的管理机构”。老沃森的做法在企业规模不大时具有优势，但当企业发展到一定程度，这种管理方法已经无法适用越来越繁杂的业务和越来越壮大的团队。小沃森宣布重设IBM的组织架构，设立了五大集团（Groups），分别负责总部幕僚职能、军工/计时/特殊产品、新成立的数据处理产品、电动打字机产品和负责美国本土外地区的世界贸易公司，由5位资深副总裁兼任集团主管（Group Executive）负责，下面分设各部门（Division）各司其职。 而这5位主管加上他本人组成IBM最高管理核心的管理委员会（Corporate Management Committee）。这种集团（Group）和部门（Division）的组织方法，至今依然沿用。
在1956年会议之后，小沃森特别在公司的新闻特刊中刊登IBM历史上第一幅组织架构图，这在老沃森时代从未有过（勉强画的话可能是一幅非常扁平和超宽的图）。 虽然往后这些结构随着需要时有改变，但从一人发号施令的老沃森式管理方式过渡到集体和分权管理的做法是小沃森的一个重要决定。 这个改变让决定权不会落到一人身上，降低风险；加快决定速度使IBM在变大的同时不会变慢；而且让更多的员工有机会参与更多公司的决策，间接提高员工的积极性。
小沃森的管理转型并不是为改变而改变。他传承父亲所有对的理念，比如赏罚分明和追求卓越的高标准等，并把它们通过管理制度强化和固化。他对普通员工和蔼可亲，对于管理人员更为严厉。 通过给他们轮换岗位、交给他们超出他们水平的工作等手段来锻炼他们的能力；而那些犯了错误的经理们则会被暂时调离核心岗位。 为了奖励与他共生死的重要IBM高管，他把作为CEO得到的利润提成（老沃森加入CTR时待遇的一部分来自利润提成）和他们分享。 他同时加强培训的制度化，使人才培养更加有系统地展开。
IBM的三大基本信念也是由小沃森正式明文确立的。大家都知道IBM的基本信念出自于老沃森，但是很多人不知道它们一直是不成文的精神指引，直到1962年，小沃森把父亲的三个信念正式付诸文字，“尊重个人，客户服务，追求卓越”成为公司的正式基本信念。 这之后，即便不能说IBM每一个员工都把这三条倒背如流也相差无几，而且在企业界中也广为人知。 知易行难，更可贵的是，IBM人在做决定的时候和日常行为中，往往自觉地以三大信念为指导原则。 员工之间，也常把是否遵循这些价值观当作判断一个员工的“蓝色基因”是否纯正的标准。
为了把管理做到尽量上下一致和让IBM的价值观为每位经理人所认同，小沃森定期发给全体经理人员所谓的“管理简报”（Management Briefings），以信的形式分享自己的管理心得和真实事例，这个习惯一直被往后的4任CEO延续至1989年并被编辑成书。 我在1990年成为IBM的经理人时，也获得这一本书，并从中领悟到小沃森和历任CEO传承下来的IBM信念和精神。 虽然IBM给我正统的经理人培训，但远没有这本书里一封封平实的信来得有力量，让我知道一个职业经理人的心应该是怎样的。
小沃森对于老沃森传统的传承和改变，是IBM成为今天百岁IBM的基础和根基。在小沃森领导的15年时间里，IBM建立了一套正规的、符合世界级大企业规模要求的组织架构和管理规范，成为现代管理殿堂级的企业之一。
在IBM最高位上工作了十几年之后，1970年，小沃森心脏病发作。1971年他从董事长和CEO职位上退下来，交班给曾经负责S/360研发的副总裁文森特·利尔森（当时他已是总裁）。
作为沃森家族第二代掌门，小沃森没有像父亲一样将IBM的大权交给自己的家人，而是交给了外姓人。 他为了完成父亲的遗愿——让他的弟弟阿瑟成为他的接班人，曾经尝试把他的弟弟阿瑟放在继承的人选中，在S/360项目中把阿瑟从IBM世界贸易公司调回总部，负责S/360的开发并把原来的负责人利尔森调往负责S/360的全盘销售，但事与愿违，事实证明阿瑟无法驾驭这个复杂的研发计划。 小沃森不得已唯有把利尔森调回，并把阿瑟放在一个无关重要的总部幕僚长工作上。小沃森后来承认，虽然系统360获得空前的商业成功，他对无法完成父亲心愿和伤害了他的弟弟深感不安。小沃森在清楚地认识到自己的弟弟不是接班人合适的人选之后，没有为了家族的传承而牺牲IBM的利益。 他的职业经理人素养让他在IBM和他的弟弟之间，选择了以IBM的利益为决定接班人的唯一条件。
小沃森的继任者利尔森基本上是一位过渡性的领导。 在小沃森的弟弟阿瑟失去成为CEO的机会后，小沃森本来看上了弗兰克·克里（Frank Cary）。 原因是在老沃森退休以后，小沃森定下了规矩，CEO必须在60岁退休。 按照原先的计划，当他自己在正常年龄退休时，利尔森也已经退休（他比小沃森年长一点），而克里的年龄可以让他带领IBM7到8年。 然而，当小沃森决定于1971年提前退休时，利尔森还有一年半才到退休年龄。于是，他作为小沃森身边功劳最高的员工，当上了IBM历史上最短的CEO，在位上工作了只有一年半。他的时间虽短，却充分反映出IBM用人为能的精神，让其他员工佩服小沃森的大度。
小沃森退休之后曾经在1979-1981年出任美国驻苏联大使。他的弟弟阿瑟·沃森于1970年辞去IBM副董事长和IBM世界贸易公司董事长职务，担任美国驻法国大使。1970年他离任时，IBM世界贸易公司从1949年成立时得不到5000万美元收入增长到超过25亿美元，与美国本土收入持平 （老沃森曾说过有一天海外业务会比美国本土大），海外运营从49国增长到108国。 有意思的是，兄弟两人离任后都从商人变成了外交官，践行了他们父亲“世界贸易促进世界和平”的格言。
从利尔森之后至今，IBM又经历了5任CEO，他们分别是1973年接替利尔森出任CEO的弗兰克·克里，他在任内促成了IBM PC的出现，退休时IBM的收入差不多是小沃森时的4倍。1981年克里交班给了约翰·欧佩尔（John Opel），后者领导IBM直到 1985年。仗着前人耕种的成果， 欧佩尔时代的IBM也是IBM最如日方中的时候。、欧佩尔之后的CEO是约翰·埃克斯（John Akers）、郭士纳和现任CEO彭明盛。这些人中，除了那位传奇的郭士纳以外，其他都是IBM内部培养的表现出色的人才。 可以说，老沃森把IBM变成了“家天下”，而小沃森又把它变回“公天下”。 他清楚地知道IBM需要怎样的人才才能“延续香火”。 “任人唯能”成为选拔接班人的唯一标准，IBM因此也避免了家族企业常常遇到的“富不过三代”的宿命。小沃森在任时，已经有数十年历史的IBM像一家新兴企业般快速成长。小沃森对于IBM的贡献决不逊于其父，他也被《财富》杂志称为“历史上最伟大的资本家”。