公孙胜加入梁山是很早的，是同晁盖，吴用，阮小二，阮小五，阮小七，刘唐，白胜劫取了青面兽杨志的生辰網后，为逃避官府的追拿，众人一起去投奔梁山的，因此也称得上是梁山水泊的老人了，除了梁山原有的几个头领外，应当屬于梁山元老一级人物。
公孙胜是劫取生辰纲以后去的梁山。
当时晁盖刚从赤发鬼刘唐那儿得知了此事，也正在谋算着截取这笔财宝金银。公孙胜的到来，意味着力量的增加，正合他意，于是欣然同意。最后连同吴用与阮氏三兄弟，晁盖、公孙胜、刘唐七人一起定下了此事，一起劫纲，是为“七星聚义”。
在杨志押送银钱到了黄泥岗的时候，他们七人一起扮作卖枣的商人。七人在白日鼠白胜的配合下，用蒙汗药酒迷倒杨志等人，劫走了生辰纲。
生辰纲本是梁中书送给蔡京的贺寿礼，此时被劫，梁中书自然不肯轻易放过。后来派了大批官兵搜查，途中七人被人供出，遭到围追堵截，最后还是在公孙胜大施道法的情况下，得以逃过一劫。
虽然逃过一劫，但是这些都是暂时的安全。为了躲避官府的追捕，他们想到了梁山，最后公孙胜随着晁盖等人上了梁山。本来梁山寨主并不想收留他们，但是后来林冲火并，晁盖被林冲推举为首领，公孙胜因此也留了下来。
