黄永胜与江青，本来相互熟悉但没有什么交集。“文革”前，黄长期在广州军区任职，江青个人或陪毛泽东去广州，黄永胜自然盛情出面尽地主之谊，江青是满意的。但黄永胜与江青的关系仅限于礼仪上的迎来送往，谈不上深交，更谈不上什么个人恩怨。两人的龃龉和矛盾，发生在后来的“文革”中。
1967年“文革”方兴未艾之时，在一次京西宾馆会议上，毛泽东为老干部说了几句好话，江青不同意，竟当场发威：“毛主席，你这么说我要造你的反！”黄永胜忍不住了，当着江青的面就说：“江青同志要听毛主席的话！”江青认为黄永胜挑战她的权威，从此，两人结下了怨。
1968年3月“杨余傅”事件后，黄永胜调北京工作，参加中央文革碰头会，和江青的接触多了起来。他仗着自己的老资格，又无政治历史问题，且深受毛泽东、林彪信任，因而对江青颐指气使的霸道作风看不惯，对江青插手军队的企图予以抵制，于是两人的矛盾日见其深。
有两份同时报送江青和黄永胜的文件没有按常规先送江青，而是先送了黄永胜。刚到中央工作缺乏高层政治经验的黄永胜并没有在意，便率先在上面画了个圈。等传到江青那里后，江青大光其火，借机闹事，在文件上批了一大段话，说黄永胜夺她的权。
还在黄永胜进京之前，中央文革插手军队已经很深，军委的文件都要报中央文革圈阅。江青是中央文革第一副组长，后来以“代组长”的名义夺了陈伯达这个组长的权，也就意味着军委的文件必须由她圈阅。黄永胜对此有意见，便向毛泽东汇报：现在军队调动的文件，传阅的人太多，既不利于保密，也应付不了突发情况，还影响战备。毛泽东赞成，指示今后这样的文件，只报毛泽东、林彪、周恩来即可。江青知道后，又骂黄永胜“封锁”她，“无组织”“无纪律”，搞“独立王国”，并赌气让秘书把军装退给黄永胜，表示不穿这套军装了。江青还提出停止黄永胜参加中央文革碰头会，并要黄永胜作检讨。但黄永胜认为自己没错，拒不检讨，于是两人便顶上了“牛”。
黄永胜记住了林彪说过的话：“如果他们（指江青一伙）在军队有市场，就是亡党亡国的开始。”（《邱会作回忆录》）因此，他带头抵制江青插手军队的企图，几次让江青碰了软钉子。他和军委办事组的吴法宪、叶群、李作鹏、邱会作等还最早把江青、康生、张春桥、姚文元称为“上海帮”，给他们编了代号加以议论：康生叫“8楼”（住钓鱼台8号楼）或“两撇”（八字胡之意），江青叫“11楼”（住钓鱼台11号楼），张春桥叫“眼镜”，姚文元叫“小的”。甚至不用说代号，只要做个手势就行。例如嘴巴上摸一下就是指康生，伸出两个手指头就是指江青。后来，康生知道了黄永胜为首的军委办事组经常背后议论江青，便指责他们是“反江青俱乐部”。连邱会作都开玩笑地说：“我们这样经常谈论别人（指江青）的长短，若是她知道了，非得把我们五马分尸不可！”不过，黄永胜却表现得满不在乎，颇为自信地说：“江青是毛主席的老婆，我们还是毛主席的兵呢！”
九大选举期间，黄永胜等人又鼓动和串联个别军队代表不投江青的票，想借此煞一煞她的气焰。结果，少了票数的江青不满意，提出要查票。虽然遭毛泽东、周恩来的反对未能得逞，但她已觉察出是军委办事组的人在跟她作对，暗地里记了黄永胜等人一笔账。
纳闻 | 真实新闻与评述：江青当面顶撞毛泽东：我要造你的反？