还在武库别署的官员第一天到兵部应卯时，许敬宗就大拍赵云泽的马屁，主动给赵云泽擦坐凳。可是赵云泽对许敬宗当时的举动却大为嘲讽。

赵云泽当时说的话，就像钉子一样扎进了许敬宗的心脏上。从那时起，他就把赵云泽给恨上了。他就想着有朝一日一定要收拾了赵云泽，狠狠的出一口恶气。

恰巧，这个赵云泽居然得罪了太上皇和裴寂。有了太上皇和裴司空这位朝中第一人撑腰，许某人自然是乐颠乐颠的要对赵云泽下手了。

许敬宗花了一晚上的时间，为赵云泽罗列好了罪名。

第二日武库别署散衙之后，许敬宗一回长安城，就拿着他为赵云泽罗列的罪名跑到了裴寂府上。

裴寂看完许敬宗写的东西，对许敬宗大为夸赞了一番。

许敬宗又与裴寂密谋一番过后，便直接在裴寂家写了份弹劾赵云泽的奏折，署名却是署的胡江的。

胡江也是个傻缺。当裴寂把许敬宗写好的奏折拿给躺在床上的胡江看时，胡江简直是以乐疯了的态度，欣然同意了裴寂和许敬宗的做法。他根本就没意识到裴寂和许敬宗在拿他当枪使。

于是，第二天散朝过后，李世民的书案上就有了一份胡江弹劾赵云泽多行不法之事的奏折。

许敬宗为赵云泽罗列了七大罪：

一，居心叵测。赵云泽将武库别署称之为“祝麓山庄”，其“祝麓”二字，合“逐鹿”之音。赵云泽其心可诛。

二，私制法令。武库别署各项规章制度，皆出自赵云泽之手，且多与朝廷各衙门规制相悖。

三，暗植党羽。赵云泽到任武库别署署令后，极尽拉拢人心之能事，武库别署一班官员，唯赵云泽之命是从，不论对错。

四，骄横跋扈。赵云泽执掌武库别署，其令出必践，容不得他人意见。赵云泽常挂在嘴边两句话。其一，“第一，署令大人说的都是对的，第二，若署令大人说的不对，请参照第一条执行。”其二，“我的命令，你们理解了要执行，不理解，那就在执行中加深理解。”

五，公器私用。赵云泽对别署官员吏役及工匠，只以个人好恶乱行赏罚。

六，挥靡国财。赵云泽私自改工匠一日两餐为一日三餐，且伙食丰盛。赵云泽以武库别署公帑，私行酿酒、净盐之事。且把所得之酒、之盐，作为赏物分发于别署众员，以国财为其拉拢人心。至于赵云泽有无私下售酒、售盐，尚未查证。

七，疑其行凶。赵云泽对别署内卫团旅帅胡江，向来恶之。胡江被凶徒打断腿一事，疑为赵云泽指使。其目的，就是想将胡江赶出武库别署。