湖口乡的地形由竹北沿台1线北上时，有逐渐升高的趋势，而且非常平坦，所以就在老湖口附近一片宽广的地方，有一个军事基地，或许因为地缘的关係，乡口乡得天独厚在湖口老街附近及后山，得到国防部捐赠多种军事设备，而有军事公园的雏形，成为旅游观光的重要资源。

　　经过湖口乡乡长的争取，以及国防部的同意，最先有华克勐犬装甲战车及巴顿装甲战车各一台被安置在湖口老街的天主堂前广场及通往后山的中山高隧道口附近的停车场上，之后在后山牛车驿站附近的山坡上又多了两门海军5吋38倍舰艇砲、两辆LVT P5-A1两栖登陆运输车、再加一台坦克车，然后在三元宫停车场的角落上又有一台水鸭子。在湖口老街附近就可以看到这样多种类的军事设备，大家口中的军事公园有了雏形。为了活动及导览解说方便，还有一个同心圆的立体坐位区，对观光旅游有了更丰富的内容及吸力。

　　LVT P5-A1两栖登陆运输车陆上行驶时速约48公里、海上时速约6海哩，巡航距离在陆上约317英哩，海上约可行驶7小时，在1953年及1958年都曾经发挥它的功能。而海军5吋38倍舰艇砲为美国製，1943年出厂，是美国海军于第二次大战时所研发，1954年安装在丹阳舰上使用，目前双管砲留在湖口，而丹阳舰身则在太平洋底作鱼礁用。