建武2年（1335年），北畠亲房与其子
北畠显家、北畠显信和北畠显能进驻伊势国南部后，建造了阿坂城等数处城池。阿坂城首次在史料上出现是在
文和元年或
正平7年10月23日（1352年11月30日）的《鹫见加加丸军忠状》中，该文书在描述
北朝军的
土岐赖康援助鹫见氏的段落中提及了阿坂城。
其后
应永22年（1415年）春天，北畠满雅不满
称光天皇违犯
明德和约中定下的
两统迭立而即位为由，在阿坂城举兵。满雅获得原本南朝势力下的大和、
纪伊和河内的武士支持，而
幕府方面则以一色义贯为总大将，联同
土岐氏和
京极氏应战，导致北畠军处于守城的形势，期间幕府军将阿坂城包围，并且截断城内的水源，导致北畠军陷入困境，而实际上城内的水源亦因而所净无几，尽管如此北畠军为了向幕府军营造城内水源仍然相当丰富的假象，便把以白米当成水来清洁马匹，从以欺骗幕府军。因此，在远处的幕府军无法分辨出洗马的其实是米而非水，误以为城池仍然水源充足，便随即放弃断水的作战，并且解除对阿坂城的包围。最终，虽然城池被攻下，但是满雅通过中间人的协助，成功与幕府和解，这也是别称白米城的由来。白米城传说记载于《樱云记》中，该书写成于江户时代前期，虽然包含以军记物形式写成的部分，但是同时也有真伪难辨的地方。按《满济准后日记》记载，城池在应永22年5月15日（1415年6月21日）被攻陷。其后的
文明10年（1478年），在北畠材亲的协助下，于建有阿坂城的桝形山的山麓处建成了作为菩提寺的净眼寺。从此，北畠氏便以净眼寺作为居所，战斗时才移师阿坂城，从而建构出根小屋式山城的形态。
白米城传说后，再未有城池的纪录，直至
永禄8年（1565年）和
天正8年（1580年），城池的名字才重现于史料。当时的城主由大宫入道含忍斋担任。永禄10年（1567年），由于
织田氏家臣
泷川一益再三拒绝织田信长命其攻击城池的要求，自此便以牢不可破的城池而闻名。其后的永禄12年8月（1569年9月），信长军包围阿坂城，虽然曾经劝含忍斋投降，但是未获回应，后来通过木下藤吉郎（其后的丰臣秀吉）的计策才令到其开城投降，然后城池成为废城。期间，北畠军的大宫大之丞吉行向木下藤吉郎放箭，导致藤吉郎的左边腋下和左脚均受伤，也是秀吉生涯中唯一一次在战事中负伤。进攻阿坂城是作为大河内城之战而发动的前哨战，同时亦是信长给予当时尚未建立军功的秀吉的一次机会。
城迹大致分为南郭和北郭，南郭的范围是东西25米乘以南北30米，高12米的台状地，北郭则是70米乘以70米的台状地，两郭相距约250米。城池的南郭称作白米城，北郭称为椎之木城。
椎之木城的规模较大而且较新，由护城河和土垒等组成，由于结构复杂，因此椎之木城可能是城池的主郭。椎之木城以两个狭长的台状地为中心，建造护城河来包围台状地之间和两侧，其中北面的西下斜面处建有两处竖堀。相对于椎之木城，白米城处于的位置较高，能够看到松阪市内。白米城的台状地是45米乘以60米的梯形基座，上方则是20米乘以35米的平面圆椭形，四角均有小型的台状地。
白米城的东、北和西三个方位的护城河沿
山脊兴建，并且建有小型的台状地，北方和西方的山脊则设有两条护城河，在桝形山的山顶上则建有护城河、空堀和狼烟台。
城池附近有高城和枳城等支城，其中高城是由北畠氏家臣大宫氏建造，建有
虎口，属典型的日本
战国时代风格建构。枳城则具备日本
南北朝时代的特色