平原地区的高山族，住房多为砖瓦结构，与汉族相似。
住在山地的高山族，房屋多是茅草屋顶的木板房。
有的地区屋内要比地面凹下一二尺。环墙摆设床铺。
门有正门、后门和左右旁门。窗户较小，约一二尺见方。
有的地区是以长板石作房顶的石头房屋，屋内多用长板石铺地，床铺也用板石架起，上面搭以木板。住在兰屿岛上的稚美人，房屋多建在靠近海岸的山坡地带。
为了预防风暴的侵袭，用厚木板做墙壁，外墙用卵石砌成，房顶盖茅草。
室内地下铺卵石，上铺木板。
室内地面凹下二三米，所以房檐离地面只有一米左右。
一般人家除住房外还设有谷仓和牲畜圈棚。
此外，部分地区还在村社中建有专门的集会所。
这种集会所用木板和藤竹搭成，离地面一二米不等，上下用梯子。一般作为村社开会议事和祭祀的场所。