高铝耐火砖的矿物组成一般可分为主晶相及基质相两大类。其中主晶相是高铝砖结构的主体，其除了熔点高外，还必须要求发育充分、完好。基质就是主晶相之间的填充物。其数量不大，但是成分复杂，作用明显。高铝砖的这两种矿物组成缺一不可。
高铝砖在其化学成分固定的前提下，由于成分分布的均质性及加工工艺的不同，使得高铝砖制品组成的矿物有种类、数量、晶粒大小、结合状态的不同，这种微观结构的不同，造成耐火砖的性能差异。
例如，高铝砖与莫来石质高铝砖，在化学成分上基本相同，但其矿物组成不一样，所以其制品的常温及高温性能均有较大差别。因此说，高铝砖的矿物组成，高铝砖的微观结构，也是决定高铝砖性质的重要因素。
通常来说，高铝砖的组织结构是由固态物质和气态孔共同组成的非均质体。气孔是影响制品常温及高温使用性能的重要因素，特别是在高温条件下，使制品对外界侵蚀的抵抗能力大大降低。气孔形成原困是：高铝砖成型时物料中的空气未完全排除；物料水分排除后留下空间；原料煅烧不充分，有些应分解的盐类未完全分解，应灼烧的成分未完全灼烧；物料成分不均匀，高温烧成时收缩不均匀等。
相对的在有些轻质隔热高铝砖制作中，人们还特定引进一些分布比较均匀的气孔。气孔的存在，直接影响了高铝砖的气孔率、吸水率、体积密度、透气度等指标。