,Click to edit title,Click to edit copy,Second level,Third level,Fourth level,Fifth level,高性能计算中心,NX Nastran,部署和客户案例,分享,wangzongle,高性能计算中心NX Nastran部署和客户案例分享wan,.,NX N,astran,并行计算能力和方法,客户并行计算案例介绍,NX N,astran,在高性能计算中心的部署,NX N,astran,并行计算未来发展,Agenda,.NX Nastran并行计算能力和方法客户并行计算案例介绍,.,NX N,astran,并行计算能力和方法,客户,并行计算案例介绍,NX N,astran,在高性能计算中心的部署,NX N,astran,并行计算未来发展,Agenda,.NX Nastran并行计算能力和方法客户并行计算案例介绍,DMP(,分布式并行计算,),优势,更少的计算时间,更少的硬件资源需求,硬件环境,工作集群,多处理器、多,I/O,通道,工程问题,非常大型的有限元模型,非常宽泛的频率范围要求,利用模型分割方法进行并行计算,几何分割、频率分割、或者同时,DMP(分布式并行计算)优势,和,SMP,（共享内存式并行）比较,硬件环境,分布式内存跨越多个工作站,(cluster)vs.,单机多核工作站，共享内存,运行级别,高阶,:,模型分割方法,vs.,低阶,:,分割矩阵和向量计算,软件机制,信息传输机制,MPI,vs.,进程，系统调用,扩展性,多,CPU,(2 to 256)vs.,少,CPU,(2 to 8),vs.,和SMP（共享内存式并行）比较硬件环境vs.,DMP,静态计算,GDStat,分割,几何模型,为多个部分,在互相关联的各部分内部进行计算,分割原则是在各部分之间最少的边界,各部分的计算结果通过,MPI,进行通讯,LDStat,分割方程右面的,载荷向量,模型包括大量的载荷条件的时候、可以加速计算任务,DMP 静态计算GDStat,DMP,模态计算,GDModes,对几何模型分块,FDModes,对计算频率范围分块,在,互相关联,的频率范围内部,进行计算,HDModes,按照交叉原则，同时进行几何分块和频率范围分块,RDModes,利用,递归分块,将系统矩阵分为多个层级的子结构,和其他方法不同，由于子结构的缩减，模态计算结果有些许变化,DMP 模态计算GDModes,典型,DMP,应用场景,LDStat,航空航天系统,通常具备,100-1000,种载荷工况计算要求,GDModes,白车身,主要由壳网格组成的复杂结构模型,FDModes,白车身及动力总成,频率范围非常宽泛，要求模态数量足够多,HDModes/RDModes,白车身及动力总成,可以接受近似计算结果,典型DMP应用场景LDStat,NX Nastran,递归模态加速计算,计算选项,dmp,参与计算的处理器的数量,设计,dmp=1,进行串行计算、计算效率比传统的模态计算速度要快,nrec,分割子结构的数量,最好是,2,的指数，例如,2,4,128,256,，默认为,nrec=1,，自动选择,rdscale,子结构模态范围系数默认为,2.0;,子结构计算频率范围是整个模型频率范围的,2,倍；,增加该系数，提高计算精度，降低计算速度,RDSPARSE,parameter,控制是否采用稀疏矩阵进行响应计算的数据恢复，默认为,YES,如果只需要对一小部分关注点进行响应结果计算，稀疏矩阵数据恢复非常有效,NX Nastran递归模态加速计算计算选项,RDModes,计算白车身模型,Model Description,1.3M grid points,1,2M elements,6.5M degrees of freedom,Solution Settings,Modes 0 300 Hz(about 1000 modes),Full eigenvalue recovery,NREC=512,RDSCALE=2.0,Cluster System,Siemens HP Cluster,Linux OS,64 CPUs,UC Berkeley Cluster,900 CPUs,RDModes 计算白车身模型,RDModes,计算白车身模型,CPU Time Savings Using More Processors,Runs performed on UC Berkeley Cluster,RDModes 计算白车身模型CPU Time Saving,RDModes,计算白车身模型,Computational Cost for Solving for More Modes,Runs performed on Siemens HP Cluster using 64 processors,Solving for more modes only marginally adds to computational cost.,RDModes 计算白车身模型Computational C,RDModes,计算白车身模型,稀疏矩阵数据恢复,输出结构只在部分响应位置时，此方法效率最高,前端矩阵分割以及后端模态振型分割结构提高响应计算效率,根据输出请求，自动选择稀疏矩阵恢复,SOURCE:NAFEMS(2014,Americas Conference),RDModes 计算白车身模型稀疏矩阵数据恢复SOURCE:,快速频率响应分析,快速模态法频率响应分析,当结构阻尼矩阵属于低阶矩阵时特别有效,当结构阻尼定义在少量单元上时特别有效,快速直接法频率响应分析,迭代求解,PvL(Pad via.Lanczos),当响应需要在大量频率点上计算时,相对标准方法计算频率响应,-,65%,-,9%,快速频率响应分析快速模态法频率响应分析-65%-9%,NX Nastran,首席算法科学家,Dr.Louis Komzsik Siemens PLM Chief Numerical Analyst,NX Nastran首席算法科学家Dr.Louis Kom,.,NX N,astran,并行计算能力和方法,洛阳,613,客户并行计算案例介绍,NX N,astran,在高性能计算中心的部署,NX N,astran,并行计算未来发展,Agenda,.NX Nastran并行计算能力和方法洛阳613客户并行计,NX Nastran,支持并行计算操作系统,Platform (Build Types,),Supported 64-,bit,Operating Systems,-,-,-,-,INTEL Windows,Win,Server 2008 R2,Win,Server 2012 R2,Windows,7 SP1,Windows,8.1,Windows,10,X86_64 Linux,SUSE,SLES 11 SP1,(Opteron/Xeon),SUSE,SLES 11 SP4,SUSE,SLES 12,SUSE,SLES 12 SP2,Red,Hat ES 6.2,Red Hat ES 6.9,Red,Hat ES 7.0,Red,Hat ES 7.4,Centos 6,Centos,7.3,NX Nastran支持并行计算操作系统Platform,Linux,平台,NX Nastran,软件安装,利用,NX Nastran,进行跨节点的并行计算，需要按照以下方式进行软件安装：,安装,NX Nastran,程序在,全局,文件系统，该文件系统对每一个节点都是一样的，这是目前最容易的安装方式，缺点是数据交换压力较大，需要采用高速网络，否则数据交换影响并行计算的效率；,安装,NX Nastran,程序在每一个参与计算的节点，每一个节点具备自己的文件系统。缺点就是安装和管理困难，但是网络数据交换容易,.,前述两种的混合安装方式,.,注意,:,不管哪种安装方式，启动,nastran,命令的目录必须是完全一样的，或者在每一个节点的,PATH,环境变量定义一样的目录,.,Linux,操作系统安装前提,从,NX nastran9.1,版本开始，在,linux,操作系统运行,Nastran,计算需要安装,libnuma.so.1,，该服务包含在下面软件包：,.,For Redhat EL,the package is numactl.,For SuSE Enterprise,the package is libnuma1,.,Linux平台NX Nastran软件安装利用NX Nast,计算机架构区分,SMP,硬件架构,DMP,硬件架构,每个节点有自己的,CPU,memory,disk,数据互不干扰，可以单独运行,通过网络进行数据交换,易于扩展,memory,，,disk,单机具备多个,CPU,，共享内存和,I/O,总线,多,个,CPU,可以单独运行，但是所有操作其他,CPU,可见,不,容易扩展,计算机架构区分SMP硬件架构DMP硬件架构每个节点有自己的C,无法并行常见原因：,Rsh,、,rcp/ssh,、,scp,基于网络安全，目前很多用户的系统环境设置为,SSH/SCP,功能实现各节点之间的无密码访问；如果要在,SSH/SCP,环境实现,DMP,并行计算，那么需要使用,IntelMPI,才能实现并行，而在,LAM,环境无法实现并行计算；,原因,：目前在,Nastran,的安装文件默认支持,rsh,、,rcp,，如果在运行,SSH/SCP,的系统环境，无法运行,DMP,并行计算任务，也无法通过远程节点运行任务。,运行环境设置,：,你可以无密码访问任何参与计算的节点，而不需要输入密码，例如你输入如下命令,rsh -1 date,应该马上得到输出结果为：,Thu,STP,17 13:06:49 EST,2018,解决方法,：,a,.The environment variable MPI_REMSH is set to ssh.,b.The argument s.rsh=ssh is included on the nastran command line.,c.The argument s.rcp=scp is included on the nastran command line.,无法并行常见原因：Rsh、rcp/ssh、scp基于网络安,无法并行常见原因：,Infiniband,互联网络协议,如果用户的各节点采用,infiniband,互联网格，那么,nastran,运行,DMP,运行并行需要采用,IntelMPI,并行机制；如果采用,LAMMPI,机制，那么无法启动并行计算,原因：,lmp7.1,才能支持,infiniband,互联网协议，而目前,nastran,并行命令（,analysis.dmp,）所编译包括的,mpi library,属于,lam7.0.4,，所以无法支持,infiniband,网络,解决办法：,升级,lammpi,到最新版本，从而支持现有,infiniband,网络,利用,hpmpi,并行计算协议，可以实现在,infiniband,网络运行,DMP,无法并行常见原因：Infiniband互联网络协议如果用户,Windows,单机版运行,DMP,命令,NX Nastran12,开始，用户不再需要进行环境设置，可以直接在单机包括多核的系统运行,DMP,命令，前提是系统安装,MPI,服务功能；,Windows单机版运行DMP命令NX Nastran12开,.,NX N,astran,并行计算能力和方法,客户,并行计算案例介绍,NX N,astran,在高性能计算中心的部署,NX N,astran,并行计算未来发展,Agenda,.NX Nastran并行计算能力和方法客户并行计算案例介绍,高性能中心架构图,安装高性能计算硬件,：,1,、胖节点：,3,台,其中图形显示节点，进行结果的处理和显示操作,1,台,两,台进行,NX Nas