Add OpenMP parallelization to Fortran compute kernels

Add !$omp parallel do collapse(2) directives to all triple-loop
stencil kernels (fderivs, fdderivs, fdx/fdy/fdz, kodis, lopsided,
enforce_ag/enforce_ga) across all ghost_width variants. Add !$omp
parallel workshare to RK4/ICN/Euler whole-array update routines.

Build system: add -qopenmp to compile and link flags, switch MKL
from sequential to threaded (-lmkl_intel_thread -liomp5).

Runtime: set OMP_NUM_THREADS=96, OMP_STACKSIZE=16M, OMP_PROC_BIND=close,
OMP_PLACES=cores for 96-core server target.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-02-10 23:40:17 +08:00
parent caf192b2e4
commit 714c6e90c6
10 changed files with 171 additions and 32 deletions

View File

@@ -81,6 +81,7 @@
fy = ZEO
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -179,6 +180,7 @@
fx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -262,6 +264,7 @@
fy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -342,6 +345,7 @@
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -443,6 +447,7 @@
fxz = ZEO
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -553,6 +558,7 @@
fxx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -627,6 +633,7 @@
fyy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -702,6 +709,7 @@
fzz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -777,6 +785,7 @@
fxy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -851,6 +860,7 @@
fxz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -924,6 +934,7 @@
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1019,6 +1030,7 @@
fy = ZEO
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1134,6 +1146,7 @@
fx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1227,6 +1240,7 @@
fy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1314,6 +1328,7 @@
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1430,6 +1445,7 @@
fxz = ZEO
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1580,6 +1596,7 @@
fxx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1659,6 +1676,7 @@
fyy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1740,6 +1758,7 @@
fzz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1821,6 +1840,7 @@
fxy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1903,6 +1923,7 @@
fxz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -1983,6 +2004,7 @@
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2087,6 +2109,7 @@
fy = ZEO
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2219,6 +2242,7 @@
fx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2321,6 +2345,7 @@
fy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2414,6 +2439,7 @@
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2544,6 +2570,7 @@
fxz = ZEO
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2743,6 +2770,7 @@
fxx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2827,6 +2855,7 @@
fyy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -2914,6 +2943,7 @@
fzz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3001,6 +3031,7 @@
fxy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3093,6 +3124,7 @@
fxz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3183,6 +3215,7 @@
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3302,6 +3335,7 @@
fy = ZEO
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3454,6 +3488,7 @@
fx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3566,6 +3601,7 @@
fy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3667,6 +3703,7 @@
fz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -3814,6 +3851,7 @@
fxz = ZEO
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4098,6 +4136,7 @@
fxx = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4191,6 +4230,7 @@
fyy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4287,6 +4327,7 @@
fzz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4383,6 +4424,7 @@
fxy = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4497,6 +4539,7 @@
fxz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4609,6 +4652,7 @@
fyz = ZEO
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4679,6 +4723,7 @@ subroutine fderivs_shc(ex,f,fx,fy,fz,crho,sigma,R,SYM1,SYM2,SYM3,Symmetry,Lev,ss
#if 0
integer :: i,j,k
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)
@@ -4729,6 +4774,7 @@ subroutine fdderivs_shc(ex,f,fxx,fxy,fxz,fyy,fyz,fzz,crho,sigma,R,SYM1,SYM2,SYM3
#if 0
integer :: i,j,k
!$omp parallel do collapse(2) private(i,j,k)
do k=1,ex(3)
do j=1,ex(2)
do i=1,ex(1)