В принципе, с этой задачей никаких проблем нет, но если вы хотите запускать несколько контейнеров wordpress:fpm из одного nginx, то появляется проблема file not found. Проблема в том, что в параметр fastcgi_param SCRIPT_FILENAME переменная $document_root берется не из контейнера nginx, а из контейнеров с wordpress или другим phpfpm. Пока пути в докерфайле, указывающем на директории /var/www/html, одинаковые, то всё ок, но когда нужно прописать для каждого WP путь к своему корню, то начинаются трудности. На самом деле решение простое. Надо просто прописать в конфиге nginx.conf путь к корневой html папке в wp контейнер:
include fastcgi_params;
fastcgi_param SCRIPT_FILENAME /var/www/html$fastcgi_script_name;вместо
$document_root$fastcgi_script_name;
Вот несколько неплохих статей по установке.
https://www.digitalocean.com/community/tutorials/how-to-install-wordpress-with-docker-compose
https://dzone.com/articles/wordpress-deployment-docker-nginx-apache-ssl
Единственное, что я советую упростить себе жизнь и поставить наружу nginx proxy manger и сильно упростить себе жизнь, забыв про сертификаты, hsts и т.п. А внутрь советую поставить Portainer и забыть про проблемы с докером, его внутренними сетями, линовками контейнеров, обновлениями и т.п.
