Следующее правило решит проблему циклической переадресации при стандартном редиректе:
RewriteCond %{HTTPS} off
RewriteCond %{HTTP:X-Forwarded-Proto} !https
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
#
# Второй вариант
#
RewriteCond %{HTTP:X-SSL} !yes$
RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [L,R=301]