U ¯Ê¹jíã@sjdZddlZzddlmZdZWnek r<dZdZYnXddlmZGdd „d ƒZGd d „d ƒZ dS) zE CUDA / AMP utils Hacked together by / Copyright 2020 Ross Wightman éN)ÚampTFé)Údispatch_clip_gradc@s*eZdZdZd dd„Zdd „Zd d „ZdS) Ú ApexScalerrNÚnormFTc CsPt ||¡}|j|dW5QRX|rL|dk rDtt |¡||d| ¡dS©N)Ú create_graph)Úmode)rZ scale_lossÚbackwardrZ master_paramsÚstep) ÚselfÚlossÚ optimizerÚ clip_gradÚ clip_modeÚ parametersrÚ need_updateZ scaled_loss©rúN/var/www/html/bwave/python/venv/lib/python3.8/site-packages/timm/utils/cuda.pyÚ__call__s zApexScaler.__call__cCsdtjkrt ¡SdS)NÚ state_dict)rÚ__dict__r©r rrrr%s zApexScaler.state_dictcCsdtjkrt |¡dS)NÚload_state_dict)rrr©r rrrrr)s zApexScaler.load_state_dict)NrNFT)Ú__name__Ú __module__Ú __qualname__Ústate_dict_keyrrrrrrrrsø rc@s2eZdZdZdd„Zddd „Zd d „Zd d „ZdS)Ú NativeScalerZ amp_scalercCstjj ¡|_dS©N)ÚtorchÚcudarZ GradScalerÚ_scalerrrrrÚ__init__1szNativeScaler.__init__NrFTcCs`|j |¡j|d|r\|dk rF|dk s,t‚|j |¡t|||d|j |¡|j ¡dSr)r#Úscaler ÚAssertionErrorZunscale_rr Úupdate)r r rrrrrrrrrr4s    zNativeScaler.__call__cCs |j ¡Sr )r#rrrrrrGszNativeScaler.state_dictcCs|j |¡dSr )r#rrrrrrJszNativeScaler.load_state_dict)NrNFT)rrrrr$rrrrrrrr.sø r) Ú__doc__r!ZapexrZhas_apexÚ ImportErrorrrrrrrrrÚs