Schedule Free Learning A New Way To Train Schedule Free Reddit
Authors: Aaron Defazio, Xingyu (Alice) Yang, Harsh Mehta, Konstantin Mishchenko, Ahmed Khaled, Ashok Cutkosky TLDR Faster training without schedules - no need to specify the stopping time/steps in advance! We provide several Schedule-Free optimizer implementations: ScheduleFreeReference versions have a simplified implementation, but which use more memory. There are also ScheduleFreeClosure versions which can be used with PyTorch's optimizer step closures. A Jax implementation is availiable as part of Optax.
��~� 9�)�B�E*+��_�^V� ��à�����3NdcYsu�"� /�����Y ��ڄ������rw8"�� _�&$s�4�~,���Pו/�,���j �;k�l�~�I�jD�� ȅ�E��ۚM������#����c��Ԡ7��bV:pP��m�V�v����{j����ͽ�2����|����s 6�WW�kM���P�&�1gH��}��]Ã�L�P��O�o�����4��_��6'Y�L��� ��A��s��W5�%��]� ʻV"���;X.З5*��'�2�9&��xQ˧�}�����-x!;�� � m�{�5�7�΄'c$u�ء��ZZ��2�W?�s����.�wo|p�Gf��� {�Dq���4�Q]�(�3�r�YE+}��ee. 7���kUq��_���)����3mVO�=��X��1�F�G(�T�S>�R����*�̴ }>'$ =wLl �(0\"��c`�5����/�@A�<�a����#d����h��gv��J����/�,:�B���e�e���6�y�Ш��h>�}�TdR�i,�֣~j�m����zS�� �te�94�r�u� ��6^z��X /�NL]!2���e7Th;{m+�����n�X�%���NA�QM.�]y��sX�]� e��"��*%Q &g���3%�@�EH���qVXͯ��B� �X;.́ ]��ޞr�k�nd)��N=�6/�Lm]I7���v�h�˥��&N�h��O�o�N)�� �i��/4��DRl���f�&� tE��}f(:#J���*[�g|���n�w���DB͊5�*8�Y��A�����`B���k��d��r�K�A]�6����"\���V�� ��e�Dz7>u3��ц�M�A��ƥ�HPo����R�wb���G�'������,HP�!�-ZҶq�20 �Y�(�G�Q�+�d� /���bL^F��̧�G���S���rj��AL댣o�.Ԁ�g����#ӯ�ǣYIn��Vb��,�K�K�&��� �����O�K5i�Q�Ol�_�4�ق��Z�^�� ��-�d� ��nFnb�3gg*}����> (���тuȸi*y"wcr�x~��G{�����>���L�I���:s��Yg�>h;�������j�k6��U m�6��nA����i��ϨM����F'*E�Ƶc��T���=a�����Ø� ���71$��W�O����F���z�5"xr �s4�ݽ.��KMI��T*m��}����&�|��2ČRM�����6#�KG�/t�-�B%���i�:��^�@����] b�.�����h�!�哙^ߓ���ԣMY��2�g�g� H4��v_O xV��!�5Pas�Y-����g�:ճ���_���������X��@2;��?��Y���0I-s<.T5I`L�� !3R�:�7�p:jf�YU|��ޑ��|�4v�KL��GoK2!��N;FV�����U��R�;7b]�n-��i ��nz�ޣ/'�l����3�� �sC�t>/g�܀ޙ�ɠ,�ԑO�d�Mˉ��ؤo���|���#d'�$(/���9H|�u�ny9�fO��hʇD4�0!y���q=��E���y�,\}��������x�t9�d����sXo�k��^o�L�(�c��!�|�.��o�|nN��L;�L�$w�x繯�% �3yk�x�rX���T�T a��&���%h:��J�`�-i��t�&��d߆%N�0�ұ-AL�W�>}�u4ɖ!A]I�ږ����}��'oj�2��=ǍG:��5�s� ��c�&#M�/A���UnA �oJs�r��K7���=��(��G GY`=�2�#TJ��I�&�z:���^07Td�tȿ_6��`��b6��V������3)Ph���yW<�W�^E���z9~>��ߴ7^�C��!t�u�������A;o)���=4�V}�"0)�ۈ��D��{��|}��ٜ��7�Y��0��F��a�O���`��.��X_3��$�G��`��... ��#�p�.�{6�k�o�!��_n ��h� �xiZ��F�kj��MC�+Re���B�ø�`{}[ ��,)�V�]R���{n��ڛ����c�L����� /{��i-�@�R9�F.^z��^Y̸y}����]��e#�ϸ�����.��4���/�]VK���/����#�].&>Yi����1V�αz �K��',���,j�t�Ś�6U��t����[����ٳ[�L�*:��/X��w���Y7�c�y�L�7t��R��|r�(��R�2��"��÷G ײ�pp�d!�$��������|Ȑ[�(��X�����~jj������X�[H�1�rB�iQ�t�y���!X>�� ~5H�}��w���՞�t��>z֜U���`�k���P��]����0"�C�껍�;[u��Lo�E���g+sJ�H��)>��t�%ȥ��fUs�� ��8]P��H����/�y����� ���.��#�^�f�+/ �*��]QJ4I��߮�zJ=�+-I��v��+q$ۉE��3����u��U���+a엲�� �В{]��C����?��h�,'%��sV+���j�3�}��Ű]_p�A1��z���̊L���o�۴�MLѫ��S<�ʛlz��H��` �U8��o�#��E�Z�� [h�0����R�����kډ���*�s{N�O� PZ�!�.�o���~� �W�����u�#i�V���?��}$n�t���[�Z:/�aWC]XbqM��v��6f�����Q,*_%�yO���O�c�J�3�@� ���j��`�-��{t � Iܳ������pPR�����ч;N�^+� ����~�%� u*d���ַ�*�.U��I��3�A�Q�������16�Y�c%����T��oS6R�=ٵ蔦Z�a~4���k$� �Gp�i����x�)�*-��O��Vj�-H�g��I���hb�E6V{�3Y�Oi9o�"?C����(���f�j�?k�a�k����D7.�'�8��_�����Q� ��e��Fb�������=k�Q�i}�wv�W`s��y��kC?=Ŵ���v��3�)*��Y�eN�( �+��������^�ކ��é���rc���A&et����c[��G��1���,zyh{�]�O��/Q�;�@��bl�,:��OB>�h��v����S�a�zނ��`e9�����ߺTl�Q�Ս�vCyHd��v�bc�~��S2���쟣ƕt��!E��%�Bݮ��q�� �8 ��R�cS���>��c�mOF��Ζ��V>rH0�q��SS���^��1��/rT�h��]�}�[��v�hC<�r���̜D����I�����t�N��#�"E�-PY6���Q�8t������>�䢎��T �J�p���8YċUلu[������>�"!�C%[���4�O�>�lb���_O(�/I���W����dZ����J��Y�ٓ�F�U� u�XF4B���;��UEOx��-$L}��4�b�n�z��4N)eB�3�ZXNx�P5��Vw��t�MޭMq��}ZZ�n�W�M3׀�i�%2��m�O#�CS�'��l-��^�xe>p���o����������C��COﻕ ?L��.��_����氾z���z5@�p&��N��$�����-��\����m���f�W,:�I~�X1�x�w��6�O��>M�=dr�^���}.��L%ڤ:��yo���r����.g�'#B �����b�:��x�C���Y�U���J1�u�s�"�Fl�S��34�Ĕ(�.�hZq� ò���C��U��Fұ4S�)�VQ���� ���hS�p�\)�W�Z���)TU���RIj~�"���U�e�*��Us��^�H �z\�����4o���K@;��u���=�W:M�avؙ'+��s3��... 3������eUiЃA2<;c;���?3��N ߷����ւ������E���YIF�Ԟ� �ޫ����������j�����/q�/�$,g�o*ۓ\:���y���o���KD�K#G����Ro�s>��J��Se��H=��^��k1?}_��R��jK�l�_�{��^�^���LƆ< 䮖:=�ퟸ��L���j�Sk��IC��c� >��EK��^�.�,��=�6�'bF�endstream endobj 2573 0 obj << /Filter /FlateDecode /Length 28458 /Length1 725 /Length2 28105 /Length3 0 >> stream x�l�c���6ڶ�~ڶmN۶m�洦m���i۶m������;�Yg�*U�;W��JRIȈ���\T<L������**�\��Fz22'SCK{;QCSn��� @���� `fdd�!��;x:Y�[�(�������X�Z:��m��,�-�nnn�nή�N���+)��\,Lf�6�yM)9 ���*@��������jdci ��46�s6���;l�S�ۙX� �3��ع�:��f�do �S��S��0�� �L2��۹8s��65vq�W�h.��l �'�O�����?= ����`djni��/ޤ�����Q��:�����_|ʿRLL��z����ښ(E�m\]L���&�Nv�q��d�W�_WC[K��_���!�b�� !;��1�Ge�,n�aj�`��o'W����M�36��&�����n�����jbog��Z�ە�Ǡ�!���@� ��Y����������OC'��)�mV0��O��#... [�cOD��g_N��Q�� O�P���h� �0�m��"��j۵t�kL1X��UoƝoV����eJ߄�;�̩\���",�+2��U3 n�a~�i\L�߰ض�����mb����E�;���]@�7� X�64 ��+�:[��^��P�e�ҟsԫ�E'T��<=-������1��c� o�I�!�딯��3;��G"��z2ot��ql�; g2jU�X�g dj�&����7��ye��b/H�\X(��N�ۑ4K(,��-5t�Z�}�#]�� 5F��&��܁W�Y���o.����~��g�� ;m�)�O�6x���[Fy,(�nP=3|���E��OuJK�Ν�jG]< ��v�y 6Lw����C����W����,?�ȡ:�Ugە��yM�n.%���Y%$rQry��=|��M .�N�AF�ēKm��^�@c�pM�,�͓�zɪuc�ؑ�Y�4(�0����4�ڊ-�d@�g����g����Ԋg���R'�,D�O���_��1!��NS8& ���%�Y7� b�v�S���Y-Z��C����6�~a��N�c]�����9?f-��c�SKm��: �V�V�GRk��AӼyDF��j�$WM�?����A�r� u{���w.�����Y�)�G���~�q;�^+�L��< �N�l���%�?�B�@�Y�9��qJ�蛏��Ǿ�(z�O�a���Yr5��y�ճC�k����ݑ�f�p ������ !FI�!��'� h�х+bH%�������EE���uU�&_�.�x 6&�O�P����o����9�r������vA���D%���V��"&��2J>şֽgG�8�/���~X]�~�G�$�mE�`���HAt�<�?�GS�,�3�"�Q�� ���X�Mi������U�}IW�8)�G>&2���`�*��C�^+bl�D�.Y�.�3����έ��O�R����䖮�(�0�G�;Z ��&����uc$�|�(�� ������I�#K����6�x�<;gusXYDg"� or��9\���@I&R)���R71��L�y���q�� b�#��'�ݳ #���^/S�@3�����r[�jm��/�ӗ˰E�fF۰��|�y����{��/:Knji �/G�Qd�N���1� w�As��;��9���!P�3ۂ��M��7^�i���q m��oA)������v���ZL�-��u��� ������K$ah�̇<3p_qꍺ�VXW�cYo> ��h�s�*l���F�ە�$�="�f�C3�&�(?���Ҹ�ҏ�t�H�)B����ld��������)�%�6Og3O(�/�vܥ��Æ���.ח��2���F.6���... ��S��4�k6�/ �PauA��^�3R�i�]�G�F,��j5~�zpg i���#� Ϩ��� Dm������~>\m���]��2���m��*N�k�|��D�I�_{�ŧ�smM���P���>��_E�w{�b�����x�s�~�s�\c)�� kkZ�Ի�<��0,�hAt�Lj]Q�%��J�8����k�FX��2m��3��|�1�af��� H���B�_VEt2�Spu� �w< �,A,�|���i[Qb��>MViJm���jU�՟N4��]V�Ʊ��E=�"!Sy^�MSA *y���?��0��2R��9��~.#�3!DZ�`N� ��\� ��w�#iV�`���<ښ����*.gm���F�1�����\�8�8���l;ʏ���/1�"�4�2y��NƐ�2��Z�������/V�aą�'� d���S�h��Տ��;àȀ��8���r$�i�_j?~��^��$=,��$�S� �B�gW�:�@�p���v���Q����!��X؛���ʝ��� z�A)��3~9����=�����v��xe�|6��_����Fr'Т�)�w��Z[�$?x�qpL"z���v�F ���(Mý+��ն��\���H�Y�(�ە/US�� ����*e)?ܯ��HI�z7 ^����&~���5�U\��aњmFd�4�+r�g�]m�%bE��?��p6`� fSw*�~eډ���zs1̜,��L�!����ٕ�xx �z�Z>��� �$貵�[:���k���uc �%�RMz��[e��g��҆�����Y2KtRVHa�����NVca�[�Õ�Cϴ��F�A���-��Ja�M���ִ'�"�����?e�F]�)D���u6�W���^�9ꏺW_�oVb�-i�T���pb��{L)����u|5~j�4�ȃ ]�:AЭ��'�\�'o�Z��$�bt�lS�r�h��=20��<�H�=?T�5�x����R�3�����?ݖaB"�+i7A�p�*oL���;-�8n�5���v�{�L)�J���CUǧ�Q}�����8�����C�b�?���=|\i��с��ep�.t����c�U��iC�s���8�hZ�Y*k6>]�ܫ(j�[�}�r����,� ��|��F����f�nD�4yߥh q���*F�J�/�mR��Lg��C���Ӄ ��r4&-[gd;����M�����;�c�=n9c�k�рh���j�X��1�IA������$=�:_�� ;X�J�P�;Q������u��6��.<� ,�z��t4dJW��R��2A$�^�`:� ���L�Q�m��(e;qXlY-�b�Z!�P:������˵��� 3��w�� �s�ͼ���:Q ��Ļ����uU25����c;���^Zp�����Ë/P�Z�X�y7��߁�^�RQ���ؤ�h���l�P�Z]9��4!��uo �"GGY(4��^ 1嚯�.jr,<�...
��- ���a1��X��6>��i8�Ȟ�ԝ3>�I��2�^V��P��!Z��#�[�2:_��! o 3�0��s9 X�ݵ!�<+�*ə���y�'%l��������7 6ק�U�7|}\}�����ɝD�G�#�Yc7�S� v�$x̶�D����Zz~ÓVM�[��]����ș�"P4u@' ��(�щs��v��L�?�W�����|���Ùd\��˴)��>pj��{4��p��9�I�E���/���J�2%}h���}b�CY��턅ks��Φ�Q�%���듋�m�x���� �I��o�&�l L(u���{[�[��Ku:r��q�"�0�IƬ���a.J@�� Û64�qjU�+.�� ���a���xڊ��ϝD���BgS)r:��.�ܝr�YVk/]�ڧA�'��F_:e��+�ru3�6�.o���B0^�|e��E�����$�L^k}������NI��Q�;0�4Zt���w�n��z`Z���9��� {�z�G���=C� b��!���q�(�ѐ��TpV)���U4�>�ɜ�5:ڍc4 F�O��rge J(�{�����U��V�� vZ�E�C�z8r�� Ψv�+����7g}E�e����u�S̑����D��?�(*�!�u��Z*��D��B� ��ʅ��� k���:�1�z${5H�!�hW����dr����\��rc��d���9����U�a�f��zSY�-�#�%����$���3�Ü� ����| o�������H��<.ȥ(�����qo�k:0O�oh\u������z�m5D,H�-ƾʗ!��J�:4`m��P��8]� \�[�k�&G�D�������*u�'F��%.7�Q3��U�3��O`�����J�-2p��Kzj�W��/���w��Mщē��\R�YPl�i~�?�@&0���d��UjR>al�3�2����h�DO*qL�;$OQ����VV�EŒU=,f���g�ݯ���Yc���#�l�s����*��}�:$8�\m�+�[u�Ƚ��硫�x�?L��y�� :�E# ��K�tޖxs�o\�|����;�)�c�o��Qci\¿,SRo��x|)��A���}�<&�)�E-|P��?�.�L�պ\�&���H]e.*b@@�f�I�:ü�n�@'A7�k����������vt��4n��=���<��o��@C� �c�&�6>G�V(�D��O�G��\� �|2ak�t�?:AcG�D�|���v��vB>I��Di��F�Zi��b��x�̉��+~f��z6l�Sۡb?ʋ����;���+{زco�b��R��j/��Z�d��@k�����v�t��g����c V��C�Z�N��N�t��� .���堡I4H��P���� ;�i�c�h�vM^�MڒB������C�� �ȳ�'��&{" D�������2�+q �+��gf��Nr��N�{��@*�W�.��"|����DцH�3�oll^��r�+��B���+&��.eq�2���R �� �����.X���j�\�W���*��P�:;>��9Sm� ~����^�=�u�P(�D��A��_W�W-... �`�*fs������i��嵌����j�PA��:���爤Da��Jt5���"����|� ��M5���}� �lӧcɏ����9���_B�&�M�16��,�D�U�}&[��k�>�g��bHg\��9f��'���Z�ޫf(rP�[��3ϥ7�j�@��ZEK�� 9=��5�v5��l���#�L7�G":��d����� �}ES/��oXs�5s*u�(Xa8IG����'r��n|]��,�[�ţ5��o�C�s ,b��o�<:��O$l�fq~�%D��D{K]8�:�Ux�ŷ�_Bp~d#m�.ger�}�jݯIur�}��lv���rU��khv�Y�8�T��u �b(\��ՙ WNͭ����*��O�$J�����h�^�SduΚK��ԩ�H�1���'�$@U���d⨜tM`P�el�>9`��c���]�M5� �I��yN� �M� J*t��I�S�ꊭx��.��p�(N�O���?�i�9�|���L��{�� I�-PV������D��D��Ԅg�! ���N��WLW'\hוl�� 1�+ �N�`0�镡)g50��� ������(�x��?��w?�:Y���06 TfO�}"z!kT�;�6��eI+׀�J^h�k$q M�8��y�70��y�l�:ѕ6V�Z�r �;�Ň� 'Q�k��kuF̠����:�*�Aq��uy��w�օu���inKQ�%-�|����mE�R�R�=6��h�_a�zk�fK�8���J$ԥ���3�'d/�(��GYx:�����P7���r�H�i0��M݅��U^q� �����fBzUn`GNӃn9m�/,��#�:��$���Y\��4�c�ՓѨO ��H�#Q��G6k�P��9&X9ݶ��x� R;p�Xi7 �?f���%�ߧ%��STd���F�Ɗe�q�%"@0�n϶��� ��B��ף`��%����n�8��vl֑����>̱�����(��g���{�V��R�U�� �T�u��e�ΏpL�ד���. �GDt7n�KN��0D� ����fe,�!�[�������&s����?-��-;���Q�J��{�v��P��%D C�MG��PN�@~�0����|�����J��Bҙ�8�x�V��[�%�����:yy<_ �hf�yP�72W� ����(E"�-pXxJ��;`�,�ڷ�&x$�$�Ԏ@���ֲ�CX=��]�ݽZPo$�+-7]ҽ�A�}��&3�@,ХG���|�?�d%jI�ۂ�-A bk�w��U8��\VQ��1���l�c%X\��l�a� Ө;�����O?_����T| �؉�E��a}���v29Q�𠒡F��bg����dVp��Q!i��-;�������3�M|��WE��ߤ$���^�i��p��;��W��� Ȼ1�˄�)���ST@/}�-���17���g�9�7.�r ��㸟�]����9��)!)���0�GE���m���&��c?�)R��hJ�Z���+�5�@f���ق*â�"u\T��3�Dܳ~�X�Z���R�@��02� � g ԓ�)b>�ڋ�YJ>~��NU o���1,�: G;>�&{I�Z�ş�O�Zp����#(@Gme+�KO�M8R˹��E�0b:&�˕gxy��Iu�W,Ȝ�����߈��S٪{�}N:hj��A��|����ɣ�"�e�pI��=j-B�����f&ɃW&��n�{�4=���$Ŭ�%�v�k�h�C1��ҟ��@�T�l>{�ĩJs�A��]�����̲�[����Ph�H� 7H���\��9�n]|Ko�Ï}�X�ٜ'``\<���z��U�g�(z�Un� ]����잸�$� {&|W�"�`���旋F�F&�0�~6�D�*g��%\*�ئ�2�=5f�K:�ҡ=Ɏ�; Dzq�a�r�KC�6�FRz� �9�K��N�/[-~�O!���8^2�d���>�0̈́� ���~ܛG�Ai0wZλ���'�:��p�EK�����V���y>��\�*t�j�:v~ v�1����6I$����}$]5a�m�\��S�����-K��5t�+���"�@1�v���v)�b�w�\[�7QG�?sMD����݊���l�J>=�Y�/�d�+���hD74�:8��]��ve��W{���J��x��!��*j������s�Nɶ_�ވa�N��4�J��:'�(���,b%W��Ĵ~�eɐZmr{�̂�ߘ�y���T{��K�E�O�p�5��b�r�CV_ϯ1o N�Tn�f`m mA;_Ȕ���r�u���;Gҽ}=�8C�. � V���)u�0�Ş;��� 4�E�v9���*{S� �lݶ��eP"iVU�7^T^nn*�4Q�� ���%L��( �:�@�ߺ- �ųB�tF�!����ݑ\�/�~�a锗y����+�,,�xłH��v�Y8�����RA����;���E��?�<����`�n�3�U���=�����&xd���`���Tt8 �=:w|��?��n�$'#�e�;�Ա�����=BT1v�rFP)Y\����J3�^�Y`��n�mTx�nH�`���!eP�V :�Q_c�s� ]��߯x p�_C���<�����N� 怘IR�9�V��䬈T�_Uت�O �f��_$��,�O� �De�&$�U �u���Wf��Q�~N^)O���:�9 C�jPT|7Bʄ�ۈS���~���Jޱa������e�f�{���� ;��bh9#�,y ��s���q���<�$�[Ӣ��;���2f�o�C�M߫�p��7�:!�̘��" ��N[��R�r�lV��r�,Dl��4�XiEЅwƻ�\Қf��*���'���aE~C�}��ݍ!�N'l��>#�/ʃ�º�p�Hn�N�˓�����5�Q��6]^��0��i`k��M��.D�u Z�2ߏ�um1�l���T�~�N��9��t$;��u�(��(~!�e p�=;Q;�jJ-B`��^�3����OM��@�C�H$�� n�&�F���[̐���O��u��2�}̞w�5��p��]�n�Ȫ`f?
����l���A��9[�Cl?M �)d���P&@��@��yx꒜5S��x'�e�^�P*�=I3�-� ��I��ٻ=qlQ�I�<�b�AU�٢/��C,�W�Y�랪�h�l>��;���K�C���A��>-����ȋ\+NFI�ği�W��B���Ʋ�&��z>4Q�T�1���}td69&�J~U�z��O����j��45/�� ���� �-���K5\�cEZI��{����Qg��wjb䊣�鋂%���>rM*a"tMId��b�U~���3jK��5�J9 Ej���A"��L�e�b�tp��a�X�,���ti����Wj?�!M�i&aX&�����=���%�G�MtU,�H�q��3�、h� PnB���l#��.`W~�0����]Q-�m۶m�m۶m۶m۶m۶1w����4i�4�R9j��WA��տG��n���VBr9��)ڊo.V_���"#X���T)_4�U�����KW��&��[Ghؔ�{��;X !��ą�<�!T.1�ur�#}rc>WE&�~�f~9�u��f�m�c�lv��1���=t�$A6A�N��F�=���տ �m S� r�1�M��Ύ&��F,P|�n���{�Ao��CnF2H�Հ��N��W�N熟d����6��f��v��;�28!S-B�z�F!�rFŧ^�8��Ac�^c�>�<�\���I�QRxC���!cW'�8�ls.1�(#&i�#�fx��g_=����dS�'89�jUAS�����A�<���ڦ��� �_!KU�\$b+L�TH�?��f����7p�u��<�1���|����1�3Д(��4h��=�0�2�S���q�d�Y�P�;1��٭� ��D P�fu;���be�_���hr�Ԁ4-�i�EY��QQ��'V�R���Kr1�{+�Tgƌ�]z��N����쨕t �����1�'��6J �:M�p��Q���%$ʸ-�d��ݭ:/�4��NB|#�,�ʘWH��?B��S52��)S�{�Ik���ٷ�� ^Ϫ��`�~���� � ���ȋ�?���JE�1~7 ���ݛ�̀�� z��O�H���JB�>QR,e����S�C����sd��O� j����� ���;��@ee?{S @�� �}�;����U�}w+ ���Ϣ�ϥNc�ȥ�GmK�ID e� ��mU���b�Rt�|�9<��4Fx�[�� �U��&tL�bɯѶ�Vg��e��Lu��^�tvy��p���N�*Wx�]���|.־ �9��}��������p �����/e� `9�_�7��ׅI����3�uDDa3�=ƞr d@��Ԣ��ih��GVľ��̩�>7U�6_'}z�[^��O�-�lo�I �պ��ʮ'7Lg����... �{�I�A�����)8=�vǵj��� ��|M ��D(��j}R�y��LX�@;3b�U�zӺ�}�t�m8J�ɣ~C���� _c�ŎO�H�(�)\��}��ĵ�yo �1�����g�3'��MX�)����i��h#�"����Ģ���[ �����]�s�@9�B�o��߸�\��ƨ�L�������0�G�R&� '� ������iLhL��R���hNIY�7�A��/��v.�J'82�T��~�����X�ho� }������a�Z`V�i���3/�u�a�B�6E���ƌ��;Z�&YeZ�T�#�k��`4�3�t�OVVl��ĎC(.tn��\��XhE��Y�_�~��<�C�,a��z}+|%-�[�]?�a(r�-7�E�<�F�hV���=��u��6��Q6F��:�W}���'�.WZE�K0�*��!._w���y�O�H�ߐ ��]���#5�L��<i5�Y�3o�G�[��bZ������A��B�)��PO�x� 棙|�)\S�� dxh��F�N4�J��b�(��@�&j�EK������,�`�H�$㵳�,4Oqg �]1w��?%�Ơg�nF\S�x8L��1O��6��t<�� *��G���!A|�]� L~��:r����-^,�LE��zv�Y�"�Z,4�^�(��똆X$�����R���K� �ΘvS?ۘ�l��%�飤��!�:g�,}4&p��9�����r�禖�=RČOڭ���&x��x>@+��|Kғ�oǖ"Y;�%%�ѹÑ*�T�;^6ނ�O!��Ns���/�Y��$����(Ur���8�B�_�A�w h��VKtV-�l�Vc�}�� ahw�.T�L[�c�L��3/{��n�����i�/O��Bԟl��yv��}��x�����ڭ�o�w������.�5��x�p6 ��"� ���d~$�'�0? ��J�����Д�F�L �j4l��EG�XU�{�������8��[����'��=�$�떜�YI%G�c8A3�����铏�+�lp� �G _Hj�ngS~,����QM�&Y(��f�d`�'�]�Ś�j�����Yl��P-&4�!J��W54�"��e�T�O騡�.)=X4��pv/�]���@�F��� 邖�M���o��.���iY�x�����Z4��qx�� ��fo .6)kN�ϟ����������,����*���_s�� S����84;�-�E������]��_$'Ò¡H%�T]H�<{.��y�60PC��0�9��8:ޘ�F�o��f6y���jKQj � \�Nq#:�Ud�=����R���+�kÎ%<'64�jK 9ѵ2����ꏼ� W�j�0��"d���#9�p`zHޟ� -����x�\�cJ�#�sXYf��bq��eb7���nz+�mfv\i�t1�u B̟Xսm�z�����... Y� w�ƷSA�ڛ�`-LC������gP�ޠK6-��������^����>OH�O��p���gK!+�h}т�nSS��GQOKt��D�ٓ�CN1�`VM��b�(V�_mf��)��c;�k��t��1� �W�d�f���q��7+D;@�>!������M����v�M���G�bCC,q���4A�J�z�q � �C>�l��7��Z�zY�7�FC�a���=����rg% �G� �t� ރ����L7ugL� �eC�+����Z��E�+��c�])q�����u����i����q6$���1���O��C6�A(X���+�ē0��H�d*��Wb��jR\n4�� �5�R>���ٽ�}͕��;D ��*T�X%M��OH�$�: �� 8���B� ���>��X��Pܺ^e����?�hy�c{g*�����s/uS����[ibL�I�N�s4����y����h����ʸԱ2�%[���0���s��."�W���smxYA%4-g@�%����������b~'t1����S���[@Lq\b�3G%P��C��O��H,�N�G�Mz{Tz��� pj�G�&� ��en��}�ˮ8��ֳ������!�#���� vr�>hn=�U^�7_���A�T�ٜ�,+e���D�I(�D�+�B���*~PV��Po�Ż�o,8�s�_�h#^��X!-0��>^l�t���<��"<)@�/�p}g����W�Z������� ��[�/����o�h\��֥]�����w8�|R��'O��[T!:�����Da]���1q�&��3�FA��"�G��[E*_b��ǔJ_221?ipg��Ei4緤��I��lȏa����H�蛘�P��N�"�#�D��Z"�p��r���=��/��� ���)F괥��ҏ�!hH)�s��-nDZ̞E~=�.�%3HH��O���Kj$�.-{!�!гO�m�@ �� on� ]1En����xHR̄2��K�œ�^�q�=ŝi�!8gBS�CǘӅ ����B���C��3����R��R�5��r���ɯ��Z� �o����!�Bɏ��P4`+��*�s����k�VԄ���U�o ��&p��.���[a��qp��`��ֻ����ݮ�f��>���n�����dUI�G>Bbv��[�w�$~�QNq�܆��: r���b���h�G:s���q�:U,�3rl-�5�����vJA��i+��� 23������OЗaDNK�n�⯍��ci@ TƋmŭ��ψG�~���}��䫦x�`�&�� ��?���l�^� � �,���q������F(���P}���B����h7�x�,s�~�2�%�c>)e<��FLx7hv&�Q����I�c�pa�✧8:%Ck����֨1�s ��MZZU�U�[��n��EL���}!&C14���,o���4����4[[���7�_���Jh2��ԸTu�Z���p:kS�,FHtK�3g/C!1�RW�JŹΒ'~.&r�9K��7��E��U������`�v+>&e�O =��N�{L ��'�@]����qi�{�2�... �+U��d�h��w�(�V��E���q.Y�aF٧ ?�9ȕ�A,poFM�|��`� 4,ef<�s2)�4�jt����gJ�?��#�CUg�#7`�G�nU}�J�@̊V��/�):sK��06�w��|<�2�$�P��S��l���t�c\�g�� 9+*��Ol�,�a~�H��Y) cG��r��k����v�F��d�(B��D�O�TU��δ���ҁސ�R�]������"�.�oV�=�:���\��&A}bN���̣�������X����4����E��^��nDT�r�9���<���� mD=�yѷ�N-+7��ۦ��r��t�R h;O��o� ƒ&Y�`꠷f$�v�)Y�f13ܴ/�B.�zJ��k���oC���Q��&Fʓ�W��A �-��w��{ou�Fe�X��{�� ��|�a�hd�$=��pQ*�=*f�R�&W�-�y��+�Jl��-�h\� ���3� b����=�wBƣ�����׆~�p�v���|�_��`,~��VOX0�zG���v�(���j�~������a�w͍�����$2��ZdA�-B��CW���M�Z*����(��s�X��/�u ~�X��i�[�����rV/�.� aA����g��UQA�c�(��X�� I)�?dk �i�e*~1�E�x��m%�7�����Lm^��N�F�ɖ�K�OF=�|m� ud{��+�� �>���"�j�ڷ;r�*`�hH���j�_��jN�:ƦIAp�Q�ݲ��ѝ�_ ߗ�;Mԧ�5�s���iMR�66�����cf��"N�u�=&)�jG@�o�.�_�x����5�0bVa\���0��E7m�,�_�Ғ!��b��������j.��S#oz5�n)$���AG��u#�1j���Ԉl�=�Ɲm�\���P�����#���%���uu�؎ ̎������� ��7]+֓ҏ_sDr(��l��I�tm�x��f����/5�7 �"egS�ب��53Z�ڢAw�#�U6�"�d%y���+[���̈́u"��OЌ0�OZ�����87� ױ+��zHw!�� � �D��i[9EL4��)�ۓ�|p%a*Óe:/��F�vgK\)���V�N� #�" ϲ�^w�nKi=d�f;�n�,ɻ%��QV�m����m�c;߹���pnh�M�>l��O��� �}fڸ����9PsQjCGߢ�A�ˢj>?�%> ��-w3!8w�s�])�L[#�`la�����J�����>�ߤ��سM=o��9�] q�@~u0��� �-ҳ]��%wrXbJ���e�_NH�#�/H�yp�Ҕ)�R�����}A����������S*�8ӹ�Ya�4�l(��ņ�I�4�9Wd:��Γ8��%�c/-g�T�Z ©]���Z�i���d������̏܇q�� Cɽ{�~�p���#OR|�h��c�yPx?D��=�q�j�:Q�F�'=wh\�Z#��� ��... �.8�Z<ݹh]�n $n�i�a&S�F{P�τ�n�[i�Z�Ѐu�+�����d bCfn��I�-��0���p�omy�R(�?<��#&\�c�5�~�RB�NqG��c�TP���x�6����3Z6o����|�P�e�p�p.�Qxy�f� � �T[=��Y��Nx�X��Þ��&{QS� ��<�G@����� �A �{h�@���Jn�����W���f � �E��Y!N�k���@�U��ġ� �D1]�I;�F���O��"l�����_����r�s�k�9Y�6��s��1�����r��3C�4i*����ښ�c�9�t"ld����f�}K��(�� )�nQ� ��Ӗͽ�[݂� 7��-��s�Q�K�.���0���7r�w��:���^S ����n?.^���=h�N�i�Nx1bo��f�Լ]A3��#�hJ�t��͈�,�_j�K�o� vcmp�}���Wp�_%�p)���̥�����/�̼�Q)�63���Ro�3G +�}]�y�ϙ{hq�i3�����1Zd� p���(.��������/��)�������F~A���WWw>s->�+ �'´{Ke�/6��٭zҝ`�vMK 7�>��2y7K0�-m6X ��#�4�_�}AӴ3����+�yA���-�1��O�O>�ϐ?����;�74Z� �tts���r��3�p����|U-�s���7���-G���-�O3l��ۍy��c����c��:o�5��J7�Y�RBr��d��1���B�s�`Fx���8H��LC�W����X��x��i�3[��*q�Ϫh�HjN�*�W��R�Lݯ���6e�P�@>�~���ٷSy�y��hP��o ��cߗi�2�1��c�;�H}�҄4-uv��fXq]c~�&��o�5�"j,L��3��!ϥ�K���n3�t�L�OV�)a�SꕣI4��B�Ag{��4+�n�[��a�"�)ޖ������u��a\;��ô?�ca\�A*��SNYd��ڔY�U27B�vY[�|q�:ξ����Ҕ ߍ3�~h^���=թ4��L���5�AO�=��� ���.Nv��x)�=>���2�F�hjO9}dt�b��ѽ����^�1�XY� x�~�ȝ��v�5�����+5�d�o jud�J* ��E��T�(�\n��rά:�0�i�ݍ �c�l����%w���%t�&�M5$�^Z�j��v�``p�N�%��>�r��^賷�9�%B�4Xii�&�����TF��8��h�Ձ,�@�H�!/c�B�)9_��cו�.��QcoTG�R�[[����E2�ڰQ!�K������꼋A]���O��"�\X�A'��9�\24�Z�aq��g���tdi��A�.= �٭a���e��Ju��mpk�Sb�fgЀP���.� �X�st�� ��`2T>h͢4����2�xy04R>Ȥ���L�W�q����Q-aw8�I�1ƞ�.briA�c"�����[�Vl�Ī=v�>#��7��J�(�a:��2�a_��H:' U�V5�H\U���D O��B�ߪ�B��[x�P�I�... ��X@��E���xf"���_��CVU��ֲ�_���y���+aX���Q�"� <�\�8�zx���, ���o�B*��|���q��G�>�J�`W�g�F?>`�&� Dx���i�ҧ� �_��K�:<��G1��a'Duh�����m��7�r�m�/�0��WG���t���W3;�w��&NF�A�:�o\ɋ=�H���jm<��1n��m�#�� �x�&��O khG�l�;ޣ�_�ޒ�|���Z �+��8�p\53�;�5 #�ioټ��e�㐇-�^��:Z˼�k�0�MV��MjS䩓Į�%�l��E�*�����_9k�|;�<`�9{�����d= k� �r&��Ұ� ~�Y=�)���aw?Y?��\����!U��-.kÜKBB��(�M�zjf�9�N�q[ә �qI�������t�H>�gH���Yu��G�q��OS��� ���c��Z���$/�^�7��D$u���'��lt��Z�f$j)c�lZ,�cKL��ᏽ$yi�g��lA:�i���~��,�{R�a�=�q&� 2�tx ¿�;�cx�`,@Фd�&�����ܝ�E��w �<���m�7Q�E�ݵ��hQ#���j���zL"�@X���Uq�ł������`kx��[� )���`������Â�#��vPq��09� e&��c�)9���V�|.X)cB��!/y��dڭ�z�:�z��R&��벧~�����j܇ !�ڊ}�At��xD#i�Qŗ��C�ؘ7Ԅ�B�� �J1������ ��m�\�p&ʧ��fψ�v:�L���� }�P���TH��%���2%���I��[��QLyUW.:Dj�Uv�;�Wc�Ւ�i����-�b�`Pn���������P��$��"�h�����n�Y ?�SkE$tK2�ߏyȮx�вT�Ӿ.���e�CD�a�jvƻBt ����4�3�]��U�5�bm��Ì� l�(�x��2��bg��*#�!��)� =|�xB0����wq�̰܀�����r BU��Ke�j�x���ߛ�}��B��qc���"�7�e�/�{�k�&<�V�-C+����=}�~�bY�(2���gq�:2�CG�)�ׄ�y0l�BęAq�6�y%R�ݭ���E8,R|浚=��/�� dX��#Lj����� �Irx�ik��ڣ"ĝm�Y�Rf�R����*��?��d3h1�*+����9��o�i���;l�v���DUOn��/sӖ4|$P�����mG���#��jO���}P=o�������g�"�N3ڔ��Yt�/{@E��p��w�yQ������q��z|^��V�����%�:\�F�a��:{4��24q彐K?Z�]�ii�����<E��mP�H���n˦;�o�$3Zd։����q���H9���W�Zi��o�V@z�z�+S�9L�W�R�Nrz����qE�b�� 3 ��� '�m}㳚 s{\�p�����㟷T��At�����e��v�|p�k...
��v˩�IJ2&�~1�u�Ǵ=��t .UN�� ��Lb��0�92���9��9\P�Mf��v[����ɼ�{�2{W�w��.� BuT�����L]���-k[��ye%Pȓ��@/p�\���G�"�l,�H��)Il#�zQ8{oV��������ѕze��BD�?ê7/W�LoXi���[�b�ͳgP'L|�K�D*)���KH_Z�}~c5*�'�����7��(����90�%���֡������3g?V�&�4��k`��J��#?�E=3)�7��b�l^�&�8��БU�,'5diA�AbLpHIt61ײ������D�#7oJHhR��ʀ�� �E�J�I��6 �+{�W$��������� �E�@�D'�Z���*=ǭE�Կ}��5(+����Q�ƨ�=�D�����Kcͼ�jf5(w���s늝 ���Ӳ^\פ�����KEh�S�g��O�б:����f�a���"�9���)�@�k�C��7=��� ����s'��?U'O^���ϭ�|j Z��) �pz��lh�F{� �oNuB �^�Y�撉 �n�7�25�K�B�hHv߱�!�©a�fH> O��"��k}���J�׀Z��u L3[���¢���fe���g�<(ݬD���~ۚ?7�O��=&h�a��|DȮU`���N���UE4鰉NA�+�����H�����9���Ō@����-NC8��ަ�}��׃� � ���Y���Ӌ�|��Wr#�T&o�^�]��l<�Ĺ~���$@?��A�!`C�gW�����]w ��ӽ�z���>�Ƿ���I4�)�b2�?1~�el��hu�F�� � 2t��׆dH?Д�6$R(x�Z��W�._�� �Q�f��ibH.�ؐ�ga���D�=*it�`�Σ�̉�mS���7f�Y�Q�{JM�ˡOCXb\o�N�ޖ�r^�f# �u�o?��S�(vZ`�����i9�������ӽ�2c���;��7��ގ�vH�N�u�2i�X�-�Ω�_��L��V�g4X����A����h+�>N�l�ҙ]\e���� �X�j ��cX}�;,�9@g�'(�>؇�A�{���Njg�\�;w"ʉ%%YY����>A��{��]m�wT�HE�� �j�6�6�����9�J��� -p��q�� ��խ�����hӧ���tf�9�(���w�B�!�Q����� ѻޙ�j�*Y\wJ2����n�r�1>?��;]�����X���Svê���긢�br�ݽ�y��DP�E�M������] �H���^If���Ȼ����qy�D ��m�c�OT������` S��G7��=,:��pT� �0c�����sS��ZZ<_m�KDMr>�!�ތ#m����... �F��';z6@F.^Kg�P� ��\5�r� Rc=8:O;���}8�<������@/73\5�}x\kvp���ڊ�41gH3�#0�-Ue��?Y�/d�T�I��e�A��ɭ��cQ��ikށ�C�_���Oɹ�d)?Xo��ߚ����T�Zaݽ7YU?Jf�µ���L!���8ʝ�t.%�)��)ɒ�I.hvݲ3Np/���hGD�^Ē���N~7��zW1�9����6�eN�iȽ7�)]�F ��^�m��y1Ʃִ�GK55� g#ʏK�ܬ�d��Q����'�kI?� �ɶ�k4{�@��W���s�1$��g��L�����;-7��5�nT*��y�<�T�3��*��_70���?�� ��}�r!&̧I��B�=-�[�R��q4^*T�Eh�W���wx�r�@�I A�����A��Zѻ:`�0ڇ�.��f �(2�7w&N�ђ}BS��x�n�C�j��w����)eiX�L)���o�j�k��X�cpB��3�Z�^n~�'^�5��@�����t���U�^T�ٴ����?��ЕP.����d�b �D5��}�{4��j�r�h��3��~�1[�<@_���Fi0��$���l���-�: KVد�֝Uƹ>�bxc���Q �~}�CB>4��[xL~����g�qu�}!\Ol��-SDV��<����� �Q��؝�܃����%���uV������|`�7j �Ґ��Ɣ��t&�� �y*� s4��\�����BFv���gm}u�� 7���B#��MDw:@�,q���C�(ov}�ԋ��F��%m�G �;��ׇ�Ȋ�Bn���� Zo炇���O2�snA����q:��$�\�~(���ڂI?���0CgG z墘Xr�:VG�k���q�||5F�۩t���eY��%h2�gX}��R���xe�W��]}X���3��w*� ��]r�NWђ��V&-Qhb��^zt"_�4ć�"�� 7��68 ��F�h��eS"!WA�]�ɢ�X�~�` � rokS��p �)���"�F�� �7��E�Ƽ��V�?�*�D� 9� ����Ҿ� �f��O(�R *��0k�Ģ��� �#}�D0�I!rE����2ֲ�ŏ�V&����|zϗu)��\��5���٭��yգ"n�#T�2�)��$��1X����tF�{)��#�# ���8b,���\�(�-���ee��������i�LY*��=���)�u�ѩ��.Y��]uF|��1+�%N��=����.*/�Ʃ(��֣Xw�ń \���$��A�P����H�rI��*�Q��y�Ó+��n-;'�}c... ԫN��r���� E��Bo��&ޱy�=W[���@�����J ���]��1�'X�c��#[�}?�>]��OΌ�V�.I�d[�ۢ�鄅�/������[j�9��;t��a���#�pi9�rh�������?��fZ�g��=�P�{�� ���[˻t��cOg#r}=@��o��a~�رt�H�QN�( LX�Mo�'" �0�Vڻ�#m�R�3E�;����U�"��#�R���'�{���wC�#�L�fntnV��U�� �9� }L���0{�Cq*����h�:&��U ��C��|�g=���(� D\���{��?@����'a����l�*�`��Y��y��sx��[)ntg���0W�d.��z�����!7������l�V>1��ź���-���/���ƄJG3��J/`*��^^�\xn~̱/ ��a~ߥ���(· 6aӑ3�=M�G�p��q3x��Dx`oT�|R�W�}�m��"!A�p0��[���}�[q��2��BCk�����-[���j���|6�{����&���p�h �����C��A�r�c�wI�|��.�a��O ��x�+n&�>D�4mE��#'�\�p�����^dry� �|�r�n) 4u���u���K;D/���X瓅���#=S�G|9�tDb�`zIB�dU �r�!���_��Mqs�3�yA'�Г� �*���ߌ��$!~�Q�F��C�Hx�G��YE;F�F�lh�"��3�9��Y�1��%lp�V�G�ٱ�8����ҏu��-�`��z�+;p��⻭�.�� ������� �����6����J~� ��� > ��7��_�aH�y(��yY.�r�K�G�z{��^'k0�4cK� X��%?�P��K���H�4��q�K�!��)2�?��u��s���/����@fZ91m`A��u �ќ��~6��ۂ���ݙNe�Jz���0;�/��(�kCEa�~'�E%!��>j��/U�`w��+ �u�L\��sw5(���~�A_��~�Zz��s˦���x�I�59�2� ����gL(# Oxx�֏�0GM^.����bB��Fv�$Ë��v/�f1>AQ�͖3�$\�jg����.I �PJ[�g���եEq���L4K����ѡ�o��n�蓰Yt��{oSa]��Vc+h1��Y!��m � �^�:�k������$�Q��o�0��o��:��c� ���ú���P�AU�H�G�)U�H�B����B��@�T.�h4�;#�,dE��Q��X��)'F��r���H�R��������}|Qf�e�=QGE�A������o~p3 �����e� ���y���ot�Yb��%#ܱ�٢�T�d�N$f��ל�����7��l*��%�... ≵�u�Y"�rR;�;Ǩ<�M��: Bs�{b������V.���Q\��_�#5ٽ!1S���ao�#B致��#O"N����'_���f}�^��.��gw�u/W9��}�&,d�9^�9#�U��1{�c>`K�G�?~|tH�_]�xc��5Q���D��(b_�Vx �V�F�M3;�ע�G!J�~ӛ��?�����~�&����fR� ��k�=�{ {�ER����ڃ}�2B�� �t���U�م\(U��!G~�N�45C�����6�Eѫe{��"U#�9"m���<���Y+r>A����v vw� $�C[�%m�B/]��P���pv� 0U {�ε�� qS�����P��T����ɮ���ى���8y� ���H�)�T3��|�s0K.k�.%S�g�f���)M��q�3-��1=��5�(&!DL{�爕 ��q_��;i6J2�S��������i� �k�Q�CTy�T�'��J����R�Xo�b4L-�7%-EC5�{��hx��RT�:E�I��u�~!b��=t�3qC%u����Z#�E�0[LKP2qPی��S�$2��]Q[mHf���i����d"��� ��̏dG��_�=��]��'L�G�$��B �sD�K�[���~@�g���ݻ�����* ��&2�VNG�qK�w��Y�!����@o��k�I�f�(JI��������2@��js�#[䝈����n`h;�A����0��<��vow�?��1��ɷ�7{�GBK�g=~�G<.�E\?�ǘHr�=�:��Ň�*v]�>�� ����_ O��ͽ �2�4,�Ԇ��YE����C�*dԟ�G��f�K�]jT�(�DU/��2��{:N����s�u����ienc�����d�QV�˸\�(T��2��Lv���XHS�w[��q�����C1���fI��2�25J�D=eQ����g�g��2� �v�)�.ԥ������/�Ь1���8�<�e�~�#i��(��u���Ju����%�#��~�C�~ :��Q3��dH��%� ��#s+�����!�C&� n�T�;P <���Y�k����D�#>a�Z�?�P6� k|���&жvjD���Ֆ�чB~�8o�D-L�ٷmC"&ʆ���ŷB���9�#���|���P C`���`d��{Y�h5$7�u r��m8�n.��� =��is�^�~{K�sc�#V������ G�ׂ�pY�9W���t I�x �{�x��r�D���endstream endobj 2112... �xF����;;�ٔ��.���"����8ߧK Y�ӟ�J�����f�����*���]�D�D��]�d�%C��Zg7��?����_��}�q�h�/��G���Ӷ�N�G]��\�� RM�r�}�b�!�� ��\�-,��M+Y�"�[*�;�ɅuwûEO�<} �ۃ���l2囍�Ƈ� e��AA.2է����G1�8=�S�G���d��������m�'8��n���_��x���[����F� [�� � 7�H_���+��7����>{��.1��x�8S�*�a�g�]re�*�j���N�3gN��쮸��a[<O�s�B��hr�K;h#q(�ļh���������NF�>�K�L��!�����HL��\L"��T�^į��f��hr4>>N����||B��'��{���#4>� �A��`���j����y��h�1 ެ��rI�����{X�PG$�eE��a��;{��������k��Ïo�T#(ы�<�!:�K�'YE.� �ь v���v7ϣ��<�� k�����3_k����ƷY'�x��a$����x�[gBt�y���.w�ц��m����1>��φ��,�����b4��S�/���2�o/�_�Y��8�\�Ӌ�x�8�(�O��3�l�P��Ff�ً���^C�f�`�ŧ���h}-���=���M�b��{�s�������<� ��2�?�O毡2�z ��p::�Q�g���~���~##���G�Ϟ@*k����� ��7�G j�L�x���|����߉��7k?qπ�����EI_f"��)���_��bt~>�~��8�ق����h'�)՛�H| ������ń0��8LF�K�y>��Q�m��z3��|���c�jS"i^�Z��;�.4_A�Ʈjfr|���7����������uh�[���?F�˯�+�-�hN==��A����LF����]L�/i�*9�Ȍ>��l���� X��˕���5��ʁ�y��Y��W[�����wguǂc$�k�!����~��2�� �]���ӣ��`�|��ٴ����|�+qsog�M� ������A�KF�d��5�)͙U%;����}��j{�Y3�h�p�TJ۰cY�k�/`$�edoȈ��������W���o�xQ�z�<t��7x3���4^pۿ,�v�`��Kv�]^���@��"x�5�J�w\��ꅸ8;jg�����Ds#[��ͯ�m�h�3\#�ړh0���^�o)���ءy��#��)��^ʊ1�`U��*�uK�K��fo�o�z�u��/�Ƨ���ixz��\3?YR�sn�jJ(74̡D�k� �J� ���5��wR<×�|_��_�7)�%"d�LDŽ�+��/Ok���.p���r�_nd������K��מ\\�/�?A�_d9���(xc�L�-���[~t�?S���u��p��/-�a����d�.V�bֿ̚�G�Y��x8��=> stream xڭ�ctf]�&����ܩ$۶��bܱm۶m۶m�W���o�>=������c�ּ��k��I��h�l ��6֎4 ���Y3+'E+YiE������%�/�KJ*d�w4���wrԀFa�!������K ��u�731u��(�QPQQ���-��@�z:��X~��pZ��Z��R�_;*�GS �����א���ɪĀ�@��E�;X��� ��@ ���=��� ������?�9���p�l��f݀��@� j�-�������7��`b�o���... �P��xTYz.�Vh�]s����nь ��څ17�t^�?��t}C��[��P�aUKiIP�� ���#"ҭ��Ii��M!j��n������K�� 1eM���T�E6�ӫ�"�^f�7�ڲ;~� �gX��6�*��ٝ����A����C��.��]�t�gL�D79�z��J�b���@D���ڎo5���}��\.$��P�Sx �C��kt�"���x�т�xoGɎ� ���a;�,k�Tg�A-�ZG�GT~3����RH|�B�i��˴�c�(�D��G�i�B�Z ���[h�'���Ea�t�<������QH���t��}�G�yK�3��� aP�TO�O�;��@���؆uTr�R%��> ���|�3���xߣ"�ŰF�R�[�.�v�}�5�ģwR�ʕ-��L���2�`���~H)���nǧ��s���]-���Yb�kw��������"w����V��g�@��h"�Ӭ��+_@�J��~�>AfxF�A��)s�b�� VM��(�4�H����kU ��b2B���E��?#-��Ůi|�H�:9���;�]���QL���˰�A�[�RF��㜡1��a�P%�a���_F�睖�3ճ{TT�.&%��{��� �~��ܿq�B�e��lgo�7xG~�� Yk.�|���l rCM^֙Ȕ��TKCơ��K��{w��-=pw���?h��v\��Ko/�+�&�p��xs9E�ơ$���� XE��������|�(��܊ Pe�e��e�*����p@Z8��#�M��� -� 7-D�$l��a�$}v2�~��7ͬ��%�\����f.�!c]A/�5/�S��U�'T�'�� ,B�S6)Yk��� �O8�e�O�}����c�Z#}"3��hG~���,�ɗƬm� K�o&�g=(�y�C���:� ���<�:H���yS9����:n8|��rm���Iԝ�Sh�E� z!MR��%T}l�~��6,�w�8jev^^�:a"^��M�D������%��\�L�Y{��_�(��}ݫupk��W̕p�����JNb�����-�䬰�e��*T�y��X�uw�,�v��ad�?C���ϨiN�c�uÂ�bA���j8|��R�� [�~?C��@2����{s��D��)py��w}��E� i�p ���<�sm�=�I��~��A�&.K����N�~U��U��CV����.I��ɰ�N7�� ��)����]3|H�I�/o�����ƙ�s_�K�a}_�GbZ������s١:��5R�[� �%���H���0�`k�{�����x[r���G���)d�2{���`�\sd&� q_\�ki�H�P�| ��t�%5�mXô��m@�V9~��SX� �7%b�0^h#�{���Խ��ɑa/�ci����궒Qx��U�_� a��������+�h��2+|9m�^����L�VWO�^��g����F[z�ѯ���I���ԸHt&֖�_`�CP�m,F�>��]5\r�-L�я���j ���Ѻ��...
s�K�-�`�θtJ!�'��c��8���3?Na��O��<�Dg!��;IX� ���0z�)rЃ�@��k�p�BQ]^�Z�7�!�� /��� �U �<��ɉ#��W �m�/%]cX�!��� �g���Ȁ�h��ID�8QN~ACT�/�s��Q����Q��Rs� 穅ύ�>7:��� ������F+��}n4eE�=zG~����<��6O���Ɉ�y2�k�L��d>O&�y2�ϓQ>Of��dV>OF�<��dR�'��<����>O)�yJ��S*}�����𗏿tx���>z���{�O->t��Ս���]��*��3>�c����C�~endstream endobj 2593 0 obj << /Filter /FlateDecode /Length 739 >> stream x�mUMo�0��Wx���vHU�d�C�۪T��Bb�� A!����Gp��?��g����xYOT�m�$|��՜�s_�I�ss ���:L;�2�6�8{zb/}W����U�j����Wm�?�fd}O��i=���7�gR��d{n�C�N8�oͰ��of�-��%��6����'&9�P�u�`�L/"�t��kں�(a[� �duS �����$�x�q�a�� M���N�����{��}m��}g���ى��x��` �tw�8��y*�s��ύ }n���FE>7*��Q�ύR>7����G]�;~���<��6O���I��y��k�t��g>O:�yұϓN|����I/|���y���Ig>O:�y҅ϓ.}�2�� ��L�> stream x�mUMo�:��W����5?$R. �d9�M���� �eC�����k�m�C��p�;;�w�~>�|��3�E�_�?O]�5߶����w�]O�c�c]=~?�}�O�yh���9%?��۹���B|Ɯ�>��)�;�v�w%g����4�3������>\ ��6���� �EJ����7��8� 1��{�~���`W(-��;]���%=����x����e_,�b�+-O�;q�\�L}���U��I--=���B����K������E1�p�[���! Mߊyu�>�.N��5K)Wb�٬�8��i�[�_��uʕM��zQ����)V���(T���x��ޢ��jy���!�����Z��2�P="�Zd�0\ÃG�R\���).�2*�Шa!�U��,����H�`+j��.�5Nα@����VK-�x�%���3�%�A�YӀz�Κ�>kP#�����5m0W�o��þ�j�������.��Z��T$X/�)n)�#W��o(�o�RZ� $K�p4��Z�-b�\�1�ܰJ� �P"G�X�Q��i/8�k�^��Zq�:Zs���9�d���B� �)�sL�-�7��x���J�����`�a�ɽ)f��$���1�� dъc�CZC�<�7�3J�g�z�n��HȰ���Y�ɚ�T��a����,_��-��O�87�}��KԴܗLl�oK��+�g�J��.�GZy�V��c�48������Wt�]�:P~`���rZ�q.n�1]� ��S��/��P���u��7������U������e��:�?���������&�?���!d��&��1y����H��n5���)���y�ғB��x#�1ޞ����]�Go����M�?�X�endstream endobj 2595 0 obj << /Filter /FlateDecode /Length 898 >> stream x�mUMo�:��W����5?$R. �d9�M���� �eC�����k�m�C��p�;;�w�~>�|��3�E�_�?O]�5߶����w�]O�c�c]=~?�}�O�yh���9%?��۹���B|Ɯ�>��)�;�v��j�|�N�8��}No)�e�0�&h�?q:��P_�� X�}��a�c1���+��a� � j�Ң���~�]�ߏ��{_��r)����4��������i_�������px�`!d�Z�>���i���]���<������U������_c��r%��ͪ�c�ךv����[�\٤�ժX*�be�-�@E�-X��@�-꩖�xkM PY��@ ,�#b�E�A �5rEqI��b>�,�彐A�$ G#�e�"&��c� �D�`%r�E�*��s����(�Ǩ�5�ث�CI��*�����=ǔ��^p�k������+ ��ܛbV�LbX+���@�8�:��1��3Jp3<��|6���� �^Μ����AN��V���j�R����y9�cp��ס���AM�}�Ė���)��|֪�,��+pp��70��h�8�J��+�N�K�}E��լ����k)���5�t7�O��g��:|CU������d��2��W���f�{������ �����:�?���Pf���������Y��6#�r���率��lt�iJ/ �V�R���x{��v����w_?6����Fendstream endobj 2596 0 obj << /Filter /FlateDecode /Length 900 >> stream x�mUMo�:��W����5?$R. �d9�M���� �eC�����k�m�C��p�;;�w�~>�|��3�E�_�?O]�5߶����w�]O�c�c]=~?�}�O�yh���9%?��۹���B|Ɯ�>��)�;�v�w7{>o�a�I�> ����ѲH����8���U�/R��Ǿ��0ñ�_x�����0�Ӆ�x�Bi����E��.��͏��S�=�/�b��_i�x�މ��b�c��4����fi��|8�E��X�D_R�4���.��G�R��Qh�V̪���x�vqڎ��XJ���fUı�kM;���rͭS�lҏjU,�N�2�@ �"��,�� � �T�[<�5� ����������1�"à����cv��G�@�m�g� �K�� ��| +T|5f�����l��xZ�1�Y��P�^ꠦ�db�}[�ה_Q>kUbw�88����]��k����|'�%Ǿ���jց�{ g䈏���r�sqk��:n8��7�xIu�����������e���������.�����Af���t�0�����!�?4���ɳ4�mF��t��������Ӕ^z���1������?z ��.�~l��P}�Lendstream endobj 2597 0 obj << /Filter /FlateDecode /Length 900 >> stream x�mUMo�:��W����5?$R. �d9�M���� �eC�����k�m�C��p�;;�w�~>�|��3�E�_�?O]�5߶����w�]O�c�c]=~?�}�O�yh���9%?��۹���B|Ɯ�>��)�;�v�����<���q&��4��R�G�"a�LЖ�t��W��H)��f�� �b~�!�Wf/��O2�� �E?t���v�$6?�Oq�0���R����iz'��������0���?��������B�b�}|I��߷�(� xKyz?D��[1�n���a��i;��b)�J,7�U���5�x���5�N��I?Z/�U�T:��P[%��[��7<��[4�S-o��68���V �X�G�T� ��kx�(U�+��2�ŲBF�5,�������p�z l�@ z�����9]�j�e<ﳄ�{�A�46kP/�YӀ�gMj�u�4�^#�� �j�M�t��S���������Z+ԑ� �%5�-�|��� �|� XJ�{!�dI�F�Q˶EL��5ƔV�<�J�(>�:�U0 ��@w-� PX+�QGk��W3�� T�U(�1�{�)����/�Y)p3�W�5�3�7Ŭ4�İV2 &W�,ZqLuH+c(�g��fxFI�l^�� � ��"�9+�/Y����5�P����kW����r�i��f��C}{�������-�m)^S~E��U�Y��W��H+o`^w� �q��W��.��Y��1��#>�RN�1�ŭ9���|��<�%���������&�ߗ������6��_g���T�����d��2�?����d�7&�Ҕ��ӭ�?w> stream x�}UMo�0��+��J�!� ᫊"R���j���n�"B���73������������W��3���n�j����ehܬ��;WWU�\��8v�=ߩ��o�nT���t��Ɠ7]�zi����T��C�A�:������fu���9�Η�f��i�<�WO������lJQ��n8��N�[������h��E��Or���D�z�����=4�����CH�Gw�t�>X.���O��������uá{Qן ���tzu�t�Z���}]�ˏ�ѩ�]�3��NN�46���[w>�7�,�^�e]��͙�S��w�����PG�*X$���D F �@��F@k�} �8�9��@FJ�uFF�#`R0J�Rq ��eF�)kjBS` F��5��(Z#�.9���B�kx���>���w�{7�E^ kC�X�q� pD�� zA�et�� 8al�S�M�3�?���rN��%N���b�Q�D���a �8�>����#h0\?I�`\~��KWc����?q�c���.\��X�7ь�O*�e���zl��,d...
����6�������w���7�W�������(���k�!����O��>r�����#�_�����)9۞��c��$�_��{�t]P܂��~����ݣP_��(�&�w(���R�|��v�p�#�P)-��>�g�_�B?���q8��S��G���� ����A�����C۽��[ia���߿{�2Z�E�_c���f����/1/{/4����������G+)�bUU��w�k����u�T�O�4[@� 0@`�%��! �� ��#P�� ��.�w)����úp�%K�cJ�e Rͤ�������(�*��1�:b��DD���R�@� ȓ2��U��R*N)KI�ΡԀ�0�C���S�,�k����m:5�B�ͦ&[�Y{Ł����@꒩�)�NMv���S��p���Js}irp�h���S�� ᐙ�2�����L9Ι�V��}�y�Xi�����8'��z��� �Ԛxq��1�G�y�ל�N�Z1f�Xt:�s������0>w�p�VR.խr��)>�1qҾ��Kv�����HX�������1iS�5r���M y��R6FB�l���H>]��6��b ���5&�5&0�a'�e�v�b�_dfQTt�����Q]z���K�/���WБ��^Zz��&����孯����ӷ�r��W.����&_�r�UOz�䢓n9�)���C]��!���r���7d��E?���_;�~T�?m�endstream endobj 2602 0 obj << /Filter /FlateDecode /Length 833 >> stream x�mUMo�0��Wx����8T�·��~h[�� �ۍT���~3�����<��f���}��<�M��������? ����6�������w���7�W�������(���k�!����O��>r�����#�_����ݙ��Ծ�n&���C�g�"`���������*� @�5y�C �h~�!棲k�����HiѴ��<��z�������>Z���WX<�R�� ���M��( +ϧ���C���z-�C��7;/�x y��{�i�XU�7����~�to>ZI���ZG�k�[�5�l_�c� Z��:@L�� �(� Ed�W9���LvQ�K�E�-�C-X�sP�,+ph�j&�,(դ��@F�W Վp��s-%"b�Ĕ��l�@��a�R�Rq�H@XJ�t��9",8��d�_�LM�Pmө��l65ق��+����dR�LMvHqvj�C�.���P�+�&�P��K���F�,�h���f��Ħ�qL��ge�qδ���+�s�J�t��-f�9���s��NP��|��s��y>�h��h��`�p�Ԫ�1�Ƣ�1��-0f߇ֆ���r�n��xL�9����U�_�3�=f�HF�z$��l� %�I�b��#�Fnjȃ̐�1�g��dE�� ��QO רc����1��1�� ;Ѡ.÷à�"3��� f=�r��˔p�_R~y5�(���LN���+$5����-o}�ԭ�����3��r٭�\5�*����xғ'�t��xM��_���4 � ��=�x���_� �~�,�ѧg��a�����Q�Dendstream endobj 2603 0 obj << /Filter /FlateDecode /Length 699 >> stream x�mT�n�0���C���Ɔ@LE"����j���.R��C�~��8i�Z)A��yo�7?������n�k��N�y��$��냛����G��ծ�����U[7��|Sl�f���M[��kw���ʽ5�g x����=�����i�6�;��R�V��_n85]��֚̽�u[���O��s��E͡i�� P{� L�����Ց @���4��=t�b��/�y�VvL���... Schedule Free vs Cosine Scheduled AdamW We trained 3 Llama-60M 🦙 models to try out the new Schedule-free optimizer from Meta. We used 2x RTX 5000 GPUs and trained for 60k steps. Here are the details of my experiment: 2/3 models were trained with schedule-free optimizer but different learning rates were used.
The 3rd model was trained with a cosine scheduled AdamW optimizer. 🛸 AdamW Schedule Free (Lr=6.0e-4): Speed: 127060 tok/s CrossEntropyLoss: 0.3302 Perplexity: 1.695 Aux_loss: 0.2605 As stated in the Github, We also tried using 10x Lr with AdamW schedule free. ✨ AdamW Schedule Free (Lr=5.0e-3): Speed: 118487 tok/s CrossEntropyLoss: 0.1329 Perplexity: 1.728 Aux_loss: 0.2603 ⚡️ AdamW (Scheduled-cosine): Speed: 120612 tok/s CrossEntropyLoss: 0.6391 Perplexity: 1.706 Aux_loss: 0.2511 In terms of speed, we have observed the... Observing the evaluation across downstream tasks (Hellaswag, Sciq, Arc, Openbookqa, Piqa) and loss curves suggest that schedule-free optimizer and using constant lr schedule has improved convergence. Same memory reqs with higher throughput and convergence were observed. 💥 Recap on Schedule-free optimizer: Schedule-Free learning replaces the momentum of an underlying optimizer with a combination of interpolation and averaging.
Schedule-free learning does not require a decreasing learning rate schedule, yet typically out-performs, or at worst matches, SOTA schedules such as cosine-decay and linear decay. Only two sequences need to be stored at a time (the third can be computed from the other two on the fly) so this method has the same memory requirements as the base optimizer... 🔮 Medium Blog: https://lnkd.in/dkfTDtXW 🎭 Github: https://lnkd.in/dtiBVsUH pip install schedulefree Copy PIP instructions Authors: Aaron Defazio, Xingyu (Alice) Yang, Harsh Mehta, Konstantin Mishchenko, Ahmed Khaled, Ashok Cutkosky TLDR Faster training without schedules - no need to specify the stopping time/steps in advance!
We provide several Schedule-Free optimizer implementations: ScheduleFreeReference versions have a simplified implementation, but which use more memory. There are also ScheduleFreeClosure versions which can be used with PyTorch's optimizer step closures.
People Also Search
- [R] Schedule-Free Learning - A New Way to Train; Defazio et al. - Reddit
- GitHub - facebookresearch/schedule_free: Schedule-Free Optimization in ...
- Schedule-Free Learning — A New Way to Train Models - Medium
- The Road Less Scheduled - arXiv.org
- Schedule-Free Learning - A New Way to Train | Hacker News
- The Road Less Scheduled - OpenReview
- "Schedule-Free Learning - A New Way to Train" [Schedule-Free ... - Reddit
- Schedule-Free Learning — A New Way to Train Models | QueryloopAI
- Schedules & Schedule-Free Learning (Aaron Defazio, 12.06.2024 ... - YouTube
- schedulefree · PyPI
Authors: Aaron Defazio, Xingyu (Alice) Yang, Harsh Mehta, Konstantin Mishchenko,
Authors: Aaron Defazio, Xingyu (Alice) Yang, Harsh Mehta, Konstantin Mishchenko, Ahmed Khaled, Ashok Cutkosky TLDR Faster training without schedules - no need to specify the stopping time/steps in advance! We provide several Schedule-Free optimizer implementations: ScheduleFreeReference versions have a simplified implementation, but which use more memory. There are also ScheduleFreeClosure version...
��~� 9�)�B�E*+��_�^V� ��à�����3NdcYsu�"� /�����Y ��ڄ������rw8"�� _�&$s�4�~,���Pו/�,���j �;k�l�~�I�jD�� Ȅ�E��ۚM������#����c��Ԡ7��bV:pP��m�V�v����{j����ͽ�2����|����s 6�WW�kM���P�&�1gH��}��]Ã�L�P��O�o�����4��_��6'Y�L��� ��A��s��W5�%��]�
��~� 9�)�B�E*+��_�^V� ��à�����3NdcYsu�"� /�����Y ��ڄ������rw8"�� _�&$s�4�~,���Pו/�,���j �;k�l�~�I�jD�� ȅ�E��ۚM������#����c��Ԡ7��bV:pP��m�V�v����{j����ͽ�2����|����s 6�WW�kM���P�&�1gH��}��]Ã�L�P��O�o�����4��_��6'Y�L��� ��A��s��W5�%��]� ʻV"���;X.З5*��'�2�9&��xQ˧�}�����-x!;�� � m�{�5�7�΄'c$u�ء��ZZ��2�W?�s����.�wo|p�Gf��� {�Dq���4�Q]�(�3�r�YE+}��ee. 7���kUq��_���)����...
��- ���a1��X��6>��i8�Ȟ�ԝ3>�I��2�^V��P��!Z��#�[�2:_��! O 3�0��s9 X�ݵ!�<+�*ə���y�'%l��������7 6ק�U�7|}\}�����ɝD�G�#�Yc7�S� V�$x̶�D����Zz~ÓVM�[��]����ș�"P4u@' ��(�щs��v��L�?�W�����|���Ùd\��˴)��>pj��{4��p��9�I�E���/���J�2%}h���}b�CY��턅ks��Φ�Q�%���듋�m�x���� �I��o�&�l L(u���{[�[��Ku:r��q�"�0�IƬ���a.J@��
��- ���a1��X��6>��i8�Ȟ�ԝ3>�I��2�^V��P��!Z��#�[�2:_��! o 3�0��s9 X�ݵ!�<+�*ə���y�'%l��������7 6ק�U�7|}\}�����ɝD�G�#�Yc7�S� v�$x̶�D����Zz~ÓVM�[��]����ș�"P4u@' ��(�щs��v��L�?�W�����|���Ùd\��˴)��>pj��{4��p��9�I�E���/���J�2%}h���}b�CY��턅ks��Φ�Q�%���듋�m�x���� �I��o�&�l L(u���{[�[��Ku:r��q�"�0�IƬ���a.J@�� Û64�qjU�+.�� ���a���xڊ��ϝD���BgS)r:��.�ܝr�YVk/]...
����l���A��9[�Cl?M �)d���P&@��@��yx꒜5S��x'�e�^�P*�=I3�-� ��I��ٻ=qlQ�I�<�b�AU�٢/��C,�W�Y�랪�h�l>��;���K�C���A��>-����ȋ\+NFI�ği�W��B���Ʋ�&��z>4Q�T�1���}td69&�J~U�z��O����j��45/�� ���� �-���K5\�cEZI��{����Qg��wjb䊣�鋂%���>rM*a"tMId��b�U~���3jK��5�J9 Ej���A"��L�e�b�tp��a�X�,���ti����Wj?�!M�i&aX&�����=���%�G�MtU,�H�q��3�、h� PnB���l#��.`W~�0����]Q-�m۶m�m۶m۶m۶m۶1w����4i�4�R9j��WA��տG��n���VBr9��)ڊo.V_���"#X���T)_4�U�����KW��&��[Ghؔ�{��;X !��ą�<�!T.1�ur�#}rc>WE&�~�f~9�u��f�m�c�lv��1���=t�$A6A�N��F�=���տ �m S�
����l���A��9[�Cl?M �)d���P&@��@��yx꒜5S��x'�e�^�P*�=I3�-� ��I��ٻ=qlQ�I�<�b�AU�٢/��C,�W�Y�랪�h�l>��;���K�C���A��>-����ȋ\+NFI�ği�W��B���Ʋ�&��z>4Q�T�1���}td69&�J~U�z��O����j��45/�� ���� �-���K5\�cEZI��{����Qg��wjb䊣�鋂%���>rM*a"tMId��b�U~���3jK��5�J9 Ej���A"��L�e�b�tp��a�X�,���ti����Wj?�!M�i&aX&�����=���%�G�MtU,�H�q��3�、h� PnB���l#��.`W~�0����]Q-�m۶m�m۶m۶m۶m...
��v˩�IJ2&�~1�u�Ǵ=��t .UN�� ��Lb��0�92���9��9\P�Mf��v[����ɼ�{�2{W�w��.� BuT�����L]���-k[��ye%Pȓ��@/p�\���G�"�l,�H��)Il#�zQ8{oV��������ѕze��BD�?ê7/W�LoXi���[�b�ͳgP'L|�K�D*)���KH_Z�}~c5*�'�����7��(����90�%���֡������3g?V�&�4��k`��J��#?�E=3)�7��b�l^�&�8��БU�,'5diA�AbLpHIt61ײ������D�#7oJHhR��ʀ�� �E�J�I��6 �+{�W$��������� �E�@�D'�Z���*=ǭE�Կ}��5(+����Q�ƨ�=�D�����Kcͼ�jf5(w���s늝 ���Ӳ^\פ�����KEh�S�g��O�б:����f�a���"�9���)�@�k�C��7=��� ����s'��?U'O^���ϭ�|j Z��)
��v˩�IJ2&�~1�u�Ǵ=��t .UN�� ��Lb��0�92���9��9\P�Mf��v[����ɼ�{�2{W�w��.� BuT�����L]���-k[��ye%Pȓ��@/p�\���G�"�l,�H��)Il#�zQ8{oV��������ѕze��BD�?ê7/W�LoXi���[�b�ͳgP'L|�K�D*)���KH_Z�}~c5*�'�����7��(����90�%���֡������3g?V�&�4��k`��J��#?�E=3)�7��b�l^�&�8��БU�,'5diA�AbLpHIt61ײ������D�#7oJHhR��ʀ�� �E�J�I��6 �+{�W$��������� �E�@�D'�Z���*=ǭE�Կ}��5(+����Q�ƨ�=�D����...