[cvs] / xvidcore / src / dct / x86_asm / idct_3dne.asm Repository:
ViewVC logotype

Diff of /xvidcore/src/dct/x86_asm/idct_3dne.asm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.1.2.1, Thu Dec 19 00:39:38 2002 UTC revision 1.11, Wed Sep 16 17:07:58 2009 UTC
# Line 1  Line 1 
1    ;/****************************************************************************
2    ; *
3    ; *  XVID MPEG-4 VIDEO CODEC
4    ; *  - MMX and XMM forward discrete cosine transform -
5    ; *
6    ; *  Copyright(C) 2001 Peter Ross <pross@xvid.org>
7    ; *               2002 Jaan Kalda
8    ; *
9    ; *  This program is free software; you can redistribute it and/or modify it
10    ; *  under the terms of the GNU General Public License as published by
11    ; *  the Free Software Foundation; either version 2 of the License, or
12    ; *  (at your option) any later version.
13    ; *
14    ; *  This program is distributed in the hope that it will be useful,
15    ; *  but WITHOUT ANY WARRANTY; without even the implied warranty of
16    ; *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17    ; *  GNU General Public License for more details.
18    ; *
19    ; *  You should have received a copy of the GNU General Public License
20    ; *  along with this program; if not, write to the Free Software
21    ; *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
22    ; *
23    ; * $Id$
24    ; *
25    ; ***************************************************************************/
26    
27    ; ****************************************************************************
28    ;
29  ; Originally provided by Intel at AP-922  ; Originally provided by Intel at AP-922
30  ; http://developer.intel.com/vtune/cbts/strmsimd/922down.htm  ; http://developer.intel.com/vtune/cbts/strmsimd/922down.htm
31  ; (See more app notes at http://developer.intel.com/vtune/cbts/strmsimd/appnotes.htm)  ; (See more app notes at http://developer.intel.com/vtune/cbts/strmsimd/appnotes.htm)
# Line 5  Line 33 
33  ; New macro implements a column part for precise iDCT  ; New macro implements a column part for precise iDCT
34  ; The routine precision now satisfies IEEE standard 1180-1990.  ; The routine precision now satisfies IEEE standard 1180-1990.
35  ;  ;
36  ; Copyright (c) 2000-2001 Peter Gubanov <peter@elecard.net.ru>  ; Copyright(C) 2000-2001 Peter Gubanov <peter@elecard.net.ru>
37  ; Rounding trick Copyright (c) 2000 Michel Lespinasse <walken@zoy.org>  ; Rounding trick Copyright(C) 2000 Michel Lespinasse <walken@zoy.org>
38  ;  ;
39  ; http://www.elecard.com/peter/idct.html  ; http://www.elecard.com/peter/idct.html
40  ; http://www.linuxvideo.org/mpeg2dec/  ; http://www.linuxvideo.org/mpeg2dec/
41  ;  ;
42  ;=============================================================================  ; ***************************************************************************/
43  ;  ;
44  ; These examples contain code fragments for first stage iDCT 8x8  ; These examples contain code fragments for first stage iDCT 8x8
45  ; (for rows) and first stage DCT 8x8 (for columns)  ; (for rows) and first stage DCT 8x8 (for columns)
46  ;  ;
 ;=============================================================================  
 ;  
 ; 04.11.2001  nasm conversion; peter ross <pross@cs.rmit.edu.au>  
 ;  
47    
48    ; ***************************************************************************/
49  ; this 3dne function is compatible with iSSE, but is optimized specifically for  ; this 3dne function is compatible with iSSE, but is optimized specifically for
50  ; K7 pipelines (ca 5% gain)  ; K7 pipelines (ca 5% gain), for implementation details see the idct_mmx.asm
51    ; file
52  ;  ;
53  ;------------------------------------------------------------------------------  ; ----------------------------------------------------------------------------
54  ; 09.12.2002  Athlon optimizations contributed by Jaan Kalda  ; Athlon optimizations contributed by Jaan Kalda
55  ;------------------------------------------------------------------------------  ;-----------------------------------------------------------------------------
56    
57  bits 32  ;=============================================================================
58    ; Macros and other preprocessor constants
59  %macro cglobal 1  ;=============================================================================
60          %ifdef PREFIX  
61                  global _%1  %include "nasm.inc"
                 %define %1 _%1  
         %else  
                 global %1  
         %endif  
 %endmacro  
62    
63  %define BITS_INV_ACC    5                        ; 4 or 5 for IEEE  %define BITS_INV_ACC    5                        ; 4 or 5 for IEEE
64  %define SHIFT_INV_ROW   16 - BITS_INV_ACC  %define SHIFT_INV_ROW   16 - BITS_INV_ACC
# Line 51  Line 72 
72  %define SHIFT_FRW_ROW   BITS_FRW_ACC + 17  %define SHIFT_FRW_ROW   BITS_FRW_ACC + 17
73  %define RND_FRW_ROW     262144 * (BITS_FRW_ACC - 1)       ; 1 << (SHIFT_FRW_ROW-1)  %define RND_FRW_ROW     262144 * (BITS_FRW_ACC - 1)       ; 1 << (SHIFT_FRW_ROW-1)
74    
75  %ifdef FORMAT_COFF  ;=============================================================================
76  section .data data  ; Local Data (Read Only)
77  %else  ;=============================================================================
 section .data data align=16  
 %endif  
78    
79  align 16  DATA
80    
81  one_corr        dw            1,            1,            1,            1  ;-----------------------------------------------------------------------------
82  round_inv_row   dd  RND_INV_ROW,  RND_INV_ROW  ; Various memory constants (trigonometric values or rounding values)
83  round_inv_col   dw  RND_INV_COL,  RND_INV_COL,  RND_INV_COL, RND_INV_COL  ;-----------------------------------------------------------------------------
 round_inv_corr  dw  RND_INV_CORR, RND_INV_CORR, RND_INV_CORR, RND_INV_CORR  
 round_frw_row   dd  RND_FRW_ROW,  RND_FRW_ROW  
   tg_1_16       dw  13036,  13036,  13036,  13036    ; tg * (2<<16) + 0.5  
   tg_2_16       dw  27146,  27146,  27146,  27146    ; tg * (2<<16) + 0.5  
   tg_3_16       dw -21746, -21746, -21746, -21746    ; tg * (2<<16) + 0.5  
  cos_4_16       dw -19195, -19195, -19195, -19195    ; cos * (2<<16) + 0.5  
 ocos_4_16       dw  23170,  23170,  23170,  23170    ; cos * (2<<15) + 0.5  
84    
85   otg_3_16       dw  21895, 21895, 21895, 21895       ; tg * (2<<16) + 0.5  ALIGN SECTION_ALIGN
86    one_corr:
87      dw 1, 1, 1, 1
88    round_inv_row:
89      dd RND_INV_ROW,  RND_INV_ROW
90    round_inv_col:
91      dw RND_INV_COL,  RND_INV_COL,  RND_INV_COL, RND_INV_COL
92    round_inv_corr:
93      dw RND_INV_CORR, RND_INV_CORR, RND_INV_CORR, RND_INV_CORR
94    round_frw_row:
95      dd RND_FRW_ROW,  RND_FRW_ROW
96    tg_1_16:
97      dw 13036,  13036,  13036,  13036     ; tg * (2<<16) + 0.5
98    tg_2_16:
99      dw 27146,  27146,  27146,  27146     ; tg * (2<<16) + 0.5
100    tg_3_16:
101      dw -21746, -21746, -21746, -21746    ; tg * (2<<16) + 0.5
102    cos_4_16:
103      dw -19195, -19195, -19195, -19195    ; cos * (2<<16) + 0.5
104    ocos_4_16:
105      dw 23170,  23170,  23170,  23170     ; cos * (2<<15) + 0.5
106    otg_3_16:
107      dw 21895, 21895, 21895, 21895        ; tg * (2<<16) + 0.5
108    
109  %if SHIFT_INV_ROW == 12   ; assume SHIFT_INV_ROW == 12  %if SHIFT_INV_ROW == 12   ; assume SHIFT_INV_ROW == 12
110  rounder_0      dd  65536, 65536  rounder_0:
111  rounder_4      dd      0,     0    dd 65536, 65536
112  rounder_1      dd   7195,  7195  rounder_4:
113  rounder_7      dd   1024,  1024    dd 0, 0
114  rounder_2      dd   4520,  4520  rounder_1:
115  rounder_6      dd   1024,  1024    dd 7195, 7195
116  rounder_3      dd   2407,  2407  rounder_7
117  rounder_5      dd    240,   240    dd 1024, 1024
118    rounder_2:
119      dd 4520, 4520
120    rounder_6:
121      dd 1024, 1024
122    rounder_3:
123      dd 2407, 2407
124    rounder_5:
125      dd 240, 240
126    
127  %elif SHIFT_INV_ROW == 11   ; assume SHIFT_INV_ROW == 11  %elif SHIFT_INV_ROW == 11   ; assume SHIFT_INV_ROW == 11
128  rounder_0      dd  65536, 65536  rounder_0:
129  rounder_4      dd      0,     0    dd 65536, 65536
130  rounder_1      dd   3597,  3597  rounder_4:
131  rounder_7      dd    512,   512    dd 0, 0
132  rounder_2      dd   2260,  2260  rounder_1:
133  rounder_6      dd    512,   512    dd 3597, 3597
134  rounder_3      dd   1203,  1203  rounder_7:
135  rounder_5      dd    120,   120    dd 512, 512
136    rounder_2:
137      dd 2260, 2260
138    rounder_6:
139      dd 512, 512
140    rounder_3:
141      dd 1203, 1203
142    rounder_5:
143      dd 120, 120
144  %else  %else
145    
146  %error invalid _SHIFT_INV_ROW_  %error invalid SHIFT_INV_ROW
147    
148  %endif  %endif
149    
 ;=============================================================================  
 ;  
 ; The first stage iDCT 8x8 - inverse DCTs of rows  
 ;  
 ;-----------------------------------------------------------------------------  
 ; The 8-point inverse DCT direct algorithm  
 ;-----------------------------------------------------------------------------  
 ;  
 ; static const short w[32] = {  
 ;       FIX(cos_4_16),  FIX(cos_2_16),  FIX(cos_4_16),  FIX(cos_6_16),  
 ;       FIX(cos_4_16),  FIX(cos_6_16), -FIX(cos_4_16), -FIX(cos_2_16),  
 ;       FIX(cos_4_16), -FIX(cos_6_16), -FIX(cos_4_16),  FIX(cos_2_16),  
 ;       FIX(cos_4_16), -FIX(cos_2_16),  FIX(cos_4_16), -FIX(cos_6_16),  
 ;       FIX(cos_1_16),  FIX(cos_3_16),  FIX(cos_5_16),  FIX(cos_7_16),  
 ;       FIX(cos_3_16), -FIX(cos_7_16), -FIX(cos_1_16), -FIX(cos_5_16),  
 ;       FIX(cos_5_16), -FIX(cos_1_16),  FIX(cos_7_16),  FIX(cos_3_16),  
 ;       FIX(cos_7_16), -FIX(cos_5_16),  FIX(cos_3_16), -FIX(cos_1_16) };  
 ;  
 ; #define DCT_8_INV_ROW(x, y)  
 ; {  
 ;       int a0, a1, a2, a3, b0, b1, b2, b3;  
 ;  
 ;       a0 =x[0]*w[0]+x[2]*w[1]+x[4]*w[2]+x[6]*w[3];  
 ;       a1 =x[0]*w[4]+x[2]*w[5]+x[4]*w[6]+x[6]*w[7];  
 ;       a2 = x[0] * w[ 8] + x[2] * w[ 9] + x[4] * w[10] + x[6] * w[11];  
 ;       a3 = x[0] * w[12] + x[2] * w[13] + x[4] * w[14] + x[6] * w[15];  
 ;       b0 = x[1] * w[16] + x[3] * w[17] + x[5] * w[18] + x[7] * w[19];  
 ;       b1 = x[1] * w[20] + x[3] * w[21] + x[5] * w[22] + x[7] * w[23];  
 ;       b2 = x[1] * w[24] + x[3] * w[25] + x[5] * w[26] + x[7] * w[27];  
 ;       b3 = x[1] * w[28] + x[3] * w[29] + x[5] * w[30] + x[7] * w[31];  
 ;  
 ;       y[0] = SHIFT_ROUND ( a0 + b0 );  
 ;       y[1] = SHIFT_ROUND ( a1 + b1 );  
 ;       y[2] = SHIFT_ROUND ( a2 + b2 );  
 ;       y[3] = SHIFT_ROUND ( a3 + b3 );  
 ;       y[4] = SHIFT_ROUND ( a3 - b3 );  
 ;       y[5] = SHIFT_ROUND ( a2 - b2 );  
 ;       y[6] = SHIFT_ROUND ( a1 - b1 );  
 ;       y[7] = SHIFT_ROUND ( a0 - b0 );  
 ; }  
 ;  
150  ;-----------------------------------------------------------------------------  ;-----------------------------------------------------------------------------
151  ;  ; Tables for xmm processors
 ; In this implementation the outputs of the iDCT-1D are multiplied  
 ;       for rows 0,4 - by cos_4_16,  
 ;       for rows 1,7 - by cos_1_16,  
 ;       for rows 2,6 - by cos_2_16,  
 ;       for rows 3,5 - by cos_3_16  
 ; and are shifted to the left for better accuracy  
 ;  
 ; For the constants used,  
 ;       FIX(float_const) = (short) (float_const * (1<<15) + 0.5)  
 ;  
 ;=============================================================================  
   
 ;=============================================================================  
 ; MMX code  
 ;=============================================================================  
   
 ; Table for rows 0,4 - constants are multiplied by cos_4_16  
   
 tab_i_04        dw  16384,  16384,  16384, -16384    ; movq-> w06 w04 w02 w00  
                 dw  21407,   8867,   8867, -21407    ; w07 w05 w03 w01  
                 dw  16384, -16384,  16384,  16384    ; w14 w12 w10 w08  
                 dw  -8867,  21407, -21407,  -8867    ; w15 w13 w11 w09  
                 dw  22725,  12873,  19266, -22725    ; w22 w20 w18 w16  
                 dw  19266,   4520,  -4520, -12873    ; w23 w21 w19 w17  
                 dw  12873,   4520,   4520,  19266    ; w30 w28 w26 w24  
                 dw -22725,  19266, -12873, -22725    ; w31 w29 w27 w25  
   
 ; Table for rows 1,7 - constants are multiplied by cos_1_16  
   
 tab_i_17        dw  22725,  22725,  22725, -22725    ; movq-> w06 w04 w02 w00  
                 dw  29692,  12299,  12299, -29692    ; w07 w05 w03 w01  
                 dw  22725, -22725,  22725,  22725    ; w14 w12 w10 w08  
                 dw -12299,  29692, -29692, -12299    ; w15 w13 w11 w09  
                 dw  31521,  17855,  26722, -31521    ; w22 w20 w18 w16  
                 dw  26722,   6270,  -6270, -17855    ; w23 w21 w19 w17  
                 dw  17855,   6270,   6270,  26722    ; w30 w28 w26 w24  
                 dw -31521,  26722, -17855, -31521    ; w31 w29 w27 w25  
   
 ; Table for rows 2,6 - constants are multiplied by cos_2_16  
   
 tab_i_26        dw  21407,  21407,  21407, -21407    ; movq-> w06 w04 w02 w00  
                 dw  27969,  11585,  11585, -27969    ; w07 w05 w03 w01  
                 dw  21407, -21407,  21407,  21407    ; w14 w12 w10 w08  
                 dw -11585,  27969, -27969, -11585    ; w15 w13 w11 w09  
                 dw  29692,  16819,  25172, -29692    ; w22 w20 w18 w16  
                 dw  25172,   5906,  -5906, -16819    ; w23 w21 w19 w17  
                 dw  16819,   5906,   5906,  25172    ; w30 w28 w26 w24  
                 dw -29692,  25172, -16819, -29692    ; w31 w29 w27 w25  
   
 ; Table for rows 3,5 - constants are multiplied by cos_3_16  
   
 tab_i_35        dw  19266,  19266,  19266, -19266    ; movq-> w06 w04 w02 w00  
                 dw  25172,  10426,  10426, -25172    ; w07 w05 w03 w01  
                 dw  19266, -19266,  19266,  19266    ; w14 w12 w10 w08  
                 dw -10426,  25172, -25172, -10426    ; w15 w13 w11 w09  
                 dw  26722,  15137,  22654, -26722    ; w22 w20 w18 w16  
                 dw  22654,   5315,  -5315, -15137    ; w23 w21 w19 w17  
                 dw  15137,   5315,   5315,  22654    ; w30 w28 w26 w24  
                 dw -26722,  22654, -15137, -26722    ; w31 w29 w27 w25  
   
152  ;-----------------------------------------------------------------------------  ;-----------------------------------------------------------------------------
153    
 ;  
 ; DCT_8_INV_ROW_1  INP, OUT, TABLE, ROUNDER  
 ;  
   
 %macro  DCT_8_INV_ROW_1         4  
   
         movq mm0, [%1]            ; 0     ; x3 x2 x1 x0  
   
         movq mm1, [%1+8]          ; 1     ; x7 x6 x5 x4  
         movq mm2, mm0                   ; 2     ; x3 x2 x1 x0  
   
         movq mm3, [%3]          ; 3     ; w06 w04 w02 w00  
         punpcklwd mm0, mm1                      ; x5 x1 x4 x0  
   
         movq mm5, mm0                   ; 5     ; x5 x1 x4 x0  
         punpckldq mm0, mm0                      ; x4 x0 x4 x0  
   
         movq mm4, [%3+8]        ; 4     ; w07 w05 w03 w01  
         punpckhwd mm2, mm1              ; 1     ; x7 x3 x6 x2  
   
         pmaddwd mm3, mm0                        ; x4*w06+x0*w04 x4*w02+x0*w00  
         movq mm6, mm2                   ; 6     ; x7 x3 x6 x2  
   
         movq mm1, [%3+32]       ; 1     ; w22 w20 w18 w16  
         punpckldq mm2, mm2                      ; x6 x2 x6 x2  
   
         pmaddwd mm4, mm2                        ; x6*w07+x2*w05 x6*w03+x2*w01  
         punpckhdq mm5, mm5                      ; x5 x1 x5 x1  
   
         pmaddwd mm0, [%3+16]            ; x4*w14+x0*w12 x4*w10+x0*w08  
         punpckhdq mm6, mm6                      ; x7 x3 x7 x3  
   
         movq mm7, [%3+40]       ; 7     ; w23 w21 w19 w17  
         pmaddwd mm1, mm5                        ; x5*w22+x1*w20 x5*w18+x1*w16  
   
         paddd mm3, [%4]               ; +%4  
         pmaddwd mm7, mm6                        ; x7*w23+x3*w21 x7*w19+x3*w17  
   
         pmaddwd mm2, [%3+24]            ; x6*w15+x2*w13 x6*w11+x2*w09  
         paddd mm3, mm4                  ; 4     ; a1=sum(even1) a0=sum(even0)  
   
         pmaddwd mm5, [%3+48]            ; x5*w30+x1*w28 x5*w26+x1*w24  
         movq mm4, mm3                   ; 4     ; a1 a0  
   
         pmaddwd mm6, [%3+56]            ; x7*w31+x3*w29 x7*w27+x3*w25  
         paddd mm1, mm7                  ; 7     ; b1=sum(odd1) b0=sum(odd0)  
   
         paddd mm0, [%4]               ; +%4  
         psubd mm3, mm1                          ; a1-b1 a0-b0  
   
         psrad mm3, SHIFT_INV_ROW                ; y6=a1-b1 y7=a0-b0  
         paddd mm1, mm4                  ; 4     ; a1+b1 a0+b0  
   
         paddd mm0, mm2                  ; 2     ; a3=sum(even3) a2=sum(even2)  
         psrad mm1, SHIFT_INV_ROW                ; y1=a1+b1 y0=a0+b0  
   
         paddd mm5, mm6                  ; 6     ; b3=sum(odd3) b2=sum(odd2)  
         movq mm4, mm0                   ; 4     ; a3 a2  
   
         paddd mm0, mm5                          ; a3+b3 a2+b2  
         psubd mm4, mm5                  ; 5     ; a3-b3 a2-b2  
   
         psrad mm0, SHIFT_INV_ROW                ; y3=a3+b3 y2=a2+b2  
         psrad mm4, SHIFT_INV_ROW                ; y4=a3-b3 y5=a2-b2  
   
         packssdw mm1, mm0               ; 0     ; y3 y2 y1 y0  
         packssdw mm4, mm3               ; 3     ; y6 y7 y4 y5  
   
         movq mm7, mm4                   ; 7     ; y6 y7 y4 y5  
         psrld mm4, 16                           ; 0 y6 0 y4  
   
         pslld mm7, 16                           ; y7 0 y5 0  
         movq [%2], mm1            ; 1     ; save y3 y2 y1 y0  
   
         por mm7, mm4                    ; 4     ; y7 y6 y5 y4  
         movq [%2+8], mm7          ; 7     ; save y7 y6 y5 y4  
 %endmacro  
   
   
   
   
 ;=============================================================================  
 ; code for Pentium III  
 ;=============================================================================  
   
154  ; %3 for rows 0,4 - constants are multiplied by cos_4_16  ; %3 for rows 0,4 - constants are multiplied by cos_4_16
155    tab_i_04_xmm:
156  tab_i_04_sse    dw 16384, 21407, 16384, 8867 ; movq-> w05 w04 w01 w00    dw  16384,  21407,  16384,   8867 ; movq-> w05 w04 w01 w00
157                  dw 16384, 8867, -16384, -21407 ; w07 w06 w03 w02                  dw 16384, 8867, -16384, -21407 ; w07 w06 w03 w02
158                  dw 16384, -8867, 16384, -21407 ; w13 w12 w09 w08                  dw 16384, -8867, 16384, -21407 ; w13 w12 w09 w08
159                  dw -16384, 21407, 16384, -8867 ; w15 w14 w11 w10                  dw -16384, 21407, 16384, -8867 ; w15 w14 w11 w10
# Line 299  Line 163 
163                  dw 4520, 19266, 19266, -22725 ; w31 w30 w27 w26                  dw 4520, 19266, 19266, -22725 ; w31 w30 w27 w26
164    
165  ; %3 for rows 1,7 - constants are multiplied by cos_1_16  ; %3 for rows 1,7 - constants are multiplied by cos_1_16
166    tab_i_17_xmm:
167  tab_i_17_sse    dw 22725, 29692, 22725, 12299 ; movq-> w05 w04 w01 w00    dw  22725,  29692,  22725,  12299 ; movq-> w05 w04 w01 w00
168                  dw 22725, 12299, -22725, -29692 ; w07 w06 w03 w02                  dw 22725, 12299, -22725, -29692 ; w07 w06 w03 w02
169                  dw 22725, -12299, 22725, -29692 ; w13 w12 w09 w08                  dw 22725, -12299, 22725, -29692 ; w13 w12 w09 w08
170                  dw -22725, 29692, 22725, -12299 ; w15 w14 w11 w10                  dw -22725, 29692, 22725, -12299 ; w15 w14 w11 w10
# Line 310  Line 174 
174                  dw 6270, 26722, 26722, -31521 ; w31 w30 w27 w26                  dw 6270, 26722, 26722, -31521 ; w31 w30 w27 w26
175    
176  ; %3 for rows 2,6 - constants are multiplied by cos_2_16  ; %3 for rows 2,6 - constants are multiplied by cos_2_16
177    tab_i_26_xmm:
178  tab_i_26_sse    dw 21407, 27969, 21407, 11585 ; movq-> w05 w04 w01 w00    dw  21407,  27969,  21407,  11585 ; movq-> w05 w04 w01 w00
179                  dw 21407, 11585, -21407, -27969 ; w07 w06 w03 w02                  dw 21407, 11585, -21407, -27969 ; w07 w06 w03 w02
180                  dw 21407, -11585, 21407, -27969 ; w13 w12 w09 w08                  dw 21407, -11585, 21407, -27969 ; w13 w12 w09 w08
181                  dw -21407, 27969, 21407, -11585 ; w15 w14 w11 w10                  dw -21407, 27969, 21407, -11585 ; w15 w14 w11 w10
# Line 321  Line 185 
185                  dw 5906, 25172, 25172, -29692 ; w31 w30 w27 w26                  dw 5906, 25172, 25172, -29692 ; w31 w30 w27 w26
186    
187  ; %3 for rows 3,5 - constants are multiplied by cos_3_16  ; %3 for rows 3,5 - constants are multiplied by cos_3_16
188    tab_i_35_xmm:
189  tab_i_35_sse    dw 19266, 25172, 19266, 10426 ; movq-> w05 w04 w01 w00    dw  19266,  25172,  19266,  10426 ; movq-> w05 w04 w01 w00
190                  dw 19266, 10426, -19266, -25172 ; w07 w06 w03 w02                  dw 19266, 10426, -19266, -25172 ; w07 w06 w03 w02
191                  dw 19266, -10426, 19266, -25172 ; w13 w12 w09 w08                  dw 19266, -10426, 19266, -25172 ; w13 w12 w09 w08
192                  dw -19266, 25172, 19266, -10426 ; w15 w14 w11 w10                  dw -19266, 25172, 19266, -10426 ; w15 w14 w11 w10
# Line 332  Line 196 
196                  dw 5315, 22654, 22654, -26722 ; w31 w30 w27 w26                  dw 5315, 22654, 22654, -26722 ; w31 w30 w27 w26
197    
198  ;=============================================================================  ;=============================================================================
199  ;  ; Code
 ;=============================================================================  
   
 ;=============================================================================  
 ;  
 ; The first stage DCT 8x8 - forward DCTs of columns  
 ;  
 ; The %2puts are multiplied  
 ; for rows 0,4 - on cos_4_16,  
 ; for rows 1,7 - on cos_1_16,  
 ; for rows 2,6 - on cos_2_16,  
 ; for rows 3,5 - on cos_3_16  
 ; and are shifted to the left for rise of accuracy  
 ;  
 ;-----------------------------------------------------------------------------  
 ;  
 ; The 8-point scaled forward DCT algorithm (26a8m)  
 ;  
 ;-----------------------------------------------------------------------------  
 ;  
 ; #define DCT_8_FRW_COL(x, y)  
 ;{  
 ; short t0, t1, t2, t3, t4, t5, t6, t7;  
 ; short tp03, tm03, tp12, tm12, tp65, tm65;  
 ; short tp465, tm465, tp765, tm765;  
 ;  
 ; t0 = LEFT_SHIFT ( x[0] + x[7] );  
 ; t1 = LEFT_SHIFT ( x[1] + x[6] );  
 ; t2 = LEFT_SHIFT ( x[2] + x[5] );  
 ; t3 = LEFT_SHIFT ( x[3] + x[4] );  
 ; t4 = LEFT_SHIFT ( x[3] - x[4] );  
 ; t5 = LEFT_SHIFT ( x[2] - x[5] );  
 ; t6 = LEFT_SHIFT ( x[1] - x[6] );  
 ; t7 = LEFT_SHIFT ( x[0] - x[7] );  
 ;  
 ; tp03 = t0 + t3;  
 ; tm03 = t0 - t3;  
 ; tp12 = t1 + t2;  
 ; tm12 = t1 - t2;  
 ;  
 ; y[0] = tp03 + tp12;  
 ; y[4] = tp03 - tp12;  
 ;  
 ; y[2] = tm03 + tm12 * tg_2_16;  
 ; y[6] = tm03 * tg_2_16 - tm12;  
 ;  
 ; tp65 =(t6 +t5 )*cos_4_16;  
 ; tm65 =(t6 -t5 )*cos_4_16;  
 ;  
 ; tp765 = t7 + tp65;  
 ; tm765 = t7 - tp65;  
 ; tp465 = t4 + tm65;  
 ; tm465 = t4 - tm65;  
 ;  
 ; y[1] = tp765 + tp465 * tg_1_16;  
 ; y[7] = tp765 * tg_1_16 - tp465;  
 ; y[5] = tm765 * tg_3_16 + tm465;  
 ; y[3] = tm765 - tm465 * tg_3_16;  
 ;}  
 ;  
200  ;=============================================================================  ;=============================================================================
201    
202    TEXT
203    
204  ;  cglobal idct_3dne
 ; DCT_8_FRW_COL_4      INP, OUT  
 ;  
   
 %macro DCT_8_FRW_COL_4          2  
   
         LOCAL x0, x1, x2, x3, x4, x5, x6, x7  
         LOCAL y0, y1, y2, y3, y4, y5, y6, y7  
         x0 equ [%1 + 0*16]  
         x1 equ [%1 + 1*16]  
         x2 equ [%1 + 2*16]  
         x3 equ [%1 + 3*16]  
         x4 equ [%1 + 4*16]  
         x5 equ [%1 + 5*16]  
         x6 equ [%1 + 6*16]  
         x7 equ [%1 + 7*16]  
         y0 equ [%2 + 0*16]  
         y1 equ [%2 + 1*16]  
         y2 equ [%2 + 2*16]  
         y3 equ [%2 + 3*16]  
         y4 equ [%2 + 4*16]  
         y5 equ [%2 + 5*16]  
         y6 equ [%2 + 6*16]  
         y7 equ [%2 + 7*16]  
         movq mm0, x1 ; 0 ; x1  
         movq mm1, x6 ; 1 ; x6  
         movq mm2, mm0 ; 2 ; x1  
         movq mm3, x2 ; 3 ; x2  
         paddsw mm0, mm1 ; t1 = x[1] + x[6]  
         movq mm4, x5 ; 4 ; x5  
         psllw mm0, SHIFT_FRW_COL ; t1  
         movq mm5, x0 ; 5 ; x0  
         paddsw mm4, mm3 ; t2 = x[2] + x[5]  
         paddsw mm5, x7 ; t0 = x[0] + x[7]  
         psllw mm4, SHIFT_FRW_COL ; t2  
         movq mm6, mm0 ; 6 ; t1  
         psubsw mm2, mm1 ; 1 ; t6 = x[1] - x[6]  
         movq mm1, [tg_2_16] ; 1 ; tg_2_16  
         psubsw mm0, mm4 ; tm12 = t1 - t2  
         movq mm7, x3 ; 7 ; x3  
         pmulhw mm1, mm0 ; tm12*tg_2_16  
         paddsw mm7, x4 ; t3 = x[3] + x[4]  
         psllw mm5, SHIFT_FRW_COL ; t0  
         paddsw mm6, mm4 ; 4 ; tp12 = t1 + t2  
         psllw mm7, SHIFT_FRW_COL ; t3  
         movq mm4, mm5 ; 4 ; t0  
         psubsw mm5, mm7 ; tm03 = t0 - t3  
         paddsw mm1, mm5 ; y2 = tm03 + tm12*tg_2_16  
         paddsw mm4, mm7 ; 7 ; tp03 = t0 + t3  
         por mm1, [one_corr] ; correction y2 +0.5  
         psllw mm2, SHIFT_FRW_COL+1 ; t6  
         pmulhw mm5, [tg_2_16] ; tm03*tg_2_16  
         movq mm7, mm4 ; 7 ; tp03  
         psubsw mm3, x5 ; t5 = x[2] - x[5]  
         psubsw mm4, mm6 ; y4 = tp03 - tp12  
         movq y2, mm1 ; 1 ; save y2  
         paddsw mm7, mm6 ; 6 ; y0 = tp03 + tp12  
         movq mm1, x3 ; 1 ; x3  
         psllw mm3, SHIFT_FRW_COL+1 ; t5  
         psubsw mm1, x4 ; t4 = x[3] - x[4]  
         movq mm6, mm2 ; 6 ; t6  
         movq y4, mm4 ; 4 ; save y4  
         paddsw mm2, mm3 ; t6 + t5  
         pmulhw mm2, [ocos_4_16] ; tp65 = (t6 + t5)*cos_4_16  
         psubsw mm6, mm3 ; 3 ; t6 - t5  
         pmulhw mm6, [ocos_4_16] ; tm65 = (t6 - t5)*cos_4_16  
         psubsw mm5, mm0 ; 0 ; y6 = tm03*tg_2_16 - tm12  
         por mm5, [one_corr] ; correction y6 +0.5  
         psllw mm1, SHIFT_FRW_COL ; t4  
         por mm2, [one_corr] ; correction tp65 +0.5  
         movq mm4, mm1 ; 4 ; t4  
         movq mm3, x0 ; 3 ; x0  
         paddsw mm1, mm6 ; tp465 = t4 + tm65  
         psubsw mm3, x7 ; t7 = x[0] - x[7]  
         psubsw mm4, mm6 ; 6 ; tm465 = t4 - tm65  
         movq mm0, [tg_1_16] ; 0 ; tg_1_16  
         psllw mm3, SHIFT_FRW_COL ; t7  
         movq mm6, [tg_3_16] ; 6 ; tg_3_16  
         pmulhw mm0, mm1 ; tp465*tg_1_16  
         movq y0, mm7 ; 7 ; save y0  
         pmulhw mm6, mm4 ; tm465*tg_3_16  
         movq y6, mm5 ; 5 ; save y6  
         movq mm7, mm3 ; 7 ; t7  
         movq mm5, [tg_3_16] ; 5 ; tg_3_16  
         psubsw mm7, mm2 ; tm765 = t7 - tp65  
         paddsw mm3, mm2 ; 2 ; tp765 = t7 + tp65  
         pmulhw mm5, mm7 ; tm765*tg_3_16  
         paddsw mm0, mm3 ; y1 = tp765 + tp465*tg_1_16  
         paddsw mm6, mm4 ; tm465*tg_3_16  
         pmulhw mm3, [tg_1_16] ; tp765*tg_1_16  
         por mm0, [one_corr] ; correction y1 +0.5  
         paddsw mm5, mm7 ; tm765*tg_3_16  
         psubsw mm7, mm6 ; 6 ; y3 = tm765 - tm465*tg_3_16  
         movq y1, mm0 ; 0 ; save y1  
         paddsw mm5, mm4 ; 4 ; y5 = tm765*tg_3_16 + tm465  
         movq y3, mm7 ; 7 ; save y3  
         psubsw mm3, mm1 ; 1 ; y7 = tp765*tg_1_16 - tp465  
         movq y5, mm5 ; 5 ; save y5  
         movq y7, mm3 ; 3 ; save y7  
 %endmacro  
   
   
 ;  
 ; DCT_8_INV_COL_4  INP,OUT  
 ;  
   
 %macro DCT_8_INV_COL_4          2  
         movq    mm0, [tg_3_16]  
   
         movq    mm3, [%1+16*3]  
         movq    mm1, mm0                        ; tg_3_16  
   
         movq    mm5, [%1+16*5]  
         pmulhw  mm0, mm3                        ; x3*(tg_3_16-1)  
   
         movq    mm4, [tg_1_16]  
         pmulhw  mm1, mm5                        ; x5*(tg_3_16-1)  
   
         movq    mm7, [%1+16*7]  
         movq    mm2, mm4                        ; tg_1_16  
   
         movq    mm6, [%1+16*1]  
         pmulhw  mm4, mm7                        ; x7*tg_1_16  
   
         paddsw  mm0, mm3                        ; x3*tg_3_16  
         pmulhw  mm2, mm6                        ; x1*tg_1_16  
   
         paddsw  mm1, mm3                        ; x3+x5*(tg_3_16-1)  
         psubsw  mm0, mm5                        ; x3*tg_3_16-x5 = tm35  
   
         movq    mm3, [ocos_4_16]  
         paddsw  mm1, mm5                        ; x3+x5*tg_3_16 = tp35  
   
         paddsw  mm4, mm6                        ; x1+tg_1_16*x7 = tp17  
         psubsw  mm2, mm7                        ; x1*tg_1_16-x7 = tm17  
   
         movq    mm5, mm4                        ; tp17  
         movq    mm6, mm2                        ; tm17  
   
         paddsw  mm5, mm1                        ; tp17+tp35 = b0  
         psubsw  mm6, mm0                        ; tm17-tm35 = b3  
   
         psubsw  mm4, mm1                        ; tp17-tp35 = t1  
         paddsw  mm2, mm0                        ; tm17+tm35 = t2  
   
         movq    mm7, [tg_2_16]  
         movq    mm1, mm4                        ; t1  
   
 ;       movq    [SCRATCH+0], mm5     ; save b0  
         movq    [%2+3*16], mm5      ; save b0  
         paddsw  mm1, mm2                        ; t1+t2  
   
 ;       movq    [SCRATCH+8], mm6     ; save b3  
         movq    [%2+5*16], mm6      ; save b3  
         psubsw  mm4, mm2                        ; t1-t2  
   
         movq    mm5, [%1+2*16]  
         movq    mm0, mm7                        ; tg_2_16  
   
         movq    mm6, [%1+6*16]  
         pmulhw  mm0, mm5                        ; x2*tg_2_16  
   
         pmulhw  mm7, mm6                        ; x6*tg_2_16  
 ; slot  
         pmulhw  mm1, mm3                        ; ocos_4_16*(t1+t2) = b1/2  
 ; slot  
         movq    mm2, [%1+0*16]  
         pmulhw  mm4, mm3                        ; ocos_4_16*(t1-t2) = b2/2  
   
         psubsw  mm0, mm6                        ; t2*tg_2_16-x6 = tm26  
         movq    mm3, mm2                        ; x0  
   
         movq    mm6, [%1+4*16]  
         paddsw  mm7, mm5                        ; x2+x6*tg_2_16 = tp26  
   
         paddsw  mm2, mm6                        ; x0+x4 = tp04  
         psubsw  mm3, mm6                        ; x0-x4 = tm04  
   
         movq    mm5, mm2                        ; tp04  
         movq    mm6, mm3                        ; tm04  
   
         psubsw  mm2, mm7                        ; tp04-tp26 = a3  
         paddsw  mm3, mm0                        ; tm04+tm26 = a1  
   
         paddsw mm1, mm1                         ; b1  
         paddsw mm4, mm4                         ; b2  
   
         paddsw  mm5, mm7                        ; tp04+tp26 = a0  
         psubsw  mm6, mm0                        ; tm04-tm26 = a2  
   
         movq    mm7, mm3                        ; a1  
         movq    mm0, mm6                        ; a2  
   
         paddsw  mm3, mm1                        ; a1+b1  
         paddsw  mm6, mm4                        ; a2+b2  
   
         psraw   mm3, SHIFT_INV_COL              ; dst1  
         psubsw  mm7, mm1                        ; a1-b1  
   
         psraw   mm6, SHIFT_INV_COL              ; dst2  
         psubsw  mm0, mm4                        ; a2-b2  
   
 ;       movq    mm1, [SCRATCH+0]     ; load b0  
         movq    mm1, [%2+3*16]      ; load b0  
         psraw   mm7, SHIFT_INV_COL              ; dst6  
   
         movq    mm4, mm5                        ; a0  
         psraw   mm0, SHIFT_INV_COL              ; dst5  
   
         movq    [%2+1*16], mm3  
         paddsw  mm5, mm1                        ; a0+b0  
   
         movq    [%2+2*16], mm6  
         psubsw  mm4, mm1                        ; a0-b0  
   
 ;       movq    mm3, [SCRATCH+8]     ; load b3  
         movq    mm3, [%2+5*16]      ; load b3  
         psraw   mm5, SHIFT_INV_COL              ; dst0  
   
         movq    mm6, mm2                        ; a3  
         psraw   mm4, SHIFT_INV_COL              ; dst7  
   
         movq    [%2+5*16], mm0  
         paddsw  mm2, mm3                        ; a3+b3  
   
         movq    [%2+6*16], mm7  
         psubsw  mm6, mm3                        ; a3-b3  
   
         movq    [%2+0*16], mm5  
         psraw   mm2, SHIFT_INV_COL              ; dst3  
   
         movq    [%2+7*16], mm4  
         psraw   mm6, SHIFT_INV_COL              ; dst4  
   
         movq    [%2+3*16], mm2  
   
         movq    [%2+4*16], mm6  
 %endmacro  
   
205    
206  ;=============================================================================  ;-----------------------------------------------------------------------------
207  ;  ; void idct_3dne(uint16_t block[64]);
208  ; void idct_sse (short * const src_result);  ;-----------------------------------------------------------------------------
 ;  
 ;=============================================================================  
209    
210  align 16  ALIGN SECTION_ALIGN
211  cglobal idct_3dne  idct_3dne:
212  idct_3dne    mov _ECX, prm1
213          mov     eax,[esp+4]  
214   ;      DCT_8_INV_ROW_1_s [eax+64], [eax+64], tab_i_04_sse, rounder_4 ;rounder_4=0  ;   DCT_8_INV_ROW_1_s [_ECX+64], [_ECX+64], tab_i_04_sse, rounder_4 ;rounder_4=0
215          pshufw  mm0, [eax+64],10001000b         ; x2 x0 x2 x0    pshufw mm0, [_ECX+64],10001000b        ; x2 x0 x2 x0
216          movq    mm3, [tab_i_04_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_04_xmm]          ; 3     ; w05 w04 w01 w00
217          pshufw  mm1, [eax+64+8],10001000b               ; x6 x4 x6 x4    pshufw mm1, [_ECX+64+8],10001000b  ; x6 x4 x6 x4
218          movq    mm4, [tab_i_04_sse+8]   ; 4     ; w07 w06 w03 w02    movq mm4, [tab_i_04_xmm+8]        ; 4     ; w07 w06 w03 w02
219          pshufw  mm2, [eax+64],11011101b                 ; x3 x1 x3 x1    pshufw mm2, [_ECX+64],11011101b        ; x3 x1 x3 x1
220          pshufw  mm5, [eax+64+8],11011101b               ; x7 x5 x7 x5    pshufw mm5, [_ECX+64+8],11011101b  ; x7 x5 x7 x5
221          movq    mm6, [tab_i_04_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm6, [tab_i_04_xmm+32]   ; 6     ; w21 w20 w17 w16
222          pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00          pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00
223          movq    mm7, [tab_i_04_sse+40]  ; 7     ; w23 w22 w19 w18 ;    movq mm7, [tab_i_04_xmm+40]   ; 7     ; w23 w22 w19 w18 ;
224          pmaddwd mm0, [tab_i_04_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm0, [tab_i_04_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
225          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
226          pmaddwd mm1, [tab_i_04_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_04_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
227          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
228          pmaddwd mm2, [tab_i_04_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_04_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
229          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
230          pmaddwd mm5, [tab_i_04_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm5, [tab_i_04_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
231          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
232          paddd   mm0, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)          paddd   mm0, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)
233                  pshufw  mm1, [eax+80+8],10001000b               ; x6 x4 x6 x4    pshufw mm1, [_ECX+80+8],10001000b  ; x6 x4 x6 x4
234          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
235          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)
236          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)
237                  pshufw  mm5, [eax+80],10001000b         ; x2 x0 x2 x0   mm5 & mm0 exchanged for next cycle    pshufw mm5, [_ECX+80],10001000b; x2 x0 x2 x0   mm5 & mm0 exchanged for next cycle
238          movq    mm7, mm0                ; 7     ; a3 a2          movq    mm7, mm0                ; 7     ; a3 a2
239          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0
240          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
241                  movq    mm3, [tab_i_35_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_35_xmm]      ; 3     ; w05 w04 w01 w00
242          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
243          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2
244                  pshufw  mm2, [eax+80],11011101b                 ; x3 x1 x3 x1    pshufw mm2, [_ECX+80],11011101b; x3 x1 x3 x1
245                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00
246                  pmaddwd mm5, [tab_i_35_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm5, [tab_i_35_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
247          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
248          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
249          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
250          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
251          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
252          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0
253          pshufw  mm0, [eax+80+8],11011101b               ; x7 x5 x7 x5    pshufw mm0, [_ECX+80+8],11011101b  ; x7 x5 x7 x5
254          movq    [eax+64], mm6           ; 3     ; save y3 y2 y1 y0 stall2    movq [_ECX+64], mm6            ; 3     ; save y3 y2 y1 y0 stall2
255   ;      DCT_8_INV_ROW_1_s [eax+80], [eax+80], tab_i_35_sse, rounder_5  
256          movq    mm4, [tab_i_35_sse+8]   ; 4     ; w07 w06 w03 w02  ;   DCT_8_INV_ROW_1_s [_ECX+80], [_ECX+80], tab_i_35_xmm, rounder_5
257          movq    mm6, [tab_i_35_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm4, [tab_i_35_xmm+8]    ; 4     ; w07 w06 w03 w02
258      movq mm6, [tab_i_35_xmm+32]   ; 6     ; w21 w20 w17 w16
259   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4
260          paddd   mm3, [rounder_5]                ; +rounder stall 6          paddd   mm3, [rounder_5]                ; +rounder stall 6
261          paddd   mm5, [rounder_5]                ; +rounder          paddd   mm5, [rounder_5]                ; +rounder
262   movq   [eax+64+8], mm7                 ; 7     ; save y7 y6 y5 y4    movq [_ECX+64+8], mm7          ; 7     ; save y7 y6 y5 y4
263          movq    mm7, [tab_i_35_sse+40]  ; 7     ; w23 w22 w19 w18    movq mm7, [tab_i_35_xmm+40]   ; 7     ; w23 w22 w19 w18
264          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
265          pmaddwd mm1, [tab_i_35_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_35_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
266          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
267          pmaddwd mm2, [tab_i_35_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_35_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
268          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
269          pmaddwd mm0, [tab_i_35_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm0, [tab_i_35_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
270          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
271          paddd   mm5, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)          paddd   mm5, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)
272                  pshufw  mm1, [eax+96+8],10001000b               ; x6 x4 x6 x4    pshufw mm1, [_ECX+96+8],10001000b  ; x6 x4 x6 x4
273          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
274          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)
275          paddd   mm2, mm0                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)          paddd   mm2, mm0                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)
276                  pshufw  mm0, [eax+96],10001000b         ; x2 x0 x2 x0    pshufw mm0, [_ECX+96],10001000b    ; x2 x0 x2 x0
277          movq    mm7, mm5                ; 7     ; a3 a2          movq    mm7, mm5                ; 7     ; a3 a2
278          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0 stall 5          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0 stall 5
279          paddd   mm6, mm3                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm6, mm3                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
280                  movq    mm3, [tab_i_26_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_26_xmm]      ; 3     ; w05 w04 w01 w00
281          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
282          paddd   mm5, mm2                ; 0 free a3+b3 a2+b2          paddd   mm5, mm2                ; 0 free a3+b3 a2+b2
283                  pshufw  mm2, [eax+96],11011101b                 ; x3 x1 x3 x1    pshufw mm2, [_ECX+96],11011101b; x3 x1 x3 x1
284                  pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00                  pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00
285                  pmaddwd mm0, [tab_i_26_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm0, [tab_i_26_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
286          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
287          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
288          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
289          psrad   mm5, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm5, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
290          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
291          packssdw mm6, mm5               ; 0 free        ; y3 y2 y1 y0          packssdw mm6, mm5               ; 0 free        ; y3 y2 y1 y0
292          pshufw  mm5, [eax+96+8],11011101b               ; x7 x5 x7 x5    pshufw mm5, [_ECX+96+8],11011101b  ; x7 x5 x7 x5
293          movq    [eax+80], mm6           ; 3     ; save y3 y2 y1 y0    movq [_ECX+80], mm6            ; 3     ; save y3 y2 y1 y0
294   ;      DCT_8_INV_ROW_1_s [eax+96], [eax+96], tab_i_26_sse, rounder_6  
295          movq    mm4, [tab_i_26_sse+8]   ; 4     ; w07 w06 w03 w02  ;   DCT_8_INV_ROW_1_s [_ECX+96], [_ECX+96], tab_i_26_xmm, rounder_6
296          movq    mm6, [tab_i_26_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm4, [tab_i_26_xmm+8]    ; 4     ; w07 w06 w03 w02
297      movq mm6, [tab_i_26_xmm+32]   ; 6     ; w21 w20 w17 w16
298   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4 STALL 6   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4 STALL 6
299          paddd   mm3, [rounder_6]                ; +rounder          paddd   mm3, [rounder_6]                ; +rounder
300          paddd   mm0, [rounder_6]                ; +rounder          paddd   mm0, [rounder_6]                ; +rounder
301   movq   [eax+80+8], mm7                 ; 7     ; save y7 y6    movq [_ECX+80+8], mm7          ; 7     ; save y7 y6
302          movq    mm7, [tab_i_26_sse+40]  ; 7     ; w23 w22 w19 w18    movq mm7, [tab_i_26_xmm+40]   ; 7     ; w23 w22 w19 w18
303          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
304          pmaddwd mm1, [tab_i_26_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_26_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
305          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
306          pmaddwd mm2, [tab_i_26_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_26_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
307          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
308          pmaddwd mm5, [tab_i_26_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm5, [tab_i_26_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
309          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
310          paddd   mm0, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)          paddd   mm0, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)
311                  pshufw  mm1, [eax+112+8],10001000b              ; x6 x4 x6 x4    pshufw mm1, [_ECX+112+8],10001000b ; x6 x4 x6 x4
312          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
313          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)
314          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)
315                  pshufw  mm5, [eax+112],10001000b        ; x2 x0 x2 x0   mm5 & mm0 exchanged for next cycle    pshufw mm5, [_ECX+112],10001000b; x2 x0 x2 x0  mm5 & mm0 exchanged for next cycle
316          movq    mm7, mm0                ; 7     ; a3 a2          movq    mm7, mm0                ; 7     ; a3 a2
317          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0
318          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
319                  movq    mm3, [tab_i_17_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_17_xmm]      ; 3     ; w05 w04 w01 w00
320          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
321          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2
322                  pshufw  mm2, [eax+112],11011101b                ; x3 x1 x3 x1    pshufw mm2, [_ECX+112],11011101b; x3 x1 x3 x1
323                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00
324                  pmaddwd mm5, [tab_i_17_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm5, [tab_i_17_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
325          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
326          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
327          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
328          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
329          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
330          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0
331          pshufw  mm0, [eax+112+8],11011101b              ; x7 x5 x7 x5    pshufw mm0, [_ECX+112+8],11011101b ; x7 x5 x7 x5
332          movq    [eax+96], mm6           ; 3     ; save y3 y2 y1 y0 stall2    movq [_ECX+96], mm6            ; 3     ; save y3 y2 y1 y0 stall2
333   ;      DCT_8_INV_ROW_1_s [eax+112], [eax+112], tab_i_17_sse, rounder_7  
334          movq    mm4, [tab_i_17_sse+8]   ; 4     ; w07 w06 w03 w02  ;   DCT_8_INV_ROW_1_s [_ECX+112], [_ECX+112], tab_i_17_xmm, rounder_7
335          movq    mm6, [tab_i_17_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm4, [tab_i_17_xmm+8]    ; 4     ; w07 w06 w03 w02
336      movq mm6, [tab_i_17_xmm+32]   ; 6     ; w21 w20 w17 w16
337   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4
338          paddd   mm3, [rounder_7]                ; +rounder stall 6          paddd   mm3, [rounder_7]                ; +rounder stall 6
339          paddd   mm5, [rounder_7]                ; +rounder          paddd   mm5, [rounder_7]                ; +rounder
340   movq   [eax+96+8], mm7                 ; 7     ; save y7 y6 y5 y4    movq [_ECX+96+8], mm7          ; 7     ; save y7 y6 y5 y4
341          movq    mm7, [tab_i_17_sse+40]  ; 7     ; w23 w22 w19 w18    movq mm7, [tab_i_17_xmm+40]   ; 7     ; w23 w22 w19 w18
342          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
343          pmaddwd mm1, [tab_i_17_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_17_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
344          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
345          pmaddwd mm2, [tab_i_17_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_17_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
346          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
347          pmaddwd mm0, [tab_i_17_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm0, [tab_i_17_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
348          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
349          paddd   mm5, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)          paddd   mm5, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)
350                  pshufw  mm1, [eax+0+8],10001000b                ; x6 x4 x6 x4    pshufw mm1, [_ECX+0+8],10001000b; x6 x4 x6 x4
351          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
352          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)
353          paddd   mm2, mm0                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)          paddd   mm2, mm0                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)
354                  pshufw  mm0, [eax+0],10001000b  ; x2 x0 x2 x0    pshufw mm0, [_ECX+0],10001000b ; x2 x0 x2 x0
355          movq    mm7, mm5                ; 7     ; a3 a2          movq    mm7, mm5                ; 7     ; a3 a2
356          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0 stall 5          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0 stall 5
357          paddd   mm6, mm3                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm6, mm3                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
358                  movq    mm3, [tab_i_04_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_04_xmm]      ; 3     ; w05 w04 w01 w00
359          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
360          paddd   mm5, mm2                ; 0 free a3+b3 a2+b2          paddd   mm5, mm2                ; 0 free a3+b3 a2+b2
361                  pshufw  mm2, [eax+0],11011101b          ; x3 x1 x3 x1    pshufw mm2, [_ECX+0],11011101b ; x3 x1 x3 x1
362                  pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00                  pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00
363                  pmaddwd mm0, [tab_i_04_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm0, [tab_i_04_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
364          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
365          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
366          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
367          psrad   mm5, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm5, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
368          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
369          packssdw mm6, mm5               ; 0 free        ; y3 y2 y1 y0          packssdw mm6, mm5               ; 0 free        ; y3 y2 y1 y0
370          pshufw  mm5, [eax+0+8],11011101b                ; x7 x5 x7 x5    pshufw mm5, [_ECX+0+8],11011101b; x7 x5 x7 x5
371          movq    [eax+112], mm6          ; 3     ; save y3 y2 y1 y0    movq [_ECX+112], mm6           ; 3     ; save y3 y2 y1 y0
372   ;      DCT_8_INV_ROW_1_s [eax+0],  0, tab_i_04_sse, rounder_0  
373          movq    mm4, [tab_i_04_sse+8]   ; 4     ; w07 w06 w03 w02  ;   DCT_8_INV_ROW_1_s [_ECX+0],  0, tab_i_04_xmm, rounder_0
374          movq    mm6, [tab_i_04_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm4, [tab_i_04_xmm+8]    ; 4     ; w07 w06 w03 w02
375      movq mm6, [tab_i_04_xmm+32]   ; 6     ; w21 w20 w17 w16
376   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4 STALL 6   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4 STALL 6
377          paddd   mm3, [rounder_0]                ; +rounder          paddd   mm3, [rounder_0]                ; +rounder
378          paddd   mm0, [rounder_0]                ; +rounder          paddd   mm0, [rounder_0]                ; +rounder
379   movq   [eax+112+8], mm7                ; 7     ; save y7 y6    movq [_ECX+112+8], mm7         ; 7     ; save y7 y6
380          movq    mm7, [tab_i_04_sse+40]  ; 7     ; w23 w22 w19 w18    movq mm7, [tab_i_04_xmm+40]   ; 7     ; w23 w22 w19 w18
381          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
382          pmaddwd mm1, [tab_i_04_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_04_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
383          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
384          pmaddwd mm2, [tab_i_04_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_04_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
385          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
386          pmaddwd mm5, [tab_i_04_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm5, [tab_i_04_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
387          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
388          paddd   mm0, mm1                ; 1          paddd   mm0, mm1                ; 1
389                  pshufw  mm1, [eax+16+8],10001000b               ; x6 x4 x6 x4    pshufw mm1, [_ECX+16+8],10001000b  ; x6 x4 x6 x4
390          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
391          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)
392          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)
393                  pshufw  mm5, [eax+16],10001000b         ; x2 x0 x2 x0   mm5 & mm0 exchanged for next cycle    pshufw mm5, [_ECX+16],10001000b; x2 x0 x2 x0   mm5 & mm0 exchanged for next cycle
394          movq    mm7, mm0                ; 7     ; a3 a2          movq    mm7, mm0                ; 7     ; a3 a2
395          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0
396          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
397                  movq    mm3, [tab_i_17_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_17_xmm]      ; 3     ; w05 w04 w01 w00
398          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
399          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2
400                  pshufw  mm2, [eax+16],11011101b                 ; x3 x1 x3 x1    pshufw mm2, [_ECX+16],11011101b; x3 x1 x3 x1
401                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00
402                  pmaddwd mm5, [tab_i_17_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm5, [tab_i_17_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
403          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
404          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
405          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
406          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
407          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
408          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0
409          pshufw  mm0, [eax+16+8],11011101b               ; x7 x5 x7 x5    pshufw mm0, [_ECX+16+8],11011101b  ; x7 x5 x7 x5
410          movq    [eax+0], mm6            ; 3     ; save y3 y2 y1 y0 stall2    movq [_ECX+0], mm6             ; 3     ; save y3 y2 y1 y0 stall2
411   ;      DCT_8_INV_ROW_1_s [eax+16], 16, tab_i_17_sse, rounder_1  
412          movq    mm4, [tab_i_17_sse+8]   ; 4     ; w07 w06 w03 w02  ; DCT_8_INV_ROW_1_s [_ECX+16], 16, tab_i_17_xmm, rounder_1
413          movq    mm6, [tab_i_17_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm4, [tab_i_17_xmm+8]    ; 4     ; w07 w06 w03 w02
414      movq mm6, [tab_i_17_xmm+32]   ; 6     ; w21 w20 w17 w16
415   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4
416          paddd   mm3, [rounder_1]                ; +rounder stall 6          paddd   mm3, [rounder_1]                ; +rounder stall 6
417          paddd   mm5, [rounder_1]                ; +rounder          paddd   mm5, [rounder_1]                ; +rounder
418   movq   [eax+0+8], mm7          ; 7     ; save y7 y6 y5 y4    movq [_ECX+0+8], mm7           ; 7     ; save y7 y6 y5 y4
419          movq    mm7, [tab_i_17_sse+40]  ; 7     ; w23 w22 w19 w18    movq mm7, [tab_i_17_xmm+40]   ; 7     ; w23 w22 w19 w18
420          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
421          pmaddwd mm1, [tab_i_17_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_17_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
422          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
423          pmaddwd mm2, [tab_i_17_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_17_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
424          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
425          pmaddwd mm0, [tab_i_17_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm0, [tab_i_17_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
426          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
427          paddd   mm5, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)          paddd   mm5, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)
428                  pshufw  mm1, [eax+32+8],10001000b               ; x6 x4 x6 x4    pshufw mm1, [_ECX+32+8],10001000b  ; x6 x4 x6 x4
429          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
430          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)
431          paddd   mm2, mm0                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)          paddd   mm2, mm0                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)
432                  pshufw  mm0, [eax+32],10001000b         ; x2 x0 x2 x0    pshufw mm0, [_ECX+32],10001000b; x2 x0 x2 x0
433          movq    mm7, mm5                ; 7     ; a3 a2          movq    mm7, mm5                ; 7     ; a3 a2
434          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0 stall 5          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0 stall 5
435          paddd   mm6, mm3                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm6, mm3                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
436                  movq    mm3, [tab_i_26_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_26_xmm]      ; 3     ; w05 w04 w01 w00
437          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
438          paddd   mm5, mm2                ; 0 free a3+b3 a2+b2          paddd   mm5, mm2                ; 0 free a3+b3 a2+b2
439                  pshufw  mm2, [eax+32],11011101b                 ; x3 x1 x3 x1    pshufw mm2, [_ECX+32],11011101b; x3 x1 x3 x1
440                  pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00                  pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00
441                  pmaddwd mm0, [tab_i_26_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm0, [tab_i_26_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
442          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
443          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
444          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
445          psrad   mm5, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm5, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
446          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
447          packssdw mm6, mm5               ; 0 free        ; y3 y2 y1 y0          packssdw mm6, mm5               ; 0 free        ; y3 y2 y1 y0
448          pshufw  mm5, [eax+32+8],11011101b               ; x7 x5 x7 x5    pshufw mm5, [_ECX+32+8],11011101b  ; x7 x5 x7 x5
449          movq    [eax+16], mm6           ; 3     ; save y3 y2 y1 y0    movq [_ECX+16], mm6            ; 3     ; save y3 y2 y1 y0
450   ;      DCT_8_INV_ROW_1_s [eax+32], 32, tab_i_26_sse, rounder_2  
451          movq    mm4, [tab_i_26_sse+8]   ; 4     ; w07 w06 w03 w02  ;   DCT_8_INV_ROW_1_s [_ECX+32], 32, tab_i_26_xmm, rounder_2
452          movq    mm6, [tab_i_26_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm4, [tab_i_26_xmm+8]    ; 4     ; w07 w06 w03 w02
453      movq mm6, [tab_i_26_xmm+32]   ; 6     ; w21 w20 w17 w16
454   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4 STALL 6   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4 STALL 6
455          paddd   mm3, [rounder_2]                ; +rounder          paddd   mm3, [rounder_2]                ; +rounder
456          paddd   mm0, [rounder_2]                ; +rounder          paddd   mm0, [rounder_2]                ; +rounder
457   movq   [eax+16+8], mm7                 ; 7     ; save y7 y6    movq [_ECX+16+8], mm7          ; 7     ; save y7 y6
458          movq    mm7, [tab_i_26_sse+40]  ; 7     ; w23 w22 w19 w18    movq mm7, [tab_i_26_xmm+40]   ; 7     ; w23 w22 w19 w18
459          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
460          pmaddwd mm1, [tab_i_26_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_26_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
461          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
462          pmaddwd mm2, [tab_i_26_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_26_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
463          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm5                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
464          pmaddwd mm5, [tab_i_26_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm5, [tab_i_26_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
465          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
466          paddd   mm0, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)          paddd   mm0, mm1                ; 1 free        ; a3=sum(even3) a2=sum(even2)
467                  pshufw  mm1, [eax+48+8],10001000b               ; x6 x4 x6 x4    pshufw mm1, [_ECX+48+8],10001000b      ; x6 x4 x6 x4
468          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
469          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7 free        ; b1=sum(odd1) b0=sum(odd0)
470          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)          paddd   mm2, mm5                ; 5 free        ; b3=sum(odd3) b2=sum(odd2)
471                  pshufw  mm5, [eax+48],10001000b         ; x2 x0 x2 x0   mm5 & mm0 exchanged for next cycle    pshufw mm5, [_ECX+48],10001000b; x2 x0 x2 x0   mm5 & mm0 exchanged for next cycle
472          movq    mm7, mm0                ; 7     ; a3 a2          movq    mm7, mm0                ; 7     ; a3 a2
473          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0          psubd   mm4, mm6                ; 6 free        ; a1-b1 a0-b0
474          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm6, mm3                ; mm6 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
475                  movq    mm3, [tab_i_35_sse]     ; 3     ; w05 w04 w01 w00    movq mm3, [tab_i_35_xmm]      ; 3     ; w05 w04 w01 w00
476          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
477          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2          paddd   mm0, mm2                ; 0 free a3+b3 a2+b2
478                  pshufw  mm2, [eax+48],11011101b                 ; x3 x1 x3 x1    pshufw mm2, [_ECX+48],11011101b; x3 x1 x3 x1
479                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00                  pmaddwd mm3, mm5                ; x2*w05+x0*w04 x2*w01+x0*w00
480                  pmaddwd mm5, [tab_i_35_sse+16]          ; x2*w13+x0*w12 x2*w09+x0*w08    pmaddwd mm5, [tab_i_35_xmm+16]; x2*w13+x0*w12 x2*w09+x0*w08
481          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
482          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
483          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm6, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
484          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm0, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
485          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
486          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0          packssdw mm6, mm0               ; 0 free        ; y3 y2 y1 y0
487          pshufw  mm0, [eax+48+8],11011101b               ; x7 x5 x7 x5    pshufw mm0, [_ECX+48+8],11011101b  ; x7 x5 x7 x5
488          movq    [eax+32], mm6           ; 3     ; save y3 y2 y1 y0 stall2    movq [_ECX+32], mm6            ; 3     ; save y3 y2 y1 y0 stall2
489   ;      DCT_8_INV_ROW_1_s [eax+48], [eax+48], tab_i_35_sse, rounder_3  
490          movq    mm4, [tab_i_35_sse+8]   ; 4     ; w07 w06 w03 w02  ;   DCT_8_INV_ROW_1_s [_ECX+48], [_ECX+48], tab_i_35_xmm, rounder_3
491          movq    mm6, [tab_i_35_sse+32]  ; 6     ; w21 w20 w17 w16    movq mm4, [tab_i_35_xmm+8]    ; 4     ; w07 w06 w03 w02
492      movq mm6, [tab_i_35_xmm+32]   ; 6     ; w21 w20 w17 w16
493   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4   pshufw         mm7, mm7, 10110001b             ; y7 y6 y5 y4
494          paddd   mm3, [rounder_3]                ; +rounder stall 6          paddd   mm3, [rounder_3]                ; +rounder stall 6
495          paddd   mm5, [rounder_3]                ; +rounder          paddd   mm5, [rounder_3]                ; +rounder
496   movq   [eax+32+8], mm7                 ; 7     ; save y7 y6 y5 y4    movq [_ECX+32+8], mm7          ; 7     ; save y7 y6 y5 y4
497          movq    mm7, [tab_i_35_sse+40]  ; 7     ; w23 w22 w19 w18    movq mm7, [tab_i_35_xmm+40]   ; 7     ; w23 w22 w19 w18
498          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
499          pmaddwd mm1, [tab_i_35_sse+24]          ; x6*w15+x4*w14 x6*w11+x4*w10    pmaddwd mm1, [tab_i_35_xmm+24]; x6*w15+x4*w14 x6*w11+x4*w10
500          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
501          pmaddwd mm2, [tab_i_35_sse+48]          ; x3*w29+x1*w28 x3*w25+x1*w24    pmaddwd mm2, [tab_i_35_xmm+48]; x3*w29+x1*w28 x3*w25+x1*w24
502          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18          pmaddwd mm7, mm0                ; 7     ; x7*w23+x5*w22 x7*w19+x5*w18 ; w23 w22 w19 w18
503          pmaddwd mm0, [tab_i_35_sse+56]          ; x7*w31+x5*w30 x7*w27+x5*w26    pmaddwd mm0, [tab_i_35_xmm+56]; x7*w31+x5*w30 x7*w27+x5*w26
504          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4 free        ; a1=sum(even1) a0=sum(even0)
505          paddd   mm5, mm1                ; mm1 free      ; a3=sum(even3) a2=sum(even2)          paddd   mm5, mm1                ; mm1 free      ; a3=sum(even3) a2=sum(even2)
506                  movq    mm1, [tg_3_16]                  movq    mm1, [tg_3_16]
# Line 940  Line 513 
513          paddd   mm3, mm6                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0          paddd   mm3, mm6                ; mm3 = mm3+mm6+mm5+mm4; a1+b1 a0+b0
514          psubd   mm7, mm2                ; ; a3-b3 a2-b2          psubd   mm7, mm2                ; ; a3-b3 a2-b2
515          paddd   mm2, mm5                ; 0 free a3+b3 a2+b2          paddd   mm2, mm5                ; 0 free a3+b3 a2+b2
516                  movq    mm5, [eax+16*5]    movq mm5, [_ECX+16*5]
517          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0          psrad   mm4, SHIFT_INV_ROW              ; y6=a1-b1 y7=a0-b0
518          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2          psrad   mm7, SHIFT_INV_ROW              ; y4=a3-b3 y5=a2-b2
519          psrad   mm3, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0          psrad   mm3, SHIFT_INV_ROW              ; y1=a1+b1 y0=a0+b0
520          psrad   mm2, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2          psrad   mm2, SHIFT_INV_ROW              ; y3=a3+b3 y2=a2+b2
521                  movq    mm6, [eax+16*1]    movq mm6, [_ECX+16*1]
522          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
523                  movq    mm4, [tg_1_16]                  movq    mm4, [tg_1_16]
524          packssdw mm3, mm2               ; 0 free        ; y3 y2 y1 y0          packssdw mm3, mm2               ; 0 free        ; y3 y2 y1 y0
525          pshufw  mm2, mm7, 10110001b             ; y7 y6 y5 y4          pshufw  mm2, mm7, 10110001b             ; y7 y6 y5 y4
526   ;      DCT_8_INV_COL_4 [eax+0],[eax+0]  
527   ;      movq    mm3,mmword ptr [eax+16*3]  ;   DCT_8_INV_COL_4 [_ECX+0],[_ECX+0]
528          movq    mm7, [eax+16*7]  ;   movq    mm3,mmword ptr [_ECX+16*3]
529      movq mm7, [_ECX+16*7]
530          pmulhw  mm0, mm3                        ; x3*(tg_3_16-1)          pmulhw  mm0, mm3                        ; x3*(tg_3_16-1)
531          pmulhw  mm1, mm5                        ; x5*(tg_3_16-1)          pmulhw  mm1, mm5                        ; x5*(tg_3_16-1)
532   movq   [eax+48+8], mm2                 ; 7     ; save y7 y6 y5 y4    movq [_ECX+48+8], mm2      ; 7     ; save y7 y6 y5 y4
533          movq    mm2, mm4                        ; tg_1_16          movq    mm2, mm4                        ; tg_1_16
534          pmulhw  mm4, mm7                        ; x7*tg_1_16          pmulhw  mm4, mm7                        ; x7*tg_1_16
535          paddsw  mm0, mm3                        ; x3*tg_3_16          paddsw  mm0, mm3                        ; x3*tg_3_16
536          pmulhw  mm2, mm6                        ; x1*tg_1_16          pmulhw  mm2, mm6                        ; x1*tg_1_16
537          paddsw  mm1, mm3                        ; x3+x5*(tg_3_16-1)          paddsw  mm1, mm3                        ; x3+x5*(tg_3_16-1)
538          psubsw  mm0, mm5                        ; x3*tg_3_16-x5 = tm35          psubsw  mm0, mm5                        ; x3*tg_3_16-x5 = tm35
539   movq   [eax+48], mm3           ; 3     ; save y3 y2 y1 y0    movq [_ECX+48], mm3        ; 3     ; save y3 y2 y1 y0
540          movq    mm3, [ocos_4_16]          movq    mm3, [ocos_4_16]
541          paddsw  mm1, mm5                        ; x3+x5*tg_3_16 = tp35          paddsw  mm1, mm5                        ; x3+x5*tg_3_16 = tp35
542          paddsw  mm4, mm6                        ; x1+tg_1_16*x7 = tp17          paddsw  mm4, mm6                        ; x1+tg_1_16*x7 = tp17
# Line 975  Line 549 
549          paddsw  mm2, mm0                        ; tm17+tm35 = t2          paddsw  mm2, mm0                        ; tm17+tm35 = t2
550          movq    mm7, [tg_2_16]          movq    mm7, [tg_2_16]
551          movq    mm1, mm4                        ; t1          movq    mm1, mm4                        ; t1
552          movq    [eax+3*16], mm5 ; save b0    movq [_ECX+3*16], mm5      ; save b0
553          paddsw  mm1, mm2                        ; t1+t2          paddsw  mm1, mm2                        ; t1+t2
554          movq    [eax+5*16], mm6 ; save b3    movq [_ECX+5*16], mm6      ; save b3
555          psubsw  mm4, mm2                        ; t1-t2          psubsw  mm4, mm2                        ; t1-t2
556          movq    mm5, [eax+2*16]    movq mm5, [_ECX+2*16]
557          movq    mm0, mm7                        ; tg_2_16          movq    mm0, mm7                        ; tg_2_16
558          movq    mm6, [eax+6*16]    movq mm6, [_ECX+6*16]
559          pmulhw  mm0, mm5                        ; x2*tg_2_16          pmulhw  mm0, mm5                        ; x2*tg_2_16
560          pmulhw  mm7, mm6                        ; x6*tg_2_16          pmulhw  mm7, mm6                        ; x6*tg_2_16
561   ; slot   ; slot
562          pmulhw  mm1, mm3                        ; ocos_4_16*(t1+t2) = b1/2          pmulhw  mm1, mm3                        ; ocos_4_16*(t1+t2) = b1/2
563   ; slot   ; slot
564          movq    mm2, [eax+0*16]    movq mm2, [_ECX+0*16]
565          pmulhw  mm4, mm3                        ; ocos_4_16*(t1-t2) = b2/2          pmulhw  mm4, mm3                        ; ocos_4_16*(t1-t2) = b2/2
566          psubsw  mm0, mm6                        ; t2*tg_2_16-x6 = tm26          psubsw  mm0, mm6                        ; t2*tg_2_16-x6 = tm26
567          movq    mm3, [eax+0*16]                 ; x0    movq mm3, [_ECX+0*16]      ; x0
568          movq    mm6, [eax+4*16]    movq mm6, [_ECX+4*16]
569          paddsw  mm7, mm5                        ; x2+x6*tg_2_16 = tp26          paddsw  mm7, mm5                        ; x2+x6*tg_2_16 = tp26
570          paddsw  mm2, mm6                        ; x0+x4 = tp04          paddsw  mm2, mm6                        ; x0+x4 = tp04
571          psubsw  mm3, mm6                        ; x0-x4 = tm04          psubsw  mm3, mm6                        ; x0-x4 = tm04
# Line 1011  Line 585 
585          psubsw  mm7, mm1                        ; a1-b1          psubsw  mm7, mm1                        ; a1-b1
586          psraw   mm6, SHIFT_INV_COL              ; dst2          psraw   mm6, SHIFT_INV_COL              ; dst2
587          psubsw  mm0, mm4                        ; a2-b2          psubsw  mm0, mm4                        ; a2-b2
588          movq    mm1, [eax+3*16] ; load b0    movq mm1, [_ECX+3*16]      ; load b0
589          psraw   mm7, SHIFT_INV_COL              ; dst6          psraw   mm7, SHIFT_INV_COL              ; dst6
590          movq    mm4, mm5                        ; a0          movq    mm4, mm5                        ; a0
591          psraw   mm0, SHIFT_INV_COL              ; dst5          psraw   mm0, SHIFT_INV_COL              ; dst5
592          movq    [eax+1*16], mm3    movq [_ECX+1*16], mm3
593          paddsw  mm5, mm1                        ; a0+b0          paddsw  mm5, mm1                        ; a0+b0
594          movq    [eax+2*16], mm6    movq [_ECX+2*16], mm6
595          psubsw  mm4, mm1                        ; a0-b0          psubsw  mm4, mm1                        ; a0-b0
596          movq    mm3, [eax+5*16] ; load b3    movq mm3, [_ECX+5*16]      ; load b3
597          psraw   mm5, SHIFT_INV_COL              ; dst0          psraw   mm5, SHIFT_INV_COL              ; dst0
598          movq    mm6, mm2                        ; a3          movq    mm6, mm2                        ; a3
599          psraw   mm4, SHIFT_INV_COL              ; dst7          psraw   mm4, SHIFT_INV_COL              ; dst7
600          movq    [eax+5*16], mm0    movq [_ECX+5*16], mm0
601                  movq    mm0, [tg_3_16]                  movq    mm0, [tg_3_16]
602          paddsw  mm2, mm3                        ; a3+b3          paddsw  mm2, mm3                        ; a3+b3
603          movq    [eax+6*16], mm7    movq [_ECX+6*16], mm7
604          psubsw  mm6, mm3                        ; a3-b3          psubsw  mm6, mm3                        ; a3-b3
605                  movq    mm3, [eax+8+16*3]    movq mm3, [_ECX+8+16*3]
606          movq    [eax+0*16], mm5    movq [_ECX+0*16], mm5
607          psraw   mm2, SHIFT_INV_COL              ; dst3          psraw   mm2, SHIFT_INV_COL              ; dst3
608          movq    [eax+7*16], mm4    movq [_ECX+7*16], mm4
  ;      DCT_8_INV_COL_4 [eax+8],[eax+8]  
609    
610     ;  DCT_8_INV_COL_4 [_ECX+8],[_ECX+8]
611          movq    mm1, mm0                        ; tg_3_16          movq    mm1, mm0                        ; tg_3_16
612          movq    mm5, [eax+8+16*5]    movq mm5, [_ECX+8+16*5]
613   psraw  mm6, SHIFT_INV_COL              ; dst4   psraw  mm6, SHIFT_INV_COL              ; dst4
614          pmulhw  mm0, mm3                        ; x3*(tg_3_16-1)          pmulhw  mm0, mm3                        ; x3*(tg_3_16-1)
615          movq    mm4, [tg_1_16]          movq    mm4, [tg_1_16]
616          pmulhw  mm1, mm5                        ; x5*(tg_3_16-1)          pmulhw  mm1, mm5                        ; x5*(tg_3_16-1)
617          movq    mm7, [eax+8+16*7]    movq mm7, [_ECX+8+16*7]
618   movq   [eax+3*16], mm2    movq [_ECX+3*16], mm2
619          movq    mm2, mm4                        ; tg_1_16          movq    mm2, mm4                        ; tg_1_16
620   movq   [eax+4*16], mm6    movq [_ECX+4*16], mm6
621          movq    mm6, [eax+8+16*1]    movq mm6, [_ECX+8+16*1]
622          pmulhw  mm4, mm7                        ; x7*tg_1_16          pmulhw  mm4, mm7                        ; x7*tg_1_16
623          paddsw  mm0, mm3                        ; x3*tg_3_16          paddsw  mm0, mm3                        ; x3*tg_3_16
624          pmulhw  mm2, mm6                        ; x1*tg_1_16          pmulhw  mm2, mm6                        ; x1*tg_1_16
# Line 1062  Line 636 
636          movq    mm7, [tg_2_16]          movq    mm7, [tg_2_16]
637          movq    mm1, mm4                        ; t1          movq    mm1, mm4                        ; t1
638          psubsw  mm6, mm0                        ; tm17-tm35 = b3          psubsw  mm6, mm0                        ; tm17-tm35 = b3
639          movq    [eax+8+3*16], mm5       ; save b0    movq [_ECX+8+3*16], mm5    ; save b0
640          movq    [eax+8+5*16], mm6       ; save b3    movq [_ECX+8+5*16], mm6    ; save b3
641          psubsw  mm4, mm2                        ; t1-t2          psubsw  mm4, mm2                        ; t1-t2
642          movq    mm5, [eax+8+2*16]    movq mm5, [_ECX+8+2*16]
643          movq    mm0, mm7                        ; tg_2_16          movq    mm0, mm7                        ; tg_2_16
644          movq    mm6, [eax+8+6*16]    movq mm6, [_ECX+8+6*16]
645          paddsw  mm1, mm2                        ; t1+t2          paddsw  mm1, mm2                        ; t1+t2
646          pmulhw  mm0, mm5                        ; x2*tg_2_16          pmulhw  mm0, mm5                        ; x2*tg_2_16
647          pmulhw  mm7, mm6                        ; x6*tg_2_16          pmulhw  mm7, mm6                        ; x6*tg_2_16
648          movq    mm2, [eax+8+0*16]    movq mm2, [_ECX+8+0*16]
649          pmulhw  mm4, mm3                        ; ocos_4_16*(t1-t2) = b2/2          pmulhw  mm4, mm3                        ; ocos_4_16*(t1-t2) = b2/2
650          psubsw  mm0, mm6                        ; t2*tg_2_16-x6 = tm26          psubsw  mm0, mm6                        ; t2*tg_2_16-x6 = tm26
651   ; slot   ; slot
652          pmulhw  mm1, mm3                        ; ocos_4_16*(t1+t2) = b1/2          pmulhw  mm1, mm3                        ; ocos_4_16*(t1+t2) = b1/2
653   ; slot   ; slot
654          movq    mm3, [eax+8+0*16]                       ; x0    movq mm3, [_ECX+8+0*16]    ; x0
655          movq    mm6, [eax+8+4*16]    movq mm6, [_ECX+8+4*16]
656          paddsw  mm7, mm5                        ; x2+x6*tg_2_16 = tp26          paddsw  mm7, mm5                        ; x2+x6*tg_2_16 = tp26
657          paddsw  mm2, mm6                        ; x0+x4 = tp04          paddsw  mm2, mm6                        ; x0+x4 = tp04
658          psubsw  mm3, mm6                        ; x0-x4 = tm04          psubsw  mm3, mm6                        ; x0-x4 = tm04
# Line 1098  Line 672 
672          psubsw  mm7, mm1                        ; a1-b1          psubsw  mm7, mm1                        ; a1-b1
673          psraw   mm6, SHIFT_INV_COL              ; dst2          psraw   mm6, SHIFT_INV_COL              ; dst2
674          psubsw  mm0, mm4                        ; a2-b2          psubsw  mm0, mm4                        ; a2-b2
675          movq    mm1, [eax+8+3*16]       ; load b0    movq mm1, [_ECX+8+3*16]    ; load b0
676          psraw   mm7, SHIFT_INV_COL              ; dst6          psraw   mm7, SHIFT_INV_COL              ; dst6
677          movq    mm4, mm5                        ; a0          movq    mm4, mm5                        ; a0
678          psraw   mm0, SHIFT_INV_COL              ; dst5          psraw   mm0, SHIFT_INV_COL              ; dst5
679          movq    [eax+8+1*16], mm3    movq [_ECX+8+1*16], mm3
680          paddsw  mm5, mm1                        ; a0+b0          paddsw  mm5, mm1                        ; a0+b0
681          movq    [eax+8+2*16], mm6    movq [_ECX+8+2*16], mm6
682          psubsw  mm4, mm1                        ; a0-b0          psubsw  mm4, mm1                        ; a0-b0
683          movq    mm3, [eax+8+5*16]       ; load b3    movq mm3, [_ECX+8+5*16]    ; load b3
684          psraw   mm5, SHIFT_INV_COL              ; dst0          psraw   mm5, SHIFT_INV_COL              ; dst0
685          movq    mm6, mm2                        ; a3          movq    mm6, mm2                        ; a3
686          psraw   mm4, SHIFT_INV_COL              ; dst7          psraw   mm4, SHIFT_INV_COL              ; dst7
687          movq    [eax+8+5*16], mm0    movq [_ECX+8+5*16], mm0
688          paddsw  mm2, mm3                        ; a3+b3          paddsw  mm2, mm3                        ; a3+b3
689          movq    [eax+8+6*16], mm7    movq [_ECX+8+6*16], mm7
690          psubsw  mm6, mm3                        ; a3-b3          psubsw  mm6, mm3                        ; a3-b3
691          movq    [eax+8+0*16], mm5    movq [_ECX+8+0*16], mm5
692          psraw   mm2, SHIFT_INV_COL              ; dst3          psraw   mm2, SHIFT_INV_COL              ; dst3
693          movq    [eax+8+7*16], mm4    movq [_ECX+8+7*16], mm4
694          psraw   mm6, SHIFT_INV_COL              ; dst4          psraw   mm6, SHIFT_INV_COL              ; dst4
695          movq    [eax+8+3*16], mm2    movq [_ECX+8+3*16], mm2
696          movq    [eax+8+4*16], mm6    movq [_ECX+8+4*16], mm6
697    
698          ret          ret
699    ENDFUNC
700    
701    NON_EXEC_STACK
Legend:
Removed from v.1.1.2.1  
changed lines
  Added in v.1.11
No admin address has been configured
 ViewVC Help
Powered by ViewVC 1.0.4