[cvs] / xvidcore / src / dct / x86_asm / idct_mmx.asm Repository:
ViewVC logotype

Diff of /xvidcore/src/dct/x86_asm/idct_mmx.asm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.3, Fri Jun 14 13:06:33 2002 UTC revision 1.12, Tue Nov 11 20:46:24 2008 UTC
# Line 1  Line 1 
1    ;/****************************************************************************
2    ; *
3    ; *  XVID MPEG-4 VIDEO CODEC
4    ; *  - MMX and XMM forward discrete cosine transform -
5    ; *
6    ; *  Copyright(C) 2001 Peter Ross <pross@xvid.org>
7    ; *
8    ; *  This program is free software; you can redistribute it and/or modify it
9    ; *  under the terms of the GNU General Public License as published by
10    ; *  the Free Software Foundation; either version 2 of the License, or
11    ; *  (at your option) any later version.
12    ; *
13    ; *  This program is distributed in the hope that it will be useful,
14    ; *  but WITHOUT ANY WARRANTY; without even the implied warranty of
15    ; *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16    ; *  GNU General Public License for more details.
17    ; *
18    ; *  You should have received a copy of the GNU General Public License
19    ; *  along with this program; if not, write to the Free Software
20    ; *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
21    ; *
22    ; * $Id$
23    ; *
24    ; ***************************************************************************/
25    
26    ; ****************************************************************************
27    ;
28  ; Originally provided by Intel at AP-922  ; Originally provided by Intel at AP-922
29  ; http://developer.intel.com/vtune/cbts/strmsimd/922down.htm  ; http://developer.intel.com/vtune/cbts/strmsimd/922down.htm
30  ; (See more app notes at http://developer.intel.com/vtune/cbts/strmsimd/appnotes.htm)  ; (See more app notes at http://developer.intel.com/vtune/cbts/strmsimd/appnotes.htm)
# Line 5  Line 32 
32  ; New macro implements a column part for precise iDCT  ; New macro implements a column part for precise iDCT
33  ; The routine precision now satisfies IEEE standard 1180-1990.  ; The routine precision now satisfies IEEE standard 1180-1990.
34  ;  ;
35  ; Copyright (c) 2000-2001 Peter Gubanov <peter@elecard.net.ru>  ; Copyright(C) 2000-2001 Peter Gubanov <peter@elecard.net.ru>
36  ; Rounding trick Copyright (c) 2000 Michel Lespinasse <walken@zoy.org>  ; Rounding trick Copyright(C) 2000 Michel Lespinasse <walken@zoy.org>
37  ;  ;
38  ; http://www.elecard.com/peter/idct.html  ; http://www.elecard.com/peter/idct.html
39  ; http://www.linuxvideo.org/mpeg2dec/  ; http://www.linuxvideo.org/mpeg2dec/
40  ;  ;
41  ;=============================================================================  ; ***************************************************************************/
42  ;  ;
43  ; These examples contain code fragments for first stage iDCT 8x8  ; These examples contain code fragments for first stage iDCT 8x8
44  ; (for rows) and first stage DCT 8x8 (for columns)  ; (for rows) and first stage DCT 8x8 (for columns)
45  ;  ;
 ;=============================================================================  
 ;  
 ; 04.11.2001  nasm conversion; peter ross <pross@cs.rmit.edu.au>  
 ;  
46    
47  bits 32  BITS 32
48    
49    ;=============================================================================
50    ; Macros and other preprocessor constants
51    ;=============================================================================
52    
53  %macro cglobal 1  %macro cglobal 1
54          %ifdef PREFIX          %ifdef PREFIX
55                    %ifdef MARK_FUNCS
56                            global _%1:function %1.endfunc-%1
57                            %define %1 _%1:function %1.endfunc-%1
58                            %define ENDFUNC .endfunc
59                    %else
60                  global _%1                  global _%1
61                  %define %1 _%1                  %define %1 _%1
62                            %define ENDFUNC
63                    %endif
64            %else
65                    %ifdef MARK_FUNCS
66                            global %1:function %1.endfunc-%1
67                            %define ENDFUNC .endfunc
68          %else          %else
69                  global %1                  global %1
70                            %define ENDFUNC
71                    %endif
72          %endif          %endif
73  %endmacro  %endmacro
74    
# Line 44  Line 84 
84  %define SHIFT_FRW_ROW   BITS_FRW_ACC + 17  %define SHIFT_FRW_ROW   BITS_FRW_ACC + 17
85  %define RND_FRW_ROW     262144 * (BITS_FRW_ACC - 1)       ; 1 << (SHIFT_FRW_ROW-1)  %define RND_FRW_ROW     262144 * (BITS_FRW_ACC - 1)       ; 1 << (SHIFT_FRW_ROW-1)
86    
87    ;=============================================================================
88    ; Local Data (Read Only)
89    ;=============================================================================
90    
91  %ifdef FORMAT_COFF  %ifdef FORMAT_COFF
92  section .data data  SECTION .rodata
93  %else  %else
94  section .data data align=16  SECTION .rodata align=16
95  %endif  %endif
96    
97  align 16  ;-----------------------------------------------------------------------------
98    ; Various memory constants (trigonometric values or rounding values)
99  one_corr        dw            1,            1,            1,            1  ;-----------------------------------------------------------------------------
 round_inv_row   dd  RND_INV_ROW,  RND_INV_ROW  
 round_inv_col   dw  RND_INV_COL,  RND_INV_COL,  RND_INV_COL, RND_INV_COL  
 round_inv_corr  dw  RND_INV_CORR, RND_INV_CORR, RND_INV_CORR, RND_INV_CORR  
 round_frw_row   dd  RND_FRW_ROW,  RND_FRW_ROW  
   tg_1_16       dw  13036,  13036,  13036,  13036    ; tg * (2<<16) + 0.5  
   tg_2_16       dw  27146,  27146,  27146,  27146    ; tg * (2<<16) + 0.5  
   tg_3_16       dw -21746, -21746, -21746, -21746    ; tg * (2<<16) + 0.5  
  cos_4_16       dw -19195, -19195, -19195, -19195    ; cos * (2<<16) + 0.5  
 ocos_4_16       dw  23170,  23170,  23170,  23170    ; cos * (2<<15) + 0.5  
100    
101   otg_3_16       dw  21895, 21895, 21895, 21895       ; tg * (2<<16) + 0.5  ALIGN 16
102    one_corr:
103      dw 1, 1, 1, 1
104    round_inv_row:
105      dd RND_INV_ROW,  RND_INV_ROW
106    round_inv_col:
107      dw RND_INV_COL,  RND_INV_COL,  RND_INV_COL, RND_INV_COL
108    round_inv_corr:
109      dw RND_INV_CORR, RND_INV_CORR, RND_INV_CORR, RND_INV_CORR
110    round_frw_row:
111      dd RND_FRW_ROW,  RND_FRW_ROW
112    tg_1_16:
113      dw 13036,  13036,  13036,  13036    ; tg * (2<<16) + 0.5
114    tg_2_16:
115      dw 27146,  27146,  27146,  27146    ; tg * (2<<16) + 0.5
116    tg_3_16:
117      dw -21746, -21746, -21746, -21746    ; tg * (2<<16) + 0.5
118    cos_4_16:
119      dw -19195, -19195, -19195, -19195    ; cos * (2<<16) + 0.5
120    ocos_4_16:
121      dw 23170,  23170,  23170,  23170    ; cos * (2<<15) + 0.5
122    otg_3_16:
123      dw 21895, 21895, 21895, 21895       ; tg * (2<<16) + 0.5
124    
125  %if SHIFT_INV_ROW == 12   ; assume SHIFT_INV_ROW == 12  %if SHIFT_INV_ROW == 12   ; assume SHIFT_INV_ROW == 12
126  rounder_0      dd  65536, 65536  rounder_0:
127  rounder_4      dd      0,     0    dd 65536, 65536
128  rounder_1      dd   7195,  7195  rounder_4:
129  rounder_7      dd   1024,  1024    dd 0, 0
130  rounder_2      dd   4520,  4520  rounder_1:
131  rounder_6      dd   1024,  1024    dd 7195, 7195
132  rounder_3      dd   2407,  2407  rounder_7
133  rounder_5      dd    240,   240    dd 1024, 1024
134    rounder_2:
135      dd 4520, 4520
136    rounder_6:
137      dd 1024, 1024
138    rounder_3:
139      dd 2407, 2407
140    rounder_5:
141      dd 240, 240
142    
143  %elif SHIFT_INV_ROW == 11   ; assume SHIFT_INV_ROW == 11  %elif SHIFT_INV_ROW == 11   ; assume SHIFT_INV_ROW == 11
144  rounder_0      dd  65536, 65536  rounder_0:
145  rounder_4      dd      0,     0    dd 65536, 65536
146  rounder_1      dd   3597,  3597  rounder_4:
147  rounder_7      dd    512,   512    dd 0, 0
148  rounder_2      dd   2260,  2260  rounder_1:
149  rounder_6      dd    512,   512    dd 3597, 3597
150  rounder_3      dd   1203,  1203  rounder_7:
151  rounder_5      dd    120,   120    dd 512, 512
152    rounder_2:
153      dd 2260, 2260
154    rounder_6:
155      dd 512, 512
156    rounder_3:
157      dd 1203, 1203
158    rounder_5:
159      dd 120, 120
160  %else  %else
161    
162  %error invalid _SHIFT_INV_ROW_  %error invalid SHIFT_INV_ROW
163    
164  %endif  %endif
165    
166  ;=============================================================================  ;-----------------------------------------------------------------------------
167  ;  ;
168  ; The first stage iDCT 8x8 - inverse DCTs of rows  ; The first stage iDCT 8x8 - inverse DCTs of rows
169  ;  ;
# Line 143  Line 216 
216  ; For the constants used,  ; For the constants used,
217  ;       FIX(float_const) = (short) (float_const * (1<<15) + 0.5)  ;       FIX(float_const) = (short) (float_const * (1<<15) + 0.5)
218  ;  ;
219  ;=============================================================================  ;-----------------------------------------------------------------------------
220    
221  ;=============================================================================  ;-----------------------------------------------------------------------------
222  ; MMX code  ; Tables for mmx processors
223  ;=============================================================================  ;-----------------------------------------------------------------------------
224    
225  ; Table for rows 0,4 - constants are multiplied by cos_4_16  ; Table for rows 0,4 - constants are multiplied by cos_4_16
226    tab_i_04_mmx:
227  tab_i_04        dw  16384,  16384,  16384, -16384    ; movq-> w06 w04 w02 w00    dw  16384,  16384,  16384, -16384    ; movq-> w06 w04 w02 w00
228                  dw  21407,   8867,   8867, -21407    ; w07 w05 w03 w01                  dw  21407,   8867,   8867, -21407    ; w07 w05 w03 w01
229                  dw  16384, -16384,  16384,  16384    ; w14 w12 w10 w08                  dw  16384, -16384,  16384,  16384    ; w14 w12 w10 w08
230                  dw  -8867,  21407, -21407,  -8867    ; w15 w13 w11 w09                  dw  -8867,  21407, -21407,  -8867    ; w15 w13 w11 w09
# Line 161  Line 234 
234                  dw -22725,  19266, -12873, -22725    ; w31 w29 w27 w25                  dw -22725,  19266, -12873, -22725    ; w31 w29 w27 w25
235    
236  ; Table for rows 1,7 - constants are multiplied by cos_1_16  ; Table for rows 1,7 - constants are multiplied by cos_1_16
237    tab_i_17_mmx:
238  tab_i_17        dw  22725,  22725,  22725, -22725    ; movq-> w06 w04 w02 w00    dw  22725,  22725,  22725, -22725    ; movq-> w06 w04 w02 w00
239                  dw  29692,  12299,  12299, -29692    ; w07 w05 w03 w01                  dw  29692,  12299,  12299, -29692    ; w07 w05 w03 w01
240                  dw  22725, -22725,  22725,  22725    ; w14 w12 w10 w08                  dw  22725, -22725,  22725,  22725    ; w14 w12 w10 w08
241                  dw -12299,  29692, -29692, -12299    ; w15 w13 w11 w09                  dw -12299,  29692, -29692, -12299    ; w15 w13 w11 w09
# Line 172  Line 245 
245                  dw -31521,  26722, -17855, -31521    ; w31 w29 w27 w25                  dw -31521,  26722, -17855, -31521    ; w31 w29 w27 w25
246    
247  ; Table for rows 2,6 - constants are multiplied by cos_2_16  ; Table for rows 2,6 - constants are multiplied by cos_2_16
248    tab_i_26_mmx:
249  tab_i_26        dw  21407,  21407,  21407, -21407    ; movq-> w06 w04 w02 w00    dw  21407,  21407,  21407, -21407    ; movq-> w06 w04 w02 w00
250                  dw  27969,  11585,  11585, -27969    ; w07 w05 w03 w01                  dw  27969,  11585,  11585, -27969    ; w07 w05 w03 w01
251                  dw  21407, -21407,  21407,  21407    ; w14 w12 w10 w08                  dw  21407, -21407,  21407,  21407    ; w14 w12 w10 w08
252                  dw -11585,  27969, -27969, -11585    ; w15 w13 w11 w09                  dw -11585,  27969, -27969, -11585    ; w15 w13 w11 w09
# Line 183  Line 256 
256                  dw -29692,  25172, -16819, -29692    ; w31 w29 w27 w25                  dw -29692,  25172, -16819, -29692    ; w31 w29 w27 w25
257    
258  ; Table for rows 3,5 - constants are multiplied by cos_3_16  ; Table for rows 3,5 - constants are multiplied by cos_3_16
259    tab_i_35_mmx:
260  tab_i_35        dw  19266,  19266,  19266, -19266    ; movq-> w06 w04 w02 w00    dw  19266,  19266,  19266, -19266    ; movq-> w06 w04 w02 w00
261                  dw  25172,  10426,  10426, -25172    ; w07 w05 w03 w01                  dw  25172,  10426,  10426, -25172    ; w07 w05 w03 w01
262                  dw  19266, -19266,  19266,  19266    ; w14 w12 w10 w08                  dw  19266, -19266,  19266,  19266    ; w14 w12 w10 w08
263                  dw -10426,  25172, -25172, -10426    ; w15 w13 w11 w09                  dw -10426,  25172, -25172, -10426    ; w15 w13 w11 w09
# Line 194  Line 267 
267                  dw -26722,  22654, -15137, -26722    ; w31 w29 w27 w25                  dw -26722,  22654, -15137, -26722    ; w31 w29 w27 w25
268    
269  ;-----------------------------------------------------------------------------  ;-----------------------------------------------------------------------------
270    ; Tables for xmm processors
271    ;-----------------------------------------------------------------------------
272    
273  ;  ; %3 for rows 0,4 - constants are multiplied by cos_4_16
274  ; DCT_8_INV_ROW_1  INP, OUT, TABLE, ROUNDER  tab_i_04_xmm:
275  ;    dw  16384,  21407,  16384,   8867 ; movq-> w05 w04 w01 w00
276      dw  16384,   8867, -16384, -21407 ; w07 w06 w03 w02
277      dw  16384,  -8867,  16384, -21407 ; w13 w12 w09 w08
278      dw -16384,  21407,  16384,  -8867 ; w15 w14 w11 w10
279      dw  22725,  19266,  19266,  -4520 ; w21 w20 w17 w16
280      dw  12873,   4520, -22725, -12873 ; w23 w22 w19 w18
281      dw  12873, -22725,   4520, -12873 ; w29 w28 w25 w24
282      dw   4520,  19266,  19266, -22725 ; w31 w30 w27 w26
283    
284  %macro  DCT_8_INV_ROW_1         4  ; %3 for rows 1,7 - constants are multiplied by cos_1_16
285    tab_i_17_xmm:
286      dw  22725,  29692,  22725,  12299 ; movq-> w05 w04 w01 w00
287      dw  22725,  12299, -22725, -29692 ; w07 w06 w03 w02
288      dw  22725, -12299,  22725, -29692 ; w13 w12 w09 w08
289      dw -22725,  29692,  22725, -12299 ; w15 w14 w11 w10
290      dw  31521,  26722,  26722,  -6270 ; w21 w20 w17 w16
291      dw  17855,   6270, -31521, -17855 ; w23 w22 w19 w18
292      dw  17855, -31521,   6270, -17855 ; w29 w28 w25 w24
293      dw   6270,  26722,  26722, -31521 ; w31 w30 w27 w26
294    
295          movq mm0, [%1]            ; 0     ; x3 x2 x1 x0  ; %3 for rows 2,6 - constants are multiplied by cos_2_16
296    tab_i_26_xmm:
297      dw  21407,  27969,  21407,  11585 ; movq-> w05 w04 w01 w00
298      dw  21407,  11585, -21407, -27969 ; w07 w06 w03 w02
299      dw  21407, -11585,  21407, -27969 ; w13 w12 w09 w08
300      dw -21407,  27969,  21407, -11585 ; w15 w14 w11 w10
301      dw  29692,  25172,  25172,  -5906 ; w21 w20 w17 w16
302      dw  16819,   5906, -29692, -16819 ; w23 w22 w19 w18
303      dw  16819, -29692,   5906, -16819 ; w29 w28 w25 w24
304      dw   5906,  25172,  25172, -29692 ; w31 w30 w27 w26
305    
306    ; %3 for rows 3,5 - constants are multiplied by cos_3_16
307    tab_i_35_xmm:
308      dw  19266,  25172,  19266,  10426 ; movq-> w05 w04 w01 w00
309      dw  19266,  10426, -19266, -25172 ; w07 w06 w03 w02
310      dw  19266, -10426,  19266, -25172 ; w13 w12 w09 w08
311      dw -19266,  25172,  19266, -10426 ; w15 w14 w11 w10
312      dw  26722,  22654,  22654,  -5315 ; w21 w20 w17 w16
313      dw  15137,   5315, -26722, -15137 ; w23 w22 w19 w18
314      dw  15137, -26722,   5315, -15137 ; w29 w28 w25 w24
315      dw   5315,  22654,  22654, -26722 ; w31 w30 w27 w26
316    
317    ;=============================================================================
318    ; Helper macros for the code
319    ;=============================================================================
320    
321    ;-----------------------------------------------------------------------------
322    ; DCT_8_INV_ROW_MMX  INP, OUT, TABLE, ROUNDER
323    ;-----------------------------------------------------------------------------
324    
325    %macro DCT_8_INV_ROW_MMX 4
326      movq mm0, [%1]            ; 0 ; x3 x2 x1 x0
327          movq mm1, [%1+8]          ; 1     ; x7 x6 x5 x4          movq mm1, [%1+8]          ; 1     ; x7 x6 x5 x4
328          movq mm2, mm0                   ; 2     ; x3 x2 x1 x0          movq mm2, mm0                   ; 2     ; x3 x2 x1 x0
   
329          movq mm3, [%3]          ; 3     ; w06 w04 w02 w00          movq mm3, [%3]          ; 3     ; w06 w04 w02 w00
330          punpcklwd mm0, mm1                      ; x5 x1 x4 x0          punpcklwd mm0, mm1                      ; x5 x1 x4 x0
   
331          movq mm5, mm0                   ; 5     ; x5 x1 x4 x0          movq mm5, mm0                   ; 5     ; x5 x1 x4 x0
332          punpckldq mm0, mm0                      ; x4 x0 x4 x0          punpckldq mm0, mm0                      ; x4 x0 x4 x0
   
333          movq mm4, [%3+8]        ; 4     ; w07 w05 w03 w01          movq mm4, [%3+8]        ; 4     ; w07 w05 w03 w01
334          punpckhwd mm2, mm1              ; 1     ; x7 x3 x6 x2          punpckhwd mm2, mm1              ; 1     ; x7 x3 x6 x2
   
335          pmaddwd mm3, mm0                        ; x4*w06+x0*w04 x4*w02+x0*w00          pmaddwd mm3, mm0                        ; x4*w06+x0*w04 x4*w02+x0*w00
336          movq mm6, mm2                   ; 6     ; x7 x3 x6 x2          movq mm6, mm2                   ; 6     ; x7 x3 x6 x2
   
337          movq mm1, [%3+32]       ; 1     ; w22 w20 w18 w16          movq mm1, [%3+32]       ; 1     ; w22 w20 w18 w16
338          punpckldq mm2, mm2                      ; x6 x2 x6 x2          punpckldq mm2, mm2                      ; x6 x2 x6 x2
   
339          pmaddwd mm4, mm2                        ; x6*w07+x2*w05 x6*w03+x2*w01          pmaddwd mm4, mm2                        ; x6*w07+x2*w05 x6*w03+x2*w01
340          punpckhdq mm5, mm5                      ; x5 x1 x5 x1          punpckhdq mm5, mm5                      ; x5 x1 x5 x1
   
341          pmaddwd mm0, [%3+16]            ; x4*w14+x0*w12 x4*w10+x0*w08          pmaddwd mm0, [%3+16]            ; x4*w14+x0*w12 x4*w10+x0*w08
342          punpckhdq mm6, mm6                      ; x7 x3 x7 x3          punpckhdq mm6, mm6                      ; x7 x3 x7 x3
   
343          movq mm7, [%3+40]       ; 7     ; w23 w21 w19 w17          movq mm7, [%3+40]       ; 7     ; w23 w21 w19 w17
344          pmaddwd mm1, mm5                        ; x5*w22+x1*w20 x5*w18+x1*w16          pmaddwd mm1, mm5                        ; x5*w22+x1*w20 x5*w18+x1*w16
   
345          paddd mm3, [%4]               ; +%4          paddd mm3, [%4]               ; +%4
346          pmaddwd mm7, mm6                        ; x7*w23+x3*w21 x7*w19+x3*w17          pmaddwd mm7, mm6                        ; x7*w23+x3*w21 x7*w19+x3*w17
   
347          pmaddwd mm2, [%3+24]            ; x6*w15+x2*w13 x6*w11+x2*w09          pmaddwd mm2, [%3+24]            ; x6*w15+x2*w13 x6*w11+x2*w09
348          paddd mm3, mm4                  ; 4     ; a1=sum(even1) a0=sum(even0)          paddd mm3, mm4                  ; 4     ; a1=sum(even1) a0=sum(even0)
   
349          pmaddwd mm5, [%3+48]            ; x5*w30+x1*w28 x5*w26+x1*w24          pmaddwd mm5, [%3+48]            ; x5*w30+x1*w28 x5*w26+x1*w24
350          movq mm4, mm3                   ; 4     ; a1 a0          movq mm4, mm3                   ; 4     ; a1 a0
   
351          pmaddwd mm6, [%3+56]            ; x7*w31+x3*w29 x7*w27+x3*w25          pmaddwd mm6, [%3+56]            ; x7*w31+x3*w29 x7*w27+x3*w25
352          paddd mm1, mm7                  ; 7     ; b1=sum(odd1) b0=sum(odd0)          paddd mm1, mm7                  ; 7     ; b1=sum(odd1) b0=sum(odd0)
   
353          paddd mm0, [%4]               ; +%4          paddd mm0, [%4]               ; +%4
354          psubd mm3, mm1                          ; a1-b1 a0-b0          psubd mm3, mm1                          ; a1-b1 a0-b0
   
355          psrad mm3, SHIFT_INV_ROW                ; y6=a1-b1 y7=a0-b0          psrad mm3, SHIFT_INV_ROW                ; y6=a1-b1 y7=a0-b0
356          paddd mm1, mm4                  ; 4     ; a1+b1 a0+b0          paddd mm1, mm4                  ; 4     ; a1+b1 a0+b0
   
357          paddd mm0, mm2                  ; 2     ; a3=sum(even3) a2=sum(even2)          paddd mm0, mm2                  ; 2     ; a3=sum(even3) a2=sum(even2)
358          psrad mm1, SHIFT_INV_ROW                ; y1=a1+b1 y0=a0+b0          psrad mm1, SHIFT_INV_ROW                ; y1=a1+b1 y0=a0+b0
   
359          paddd mm5, mm6                  ; 6     ; b3=sum(odd3) b2=sum(odd2)          paddd mm5, mm6                  ; 6     ; b3=sum(odd3) b2=sum(odd2)
360          movq mm4, mm0                   ; 4     ; a3 a2          movq mm4, mm0                   ; 4     ; a3 a2
   
361          paddd mm0, mm5                          ; a3+b3 a2+b2          paddd mm0, mm5                          ; a3+b3 a2+b2
362          psubd mm4, mm5                  ; 5     ; a3-b3 a2-b2          psubd mm4, mm5                  ; 5     ; a3-b3 a2-b2
   
363          psrad mm0, SHIFT_INV_ROW                ; y3=a3+b3 y2=a2+b2          psrad mm0, SHIFT_INV_ROW                ; y3=a3+b3 y2=a2+b2
364          psrad mm4, SHIFT_INV_ROW                ; y4=a3-b3 y5=a2-b2          psrad mm4, SHIFT_INV_ROW                ; y4=a3-b3 y5=a2-b2
   
365          packssdw mm1, mm0               ; 0     ; y3 y2 y1 y0          packssdw mm1, mm0               ; 0     ; y3 y2 y1 y0
366          packssdw mm4, mm3               ; 3     ; y6 y7 y4 y5          packssdw mm4, mm3               ; 3     ; y6 y7 y4 y5
   
367          movq mm7, mm4                   ; 7     ; y6 y7 y4 y5          movq mm7, mm4                   ; 7     ; y6 y7 y4 y5
368          psrld mm4, 16                           ; 0 y6 0 y4          psrld mm4, 16                           ; 0 y6 0 y4
   
369          pslld mm7, 16                           ; y7 0 y5 0          pslld mm7, 16                           ; y7 0 y5 0
370          movq [%2], mm1            ; 1     ; save y3 y2 y1 y0          movq [%2], mm1            ; 1     ; save y3 y2 y1 y0
   
371          por mm7, mm4                    ; 4     ; y7 y6 y5 y4          por mm7, mm4                    ; 4     ; y7 y6 y5 y4
372          movq [%2+8], mm7          ; 7     ; save y7 y6 y5 y4          movq [%2+8], mm7          ; 7     ; save y7 y6 y5 y4
373  %endmacro  %endmacro
374    
375    ;-----------------------------------------------------------------------------
376    ; DCT_8_INV_ROW_XMM  INP, OUT, TABLE, ROUNDER
   
 ;=============================================================================  
 ; code for Pentium III  
 ;=============================================================================  
   
 ; %3 for rows 0,4 - constants are multiplied by cos_4_16  
   
 tab_i_04_sse    dw 16384, 21407, 16384, 8867 ; movq-> w05 w04 w01 w00  
                 dw 16384, 8867, -16384, -21407 ; w07 w06 w03 w02  
                 dw 16384, -8867, 16384, -21407 ; w13 w12 w09 w08  
                 dw -16384, 21407, 16384, -8867 ; w15 w14 w11 w10  
                 dw 22725, 19266, 19266, -4520 ; w21 w20 w17 w16  
                 dw 12873, 4520, -22725, -12873 ; w23 w22 w19 w18  
                 dw 12873, -22725, 4520, -12873 ; w29 w28 w25 w24  
                 dw 4520, 19266, 19266, -22725 ; w31 w30 w27 w26  
   
 ; %3 for rows 1,7 - constants are multiplied by cos_1_16  
   
 tab_i_17_sse    dw 22725, 29692, 22725, 12299 ; movq-> w05 w04 w01 w00  
                 dw 22725, 12299, -22725, -29692 ; w07 w06 w03 w02  
                 dw 22725, -12299, 22725, -29692 ; w13 w12 w09 w08  
                 dw -22725, 29692, 22725, -12299 ; w15 w14 w11 w10  
                 dw 31521, 26722, 26722, -6270 ; w21 w20 w17 w16  
                 dw 17855, 6270, -31521, -17855 ; w23 w22 w19 w18  
                 dw 17855, -31521, 6270, -17855 ; w29 w28 w25 w24  
                 dw 6270, 26722, 26722, -31521 ; w31 w30 w27 w26  
   
 ; %3 for rows 2,6 - constants are multiplied by cos_2_16  
   
 tab_i_26_sse    dw 21407, 27969, 21407, 11585 ; movq-> w05 w04 w01 w00  
                 dw 21407, 11585, -21407, -27969 ; w07 w06 w03 w02  
                 dw 21407, -11585, 21407, -27969 ; w13 w12 w09 w08  
                 dw -21407, 27969, 21407, -11585 ; w15 w14 w11 w10  
                 dw 29692, 25172, 25172, -5906 ; w21 w20 w17 w16  
                 dw 16819, 5906, -29692, -16819 ; w23 w22 w19 w18  
                 dw 16819, -29692, 5906, -16819 ; w29 w28 w25 w24  
                 dw 5906, 25172, 25172, -29692 ; w31 w30 w27 w26  
   
 ; %3 for rows 3,5 - constants are multiplied by cos_3_16  
   
 tab_i_35_sse    dw 19266, 25172, 19266, 10426 ; movq-> w05 w04 w01 w00  
                 dw 19266, 10426, -19266, -25172 ; w07 w06 w03 w02  
                 dw 19266, -10426, 19266, -25172 ; w13 w12 w09 w08  
                 dw -19266, 25172, 19266, -10426 ; w15 w14 w11 w10  
                 dw 26722, 22654, 22654, -5315 ; w21 w20 w17 w16  
                 dw 15137, 5315, -26722, -15137 ; w23 w22 w19 w18  
                 dw 15137, -26722, 5315, -15137 ; w29 w28 w25 w24  
                 dw 5315, 22654, 22654, -26722 ; w31 w30 w27 w26  
   
377  ;-----------------------------------------------------------------------------  ;-----------------------------------------------------------------------------
378    
379  ;  %macro DCT_8_INV_ROW_XMM 4
 ; DCT_8_INV_ROW_1_sse  INP, OUT, TABLE, ROUNDER  
 ;  
   
 %macro DCT_8_INV_ROW_1_sse  4  
   
380          movq    mm0, [%1]         ; 0     ; x3 x2 x1 x0          movq    mm0, [%1]         ; 0     ; x3 x2 x1 x0
   
381          movq    mm1, [%1+8]       ; 1     ; x7 x6 x5 x4          movq    mm1, [%1+8]       ; 1     ; x7 x6 x5 x4
382          movq    mm2, mm0                ; 2     ; x3 x2 x1 x0          movq    mm2, mm0                ; 2     ; x3 x2 x1 x0
   
383          movq    mm3, [%3]       ; 3     ; w05 w04 w01 w00          movq    mm3, [%3]       ; 3     ; w05 w04 w01 w00
384          pshufw  mm0, mm0, 10001000b     ; x2 x0 x2 x0          pshufw  mm0, mm0, 10001000b     ; x2 x0 x2 x0
   
385          movq    mm4, [%3+8]     ; 4     ; w07 w06 w03 w02          movq    mm4, [%3+8]     ; 4     ; w07 w06 w03 w02
386          movq    mm5, mm1                ; 5     ; x7 x6 x5 x4          movq    mm5, mm1                ; 5     ; x7 x6 x5 x4
387          pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00          pmaddwd mm3, mm0                ; x2*w05+x0*w04 x2*w01+x0*w00
   
388          movq    mm6, [%3+32]    ; 6     ; w21 w20 w17 w16          movq    mm6, [%3+32]    ; 6     ; w21 w20 w17 w16
389          pshufw  mm1, mm1, 10001000b             ; x6 x4 x6 x4          pshufw  mm1, mm1, 10001000b             ; x6 x4 x6 x4
390          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02          pmaddwd mm4, mm1                        ; x6*w07+x4*w06 x6*w03+x4*w02
   
391          movq    mm7, [%3+40]    ; 7     ; w23 w22 w19 w18          movq    mm7, [%3+40]    ; 7     ; w23 w22 w19 w18
392          pshufw  mm2, mm2, 11011101b             ; x3 x1 x3 x1          pshufw  mm2, mm2, 11011101b             ; x3 x1 x3 x1
393          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16          pmaddwd mm6, mm2                        ; x3*w21+x1*w20 x3*w17+x1*w16
   
394          pshufw  mm5, mm5, 11011101b             ; x7 x5 x7 x5          pshufw  mm5, mm5, 11011101b             ; x7 x5 x7 x5
395          pmaddwd mm7, mm5                        ; x7*w23+x5*w22 x7*w19+x5*w18          pmaddwd mm7, mm5                        ; x7*w23+x5*w22 x7*w19+x5*w18
   
396          paddd   mm3, [%4]             ; +%4          paddd   mm3, [%4]             ; +%4
   
397          pmaddwd mm0, [%3+16]            ; x2*w13+x0*w12 x2*w09+x0*w08          pmaddwd mm0, [%3+16]            ; x2*w13+x0*w12 x2*w09+x0*w08
398          paddd   mm3, mm4                ; 4     ; a1=sum(even1) a0=sum(even0)          paddd   mm3, mm4                ; 4     ; a1=sum(even1) a0=sum(even0)
   
399          pmaddwd mm1, [%3+24]            ; x6*w15+x4*w14 x6*w11+x4*w10          pmaddwd mm1, [%3+24]            ; x6*w15+x4*w14 x6*w11+x4*w10
400          movq    mm4, mm3                ; 4     ; a1 a0          movq    mm4, mm3                ; 4     ; a1 a0
   
401          pmaddwd mm2, [%3+48]            ; x3*w29+x1*w28 x3*w25+x1*w24          pmaddwd mm2, [%3+48]            ; x3*w29+x1*w28 x3*w25+x1*w24
402          paddd   mm6, mm7                ; 7     ; b1=sum(odd1) b0=sum(odd0)          paddd   mm6, mm7                ; 7     ; b1=sum(odd1) b0=sum(odd0)
   
403          pmaddwd mm5, [%3+56]            ; x7*w31+x5*w30 x7*w27+x5*w26          pmaddwd mm5, [%3+56]            ; x7*w31+x5*w30 x7*w27+x5*w26
404          paddd mm3, mm6                          ; a1+b1 a0+b0          paddd mm3, mm6                          ; a1+b1 a0+b0
   
405          paddd mm0, [%4]               ; +%4          paddd mm0, [%4]               ; +%4
406          psrad mm3, SHIFT_INV_ROW                ; y1=a1+b1 y0=a0+b0          psrad mm3, SHIFT_INV_ROW                ; y1=a1+b1 y0=a0+b0
   
407          paddd mm0, mm1                  ; 1     ; a3=sum(even3) a2=sum(even2)          paddd mm0, mm1                  ; 1     ; a3=sum(even3) a2=sum(even2)
408          psubd mm4, mm6                  ; 6     ; a1-b1 a0-b0          psubd mm4, mm6                  ; 6     ; a1-b1 a0-b0
   
409          movq mm7, mm0                   ; 7     ; a3 a2          movq mm7, mm0                   ; 7     ; a3 a2
410          paddd mm2, mm5                  ; 5     ; b3=sum(odd3) b2=sum(odd2)          paddd mm2, mm5                  ; 5     ; b3=sum(odd3) b2=sum(odd2)
   
411          paddd mm0, mm2                          ; a3+b3 a2+b2          paddd mm0, mm2                          ; a3+b3 a2+b2
412          psrad mm4, SHIFT_INV_ROW                ; y6=a1-b1 y7=a0-b0          psrad mm4, SHIFT_INV_ROW                ; y6=a1-b1 y7=a0-b0
   
413          psubd mm7, mm2                  ; 2     ; a3-b3 a2-b2          psubd mm7, mm2                  ; 2     ; a3-b3 a2-b2
414          psrad mm0, SHIFT_INV_ROW                ; y3=a3+b3 y2=a2+b2          psrad mm0, SHIFT_INV_ROW                ; y3=a3+b3 y2=a2+b2
   
415          psrad mm7, SHIFT_INV_ROW                ; y4=a3-b3 y5=a2-b2          psrad mm7, SHIFT_INV_ROW                ; y4=a3-b3 y5=a2-b2
   
416          packssdw mm3, mm0               ; 0     ; y3 y2 y1 y0          packssdw mm3, mm0               ; 0     ; y3 y2 y1 y0
   
417          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5          packssdw mm7, mm4               ; 4     ; y6 y7 y4 y5
   
418          movq [%2], mm3            ; 3     ; save y3 y2 y1 y0          movq [%2], mm3            ; 3     ; save y3 y2 y1 y0
419          pshufw mm7, mm7, 10110001b              ; y7 y6 y5 y4          pshufw mm7, mm7, 10110001b              ; y7 y6 y5 y4
   
420          movq [%2+8], mm7          ; 7     ; save y7 y6 y5 y4          movq [%2+8], mm7          ; 7     ; save y7 y6 y5 y4
   
421  %endmacro  %endmacro
422    
423    ;-----------------------------------------------------------------------------
 ;=============================================================================  
 ;  
 ;=============================================================================  
   
 ;=============================================================================  
424  ;  ;
425  ; The first stage DCT 8x8 - forward DCTs of columns  ; The first stage DCT 8x8 - forward DCTs of columns
426  ;  ;
# Line 459  Line 477 
477  ; y[3] = tm765 - tm465 * tg_3_16;  ; y[3] = tm765 - tm465 * tg_3_16;
478  ;}  ;}
479  ;  ;
480  ;=============================================================================  ;-----------------------------------------------------------------------------
   
   
 ;  
 ; DCT_8_FRW_COL_4      INP, OUT  
 ;  
   
 %macro DCT_8_FRW_COL_4          2  
   
         LOCAL x0, x1, x2, x3, x4, x5, x6, x7  
         LOCAL y0, y1, y2, y3, y4, y5, y6, y7  
         x0 equ [%1 + 0*16]  
         x1 equ [%1 + 1*16]  
         x2 equ [%1 + 2*16]  
         x3 equ [%1 + 3*16]  
         x4 equ [%1 + 4*16]  
         x5 equ [%1 + 5*16]  
         x6 equ [%1 + 6*16]  
         x7 equ [%1 + 7*16]  
         y0 equ [%2 + 0*16]  
         y1 equ [%2 + 1*16]  
         y2 equ [%2 + 2*16]  
         y3 equ [%2 + 3*16]  
         y4 equ [%2 + 4*16]  
         y5 equ [%2 + 5*16]  
         y6 equ [%2 + 6*16]  
         y7 equ [%2 + 7*16]  
         movq mm0, x1 ; 0 ; x1  
         movq mm1, x6 ; 1 ; x6  
         movq mm2, mm0 ; 2 ; x1  
         movq mm3, x2 ; 3 ; x2  
         paddsw mm0, mm1 ; t1 = x[1] + x[6]  
         movq mm4, x5 ; 4 ; x5  
         psllw mm0, SHIFT_FRW_COL ; t1  
         movq mm5, x0 ; 5 ; x0  
         paddsw mm4, mm3 ; t2 = x[2] + x[5]  
         paddsw mm5, x7 ; t0 = x[0] + x[7]  
         psllw mm4, SHIFT_FRW_COL ; t2  
         movq mm6, mm0 ; 6 ; t1  
         psubsw mm2, mm1 ; 1 ; t6 = x[1] - x[6]  
         movq mm1, [tg_2_16] ; 1 ; tg_2_16  
         psubsw mm0, mm4 ; tm12 = t1 - t2  
         movq mm7, x3 ; 7 ; x3  
         pmulhw mm1, mm0 ; tm12*tg_2_16  
         paddsw mm7, x4 ; t3 = x[3] + x[4]  
         psllw mm5, SHIFT_FRW_COL ; t0  
         paddsw mm6, mm4 ; 4 ; tp12 = t1 + t2  
         psllw mm7, SHIFT_FRW_COL ; t3  
         movq mm4, mm5 ; 4 ; t0  
         psubsw mm5, mm7 ; tm03 = t0 - t3  
         paddsw mm1, mm5 ; y2 = tm03 + tm12*tg_2_16  
         paddsw mm4, mm7 ; 7 ; tp03 = t0 + t3  
         por mm1, [one_corr] ; correction y2 +0.5  
         psllw mm2, SHIFT_FRW_COL+1 ; t6  
         pmulhw mm5, [tg_2_16] ; tm03*tg_2_16  
         movq mm7, mm4 ; 7 ; tp03  
         psubsw mm3, x5 ; t5 = x[2] - x[5]  
         psubsw mm4, mm6 ; y4 = tp03 - tp12  
         movq y2, mm1 ; 1 ; save y2  
         paddsw mm7, mm6 ; 6 ; y0 = tp03 + tp12  
         movq mm1, x3 ; 1 ; x3  
         psllw mm3, SHIFT_FRW_COL+1 ; t5  
         psubsw mm1, x4 ; t4 = x[3] - x[4]  
         movq mm6, mm2 ; 6 ; t6  
         movq y4, mm4 ; 4 ; save y4  
         paddsw mm2, mm3 ; t6 + t5  
         pmulhw mm2, [ocos_4_16] ; tp65 = (t6 + t5)*cos_4_16  
         psubsw mm6, mm3 ; 3 ; t6 - t5  
         pmulhw mm6, [ocos_4_16] ; tm65 = (t6 - t5)*cos_4_16  
         psubsw mm5, mm0 ; 0 ; y6 = tm03*tg_2_16 - tm12  
         por mm5, [one_corr] ; correction y6 +0.5  
         psllw mm1, SHIFT_FRW_COL ; t4  
         por mm2, [one_corr] ; correction tp65 +0.5  
         movq mm4, mm1 ; 4 ; t4  
         movq mm3, x0 ; 3 ; x0  
         paddsw mm1, mm6 ; tp465 = t4 + tm65  
         psubsw mm3, x7 ; t7 = x[0] - x[7]  
         psubsw mm4, mm6 ; 6 ; tm465 = t4 - tm65  
         movq mm0, [tg_1_16] ; 0 ; tg_1_16  
         psllw mm3, SHIFT_FRW_COL ; t7  
         movq mm6, [tg_3_16] ; 6 ; tg_3_16  
         pmulhw mm0, mm1 ; tp465*tg_1_16  
         movq y0, mm7 ; 7 ; save y0  
         pmulhw mm6, mm4 ; tm465*tg_3_16  
         movq y6, mm5 ; 5 ; save y6  
         movq mm7, mm3 ; 7 ; t7  
         movq mm5, [tg_3_16] ; 5 ; tg_3_16  
         psubsw mm7, mm2 ; tm765 = t7 - tp65  
         paddsw mm3, mm2 ; 2 ; tp765 = t7 + tp65  
         pmulhw mm5, mm7 ; tm765*tg_3_16  
         paddsw mm0, mm3 ; y1 = tp765 + tp465*tg_1_16  
         paddsw mm6, mm4 ; tm465*tg_3_16  
         pmulhw mm3, [tg_1_16] ; tp765*tg_1_16  
         por mm0, [one_corr] ; correction y1 +0.5  
         paddsw mm5, mm7 ; tm765*tg_3_16  
         psubsw mm7, mm6 ; 6 ; y3 = tm765 - tm465*tg_3_16  
         movq y1, mm0 ; 0 ; save y1  
         paddsw mm5, mm4 ; 4 ; y5 = tm765*tg_3_16 + tm465  
         movq y3, mm7 ; 7 ; save y3  
         psubsw mm3, mm1 ; 1 ; y7 = tp765*tg_1_16 - tp465  
         movq y5, mm5 ; 5 ; save y5  
         movq y7, mm3 ; 3 ; save y7  
 %endmacro  
   
481    
482  ;  ;-----------------------------------------------------------------------------
483  ; DCT_8_INV_COL_4  INP,OUT  ; DCT_8_INV_COL_4  INP,OUT
484  ;  ;-----------------------------------------------------------------------------
485    
486  %macro DCT_8_INV_COL_4          2  %macro DCT_8_INV_COL 2
487          movq    mm0, [tg_3_16]          movq    mm0, [tg_3_16]
   
488          movq    mm3, [%1+16*3]          movq    mm3, [%1+16*3]
489          movq    mm1, mm0                        ; tg_3_16          movq    mm1, mm0                        ; tg_3_16
   
490          movq    mm5, [%1+16*5]          movq    mm5, [%1+16*5]
491          pmulhw  mm0, mm3                        ; x3*(tg_3_16-1)          pmulhw  mm0, mm3                        ; x3*(tg_3_16-1)
   
492          movq    mm4, [tg_1_16]          movq    mm4, [tg_1_16]
493          pmulhw  mm1, mm5                        ; x5*(tg_3_16-1)          pmulhw  mm1, mm5                        ; x5*(tg_3_16-1)
   
494          movq    mm7, [%1+16*7]          movq    mm7, [%1+16*7]
495          movq    mm2, mm4                        ; tg_1_16          movq    mm2, mm4                        ; tg_1_16
   
496          movq    mm6, [%1+16*1]          movq    mm6, [%1+16*1]
497          pmulhw  mm4, mm7                        ; x7*tg_1_16          pmulhw  mm4, mm7                        ; x7*tg_1_16
   
498          paddsw  mm0, mm3                        ; x3*tg_3_16          paddsw  mm0, mm3                        ; x3*tg_3_16
499          pmulhw  mm2, mm6                        ; x1*tg_1_16          pmulhw  mm2, mm6                        ; x1*tg_1_16
   
500          paddsw  mm1, mm3                        ; x3+x5*(tg_3_16-1)          paddsw  mm1, mm3                        ; x3+x5*(tg_3_16-1)
501          psubsw  mm0, mm5                        ; x3*tg_3_16-x5 = tm35          psubsw  mm0, mm5                        ; x3*tg_3_16-x5 = tm35
   
502          movq    mm3, [ocos_4_16]          movq    mm3, [ocos_4_16]
503          paddsw  mm1, mm5                        ; x3+x5*tg_3_16 = tp35          paddsw  mm1, mm5                        ; x3+x5*tg_3_16 = tp35
   
504          paddsw  mm4, mm6                        ; x1+tg_1_16*x7 = tp17          paddsw  mm4, mm6                        ; x1+tg_1_16*x7 = tp17
505          psubsw  mm2, mm7                        ; x1*tg_1_16-x7 = tm17          psubsw  mm2, mm7                        ; x1*tg_1_16-x7 = tm17
   
506          movq    mm5, mm4                        ; tp17          movq    mm5, mm4                        ; tp17
507          movq    mm6, mm2                        ; tm17          movq    mm6, mm2                        ; tm17
   
508          paddsw  mm5, mm1                        ; tp17+tp35 = b0          paddsw  mm5, mm1                        ; tp17+tp35 = b0
509          psubsw  mm6, mm0                        ; tm17-tm35 = b3          psubsw  mm6, mm0                        ; tm17-tm35 = b3
   
510          psubsw  mm4, mm1                        ; tp17-tp35 = t1          psubsw  mm4, mm1                        ; tp17-tp35 = t1
511          paddsw  mm2, mm0                        ; tm17+tm35 = t2          paddsw  mm2, mm0                        ; tm17+tm35 = t2
   
512          movq    mm7, [tg_2_16]          movq    mm7, [tg_2_16]
513          movq    mm1, mm4                        ; t1          movq    mm1, mm4                        ; t1
   
514  ;       movq    [SCRATCH+0], mm5     ; save b0  ;       movq    [SCRATCH+0], mm5     ; save b0
515          movq    [%2+3*16], mm5      ; save b0          movq    [%2+3*16], mm5      ; save b0
516          paddsw  mm1, mm2                        ; t1+t2          paddsw  mm1, mm2                        ; t1+t2
   
517  ;       movq    [SCRATCH+8], mm6     ; save b3  ;       movq    [SCRATCH+8], mm6     ; save b3
518          movq    [%2+5*16], mm6      ; save b3          movq    [%2+5*16], mm6      ; save b3
519          psubsw  mm4, mm2                        ; t1-t2          psubsw  mm4, mm2                        ; t1-t2
   
520          movq    mm5, [%1+2*16]          movq    mm5, [%1+2*16]
521          movq    mm0, mm7                        ; tg_2_16          movq    mm0, mm7                        ; tg_2_16
   
522          movq    mm6, [%1+6*16]          movq    mm6, [%1+6*16]
523          pmulhw  mm0, mm5                        ; x2*tg_2_16          pmulhw  mm0, mm5                        ; x2*tg_2_16
   
524          pmulhw  mm7, mm6                        ; x6*tg_2_16          pmulhw  mm7, mm6                        ; x6*tg_2_16
525  ; slot  ; slot
526          pmulhw  mm1, mm3                        ; ocos_4_16*(t1+t2) = b1/2          pmulhw  mm1, mm3                        ; ocos_4_16*(t1+t2) = b1/2
527  ; slot  ; slot
528          movq    mm2, [%1+0*16]          movq    mm2, [%1+0*16]
529          pmulhw  mm4, mm3                        ; ocos_4_16*(t1-t2) = b2/2          pmulhw  mm4, mm3                        ; ocos_4_16*(t1-t2) = b2/2
   
530          psubsw  mm0, mm6                        ; t2*tg_2_16-x6 = tm26          psubsw  mm0, mm6                        ; t2*tg_2_16-x6 = tm26
531          movq    mm3, mm2                        ; x0          movq    mm3, mm2                        ; x0
   
532          movq    mm6, [%1+4*16]          movq    mm6, [%1+4*16]
533          paddsw  mm7, mm5                        ; x2+x6*tg_2_16 = tp26          paddsw  mm7, mm5                        ; x2+x6*tg_2_16 = tp26
   
534          paddsw  mm2, mm6                        ; x0+x4 = tp04          paddsw  mm2, mm6                        ; x0+x4 = tp04
535          psubsw  mm3, mm6                        ; x0-x4 = tm04          psubsw  mm3, mm6                        ; x0-x4 = tm04
   
536          movq    mm5, mm2                        ; tp04          movq    mm5, mm2                        ; tp04
537          movq    mm6, mm3                        ; tm04          movq    mm6, mm3                        ; tm04
   
538          psubsw  mm2, mm7                        ; tp04-tp26 = a3          psubsw  mm2, mm7                        ; tp04-tp26 = a3
539          paddsw  mm3, mm0                        ; tm04+tm26 = a1          paddsw  mm3, mm0                        ; tm04+tm26 = a1
   
540          paddsw mm1, mm1                         ; b1          paddsw mm1, mm1                         ; b1
541          paddsw mm4, mm4                         ; b2          paddsw mm4, mm4                         ; b2
   
542          paddsw  mm5, mm7                        ; tp04+tp26 = a0          paddsw  mm5, mm7                        ; tp04+tp26 = a0
543          psubsw  mm6, mm0                        ; tm04-tm26 = a2          psubsw  mm6, mm0                        ; tm04-tm26 = a2
   
544          movq    mm7, mm3                        ; a1          movq    mm7, mm3                        ; a1
545          movq    mm0, mm6                        ; a2          movq    mm0, mm6                        ; a2
   
546          paddsw  mm3, mm1                        ; a1+b1          paddsw  mm3, mm1                        ; a1+b1
547          paddsw  mm6, mm4                        ; a2+b2          paddsw  mm6, mm4                        ; a2+b2
   
548          psraw   mm3, SHIFT_INV_COL              ; dst1          psraw   mm3, SHIFT_INV_COL              ; dst1
549          psubsw  mm7, mm1                        ; a1-b1          psubsw  mm7, mm1                        ; a1-b1
   
550          psraw   mm6, SHIFT_INV_COL              ; dst2          psraw   mm6, SHIFT_INV_COL              ; dst2
551          psubsw  mm0, mm4                        ; a2-b2          psubsw  mm0, mm4                        ; a2-b2
   
552  ;       movq    mm1, [SCRATCH+0]     ; load b0  ;       movq    mm1, [SCRATCH+0]     ; load b0
553          movq    mm1, [%2+3*16]      ; load b0          movq    mm1, [%2+3*16]      ; load b0
554          psraw   mm7, SHIFT_INV_COL              ; dst6          psraw   mm7, SHIFT_INV_COL              ; dst6
   
555          movq    mm4, mm5                        ; a0          movq    mm4, mm5                        ; a0
556          psraw   mm0, SHIFT_INV_COL              ; dst5          psraw   mm0, SHIFT_INV_COL              ; dst5
   
557          movq    [%2+1*16], mm3          movq    [%2+1*16], mm3
558          paddsw  mm5, mm1                        ; a0+b0          paddsw  mm5, mm1                        ; a0+b0
   
559          movq    [%2+2*16], mm6          movq    [%2+2*16], mm6
560          psubsw  mm4, mm1                        ; a0-b0          psubsw  mm4, mm1                        ; a0-b0
   
561  ;       movq    mm3, [SCRATCH+8]     ; load b3  ;       movq    mm3, [SCRATCH+8]     ; load b3
562          movq    mm3, [%2+5*16]      ; load b3          movq    mm3, [%2+5*16]      ; load b3
563          psraw   mm5, SHIFT_INV_COL              ; dst0          psraw   mm5, SHIFT_INV_COL              ; dst0
   
564          movq    mm6, mm2                        ; a3          movq    mm6, mm2                        ; a3
565          psraw   mm4, SHIFT_INV_COL              ; dst7          psraw   mm4, SHIFT_INV_COL              ; dst7
   
566          movq    [%2+5*16], mm0          movq    [%2+5*16], mm0
567          paddsw  mm2, mm3                        ; a3+b3          paddsw  mm2, mm3                        ; a3+b3
   
568          movq    [%2+6*16], mm7          movq    [%2+6*16], mm7
569          psubsw  mm6, mm3                        ; a3-b3          psubsw  mm6, mm3                        ; a3-b3
   
570          movq    [%2+0*16], mm5          movq    [%2+0*16], mm5
571          psraw   mm2, SHIFT_INV_COL              ; dst3          psraw   mm2, SHIFT_INV_COL              ; dst3
   
572          movq    [%2+7*16], mm4          movq    [%2+7*16], mm4
573          psraw   mm6, SHIFT_INV_COL              ; dst4          psraw   mm6, SHIFT_INV_COL              ; dst4
   
574          movq    [%2+3*16], mm2          movq    [%2+3*16], mm2
   
575          movq    [%2+4*16], mm6          movq    [%2+4*16], mm6
576  %endmacro  %endmacro
577    
   
   
 section .text  
   
578  ;=============================================================================  ;=============================================================================
579  ;  ; Code
 ; void idct_mmx (short * const src_result);  
 ;  
580  ;=============================================================================  ;=============================================================================
581    
582  align 16  SECTION .text
 cglobal idct_mmx  
 idct_mmx  
         mov eax, dword [esp + 4]  
   
         DCT_8_INV_ROW_1 eax+0, eax+0, tab_i_04, rounder_0  
         DCT_8_INV_ROW_1 eax+16, eax+16, tab_i_17, rounder_1  
         DCT_8_INV_ROW_1 eax+32, eax+32, tab_i_26, rounder_2  
         DCT_8_INV_ROW_1 eax+48, eax+48, tab_i_35, rounder_3  
         DCT_8_INV_ROW_1 eax+64, eax+64, tab_i_04, rounder_4  
         DCT_8_INV_ROW_1 eax+80, eax+80, tab_i_35, rounder_5  
         DCT_8_INV_ROW_1 eax+96, eax+96, tab_i_26, rounder_6  
         DCT_8_INV_ROW_1 eax+112, eax+112, tab_i_17, rounder_7  
   
         DCT_8_INV_COL_4 eax+0,eax+0  
         DCT_8_INV_COL_4 eax+8,eax+8  
   
         ret  
   
583    
584    cglobal idct_mmx
585    cglobal idct_xmm
586    
587  ;=============================================================================  ;-----------------------------------------------------------------------------
588  ;  ; void idct_mmx(uint16_t block[64]);
589  ; void idct_sse (short * const src_result);  ;-----------------------------------------------------------------------------
 ;  
 ;=============================================================================  
590    
591  align 16  ALIGN 16
592  cglobal idct_xmm  idct_mmx:
 idct_xmm  
593          mov eax, dword [esp + 4]          mov eax, dword [esp + 4]
594    
595          DCT_8_INV_ROW_1_sse eax+0, eax+0, tab_i_04_sse, rounder_0          ;; Process each row
596          DCT_8_INV_ROW_1_sse eax+16, eax+16, tab_i_17_sse, rounder_1      DCT_8_INV_ROW_MMX eax+0*16, eax+0*16, tab_i_04_mmx, rounder_0
597          DCT_8_INV_ROW_1_sse eax+32, eax+32, tab_i_26_sse, rounder_2      DCT_8_INV_ROW_MMX eax+1*16, eax+1*16, tab_i_17_mmx, rounder_1
598          DCT_8_INV_ROW_1_sse eax+48, eax+48, tab_i_35_sse, rounder_3      DCT_8_INV_ROW_MMX eax+2*16, eax+2*16, tab_i_26_mmx, rounder_2
599          DCT_8_INV_ROW_1_sse eax+64, eax+64, tab_i_04_sse, rounder_4      DCT_8_INV_ROW_MMX eax+3*16, eax+3*16, tab_i_35_mmx, rounder_3
600          DCT_8_INV_ROW_1_sse eax+80, eax+80, tab_i_35_sse, rounder_5      DCT_8_INV_ROW_MMX eax+4*16, eax+4*16, tab_i_04_mmx, rounder_4
601          DCT_8_INV_ROW_1_sse eax+96, eax+96, tab_i_26_sse, rounder_6      DCT_8_INV_ROW_MMX eax+5*16, eax+5*16, tab_i_35_mmx, rounder_5
602          DCT_8_INV_ROW_1_sse eax+112, eax+112, tab_i_17_sse, rounder_7      DCT_8_INV_ROW_MMX eax+6*16, eax+6*16, tab_i_26_mmx, rounder_6
603        DCT_8_INV_ROW_MMX eax+7*16, eax+7*16, tab_i_17_mmx, rounder_7
604          DCT_8_INV_COL_4 eax+0, eax+0  
605          DCT_8_INV_COL_4 eax+8, eax+8          ;; Process the columns (4 at a time)
606        DCT_8_INV_COL eax+0, eax+0
607        DCT_8_INV_COL eax+8, eax+8
608    
609          ret          ret
610    ENDFUNC
611    
612  ;=============================================================================  ;-----------------------------------------------------------------------------
613  ;         The code below this line is for SSE2-equipped processors  ; void idct_xmm(uint16_t block[64]);
614  ;         By Dmitry Rozhdestvensky  ;-----------------------------------------------------------------------------
 ;=============================================================================  
   
 section .data  
   
 align 16  
   
 tab_i_04_s2 dw 16384, 21407, 16384, 8867 ; movq-> w05 w04 w01 w00  
                 dw 16384, -8867, 16384, -21407 ; w13 w12 w09 w08  
                 dw 16384, 8867, -16384, -21407 ; w07 w06 w03 w02  
                 dw -16384, 21407, 16384, -8867 ; w15 w14 w11 w10  
                 dw 22725, 19266, 19266, -4520 ; w21 w20 w17 w16  
                 dw 12873, -22725, 4520, -12873 ; w29 w28 w25 w24  
                 dw 12873, 4520, -22725, -12873 ; w23 w22 w19 w18  
                 dw 4520, 19266, 19266, -22725 ; w31 w30 w27 w26  
   
 ; Table for rows 1,7 - constants are multiplied by cos_1_16  
   
 tab_i_17_s2     dw 22725, 29692, 22725, 12299 ; movq-> w05 w04 w01 w00  
                 dw 22725, -12299, 22725, -29692 ; w13 w12 w09 w08  
                 dw 22725, 12299, -22725, -29692 ; w07 w06 w03 w02  
                 dw -22725, 29692, 22725, -12299 ; w15 w14 w11 w10  
                 dw 31521, 26722, 26722, -6270 ; w21 w20 w17 w16  
                 dw 17855, -31521, 6270, -17855 ; w29 w28 w25 w24  
                 dw 17855, 6270, -31521, -17855 ; w23 w22 w19 w18  
                 dw 6270, 26722, 26722, -31521 ; w31 w30 w27 w26  
   
 ; Table for rows 2,6 - constants are multiplied by cos_2_16  
   
 tab_i_26_s2     dw 21407, 27969, 21407, 11585 ; movq-> w05 w04 w01 w00  
                 dw 21407, -11585, 21407, -27969 ; w13 w12 w09 w08  
                 dw 21407, 11585, -21407, -27969 ; w07 w06 w03 w02  
                 dw -21407, 27969, 21407, -11585 ; w15 w14 w11 w10  
                 dw 29692, 25172, 25172, -5906 ; w21 w20 w17 w16  
                 dw 16819, -29692, 5906, -16819 ; w29 w28 w25 w24  
                 dw 16819, 5906, -29692, -16819 ; w23 w22 w19 w18  
                 dw 5906, 25172, 25172, -29692 ; w31 w30 w27 w26  
   
 ; Table for rows 3,5 - constants are multiplied by cos_3_16  
615    
616  tab_i_35_s2     dw 19266, 25172, 19266, 10426 ; movq-> w05 w04 w01 w00  ALIGN 16
617                  dw 19266, -10426, 19266, -25172 ; w13 w12 w09 w08  idct_xmm:
618                  dw 19266, 10426, -19266, -25172 ; w07 w06 w03 w02      mov eax, dword [esp + 4]
                 dw -19266, 25172, 19266, -10426 ; w15 w14 w11 w10  
                 dw 26722, 22654, 22654, -5315 ; w21 w20 w17 w16  
                 dw 15137, -26722, 5315, -15137 ; w29 w28 w25 w24  
                 dw 15137, 5315, -26722, -15137 ; w23 w22 w19 w18  
                 dw 5315, 22654, 22654, -26722 ; w31 w30 w27 w26  
619    
620  %if SHIFT_INV_ROW == 12   ; assume SHIFT_INV_ROW == 12          ;; Process each row
621  rounder_2_0      dd  65536, 65536      DCT_8_INV_ROW_XMM eax+0*16, eax+0*16, tab_i_04_xmm, rounder_0
622                   dd  65536, 65536      DCT_8_INV_ROW_XMM eax+1*16, eax+1*16, tab_i_17_xmm, rounder_1
623  rounder_2_4      dd      0,     0      DCT_8_INV_ROW_XMM eax+2*16, eax+2*16, tab_i_26_xmm, rounder_2
624                   dd      0,     0      DCT_8_INV_ROW_XMM eax+3*16, eax+3*16, tab_i_35_xmm, rounder_3
625  rounder_2_1      dd   7195,  7195      DCT_8_INV_ROW_XMM eax+4*16, eax+4*16, tab_i_04_xmm, rounder_4
626                   dd   7195,  7195      DCT_8_INV_ROW_XMM eax+5*16, eax+5*16, tab_i_35_xmm, rounder_5
627  rounder_2_7      dd   1024,  1024      DCT_8_INV_ROW_XMM eax+6*16, eax+6*16, tab_i_26_xmm, rounder_6
628                   dd   1024,  1024      DCT_8_INV_ROW_XMM eax+7*16, eax+7*16, tab_i_17_xmm, rounder_7
629  rounder_2_2      dd   4520,  4520  
630                   dd   4520,  4520          ;; Process the columns (4 at a time)
631  rounder_2_6      dd   1024,  1024      DCT_8_INV_COL eax+0, eax+0
632                   dd   1024,  1024      DCT_8_INV_COL eax+8, eax+8
 rounder_2_3      dd   2407,  2407  
                  dd   2407,  2407  
 rounder_2_5      dd    240,   240  
                  dd    240,   240  
633    
634  %elif SHIFT_INV_ROW == 11   ; assume SHIFT_INV_ROW == 11      ret
635  rounder_2_0      dd  65536, 65536  ENDFUNC
                  dd  65536, 65536  
 rounder_2_4      dd      0,     0  
                  dd      0,     0  
 rounder_2_1      dd   3597,  3597  
                  dd   3597,  3597  
 rounder_2_7      dd    512,   512  
                  dd    512,   512  
 rounder_2_2      dd   2260,  2260  
                  dd   2260,  2260  
 rounder_2_6      dd    512,   512  
                  dd    512,   512  
 rounder_2_3      dd   1203,  1203  
                  dd   1203,  1203  
 rounder_2_5      dd    120,   120  
                  dd    120,   120  
 %else  
636    
 %error invalid _SHIFT_INV_ROW_  
637    
638    %ifidn __OUTPUT_FORMAT__,elf
639    section ".note.GNU-stack" noalloc noexec nowrite progbits
640  %endif  %endif
641    
   tg_1_16_2     dw  13036,  13036,  13036,  13036       ; tg * (2<<16) + 0.5  
                 dw  13036,  13036,  13036,  13036  
   tg_2_16_2     dw  27146,  27146,  27146,  27146       ; tg * (2<<16) + 0.5  
                 dw  27146,  27146,  27146,  27146  
   tg_3_16_2     dw -21746, -21746, -21746, -21746       ; tg * (2<<16) + 0.5  
                 dw -21746, -21746, -21746, -21746  
 ocos_4_16_2     dw  23170,  23170,  23170,  23170       ; cos * (2<<15) + 0.5  
                 dw  23170,  23170,  23170,  23170  
   
 %macro DCT_8_INV_ROW_1_sse2  4  
   
         pshufhw         xmm1,[%1],11011000b     ;x 75643210  
         pshuflw         xmm1,xmm1,11011000b     ;x 75643120  
         pshufd          xmm0,xmm1,00000000b     ;x 20202020  
         pmaddwd         xmm0,[%3]               ;w 13 12 9 8 5410  
                                                         ;a 3210 first part  
   
         pshufd          xmm2,xmm1,10101010b     ;x 64646464  
         pmaddwd         xmm2,[%3+16]            ;w 15 14 11 10 7632  
                                                         ;a 3210 second part  
   
         paddd           xmm2,xmm0                       ;a 3210 ready  
         paddd           xmm2,[%4]               ;must be 4 dwords long, not 2 as for sse1  
         movdqa          xmm5,xmm2  
   
         pshufd          xmm3,xmm1,01010101b     ;x 31313131  
         pmaddwd         xmm3,[%3+32]            ;w 29 28 25 24 21 20 17 16  
                                                         ;b 3210 first part  
   
         pshufd          xmm4,xmm1,11111111b     ;x 75757575  
         pmaddwd         xmm4,[%3+48]            ;w 31 30 27 26 23 22 19 18  
                                                        ;b 3210 second part  
         paddd           xmm3,xmm4                       ;b 3210 ready  
   
         paddd           xmm2,xmm3                       ;will be y 3210  
         psubd           xmm5,xmm3                       ;will be y 4567  
         psrad           xmm2,SHIFT_INV_ROW  
         psrad           xmm5,SHIFT_INV_ROW  
         packssdw        xmm2,xmm5                      ;y 45673210  
         pshufhw         xmm6,xmm2,00011011b     ;y 76543210  
         movdqa          [%2],xmm6  
   
 %endmacro  
   
 %macro DCT_8_INV_COL_4_sse2          2  
   
         movdqa          xmm0,[%1+16*0]          ;x0 (all columns)  
         movdqa          xmm2,[%1+16*4]          ;x4  
         movdqa          xmm1,xmm0  
   
         movdqa          xmm4,[%1+16*2]          ;x2  
         movdqa          xmm5,[%1+16*6]          ;x6  
         movdqa          xmm6,[tg_2_16_2]  
         movdqa          xmm7,xmm6  
   
         paddsw          xmm0,xmm2                       ;u04=x0+x4  
         psubsw          xmm1,xmm2                       ;v04=x0-x4  
         movdqa          xmm3,xmm0  
         movdqa          xmm2,xmm1  
   
         pmulhw          xmm6,xmm4  
         pmulhw          xmm7,xmm5  
         psubsw          xmm6,xmm5                       ;v26=x2*T2-x6  
         paddsw          xmm7,xmm4                       ;u26=x6*T2+x2  
   
         paddsw          xmm1,xmm6                       ;a1=v04+v26  
         paddsw          xmm0,xmm7                       ;a0=u04+u26  
         psubsw          xmm2,xmm6                       ;a2=v04-v26  
         psubsw          xmm3,xmm7                       ;a3=u04-u26  
   
         movdqa          [%2+16*0],xmm0          ;store a3-a0 to  
         movdqa          [%2+16*6],xmm1          ;free registers  
         movdqa          [%2+16*2],xmm2  
         movdqa          [%2+16*4],xmm3  
   
         movdqa          xmm0,[%1+16*1]          ;x1  
         movdqa          xmm1,[%1+16*7]          ;x7  
         movdqa          xmm2,[tg_1_16_2]  
         movdqa          xmm3,xmm2  
   
         movdqa          xmm4,[%1+16*3]          ;x3  
         movdqa          xmm5,[%1+16*5]          ;x5  
         movdqa          xmm6,[tg_3_16_2]  
         movdqa          xmm7,xmm6  
   
         pmulhw          xmm2,xmm0  
         pmulhw          xmm3,xmm1  
         psubsw          xmm2,xmm1                       ;v17=x1*T1-x7  
         paddsw          xmm3,xmm0                       ;u17=x7*T1+x1  
         movdqa          xmm0,xmm3                       ;u17  
         movdqa          xmm1,xmm2                       ;v17  
   
         pmulhw          xmm6,xmm4                       ;x3*(t3-1)  
         pmulhw          xmm7,xmm5                       ;x5*(t3-1)  
         paddsw          xmm6,xmm4  
         paddsw          xmm7,xmm5  
         psubsw          xmm6,xmm5                       ;v35=x3*T3-x5  
         paddsw          xmm7,xmm4                       ;u35=x5*T3+x3  
   
         movdqa          xmm4,[ocos_4_16_2]  
   
         paddsw          xmm0,xmm7                       ;b0=u17+u35  
         psubsw          xmm1,xmm6                       ;b3=v17-v35  
         psubsw          xmm3,xmm7                       ;u12=u17-v35  
         paddsw          xmm2,xmm6                       ;v12=v17+v35  
   
         movdqa          xmm5,xmm3  
         paddsw          xmm3,xmm2                       ;tb1  
         psubsw          xmm5,xmm2                       ;tb2  
         pmulhw          xmm5,xmm4  
         pmulhw          xmm4,xmm3  
         paddsw          xmm5,xmm5  
         paddsw          xmm4,xmm4  
   
         movdqa          xmm6,[%2+16*0]          ;a0  
         movdqa          xmm7,xmm6  
         movdqa          xmm2,[%2+16*4]          ;a3  
         movdqa          xmm3,xmm2  
   
         paddsw          xmm6,xmm0  
         psubsw          xmm7,xmm0  
         psraw           xmm6,SHIFT_INV_COL      ;y0=a0+b0  
         psraw           xmm7,SHIFT_INV_COL      ;y7=a0-b0  
         movdqa          [%2+16*0],xmm6  
         movdqa          [%2+16*7],xmm7  
   
         paddsw          xmm2,xmm1  
         psubsw          xmm3,xmm1  
         psraw           xmm2,SHIFT_INV_COL      ;y3=a3+b3  
         psraw           xmm3,SHIFT_INV_COL      ;y4=a3-b3  
         movdqa          [%2+16*3],xmm2  
         movdqa          [%2+16*4],xmm3  
   
         movdqa          xmm0,[%2+16*6]          ;a1  
         movdqa          xmm1,xmm0  
         movdqa          xmm6,[%2+16*2]          ;a2  
         movdqa          xmm7,xmm6  
   
   
         paddsw          xmm0,xmm4  
         psubsw          xmm1,xmm4  
         psraw           xmm0,SHIFT_INV_COL      ;y1=a1+b1  
         psraw           xmm1,SHIFT_INV_COL      ;y6=a1-b1  
         movdqa          [%2+16*1],xmm0  
         movdqa          [%2+16*6],xmm1  
   
         paddsw          xmm6,xmm5  
         psubsw          xmm7,xmm5  
         psraw           xmm6,SHIFT_INV_COL      ;y2=a2+b2  
         psraw           xmm7,SHIFT_INV_COL      ;y5=a2-b2  
         movdqa          [%2+16*2],xmm6  
         movdqa          [%2+16*5],xmm7  
   
 %endmacro  
   
 section .text  
   
 align 16  
 cglobal idct_sse2  
 idct_sse2  
   
         mov eax, dword [esp + 4]  
   
         DCT_8_INV_ROW_1_sse2 eax+0, eax+0, tab_i_04_s2, rounder_2_0  
         DCT_8_INV_ROW_1_sse2 eax+16, eax+16, tab_i_17_s2, rounder_2_1  
         DCT_8_INV_ROW_1_sse2 eax+32, eax+32, tab_i_26_s2, rounder_2_2  
         DCT_8_INV_ROW_1_sse2 eax+48, eax+48, tab_i_35_s2, rounder_2_3  
         DCT_8_INV_ROW_1_sse2 eax+64, eax+64, tab_i_04_s2, rounder_2_4  
         DCT_8_INV_ROW_1_sse2 eax+80, eax+80, tab_i_35_s2, rounder_2_5  
         DCT_8_INV_ROW_1_sse2 eax+96, eax+96, tab_i_26_s2, rounder_2_6  
         DCT_8_INV_ROW_1_sse2 eax+112, eax+112, tab_i_17_s2, rounder_2_7  
   
         DCT_8_INV_COL_4_sse2 eax, eax  
         ;DCT_8_INV_COL_4 eax+8, eax+8  
   
         ret  
Legend:
Removed from v.1.3  
changed lines
  Added in v.1.12
No admin address has been configured
 ViewVC Help
Powered by ViewVC 1.0.4