| 1 | .text
|
|---|
| 2 |
|
|---|
| 3 |
|
|---|
| 4 |
|
|---|
| 5 |
|
|---|
| 6 |
|
|---|
| 7 |
|
|---|
| 8 |
|
|---|
| 9 |
|
|---|
| 10 |
|
|---|
| 11 |
|
|---|
| 12 |
|
|---|
| 13 |
|
|---|
| 14 |
|
|---|
| 15 |
|
|---|
| 16 |
|
|---|
| 17 |
|
|---|
| 18 | .type _vpaes_encrypt_core,@function
|
|---|
| 19 | .align 16
|
|---|
| 20 | _vpaes_encrypt_core:
|
|---|
| 21 | .cfi_startproc
|
|---|
| 22 | movq %rdx,%r9
|
|---|
| 23 | movq $16,%r11
|
|---|
| 24 | movl 240(%rdx),%eax
|
|---|
| 25 | movdqa %xmm9,%xmm1
|
|---|
| 26 | movdqa .Lk_ipt(%rip),%xmm2
|
|---|
| 27 | pandn %xmm0,%xmm1
|
|---|
| 28 | movdqu (%r9),%xmm5
|
|---|
| 29 | psrld $4,%xmm1
|
|---|
| 30 | pand %xmm9,%xmm0
|
|---|
| 31 | .byte 102,15,56,0,208
|
|---|
| 32 | movdqa .Lk_ipt+16(%rip),%xmm0
|
|---|
| 33 | .byte 102,15,56,0,193
|
|---|
| 34 | pxor %xmm5,%xmm2
|
|---|
| 35 | addq $16,%r9
|
|---|
| 36 | pxor %xmm2,%xmm0
|
|---|
| 37 | leaq .Lk_mc_backward(%rip),%r10
|
|---|
| 38 | jmp .Lenc_entry
|
|---|
| 39 |
|
|---|
| 40 | .align 16
|
|---|
| 41 | .Lenc_loop:
|
|---|
| 42 |
|
|---|
| 43 | movdqa %xmm13,%xmm4
|
|---|
| 44 | movdqa %xmm12,%xmm0
|
|---|
| 45 | .byte 102,15,56,0,226
|
|---|
| 46 | .byte 102,15,56,0,195
|
|---|
| 47 | pxor %xmm5,%xmm4
|
|---|
| 48 | movdqa %xmm15,%xmm5
|
|---|
| 49 | pxor %xmm4,%xmm0
|
|---|
| 50 | movdqa -64(%r11,%r10,1),%xmm1
|
|---|
| 51 | .byte 102,15,56,0,234
|
|---|
| 52 | movdqa (%r11,%r10,1),%xmm4
|
|---|
| 53 | movdqa %xmm14,%xmm2
|
|---|
| 54 | .byte 102,15,56,0,211
|
|---|
| 55 | movdqa %xmm0,%xmm3
|
|---|
| 56 | pxor %xmm5,%xmm2
|
|---|
| 57 | .byte 102,15,56,0,193
|
|---|
| 58 | addq $16,%r9
|
|---|
| 59 | pxor %xmm2,%xmm0
|
|---|
| 60 | .byte 102,15,56,0,220
|
|---|
| 61 | addq $16,%r11
|
|---|
| 62 | pxor %xmm0,%xmm3
|
|---|
| 63 | .byte 102,15,56,0,193
|
|---|
| 64 | andq $0x30,%r11
|
|---|
| 65 | subq $1,%rax
|
|---|
| 66 | pxor %xmm3,%xmm0
|
|---|
| 67 |
|
|---|
| 68 | .Lenc_entry:
|
|---|
| 69 |
|
|---|
| 70 | movdqa %xmm9,%xmm1
|
|---|
| 71 | movdqa %xmm11,%xmm5
|
|---|
| 72 | pandn %xmm0,%xmm1
|
|---|
| 73 | psrld $4,%xmm1
|
|---|
| 74 | pand %xmm9,%xmm0
|
|---|
| 75 | .byte 102,15,56,0,232
|
|---|
| 76 | movdqa %xmm10,%xmm3
|
|---|
| 77 | pxor %xmm1,%xmm0
|
|---|
| 78 | .byte 102,15,56,0,217
|
|---|
| 79 | movdqa %xmm10,%xmm4
|
|---|
| 80 | pxor %xmm5,%xmm3
|
|---|
| 81 | .byte 102,15,56,0,224
|
|---|
| 82 | movdqa %xmm10,%xmm2
|
|---|
| 83 | pxor %xmm5,%xmm4
|
|---|
| 84 | .byte 102,15,56,0,211
|
|---|
| 85 | movdqa %xmm10,%xmm3
|
|---|
| 86 | pxor %xmm0,%xmm2
|
|---|
| 87 | .byte 102,15,56,0,220
|
|---|
| 88 | movdqu (%r9),%xmm5
|
|---|
| 89 | pxor %xmm1,%xmm3
|
|---|
| 90 | jnz .Lenc_loop
|
|---|
| 91 |
|
|---|
| 92 |
|
|---|
| 93 | movdqa -96(%r10),%xmm4
|
|---|
| 94 | movdqa -80(%r10),%xmm0
|
|---|
| 95 | .byte 102,15,56,0,226
|
|---|
| 96 | pxor %xmm5,%xmm4
|
|---|
| 97 | .byte 102,15,56,0,195
|
|---|
| 98 | movdqa 64(%r11,%r10,1),%xmm1
|
|---|
| 99 | pxor %xmm4,%xmm0
|
|---|
| 100 | .byte 102,15,56,0,193
|
|---|
| 101 | .byte 0xf3,0xc3
|
|---|
| 102 | .cfi_endproc
|
|---|
| 103 | .size _vpaes_encrypt_core,.-_vpaes_encrypt_core
|
|---|
| 104 |
|
|---|
| 105 |
|
|---|
| 106 |
|
|---|
| 107 |
|
|---|
| 108 |
|
|---|
| 109 |
|
|---|
| 110 | .type _vpaes_decrypt_core,@function
|
|---|
| 111 | .align 16
|
|---|
| 112 | _vpaes_decrypt_core:
|
|---|
| 113 | .cfi_startproc
|
|---|
| 114 | movq %rdx,%r9
|
|---|
| 115 | movl 240(%rdx),%eax
|
|---|
| 116 | movdqa %xmm9,%xmm1
|
|---|
| 117 | movdqa .Lk_dipt(%rip),%xmm2
|
|---|
| 118 | pandn %xmm0,%xmm1
|
|---|
| 119 | movq %rax,%r11
|
|---|
| 120 | psrld $4,%xmm1
|
|---|
| 121 | movdqu (%r9),%xmm5
|
|---|
| 122 | shlq $4,%r11
|
|---|
| 123 | pand %xmm9,%xmm0
|
|---|
| 124 | .byte 102,15,56,0,208
|
|---|
| 125 | movdqa .Lk_dipt+16(%rip),%xmm0
|
|---|
| 126 | xorq $0x30,%r11
|
|---|
| 127 | leaq .Lk_dsbd(%rip),%r10
|
|---|
| 128 | .byte 102,15,56,0,193
|
|---|
| 129 | andq $0x30,%r11
|
|---|
| 130 | pxor %xmm5,%xmm2
|
|---|
| 131 | movdqa .Lk_mc_forward+48(%rip),%xmm5
|
|---|
| 132 | pxor %xmm2,%xmm0
|
|---|
| 133 | addq $16,%r9
|
|---|
| 134 | addq %r10,%r11
|
|---|
| 135 | jmp .Ldec_entry
|
|---|
| 136 |
|
|---|
| 137 | .align 16
|
|---|
| 138 | .Ldec_loop:
|
|---|
| 139 |
|
|---|
| 140 |
|
|---|
| 141 |
|
|---|
| 142 | movdqa -32(%r10),%xmm4
|
|---|
| 143 | movdqa -16(%r10),%xmm1
|
|---|
| 144 | .byte 102,15,56,0,226
|
|---|
| 145 | .byte 102,15,56,0,203
|
|---|
| 146 | pxor %xmm4,%xmm0
|
|---|
| 147 | movdqa 0(%r10),%xmm4
|
|---|
| 148 | pxor %xmm1,%xmm0
|
|---|
| 149 | movdqa 16(%r10),%xmm1
|
|---|
| 150 |
|
|---|
| 151 | .byte 102,15,56,0,226
|
|---|
| 152 | .byte 102,15,56,0,197
|
|---|
| 153 | .byte 102,15,56,0,203
|
|---|
| 154 | pxor %xmm4,%xmm0
|
|---|
| 155 | movdqa 32(%r10),%xmm4
|
|---|
| 156 | pxor %xmm1,%xmm0
|
|---|
| 157 | movdqa 48(%r10),%xmm1
|
|---|
| 158 |
|
|---|
| 159 | .byte 102,15,56,0,226
|
|---|
| 160 | .byte 102,15,56,0,197
|
|---|
| 161 | .byte 102,15,56,0,203
|
|---|
| 162 | pxor %xmm4,%xmm0
|
|---|
| 163 | movdqa 64(%r10),%xmm4
|
|---|
| 164 | pxor %xmm1,%xmm0
|
|---|
| 165 | movdqa 80(%r10),%xmm1
|
|---|
| 166 |
|
|---|
| 167 | .byte 102,15,56,0,226
|
|---|
| 168 | .byte 102,15,56,0,197
|
|---|
| 169 | .byte 102,15,56,0,203
|
|---|
| 170 | pxor %xmm4,%xmm0
|
|---|
| 171 | addq $16,%r9
|
|---|
| 172 | .byte 102,15,58,15,237,12
|
|---|
| 173 | pxor %xmm1,%xmm0
|
|---|
| 174 | subq $1,%rax
|
|---|
| 175 |
|
|---|
| 176 | .Ldec_entry:
|
|---|
| 177 |
|
|---|
| 178 | movdqa %xmm9,%xmm1
|
|---|
| 179 | pandn %xmm0,%xmm1
|
|---|
| 180 | movdqa %xmm11,%xmm2
|
|---|
| 181 | psrld $4,%xmm1
|
|---|
| 182 | pand %xmm9,%xmm0
|
|---|
| 183 | .byte 102,15,56,0,208
|
|---|
| 184 | movdqa %xmm10,%xmm3
|
|---|
| 185 | pxor %xmm1,%xmm0
|
|---|
| 186 | .byte 102,15,56,0,217
|
|---|
| 187 | movdqa %xmm10,%xmm4
|
|---|
| 188 | pxor %xmm2,%xmm3
|
|---|
| 189 | .byte 102,15,56,0,224
|
|---|
| 190 | pxor %xmm2,%xmm4
|
|---|
| 191 | movdqa %xmm10,%xmm2
|
|---|
| 192 | .byte 102,15,56,0,211
|
|---|
| 193 | movdqa %xmm10,%xmm3
|
|---|
| 194 | pxor %xmm0,%xmm2
|
|---|
| 195 | .byte 102,15,56,0,220
|
|---|
| 196 | movdqu (%r9),%xmm0
|
|---|
| 197 | pxor %xmm1,%xmm3
|
|---|
| 198 | jnz .Ldec_loop
|
|---|
| 199 |
|
|---|
| 200 |
|
|---|
| 201 | movdqa 96(%r10),%xmm4
|
|---|
| 202 | .byte 102,15,56,0,226
|
|---|
| 203 | pxor %xmm0,%xmm4
|
|---|
| 204 | movdqa 112(%r10),%xmm0
|
|---|
| 205 | movdqa -352(%r11),%xmm2
|
|---|
| 206 | .byte 102,15,56,0,195
|
|---|
| 207 | pxor %xmm4,%xmm0
|
|---|
| 208 | .byte 102,15,56,0,194
|
|---|
| 209 | .byte 0xf3,0xc3
|
|---|
| 210 | .cfi_endproc
|
|---|
| 211 | .size _vpaes_decrypt_core,.-_vpaes_decrypt_core
|
|---|
| 212 |
|
|---|
| 213 |
|
|---|
| 214 |
|
|---|
| 215 |
|
|---|
| 216 |
|
|---|
| 217 |
|
|---|
| 218 | .type _vpaes_schedule_core,@function
|
|---|
| 219 | .align 16
|
|---|
| 220 | _vpaes_schedule_core:
|
|---|
| 221 | .cfi_startproc
|
|---|
| 222 |
|
|---|
| 223 |
|
|---|
| 224 |
|
|---|
| 225 |
|
|---|
| 226 |
|
|---|
| 227 | call _vpaes_preheat
|
|---|
| 228 | movdqa .Lk_rcon(%rip),%xmm8
|
|---|
| 229 | movdqu (%rdi),%xmm0
|
|---|
| 230 |
|
|---|
| 231 |
|
|---|
| 232 | movdqa %xmm0,%xmm3
|
|---|
| 233 | leaq .Lk_ipt(%rip),%r11
|
|---|
| 234 | call _vpaes_schedule_transform
|
|---|
| 235 | movdqa %xmm0,%xmm7
|
|---|
| 236 |
|
|---|
| 237 | leaq .Lk_sr(%rip),%r10
|
|---|
| 238 | testq %rcx,%rcx
|
|---|
| 239 | jnz .Lschedule_am_decrypting
|
|---|
| 240 |
|
|---|
| 241 |
|
|---|
| 242 | movdqu %xmm0,(%rdx)
|
|---|
| 243 | jmp .Lschedule_go
|
|---|
| 244 |
|
|---|
| 245 | .Lschedule_am_decrypting:
|
|---|
| 246 |
|
|---|
| 247 | movdqa (%r8,%r10,1),%xmm1
|
|---|
| 248 | .byte 102,15,56,0,217
|
|---|
| 249 | movdqu %xmm3,(%rdx)
|
|---|
| 250 | xorq $0x30,%r8
|
|---|
| 251 |
|
|---|
| 252 | .Lschedule_go:
|
|---|
| 253 | cmpl $192,%esi
|
|---|
| 254 | ja .Lschedule_256
|
|---|
| 255 | je .Lschedule_192
|
|---|
| 256 |
|
|---|
| 257 |
|
|---|
| 258 |
|
|---|
| 259 |
|
|---|
| 260 |
|
|---|
| 261 |
|
|---|
| 262 |
|
|---|
| 263 |
|
|---|
| 264 |
|
|---|
| 265 |
|
|---|
| 266 | .Lschedule_128:
|
|---|
| 267 | movl $10,%esi
|
|---|
| 268 |
|
|---|
| 269 | .Loop_schedule_128:
|
|---|
| 270 | call _vpaes_schedule_round
|
|---|
| 271 | decq %rsi
|
|---|
| 272 | jz .Lschedule_mangle_last
|
|---|
| 273 | call _vpaes_schedule_mangle
|
|---|
| 274 | jmp .Loop_schedule_128
|
|---|
| 275 |
|
|---|
| 276 |
|
|---|
| 277 |
|
|---|
| 278 |
|
|---|
| 279 |
|
|---|
| 280 |
|
|---|
| 281 |
|
|---|
| 282 |
|
|---|
| 283 |
|
|---|
| 284 |
|
|---|
| 285 |
|
|---|
| 286 |
|
|---|
| 287 |
|
|---|
| 288 |
|
|---|
| 289 |
|
|---|
| 290 |
|
|---|
| 291 | .align 16
|
|---|
| 292 | .Lschedule_192:
|
|---|
| 293 | movdqu 8(%rdi),%xmm0
|
|---|
| 294 | call _vpaes_schedule_transform
|
|---|
| 295 | movdqa %xmm0,%xmm6
|
|---|
| 296 | pxor %xmm4,%xmm4
|
|---|
| 297 | movhlps %xmm4,%xmm6
|
|---|
| 298 | movl $4,%esi
|
|---|
| 299 |
|
|---|
| 300 | .Loop_schedule_192:
|
|---|
| 301 | call _vpaes_schedule_round
|
|---|
| 302 | .byte 102,15,58,15,198,8
|
|---|
| 303 | call _vpaes_schedule_mangle
|
|---|
| 304 | call _vpaes_schedule_192_smear
|
|---|
| 305 | call _vpaes_schedule_mangle
|
|---|
| 306 | call _vpaes_schedule_round
|
|---|
| 307 | decq %rsi
|
|---|
| 308 | jz .Lschedule_mangle_last
|
|---|
| 309 | call _vpaes_schedule_mangle
|
|---|
| 310 | call _vpaes_schedule_192_smear
|
|---|
| 311 | jmp .Loop_schedule_192
|
|---|
| 312 |
|
|---|
| 313 |
|
|---|
| 314 |
|
|---|
| 315 |
|
|---|
| 316 |
|
|---|
| 317 |
|
|---|
| 318 |
|
|---|
| 319 |
|
|---|
| 320 |
|
|---|
| 321 |
|
|---|
| 322 |
|
|---|
| 323 | .align 16
|
|---|
| 324 | .Lschedule_256:
|
|---|
| 325 | movdqu 16(%rdi),%xmm0
|
|---|
| 326 | call _vpaes_schedule_transform
|
|---|
| 327 | movl $7,%esi
|
|---|
| 328 |
|
|---|
| 329 | .Loop_schedule_256:
|
|---|
| 330 | call _vpaes_schedule_mangle
|
|---|
| 331 | movdqa %xmm0,%xmm6
|
|---|
| 332 |
|
|---|
| 333 |
|
|---|
| 334 | call _vpaes_schedule_round
|
|---|
| 335 | decq %rsi
|
|---|
| 336 | jz .Lschedule_mangle_last
|
|---|
| 337 | call _vpaes_schedule_mangle
|
|---|
| 338 |
|
|---|
| 339 |
|
|---|
| 340 | pshufd $0xFF,%xmm0,%xmm0
|
|---|
| 341 | movdqa %xmm7,%xmm5
|
|---|
| 342 | movdqa %xmm6,%xmm7
|
|---|
| 343 | call _vpaes_schedule_low_round
|
|---|
| 344 | movdqa %xmm5,%xmm7
|
|---|
| 345 |
|
|---|
| 346 | jmp .Loop_schedule_256
|
|---|
| 347 |
|
|---|
| 348 |
|
|---|
| 349 |
|
|---|
| 350 |
|
|---|
| 351 |
|
|---|
| 352 |
|
|---|
| 353 |
|
|---|
| 354 |
|
|---|
| 355 |
|
|---|
| 356 |
|
|---|
| 357 |
|
|---|
| 358 |
|
|---|
| 359 | .align 16
|
|---|
| 360 | .Lschedule_mangle_last:
|
|---|
| 361 |
|
|---|
| 362 | leaq .Lk_deskew(%rip),%r11
|
|---|
| 363 | testq %rcx,%rcx
|
|---|
| 364 | jnz .Lschedule_mangle_last_dec
|
|---|
| 365 |
|
|---|
| 366 |
|
|---|
| 367 | movdqa (%r8,%r10,1),%xmm1
|
|---|
| 368 | .byte 102,15,56,0,193
|
|---|
| 369 | leaq .Lk_opt(%rip),%r11
|
|---|
| 370 | addq $32,%rdx
|
|---|
| 371 |
|
|---|
| 372 | .Lschedule_mangle_last_dec:
|
|---|
| 373 | addq $-16,%rdx
|
|---|
| 374 | pxor .Lk_s63(%rip),%xmm0
|
|---|
| 375 | call _vpaes_schedule_transform
|
|---|
| 376 | movdqu %xmm0,(%rdx)
|
|---|
| 377 |
|
|---|
| 378 |
|
|---|
| 379 | pxor %xmm0,%xmm0
|
|---|
| 380 | pxor %xmm1,%xmm1
|
|---|
| 381 | pxor %xmm2,%xmm2
|
|---|
| 382 | pxor %xmm3,%xmm3
|
|---|
| 383 | pxor %xmm4,%xmm4
|
|---|
| 384 | pxor %xmm5,%xmm5
|
|---|
| 385 | pxor %xmm6,%xmm6
|
|---|
| 386 | pxor %xmm7,%xmm7
|
|---|
| 387 | .byte 0xf3,0xc3
|
|---|
| 388 | .cfi_endproc
|
|---|
| 389 | .size _vpaes_schedule_core,.-_vpaes_schedule_core
|
|---|
| 390 |
|
|---|
| 391 |
|
|---|
| 392 |
|
|---|
| 393 |
|
|---|
| 394 |
|
|---|
| 395 |
|
|---|
| 396 |
|
|---|
| 397 |
|
|---|
| 398 |
|
|---|
| 399 |
|
|---|
| 400 |
|
|---|
| 401 |
|
|---|
| 402 |
|
|---|
| 403 |
|
|---|
| 404 |
|
|---|
| 405 | .type _vpaes_schedule_192_smear,@function
|
|---|
| 406 | .align 16
|
|---|
| 407 | _vpaes_schedule_192_smear:
|
|---|
| 408 | .cfi_startproc
|
|---|
| 409 | pshufd $0x80,%xmm6,%xmm1
|
|---|
| 410 | pshufd $0xFE,%xmm7,%xmm0
|
|---|
| 411 | pxor %xmm1,%xmm6
|
|---|
| 412 | pxor %xmm1,%xmm1
|
|---|
| 413 | pxor %xmm0,%xmm6
|
|---|
| 414 | movdqa %xmm6,%xmm0
|
|---|
| 415 | movhlps %xmm1,%xmm6
|
|---|
| 416 | .byte 0xf3,0xc3
|
|---|
| 417 | .cfi_endproc
|
|---|
| 418 | .size _vpaes_schedule_192_smear,.-_vpaes_schedule_192_smear
|
|---|
| 419 |
|
|---|
| 420 |
|
|---|
| 421 |
|
|---|
| 422 |
|
|---|
| 423 |
|
|---|
| 424 |
|
|---|
| 425 |
|
|---|
| 426 |
|
|---|
| 427 |
|
|---|
| 428 |
|
|---|
| 429 |
|
|---|
| 430 |
|
|---|
| 431 |
|
|---|
| 432 |
|
|---|
| 433 |
|
|---|
| 434 |
|
|---|
| 435 |
|
|---|
| 436 |
|
|---|
| 437 |
|
|---|
| 438 | .type _vpaes_schedule_round,@function
|
|---|
| 439 | .align 16
|
|---|
| 440 | _vpaes_schedule_round:
|
|---|
| 441 | .cfi_startproc
|
|---|
| 442 |
|
|---|
| 443 | pxor %xmm1,%xmm1
|
|---|
| 444 | .byte 102,65,15,58,15,200,15
|
|---|
| 445 | .byte 102,69,15,58,15,192,15
|
|---|
| 446 | pxor %xmm1,%xmm7
|
|---|
| 447 |
|
|---|
| 448 |
|
|---|
| 449 | pshufd $0xFF,%xmm0,%xmm0
|
|---|
| 450 | .byte 102,15,58,15,192,1
|
|---|
| 451 |
|
|---|
| 452 |
|
|---|
| 453 |
|
|---|
| 454 |
|
|---|
| 455 | _vpaes_schedule_low_round:
|
|---|
| 456 |
|
|---|
| 457 | movdqa %xmm7,%xmm1
|
|---|
| 458 | pslldq $4,%xmm7
|
|---|
| 459 | pxor %xmm1,%xmm7
|
|---|
| 460 | movdqa %xmm7,%xmm1
|
|---|
| 461 | pslldq $8,%xmm7
|
|---|
| 462 | pxor %xmm1,%xmm7
|
|---|
| 463 | pxor .Lk_s63(%rip),%xmm7
|
|---|
| 464 |
|
|---|
| 465 |
|
|---|
| 466 | movdqa %xmm9,%xmm1
|
|---|
| 467 | pandn %xmm0,%xmm1
|
|---|
| 468 | psrld $4,%xmm1
|
|---|
| 469 | pand %xmm9,%xmm0
|
|---|
| 470 | movdqa %xmm11,%xmm2
|
|---|
| 471 | .byte 102,15,56,0,208
|
|---|
| 472 | pxor %xmm1,%xmm0
|
|---|
| 473 | movdqa %xmm10,%xmm3
|
|---|
| 474 | .byte 102,15,56,0,217
|
|---|
| 475 | pxor %xmm2,%xmm3
|
|---|
| 476 | movdqa %xmm10,%xmm4
|
|---|
| 477 | .byte 102,15,56,0,224
|
|---|
| 478 | pxor %xmm2,%xmm4
|
|---|
| 479 | movdqa %xmm10,%xmm2
|
|---|
| 480 | .byte 102,15,56,0,211
|
|---|
| 481 | pxor %xmm0,%xmm2
|
|---|
| 482 | movdqa %xmm10,%xmm3
|
|---|
| 483 | .byte 102,15,56,0,220
|
|---|
| 484 | pxor %xmm1,%xmm3
|
|---|
| 485 | movdqa %xmm13,%xmm4
|
|---|
| 486 | .byte 102,15,56,0,226
|
|---|
| 487 | movdqa %xmm12,%xmm0
|
|---|
| 488 | .byte 102,15,56,0,195
|
|---|
| 489 | pxor %xmm4,%xmm0
|
|---|
| 490 |
|
|---|
| 491 |
|
|---|
| 492 | pxor %xmm7,%xmm0
|
|---|
| 493 | movdqa %xmm0,%xmm7
|
|---|
| 494 | .byte 0xf3,0xc3
|
|---|
| 495 | .cfi_endproc
|
|---|
| 496 | .size _vpaes_schedule_round,.-_vpaes_schedule_round
|
|---|
| 497 |
|
|---|
| 498 |
|
|---|
| 499 |
|
|---|
| 500 |
|
|---|
| 501 |
|
|---|
| 502 |
|
|---|
| 503 |
|
|---|
| 504 |
|
|---|
| 505 |
|
|---|
| 506 |
|
|---|
| 507 | .type _vpaes_schedule_transform,@function
|
|---|
| 508 | .align 16
|
|---|
| 509 | _vpaes_schedule_transform:
|
|---|
| 510 | .cfi_startproc
|
|---|
| 511 | movdqa %xmm9,%xmm1
|
|---|
| 512 | pandn %xmm0,%xmm1
|
|---|
| 513 | psrld $4,%xmm1
|
|---|
| 514 | pand %xmm9,%xmm0
|
|---|
| 515 | movdqa (%r11),%xmm2
|
|---|
| 516 | .byte 102,15,56,0,208
|
|---|
| 517 | movdqa 16(%r11),%xmm0
|
|---|
| 518 | .byte 102,15,56,0,193
|
|---|
| 519 | pxor %xmm2,%xmm0
|
|---|
| 520 | .byte 0xf3,0xc3
|
|---|
| 521 | .cfi_endproc
|
|---|
| 522 | .size _vpaes_schedule_transform,.-_vpaes_schedule_transform
|
|---|
| 523 |
|
|---|
| 524 |
|
|---|
| 525 |
|
|---|
| 526 |
|
|---|
| 527 |
|
|---|
| 528 |
|
|---|
| 529 |
|
|---|
| 530 |
|
|---|
| 531 |
|
|---|
| 532 |
|
|---|
| 533 |
|
|---|
| 534 |
|
|---|
| 535 |
|
|---|
| 536 |
|
|---|
| 537 |
|
|---|
| 538 |
|
|---|
| 539 |
|
|---|
| 540 |
|
|---|
| 541 |
|
|---|
| 542 |
|
|---|
| 543 |
|
|---|
| 544 |
|
|---|
| 545 |
|
|---|
| 546 |
|
|---|
| 547 | .type _vpaes_schedule_mangle,@function
|
|---|
| 548 | .align 16
|
|---|
| 549 | _vpaes_schedule_mangle:
|
|---|
| 550 | .cfi_startproc
|
|---|
| 551 | movdqa %xmm0,%xmm4
|
|---|
| 552 | movdqa .Lk_mc_forward(%rip),%xmm5
|
|---|
| 553 | testq %rcx,%rcx
|
|---|
| 554 | jnz .Lschedule_mangle_dec
|
|---|
| 555 |
|
|---|
| 556 |
|
|---|
| 557 | addq $16,%rdx
|
|---|
| 558 | pxor .Lk_s63(%rip),%xmm4
|
|---|
| 559 | .byte 102,15,56,0,229
|
|---|
| 560 | movdqa %xmm4,%xmm3
|
|---|
| 561 | .byte 102,15,56,0,229
|
|---|
| 562 | pxor %xmm4,%xmm3
|
|---|
| 563 | .byte 102,15,56,0,229
|
|---|
| 564 | pxor %xmm4,%xmm3
|
|---|
| 565 |
|
|---|
| 566 | jmp .Lschedule_mangle_both
|
|---|
| 567 | .align 16
|
|---|
| 568 | .Lschedule_mangle_dec:
|
|---|
| 569 |
|
|---|
| 570 | leaq .Lk_dksd(%rip),%r11
|
|---|
| 571 | movdqa %xmm9,%xmm1
|
|---|
| 572 | pandn %xmm4,%xmm1
|
|---|
| 573 | psrld $4,%xmm1
|
|---|
| 574 | pand %xmm9,%xmm4
|
|---|
| 575 |
|
|---|
| 576 | movdqa 0(%r11),%xmm2
|
|---|
| 577 | .byte 102,15,56,0,212
|
|---|
| 578 | movdqa 16(%r11),%xmm3
|
|---|
| 579 | .byte 102,15,56,0,217
|
|---|
| 580 | pxor %xmm2,%xmm3
|
|---|
| 581 | .byte 102,15,56,0,221
|
|---|
| 582 |
|
|---|
| 583 | movdqa 32(%r11),%xmm2
|
|---|
| 584 | .byte 102,15,56,0,212
|
|---|
| 585 | pxor %xmm3,%xmm2
|
|---|
| 586 | movdqa 48(%r11),%xmm3
|
|---|
| 587 | .byte 102,15,56,0,217
|
|---|
| 588 | pxor %xmm2,%xmm3
|
|---|
| 589 | .byte 102,15,56,0,221
|
|---|
| 590 |
|
|---|
| 591 | movdqa 64(%r11),%xmm2
|
|---|
| 592 | .byte 102,15,56,0,212
|
|---|
| 593 | pxor %xmm3,%xmm2
|
|---|
| 594 | movdqa 80(%r11),%xmm3
|
|---|
| 595 | .byte 102,15,56,0,217
|
|---|
| 596 | pxor %xmm2,%xmm3
|
|---|
| 597 | .byte 102,15,56,0,221
|
|---|
| 598 |
|
|---|
| 599 | movdqa 96(%r11),%xmm2
|
|---|
| 600 | .byte 102,15,56,0,212
|
|---|
| 601 | pxor %xmm3,%xmm2
|
|---|
| 602 | movdqa 112(%r11),%xmm3
|
|---|
| 603 | .byte 102,15,56,0,217
|
|---|
| 604 | pxor %xmm2,%xmm3
|
|---|
| 605 |
|
|---|
| 606 | addq $-16,%rdx
|
|---|
| 607 |
|
|---|
| 608 | .Lschedule_mangle_both:
|
|---|
| 609 | movdqa (%r8,%r10,1),%xmm1
|
|---|
| 610 | .byte 102,15,56,0,217
|
|---|
| 611 | addq $-16,%r8
|
|---|
| 612 | andq $0x30,%r8
|
|---|
| 613 | movdqu %xmm3,(%rdx)
|
|---|
| 614 | .byte 0xf3,0xc3
|
|---|
| 615 | .cfi_endproc
|
|---|
| 616 | .size _vpaes_schedule_mangle,.-_vpaes_schedule_mangle
|
|---|
| 617 |
|
|---|
| 618 |
|
|---|
| 619 |
|
|---|
| 620 |
|
|---|
| 621 | .globl vpaes_set_encrypt_key
|
|---|
| 622 | .type vpaes_set_encrypt_key,@function
|
|---|
| 623 | .align 16
|
|---|
| 624 | vpaes_set_encrypt_key:
|
|---|
| 625 | .cfi_startproc
|
|---|
| 626 | .byte 243,15,30,250
|
|---|
| 627 | movl %esi,%eax
|
|---|
| 628 | shrl $5,%eax
|
|---|
| 629 | addl $5,%eax
|
|---|
| 630 | movl %eax,240(%rdx)
|
|---|
| 631 |
|
|---|
| 632 | movl $0,%ecx
|
|---|
| 633 | movl $0x30,%r8d
|
|---|
| 634 | call _vpaes_schedule_core
|
|---|
| 635 | xorl %eax,%eax
|
|---|
| 636 | .byte 0xf3,0xc3
|
|---|
| 637 | .cfi_endproc
|
|---|
| 638 | .size vpaes_set_encrypt_key,.-vpaes_set_encrypt_key
|
|---|
| 639 |
|
|---|
| 640 | .globl vpaes_set_decrypt_key
|
|---|
| 641 | .type vpaes_set_decrypt_key,@function
|
|---|
| 642 | .align 16
|
|---|
| 643 | vpaes_set_decrypt_key:
|
|---|
| 644 | .cfi_startproc
|
|---|
| 645 | .byte 243,15,30,250
|
|---|
| 646 | movl %esi,%eax
|
|---|
| 647 | shrl $5,%eax
|
|---|
| 648 | addl $5,%eax
|
|---|
| 649 | movl %eax,240(%rdx)
|
|---|
| 650 | shll $4,%eax
|
|---|
| 651 | leaq 16(%rdx,%rax,1),%rdx
|
|---|
| 652 |
|
|---|
| 653 | movl $1,%ecx
|
|---|
| 654 | movl %esi,%r8d
|
|---|
| 655 | shrl $1,%r8d
|
|---|
| 656 | andl $32,%r8d
|
|---|
| 657 | xorl $32,%r8d
|
|---|
| 658 | call _vpaes_schedule_core
|
|---|
| 659 | xorl %eax,%eax
|
|---|
| 660 | .byte 0xf3,0xc3
|
|---|
| 661 | .cfi_endproc
|
|---|
| 662 | .size vpaes_set_decrypt_key,.-vpaes_set_decrypt_key
|
|---|
| 663 |
|
|---|
| 664 | .globl vpaes_encrypt
|
|---|
| 665 | .type vpaes_encrypt,@function
|
|---|
| 666 | .align 16
|
|---|
| 667 | vpaes_encrypt:
|
|---|
| 668 | .cfi_startproc
|
|---|
| 669 | .byte 243,15,30,250
|
|---|
| 670 | movdqu (%rdi),%xmm0
|
|---|
| 671 | call _vpaes_preheat
|
|---|
| 672 | call _vpaes_encrypt_core
|
|---|
| 673 | movdqu %xmm0,(%rsi)
|
|---|
| 674 | .byte 0xf3,0xc3
|
|---|
| 675 | .cfi_endproc
|
|---|
| 676 | .size vpaes_encrypt,.-vpaes_encrypt
|
|---|
| 677 |
|
|---|
| 678 | .globl vpaes_decrypt
|
|---|
| 679 | .type vpaes_decrypt,@function
|
|---|
| 680 | .align 16
|
|---|
| 681 | vpaes_decrypt:
|
|---|
| 682 | .cfi_startproc
|
|---|
| 683 | .byte 243,15,30,250
|
|---|
| 684 | movdqu (%rdi),%xmm0
|
|---|
| 685 | call _vpaes_preheat
|
|---|
| 686 | call _vpaes_decrypt_core
|
|---|
| 687 | movdqu %xmm0,(%rsi)
|
|---|
| 688 | .byte 0xf3,0xc3
|
|---|
| 689 | .cfi_endproc
|
|---|
| 690 | .size vpaes_decrypt,.-vpaes_decrypt
|
|---|
| 691 | .globl vpaes_cbc_encrypt
|
|---|
| 692 | .type vpaes_cbc_encrypt,@function
|
|---|
| 693 | .align 16
|
|---|
| 694 | vpaes_cbc_encrypt:
|
|---|
| 695 | .cfi_startproc
|
|---|
| 696 | .byte 243,15,30,250
|
|---|
| 697 | xchgq %rcx,%rdx
|
|---|
| 698 | subq $16,%rcx
|
|---|
| 699 | jc .Lcbc_abort
|
|---|
| 700 | movdqu (%r8),%xmm6
|
|---|
| 701 | subq %rdi,%rsi
|
|---|
| 702 | call _vpaes_preheat
|
|---|
| 703 | cmpl $0,%r9d
|
|---|
| 704 | je .Lcbc_dec_loop
|
|---|
| 705 | jmp .Lcbc_enc_loop
|
|---|
| 706 | .align 16
|
|---|
| 707 | .Lcbc_enc_loop:
|
|---|
| 708 | movdqu (%rdi),%xmm0
|
|---|
| 709 | pxor %xmm6,%xmm0
|
|---|
| 710 | call _vpaes_encrypt_core
|
|---|
| 711 | movdqa %xmm0,%xmm6
|
|---|
| 712 | movdqu %xmm0,(%rsi,%rdi,1)
|
|---|
| 713 | leaq 16(%rdi),%rdi
|
|---|
| 714 | subq $16,%rcx
|
|---|
| 715 | jnc .Lcbc_enc_loop
|
|---|
| 716 | jmp .Lcbc_done
|
|---|
| 717 | .align 16
|
|---|
| 718 | .Lcbc_dec_loop:
|
|---|
| 719 | movdqu (%rdi),%xmm0
|
|---|
| 720 | movdqa %xmm0,%xmm7
|
|---|
| 721 | call _vpaes_decrypt_core
|
|---|
| 722 | pxor %xmm6,%xmm0
|
|---|
| 723 | movdqa %xmm7,%xmm6
|
|---|
| 724 | movdqu %xmm0,(%rsi,%rdi,1)
|
|---|
| 725 | leaq 16(%rdi),%rdi
|
|---|
| 726 | subq $16,%rcx
|
|---|
| 727 | jnc .Lcbc_dec_loop
|
|---|
| 728 | .Lcbc_done:
|
|---|
| 729 | movdqu %xmm6,(%r8)
|
|---|
| 730 | .Lcbc_abort:
|
|---|
| 731 | .byte 0xf3,0xc3
|
|---|
| 732 | .cfi_endproc
|
|---|
| 733 | .size vpaes_cbc_encrypt,.-vpaes_cbc_encrypt
|
|---|
| 734 |
|
|---|
| 735 |
|
|---|
| 736 |
|
|---|
| 737 |
|
|---|
| 738 |
|
|---|
| 739 |
|
|---|
| 740 | .type _vpaes_preheat,@function
|
|---|
| 741 | .align 16
|
|---|
| 742 | _vpaes_preheat:
|
|---|
| 743 | .cfi_startproc
|
|---|
| 744 | leaq .Lk_s0F(%rip),%r10
|
|---|
| 745 | movdqa -32(%r10),%xmm10
|
|---|
| 746 | movdqa -16(%r10),%xmm11
|
|---|
| 747 | movdqa 0(%r10),%xmm9
|
|---|
| 748 | movdqa 48(%r10),%xmm13
|
|---|
| 749 | movdqa 64(%r10),%xmm12
|
|---|
| 750 | movdqa 80(%r10),%xmm15
|
|---|
| 751 | movdqa 96(%r10),%xmm14
|
|---|
| 752 | .byte 0xf3,0xc3
|
|---|
| 753 | .cfi_endproc
|
|---|
| 754 | .size _vpaes_preheat,.-_vpaes_preheat
|
|---|
| 755 |
|
|---|
| 756 |
|
|---|
| 757 |
|
|---|
| 758 |
|
|---|
| 759 |
|
|---|
| 760 | .type _vpaes_consts,@object
|
|---|
| 761 | .align 64
|
|---|
| 762 | _vpaes_consts:
|
|---|
| 763 | .Lk_inv:
|
|---|
| 764 | .quad 0x0E05060F0D080180, 0x040703090A0B0C02
|
|---|
| 765 | .quad 0x01040A060F0B0780, 0x030D0E0C02050809
|
|---|
| 766 |
|
|---|
| 767 | .Lk_s0F:
|
|---|
| 768 | .quad 0x0F0F0F0F0F0F0F0F, 0x0F0F0F0F0F0F0F0F
|
|---|
| 769 |
|
|---|
| 770 | .Lk_ipt:
|
|---|
| 771 | .quad 0xC2B2E8985A2A7000, 0xCABAE09052227808
|
|---|
| 772 | .quad 0x4C01307D317C4D00, 0xCD80B1FCB0FDCC81
|
|---|
| 773 |
|
|---|
| 774 | .Lk_sb1:
|
|---|
| 775 | .quad 0xB19BE18FCB503E00, 0xA5DF7A6E142AF544
|
|---|
| 776 | .quad 0x3618D415FAE22300, 0x3BF7CCC10D2ED9EF
|
|---|
| 777 | .Lk_sb2:
|
|---|
| 778 | .quad 0xE27A93C60B712400, 0x5EB7E955BC982FCD
|
|---|
| 779 | .quad 0x69EB88400AE12900, 0xC2A163C8AB82234A
|
|---|
| 780 | .Lk_sbo:
|
|---|
| 781 | .quad 0xD0D26D176FBDC700, 0x15AABF7AC502A878
|
|---|
| 782 | .quad 0xCFE474A55FBB6A00, 0x8E1E90D1412B35FA
|
|---|
| 783 |
|
|---|
| 784 | .Lk_mc_forward:
|
|---|
| 785 | .quad 0x0407060500030201, 0x0C0F0E0D080B0A09
|
|---|
| 786 | .quad 0x080B0A0904070605, 0x000302010C0F0E0D
|
|---|
| 787 | .quad 0x0C0F0E0D080B0A09, 0x0407060500030201
|
|---|
| 788 | .quad 0x000302010C0F0E0D, 0x080B0A0904070605
|
|---|
| 789 |
|
|---|
| 790 | .Lk_mc_backward:
|
|---|
| 791 | .quad 0x0605040702010003, 0x0E0D0C0F0A09080B
|
|---|
| 792 | .quad 0x020100030E0D0C0F, 0x0A09080B06050407
|
|---|
| 793 | .quad 0x0E0D0C0F0A09080B, 0x0605040702010003
|
|---|
| 794 | .quad 0x0A09080B06050407, 0x020100030E0D0C0F
|
|---|
| 795 |
|
|---|
| 796 | .Lk_sr:
|
|---|
| 797 | .quad 0x0706050403020100, 0x0F0E0D0C0B0A0908
|
|---|
| 798 | .quad 0x030E09040F0A0500, 0x0B06010C07020D08
|
|---|
| 799 | .quad 0x0F060D040B020900, 0x070E050C030A0108
|
|---|
| 800 | .quad 0x0B0E0104070A0D00, 0x0306090C0F020508
|
|---|
| 801 |
|
|---|
| 802 | .Lk_rcon:
|
|---|
| 803 | .quad 0x1F8391B9AF9DEEB6, 0x702A98084D7C7D81
|
|---|
| 804 |
|
|---|
| 805 | .Lk_s63:
|
|---|
| 806 | .quad 0x5B5B5B5B5B5B5B5B, 0x5B5B5B5B5B5B5B5B
|
|---|
| 807 |
|
|---|
| 808 | .Lk_opt:
|
|---|
| 809 | .quad 0xFF9F4929D6B66000, 0xF7974121DEBE6808
|
|---|
| 810 | .quad 0x01EDBD5150BCEC00, 0xE10D5DB1B05C0CE0
|
|---|
| 811 |
|
|---|
| 812 | .Lk_deskew:
|
|---|
| 813 | .quad 0x07E4A34047A4E300, 0x1DFEB95A5DBEF91A
|
|---|
| 814 | .quad 0x5F36B5DC83EA6900, 0x2841C2ABF49D1E77
|
|---|
| 815 |
|
|---|
| 816 |
|
|---|
| 817 |
|
|---|
| 818 |
|
|---|
| 819 |
|
|---|
| 820 | .Lk_dksd:
|
|---|
| 821 | .quad 0xFEB91A5DA3E44700, 0x0740E3A45A1DBEF9
|
|---|
| 822 | .quad 0x41C277F4B5368300, 0x5FDC69EAAB289D1E
|
|---|
| 823 | .Lk_dksb:
|
|---|
| 824 | .quad 0x9A4FCA1F8550D500, 0x03D653861CC94C99
|
|---|
| 825 | .quad 0x115BEDA7B6FC4A00, 0xD993256F7E3482C8
|
|---|
| 826 | .Lk_dkse:
|
|---|
| 827 | .quad 0xD5031CCA1FC9D600, 0x53859A4C994F5086
|
|---|
| 828 | .quad 0xA23196054FDC7BE8, 0xCD5EF96A20B31487
|
|---|
| 829 | .Lk_dks9:
|
|---|
| 830 | .quad 0xB6116FC87ED9A700, 0x4AED933482255BFC
|
|---|
| 831 | .quad 0x4576516227143300, 0x8BB89FACE9DAFDCE
|
|---|
| 832 |
|
|---|
| 833 |
|
|---|
| 834 |
|
|---|
| 835 |
|
|---|
| 836 |
|
|---|
| 837 | .Lk_dipt:
|
|---|
| 838 | .quad 0x0F505B040B545F00, 0x154A411E114E451A
|
|---|
| 839 | .quad 0x86E383E660056500, 0x12771772F491F194
|
|---|
| 840 |
|
|---|
| 841 | .Lk_dsb9:
|
|---|
| 842 | .quad 0x851C03539A86D600, 0xCAD51F504F994CC9
|
|---|
| 843 | .quad 0xC03B1789ECD74900, 0x725E2C9EB2FBA565
|
|---|
| 844 | .Lk_dsbd:
|
|---|
| 845 | .quad 0x7D57CCDFE6B1A200, 0xF56E9B13882A4439
|
|---|
| 846 | .quad 0x3CE2FAF724C6CB00, 0x2931180D15DEEFD3
|
|---|
| 847 | .Lk_dsbb:
|
|---|
| 848 | .quad 0xD022649296B44200, 0x602646F6B0F2D404
|
|---|
| 849 | .quad 0xC19498A6CD596700, 0xF3FF0C3E3255AA6B
|
|---|
| 850 | .Lk_dsbe:
|
|---|
| 851 | .quad 0x46F2929626D4D000, 0x2242600464B4F6B0
|
|---|
| 852 | .quad 0x0C55A6CDFFAAC100, 0x9467F36B98593E32
|
|---|
| 853 | .Lk_dsbo:
|
|---|
| 854 | .quad 0x1387EA537EF94000, 0xC7AA6DB9D4943E2D
|
|---|
| 855 | .quad 0x12D7560F93441D00, 0xCA4B8159D8C58E9C
|
|---|
| 856 | .byte 86,101,99,116,111,114,32,80,101,114,109,117,116,97,116,105,111,110,32,65,69,83,32,102,111,114,32,120,56,54,95,54,52,47,83,83,83,69,51,44,32,77,105,107,101,32,72,97,109,98,117,114,103,32,40,83,116,97,110,102,111,114,100,32,85,110,105,118,101,114,115,105,116,121,41,0
|
|---|
| 857 | .align 64
|
|---|
| 858 | .size _vpaes_consts,.-_vpaes_consts
|
|---|
| 859 | .section ".note.gnu.property", "a"
|
|---|
| 860 | .p2align 3
|
|---|
| 861 | .long 1f - 0f
|
|---|
| 862 | .long 4f - 1f
|
|---|
| 863 | .long 5
|
|---|
| 864 | 0:
|
|---|
| 865 | # "GNU" encoded with .byte, since .asciz isn't supported
|
|---|
| 866 | # on Solaris.
|
|---|
| 867 | .byte 0x47
|
|---|
| 868 | .byte 0x4e
|
|---|
| 869 | .byte 0x55
|
|---|
| 870 | .byte 0
|
|---|
| 871 | 1:
|
|---|
| 872 | .p2align 3
|
|---|
| 873 | .long 0xc0000002
|
|---|
| 874 | .long 3f - 2f
|
|---|
| 875 | 2:
|
|---|
| 876 | .long 3
|
|---|
| 877 | 3:
|
|---|
| 878 | .p2align 3
|
|---|
| 879 | 4:
|
|---|
