idct32x32_1_add_neon.c 4.63 KB
Newer Older
1 2 3 4 5 6 7 8 9 10 11 12
/*
 *  Copyright (c) 2014 The WebM project authors. All Rights Reserved.
 *
 *  Use of this source code is governed by a BSD-style license
 *  that can be found in the LICENSE file in the root of the source
 *  tree. An additional intellectual property rights grant can be found
 *  in the file PATENTS.  All contributing project authors may
 *  be found in the AUTHORS file in the root of the source tree.
 */

#include <arm_neon.h>

13 14
#include "./vpx_config.h"

Yaowu Xu's avatar
Yaowu Xu committed
15 16
#include "aom_dsp/inv_txfm.h"
#include "aom_ports/mem.h"
17

clang-format's avatar
clang-format committed
18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
static INLINE void LD_16x8(uint8_t *d, int d_stride, uint8x16_t *q8u8,
                           uint8x16_t *q9u8, uint8x16_t *q10u8,
                           uint8x16_t *q11u8, uint8x16_t *q12u8,
                           uint8x16_t *q13u8, uint8x16_t *q14u8,
                           uint8x16_t *q15u8) {
  *q8u8 = vld1q_u8(d);
  d += d_stride;
  *q9u8 = vld1q_u8(d);
  d += d_stride;
  *q10u8 = vld1q_u8(d);
  d += d_stride;
  *q11u8 = vld1q_u8(d);
  d += d_stride;
  *q12u8 = vld1q_u8(d);
  d += d_stride;
  *q13u8 = vld1q_u8(d);
  d += d_stride;
  *q14u8 = vld1q_u8(d);
  d += d_stride;
  *q15u8 = vld1q_u8(d);
  return;
39 40
}

clang-format's avatar
clang-format committed
41 42 43 44 45 46 47 48 49 50 51 52 53 54
static INLINE void ADD_DIFF_16x8(uint8x16_t qdiffu8, uint8x16_t *q8u8,
                                 uint8x16_t *q9u8, uint8x16_t *q10u8,
                                 uint8x16_t *q11u8, uint8x16_t *q12u8,
                                 uint8x16_t *q13u8, uint8x16_t *q14u8,
                                 uint8x16_t *q15u8) {
  *q8u8 = vqaddq_u8(*q8u8, qdiffu8);
  *q9u8 = vqaddq_u8(*q9u8, qdiffu8);
  *q10u8 = vqaddq_u8(*q10u8, qdiffu8);
  *q11u8 = vqaddq_u8(*q11u8, qdiffu8);
  *q12u8 = vqaddq_u8(*q12u8, qdiffu8);
  *q13u8 = vqaddq_u8(*q13u8, qdiffu8);
  *q14u8 = vqaddq_u8(*q14u8, qdiffu8);
  *q15u8 = vqaddq_u8(*q15u8, qdiffu8);
  return;
55 56
}

clang-format's avatar
clang-format committed
57 58 59 60 61 62 63 64 65 66 67 68 69 70
static INLINE void SUB_DIFF_16x8(uint8x16_t qdiffu8, uint8x16_t *q8u8,
                                 uint8x16_t *q9u8, uint8x16_t *q10u8,
                                 uint8x16_t *q11u8, uint8x16_t *q12u8,
                                 uint8x16_t *q13u8, uint8x16_t *q14u8,
                                 uint8x16_t *q15u8) {
  *q8u8 = vqsubq_u8(*q8u8, qdiffu8);
  *q9u8 = vqsubq_u8(*q9u8, qdiffu8);
  *q10u8 = vqsubq_u8(*q10u8, qdiffu8);
  *q11u8 = vqsubq_u8(*q11u8, qdiffu8);
  *q12u8 = vqsubq_u8(*q12u8, qdiffu8);
  *q13u8 = vqsubq_u8(*q13u8, qdiffu8);
  *q14u8 = vqsubq_u8(*q14u8, qdiffu8);
  *q15u8 = vqsubq_u8(*q15u8, qdiffu8);
  return;
71 72
}

clang-format's avatar
clang-format committed
73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93
static INLINE void ST_16x8(uint8_t *d, int d_stride, uint8x16_t *q8u8,
                           uint8x16_t *q9u8, uint8x16_t *q10u8,
                           uint8x16_t *q11u8, uint8x16_t *q12u8,
                           uint8x16_t *q13u8, uint8x16_t *q14u8,
                           uint8x16_t *q15u8) {
  vst1q_u8(d, *q8u8);
  d += d_stride;
  vst1q_u8(d, *q9u8);
  d += d_stride;
  vst1q_u8(d, *q10u8);
  d += d_stride;
  vst1q_u8(d, *q11u8);
  d += d_stride;
  vst1q_u8(d, *q12u8);
  d += d_stride;
  vst1q_u8(d, *q13u8);
  d += d_stride;
  vst1q_u8(d, *q14u8);
  d += d_stride;
  vst1q_u8(d, *q15u8);
  return;
94 95
}

clang-format's avatar
clang-format committed
96 97 98 99 100 101
void vpx_idct32x32_1_add_neon(int16_t *input, uint8_t *dest, int dest_stride) {
  uint8x16_t q0u8, q8u8, q9u8, q10u8, q11u8, q12u8, q13u8, q14u8, q15u8;
  int i, j, dest_stride8;
  uint8_t *d;
  int16_t a1, cospi_16_64 = 11585;
  int16_t out = dct_const_round_shift(input[0] * cospi_16_64);
102

clang-format's avatar
clang-format committed
103 104
  out = dct_const_round_shift(out * cospi_16_64);
  a1 = ROUND_POWER_OF_TWO(out, 6);
105

clang-format's avatar
clang-format committed
106 107 108 109 110 111 112 113 114 115 116 117 118 119 120
  dest_stride8 = dest_stride * 8;
  if (a1 >= 0) {  // diff_positive_32_32
    a1 = a1 < 0 ? 0 : a1 > 255 ? 255 : a1;
    q0u8 = vdupq_n_u8(a1);
    for (i = 0; i < 2; i++, dest += 16) {  // diff_positive_32_32_loop
      d = dest;
      for (j = 0; j < 4; j++) {
        LD_16x8(d, dest_stride, &q8u8, &q9u8, &q10u8, &q11u8, &q12u8, &q13u8,
                &q14u8, &q15u8);
        ADD_DIFF_16x8(q0u8, &q8u8, &q9u8, &q10u8, &q11u8, &q12u8, &q13u8,
                      &q14u8, &q15u8);
        ST_16x8(d, dest_stride, &q8u8, &q9u8, &q10u8, &q11u8, &q12u8, &q13u8,
                &q14u8, &q15u8);
        d += dest_stride8;
      }
121
    }
clang-format's avatar
clang-format committed
122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139
  } else {  // diff_negative_32_32
    a1 = -a1;
    a1 = a1 < 0 ? 0 : a1 > 255 ? 255 : a1;
    q0u8 = vdupq_n_u8(a1);
    for (i = 0; i < 2; i++, dest += 16) {  // diff_negative_32_32_loop
      d = dest;
      for (j = 0; j < 4; j++) {
        LD_16x8(d, dest_stride, &q8u8, &q9u8, &q10u8, &q11u8, &q12u8, &q13u8,
                &q14u8, &q15u8);
        SUB_DIFF_16x8(q0u8, &q8u8, &q9u8, &q10u8, &q11u8, &q12u8, &q13u8,
                      &q14u8, &q15u8);
        ST_16x8(d, dest_stride, &q8u8, &q9u8, &q10u8, &q11u8, &q12u8, &q13u8,
                &q14u8, &q15u8);
        d += dest_stride8;
      }
    }
  }
  return;
140
}