当前位置:首页 > OpenCL&HLS > 正文内容

Ubuntu下Quartus OpenCL实现手写数字识别 QuartusPro 18.1 Update2 Arria10

chanra1n11个月前 (08-08)OpenCL&HLS3393

环境:

Arria10 FPGA 10AXF40GAE 10AXF40GAA

AMD Ryzen™ 7 7735HS 8核16线程(实测编译速度与主频和核心数有关,可以上X99的双路服务器)

英睿达DDR5 4800Mhz 32G*2(注意,内存应大于8G,并且越大越好,否则可能会导致编译失败,你猜我怎么知道的?钱包瘪的同志,可以考虑增加swap)

致态TiPlus7100 2T*2(观察发现,编译时间主要分为CPU和内存大量占用的“计算时间”,和基本上只有硬盘读写的“存读时间”,并且大致2:1,说明高速的硬盘是有必要的)

Ubuntu22.04(建议使用Linux,Quartus编译速度远超过在Win下)

一个想法:对于Intel的机器,使用傲腾加速机械硬盘的4K性能,傲腾的延时低,4K读写速度快,颗粒好,耐折腾,会不会很不错?

注意,作者为了调试方便,在PVE虚拟机下安装的Ubuntu,如果用于生产环境,可以直接物理机安装Ubuntu。


工具:

Quartus Pro 18.1 Update2 (18.1.2.277)

MobaXterm Free edition

Intel FPGA custom_platform_toolkit 18.1


Demo:

https://github.com/myfpga/microsoft_fpga

https://gitee.com/myfpga/microsoft_fpga


过程:
1、安装操作系统,建议使用Ubuntu22.04 Centos7

2、安装依赖,参考《Ubuntu系列一键配置EDA软件安装环境,更换apt源 Centos和Redhat可以参考》
3、安装Quartus Pro 18.1

4、安装Quartus Pro 18.1 Update2升级包

5、安装AOCL、Programmer(如果只是运行,就只安装这俩就行了)

6、激活,此处为避免侵权,不进行讲解

7、配置/etc/profile文件

#Old
export INTELFPGAOCLSDKROOT=/usr/local/intelFPGA_pro/18.1/hld
source /usr/local/intelFPGA_pro/18.1/hld/init_opencl.sh

#New
#export INTELFPGAOCLSDKROOT=/usr/local/intelFPGA_pro/18.1/aclrte-linux64
#source /usr/local/intelFPGA_pro/18.1/aclrte-linux64/init_opencl.sh

export QSYS_ROOTDIR=/usr/local/intelFPGA_pro/18.1/quartus/sopc_builder/bin
export QUARTUS_ROOTDIR_OVERRIDE=/usr/local/intelFPGA_pro/18.1/quartus
export PATH=$PATH:$INTELFPGAOCLSDKROOT/bin
export AOCL_BOARD_PACKAGE_ROOT=$INTELFPGAOCLSDKROOT/board/catapult_iii
export PATH=$PATH:/usr/local/intelFPGA_pro/18.1/quartus/bin/

7.5、(可选)自定义Platform,建议别折腾,用成品板最好

    参考文献(重点):

    an433.pdf

    an812-683855-666979.pdf

    ug-qpp-design-optimization-ch-683641-666473.pdf

    an584-683145-669829.pdf

    an824-683312-666320.pdf

    an797-19-1-683497-705537.pdf

    ug_aocl_custom_platform_toolkit-18-1-683085-705577.pdf

    ug-aocl-a10pciedk-platform-18-1-683267-705686.pdf 

    ug_aocl_custom_platform_toolkit-683085-666793.pdf 

    ug-aoclstd-custom-platform-toolkit-683398-714361.pdf 

    aocl-best-practices-guide-683521-749419.pdf

    ug-aocl-s10pciedk-platform-683809-666672.pdf

    custom-platform-toolkit-15-0-linux64.tgz

    an780-683045-666367.pdf

    aocl_getting_started-18-1-683188-704906.pdf

    aocl_getting_started-683188-666426.pdf

image.png

视频教程:

Building Custom Platforms for Intel® FPGA SDK for OpenCL™: Modifying a Reference Platform

    https://www.youtube.com/watch?v=l1GfUAe-zpg&ab_channel=IntelFPGA

Building Custom Platforms for Intel® FPGA SDK for OpenCL™: BSP Basics

   https://www.youtube.com/watch?v=tQgnRJJGXGw&ab_channel=IntelFPGA

8、安装Platform包

9、创建Demo目录

10、编译

运行命令在图里,根据你的实际情况进行修改。

image.png

等待的时间有点久,几十分钟、几个小时到几天看你的电脑配置、FPGA器件和设计大小等决定。

内核编译完成后,编译Device的,这个就非常快了,如果使用的是Demo工程,直接Make all就行。

注:如果你是在Windows下编译Host程序,请安装VS2010,尽可能用win7,提前安装好VC依赖。工程文件夹中也有sln工程文件。

11、下载验证

chmod a+x ./host
./host

AOCX文件:

OpenCL_test.7z


源代码:

main.cpp

#include <stdio.h>
#include <stdlib.h>

#include "CL/cl.h"
#include "input.h"

#include "layer1_weight.h"
#include "layer1_bias.h"
#include "layer2_weight.h"
#include "layer2_bias.h"

int main(int argc, char * argv[])
{
    FILE * binary_file = NULL;
    if (NULL == (binary_file = fopen("OpenCL_test.aocx", "rb")))
    {
        printf("Cannot open fpga binary file\n");
        return -1;
    }
    fseek(binary_file, 0, SEEK_END);
    size_t binary_lenth = ftell(binary_file);
    unsigned char * binary_context = NULL;
    if (NULL == (binary_context = (unsigned char *)malloc(
        sizeof(unsigned char) * binary_lenth + 1)))
    {
        printf("Cannot allocate more memory for binary context\n");
        fclose(binary_file);
        return -1;
    }
    rewind(binary_file);
    fread(binary_context, sizeof(unsigned char),
        binary_lenth, binary_file);
    binary_context[binary_lenth] = '\0';
    fclose(binary_file);

    cl_int err = 0;
    cl_platform_id platform;
    cl_uint num_platforms;
    err = clGetPlatformIDs(1, &platform, &num_platforms);

    printf("The platform is %d\n", num_platforms);
    cl_device_id device;
    err = clGetDeviceIDs(
        platform, CL_DEVICE_TYPE_ACCELERATOR, 1, &device, NULL);
    cl_context context = clCreateContext(
        NULL, 1, &device, NULL, NULL, &err);

    cl_command_queue queue = clCreateCommandQueue(context, device, 0, &err);

    cl_program program = clCreateProgramWithBinary(context, 1, &device,
        &binary_lenth, (const unsigned char **)(&binary_context),
        NULL, &err);
    err = clBuildProgram(program, 1, &device, "", NULL, NULL);
    cl_kernel kernel= clCreateKernel(program, "OpenCL_test", &err);

    cl_mem in_buffer = clCreateBuffer(
        context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR,
        sizeof(float) * 784, inputsource, &err);

    cl_mem layer1_weight_buffer = clCreateBuffer(
        context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR,
        sizeof(float) * 784*500, layer1_weight, &err);
    cl_mem layer1_bias_buffer = clCreateBuffer(
        context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR,
        sizeof(float) * 500, layer1_bias, &err);
    cl_mem layer2_weight_buffer = clCreateBuffer(
        context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR,
        sizeof(float) * 500*10, layer2_weight, &err);
    cl_mem layer2_bias_buffer = clCreateBuffer(
        context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR,
        sizeof(float) * 10, layer2_bias, &err);

    float output[10];
    int predict = 0;

    cl_mem out_buffer = clCreateBuffer(
        context, CL_MEM_WRITE_ONLY,
        sizeof(float) * 10, NULL, &err);
    cl_mem predict_buffer = clCreateBuffer(
        context, CL_MEM_WRITE_ONLY,
        sizeof(int), NULL, &err);

    err = clSetKernelArg(kernel, 0, sizeof(cl_mem), &in_buffer);
    err = clSetKernelArg(kernel, 1, sizeof(cl_mem), &layer1_weight_buffer);
    err = clSetKernelArg(kernel, 2, sizeof(cl_mem), &layer1_bias_buffer);
    err = clSetKernelArg(kernel, 3, sizeof(cl_mem), &layer2_weight_buffer);
    err = clSetKernelArg(kernel, 4, sizeof(cl_mem), &layer2_bias_buffer);
    err = clSetKernelArg(kernel, 5, sizeof(cl_mem), &out_buffer);
    err = clSetKernelArg(kernel, 6, sizeof(cl_mem), &predict_buffer);

    err = clEnqueueTask(queue, kernel, 0, NULL, NULL);

        err = clEnqueueReadBuffer(queue, out_buffer, CL_TRUE, 0,
                sizeof(float) * 10, output, 0, NULL, NULL);

    int i = 0;
    printf("The output is :\n");
    for(i=0;i<10;i++)
    {
        printf("%f\t", output[i]);
    }

        err = clEnqueueReadBuffer(queue, predict_buffer, CL_TRUE, 0,
                sizeof(int), &predict, 0, NULL, NULL);
        printf("\nAnd the number of predict is %d\n", predict);

    clReleaseKernel(kernel);
    clReleaseProgram(program);
    clReleaseCommandQueue(queue);
    clReleaseContext(context);

    if(NULL != binary_context)
    {
        free(binary_context);
        binary_context = NULL;
    }
    return 0;
}

input.h

float inputsource[] = {0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.32549020648002625, 0.35686275362968445, 0.5607843399047852, 1.0, 0.7450980544090271, 0.35686275362968445, 0.19607844948768616, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.03529411926865578, 0.19215688109397888, 0.7058823704719543, 0.9647059440612793, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.8627451658248901, 0.6039215922355652, 0.06666667014360428, 0.011764707043766975, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.18039216101169586, 0.41960787773132324, 0.6980392336845398, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.4941176772117615, 0.1764705926179886, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.41960787773132324, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.874509871006012, 0.8627451658248901, 0.8627451658248901, 0.8627451658248901, 0.8627451658248901, 0.960784375667572, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.41568630933761597, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.41960787773132324, 0.6784313917160034, 0.9921569228172302, 0.8980392813682556, 0.5058823823928833, 0.0470588281750679, 0.0, 0.0, 0.0, 0.0, 0.43137258291244507, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.41568630933761597, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.06666667014360428, 0.05490196496248245, 0.1568627506494522, 0.125490203499794, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.22352942824363708, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9490196704864502, 0.3333333432674408, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.019607843831181526, 0.545098066329956, 0.8784314393997192, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.4117647409439087, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.2549019753932953, 0.6980392336845398, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.8588235974311829, 0.0941176563501358, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.3803921937942505, 0.9803922176361084, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.49803924560546875, 0.18431372940540314, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.18039216101169586, 0.4901961088180542, 0.9803922176361084, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.960784375667572, 0.6705882549285889, 0.12941177189350128, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.019607843831181526, 0.16078431904315948, 0.8509804606437683, 0.9921569228172302, 0.9921569228172302, 0.9803922176361084, 0.960784375667572, 0.960784375667572, 0.45098042488098145, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.4862745404243469, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.7529412508010864, 0.4117647409439087, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.04313725605607033, 0.18431372940540314, 0.8627451658248901, 0.9921569228172302, 0.9921569228172302, 0.7372549176216125, 0.09803922474384308, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.41960787773132324, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.7411764860153198, 0.05098039656877518, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.16078431904315948, 0.8823530077934265, 0.9921569228172302, 0.9921569228172302, 0.729411780834198, 0.08627451211214066, 0.0, 0.0, 0.0, 0.0, 0.0, 0.12156863510608673, 0.16470588743686676, 0.6823529601097107, 0.803921639919281, 0.803921639919281, 0.803921639919281, 0.7568628191947937, 0.22745099663734436, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.1882353127002716, 0.8549020290374756, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.5882353186607361, 0.23137256503105164, 0.0, 0.0, 0.501960813999176, 0.5137255191802979, 0.5137255191802979, 0.8705883026123047, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.3686274588108063, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0470588281750679, 0.5960784554481506, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9254902601242065, 0.8705883026123047, 0.8705883026123047, 0.988235354423523, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.4784314036369324, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.027450982481241226, 0.6549019813537598, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.4862745404243469, 0.41568630933761597, 0.027450982481241226, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.2980392277240753, 0.7372549176216125, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.9921569228172302, 0.8784314393997192, 0.22352942824363708, 0.05882353335618973, 0.05882353335618973, 0.05882353335618973, 0.007843137718737125, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0470588281750679, 0.3490196168422699, 0.4745098352432251, 0.9921569228172302, 0.9921569228172302, 0.5921568870544434, 0.3490196168422699, 0.3490196168422699, 0.21568629145622253, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0};

layer1_bias.h

float layer1_bias[] = {-0.1413138210773468, 0.21884141862392426, 0.12879784405231476, 0.07911904901266098, 0.08236964046955109, -0.04399419203400612, 0.042940400540828705, -0.06571515649557114, -0.1254749447107315, 0.052314601838588715, -0.047044262290000916, -0.0414624847471714, -0.007109886966645718, -0.026637542992830276, 0.019223159179091454, -0.013437007553875446, -0.0016733859665691853, 0.1698654294013977, 0.1463821530342102, -0.014622156508266926, -0.024871202185750008, 0.1955055296421051, 0.00959855131804943, 0.159347265958786, -0.15010684728622437, -0.06980837881565094, -0.022477811202406883, -0.060077566653490067, -0.004631801508367062, -0.08567357808351517, 0.20346835255622864, 0.10594010353088379, -0.02107975445687771, -0.05437864363193512, 0.03973839432001114, -0.031225431710481644, -0.03251161426305771, -0.09984024614095688, 0.04448636248707771, 0.09614893794059753, 0.025257043540477753, -0.080671526491642, -0.055468831211328506, 0.009883828461170197, 0.1197776272892952, -0.02237093634903431, 0.05550557002425194, -0.024502385407686234, 0.0390637144446373, -0.04349276423454285, 0.014503469690680504, -0.06941107660531998, -0.17196384072303772, -0.17497125267982483, -0.0474606454372406, 0.07762488722801208, -0.07365205883979797, 0.10100628435611725, -0.03971948102116585, -0.02200346440076828, 0.07773280143737793, -0.07088763266801834, 0.05207889899611473, 0.045565415173769, -0.04846498742699623, 0.15171071887016296, -0.16680069267749786, 0.22710029780864716, -0.20889230072498322, 0.03924485668540001, -0.048213668167591095, -0.05283338204026222, 0.33171510696411133, -0.007678169757127762, -0.1053389385342598, 0.11222480982542038, 0.12180691957473755, 0.08556713908910751, -0.07990783452987671, -0.01716221123933792, -0.1295536756515503, -0.00934915617108345, -0.0987037718296051, 0.012665011920034885, 0.01171736791729927, 0.12138212472200394, 0.09484780579805374, -0.016124408692121506, 0.220625102519989, -0.025514915585517883, -0.07401859015226364, -0.0364522747695446, -0.12814173102378845, 0.04153633117675781, -0.06720151007175446, -0.038945067673921585, -0.0833396464586258, -0.055200446397066116, -0.07622189074754715, 0.06940457969903946, -0.004867809824645519, 0.17770878970623016, -0.014613288454711437, 0.11232001334428787, 0.1123950332403183, -0.05474768579006195, -0.1932227909564972, -0.021640794351696968, 0.1002812385559082, -0.005546488333493471, 0.10701807588338852, 0.055889349430799484, 0.15029574930667877, -0.0617084726691246, 0.017342375591397285, 0.047503236681222916, -0.04057861492037773, 0.11218126118183136, -0.047674085944890976, -0.09098325669765472, -0.040713969618082047, -0.06008228659629822, 0.10272708535194397, -0.058744240552186966, 0.12621985375881195, 0.11507919430732727, 0.24949318170547485, 0.03171608969569206, 0.16257302463054657, -0.09722467511892319, -0.058322980999946594, -0.10921155661344528, 0.1823492795228958, 0.09151948988437653, 0.23551122844219208, -0.10817882418632507, -0.14258085191249847, -0.17370864748954773, -0.09221944212913513, -0.01691615581512451, 0.09743928164243698, 0.40042537450790405, -0.12073014676570892, -0.045153457671403885, 0.019059492275118828, -0.016079725697636604, -0.11595534533262253, 0.0191925298422575, -0.06117284670472145, -0.025457073003053665, 0.008551969192922115, 0.029825910925865173, -0.11688025295734406, 0.04263288527727127, -0.17948351800441742, 0.2456052005290985, -0.07142012566328049, 0.16456356644630432, -0.1732078194618225, -0.06469183415174484, -0.11707263439893723, 0.0982130765914917, -0.043311044573783875, 0.06357479840517044, -0.1101534515619278, 0.014850885607302189, -0.0039230636321008205, -0.04273780435323715, -0.005882398225367069, -0.06589958816766739, 0.09969580918550491, -0.1185247004032135, 0.11294927448034286, -0.038887519389390945, -0.04031145200133324, -0.08277945965528488, 0.027508871629834175, -0.13084976375102997, 0.07361754775047302, 0.1988171637058258, -0.020223096013069153, 0.05555529519915581, 0.16282089054584503, 0.20274502038955688, -0.10121511667966843, 0.026986565440893173, 0.14366765320301056, 0.10576214641332626, -0.050658565014600754, -0.051574259996414185, 0.08387778699398041, -0.032932475209236145, 0.03978753462433815, -0.0789986103773117, 0.027763310819864273, 0.1474766582250595, 0.050369322299957275, -0.04545845091342926, -0.03822917491197586, -0.1046070009469986, -0.02998647652566433, -0.0765804797410965, 0.21754030883312225, -0.0649607852101326, 0.11465837061405182, 0.04785028472542763, 0.025033796206116676, -0.028008505702018738, 0.033908192068338394, 0.09702592343091965, 0.058556731790304184, 0.10134001076221466, -0.08372725546360016, 0.020551102235913277, 0.040736641734838486, -0.07795026898384094, 0.03171826899051666, -0.01283926423639059, 0.23599441349506378, -0.12759634852409363, 0.1958428919315338, 0.014888713136315346, 0.047617167234420776, -0.0263085775077343, 0.03401963412761688, -0.04383255913853645, 0.04225144907832146, 0.1088651567697525, -0.05357186496257782, 0.06445324420928955, 0.20740719139575958, -0.033365730196237564, -0.09071200340986252, 0.18476426601409912, 0.0010132236639037728, 0.05206052586436272, -0.0481518991291523, 0.06684992462396622, -0.014829886145889759, -0.052767787128686905, 0.17156849801540375, -0.0664147362112999, -0.01546570472419262, 0.15806643664836884, 0.1845860481262207, 0.16574940085411072, -0.07177983969449997, 0.01146878581494093, 0.0842226967215538, -0.05710674822330475, 0.1485562026500702, 0.002610097173601389, -0.010963378474116325, -0.11634151637554169, -0.016162246465682983, 0.025311771780252457, 0.03800278902053833, -0.020358694717288017, -0.3040718734264374, -0.1485530585050583, 0.028399094939231873, 0.18016067147254944, 0.03961950168013573, 0.05959390476346016, -0.016497284173965454, 0.056044891476631165, 0.020578913390636444, -0.10523270815610886, 0.05142331123352051, 0.010502356104552746, 0.15117689967155457, -0.027518553659319878, -0.03447374701499939, 0.10421460121870041, -0.09786797314882278, -0.04924865812063217, 0.07718440145254135, 0.13472357392311096, -0.04908732324838638, 0.034598007798194885, -0.04942101612687111, -0.07050330191850662, -0.023836147040128708, 0.04941001906991005, 0.1846906691789627, 0.10299850255250931, 0.009876742959022522, 0.10494888573884964, 0.028004618361592293, -0.1714707762002945, -0.10683947056531906, 0.3012351989746094, -0.07683002948760986, 0.1051589846611023, 0.005816078279167414, -0.1905975639820099, 0.0485200397670269, -0.023018931970000267, -0.02197023294866085, 0.09827243536710739, 0.0045174043625593185, -0.002175582805648446, -0.05738086998462677, 0.03996603563427925, -0.09111885726451874, -0.17794525623321533, 0.03760434314608574, -0.07968143373727798, 0.04552087187767029, -0.02083587273955345, -0.006626344285905361, 0.1348194181919098, 0.04416866973042488, 0.0386384092271328, 0.004438301548361778, 0.1070878878235817, -0.012861371971666813, 0.09062185883522034, 0.061929840594530106, 0.10709229111671448, 0.10828140377998352, -0.11166605353355408, -0.0012468746863305569, 0.13323421776294708, 0.04559595137834549, -0.06917032599449158, -0.1905413269996643, -0.12861484289169312, -0.1462927758693695, 0.1647353619337082, 0.04347185418009758, -0.06818759441375732, 0.1371554136276245, 0.18609130382537842, 0.0405317060649395, -0.12116076052188873, -0.15207476913928986, -0.08017707616090775, -0.06030186638236046, 0.00674361502751708, 0.11890877783298492, 0.15537245571613312, 0.19283421337604523, -0.1037362813949585, -0.08550561964511871, 0.02281099185347557, -0.08635415136814117, -0.021356141194701195, -0.06323259323835373, 0.13692988455295563, 0.08923957496881485, 0.005518691148608923, -0.05222909525036812, 0.0027444076258689165, 0.04430345445871353, 0.16052988171577454, 0.012794017791748047, 0.06882225722074509, -0.098160021007061, -0.16127562522888184, 0.01948038674890995, 0.04582199081778526, 0.042028699070215225, -0.05901981145143509, -0.09017166495323181, 0.18261845409870148, -0.08865337073802948, -0.04050952196121216, 0.014171053655445576, -0.04502822086215019, -0.14432227611541748, 0.02670229971408844, -0.07403239607810974, 0.004569555167108774, 0.04087451845407486, 0.058161068707704544, -0.03171628341078758, 0.017769508063793182, 0.049564432352781296, -0.10992924869060516, 0.013689782470464706, 0.02068520523607731, 0.06431633234024048, 0.11546558141708374, 0.2314886748790741, 0.1806240975856781, 0.07126900553703308, -0.007544336374849081, 0.006841270253062248, -0.030905375257134438, 0.04484400525689125, -0.12065228074789047, 0.11339235305786133, 0.0208437442779541, -0.39303383231163025, 0.036538947373628616, 0.04826117306947708, -0.18596413731575012, 0.020569706335663795, 0.060261018574237823, -0.05638743191957474, 0.04676101356744766, -0.254080593585968, -0.02888495847582817, -0.12682615220546722, -0.10801436752080917, 0.40384599566459656, -0.006178748793900013, -0.007600113749504089, 0.06565048545598984, 0.2299889773130417, 0.03174922242760658, 0.08157998323440552, -0.026378819718956947, -0.053760845214128494, -0.06866497546434402, 0.13541832566261292, 0.062383152544498444, -0.00268221041187644, 0.044924046844244, 0.27131474018096924, 0.0352349579334259, -0.18047168850898743, 0.2588917315006256, -0.03332560881972313, 0.026240114122629166, -0.052238933742046356, 0.06252875924110413, 0.0019037069287151098, -0.02744855359196663, 0.015471037477254868, -0.11161727458238602, -0.07524533569812775, 0.03802637383341789, 0.0514545813202858, -0.07704873383045197, 0.050262343138456345, -0.07842599600553513, 0.02339915744960308, -0.0015505125047639012, 0.031301241368055344, 0.09295608103275299, -0.07954268902540207, -0.09200470894575119, -0.08851715922355652, -0.03268064558506012, -0.03591149300336838, 0.10865115374326706, -0.12033814191818237, 0.13296666741371155, 0.0336015559732914, 0.2256471961736679, 0.06304708868265152, 0.05939216911792755, 0.18737074732780457, 0.06531859934329987, 0.18660306930541992, 0.09449619799852371, 0.10094393044710159, -0.13681837916374207, 0.09438257664442062, -0.022544344887137413, 0.11561617255210876, 0.03737196698784828, 0.15686452388763428, 0.07537734508514404, -0.01617291010916233, 0.31222331523895264, 0.02527773566544056, 0.07482168823480606, -0.14217884838581085, 0.004826040007174015, 0.07115916162729263, -0.013506903313100338, 0.062387727200984955, -0.06131478771567345, -0.19250577688217163, -0.03311443328857422, -0.04870177060365677, -0.05859622731804848, -0.121104896068573, 0.3419469892978668, -0.12098583579063416, -0.02914086915552616, 0.006565010640770197, -0.09391464293003082, -0.01152231078594923, -0.0520046129822731, 0.04821708798408508, 0.08910457044839859, -0.0406571589410305, 0.06196175515651703, 0.11405853182077408, -0.010730277746915817, 0.04258067533373833, 0.07842056453227997, 0.21662501990795135, -0.005616009701043367, -0.0563252829015255, 0.06658974289894104};

layer1_weight.h


layer2_bias.h

float layer2_bias[] = {-0.15372219681739807, -0.3028341829776764, -0.11258301138877869, -0.24433380365371704, 0.05312688276171684, 0.05690694972872734, 0.181754931807518, -0.30501648783683777, 0.7727166414260864, 0.05393541231751442};

layer2_weight.h

float layer2_weight[] = {0.01344679668545723, -0.13951222598552704, -0.4912509024143219, -0.01662929728627205, 0.13568559288978577, 0.0006702872342430055, -0.14179003238677979, 0.13747745752334595, 0.3356844186782837, 0.17872005701065063, -0.2797461748123169, -0.04785807430744171, -0.5580251812934875, 0.4742104709148407, 0.2393457144498825, 0.18078681826591492, -0.09347983449697495, -0.16791151463985443, 0.18392731249332428, 0.07421708852052689, 0.07422976195812225, -0.02069065347313881, -0.027770716696977615, -0.18801970779895782, -0.03374138101935387, 0.5880007743835449, -0.10777994990348816, 0.049856461584568024, -0.3404083251953125, -0.09617222100496292, 0.21667522192001343, 0.027628321200609207, -0.08308296650648117, 0.15085074305534363, -0.00932248868048191, -0.16925151646137238, 0.013300042599439621, -0.006385584361851215, -0.0823296383023262, -0.05408722907304764, 0.14417040348052979, -0.5907612442970276, 0.2522052824497223, -0.16165980696678162, -0.3941875398159027, -0.26913249492645264, 0.030226347967982292, 0.08112294226884842, 0.3453555107116699, 0.5710545778274536, 0.16332601010799408, 0.021591125056147575, -0.10599613934755325, -0.04214613884687424, 0.021951308473944664, -0.0911456048488617, 0.02676456794142723, 0.031460508704185486, -0.03243313357234001, -0.02273883856832981, 0.3021097779273987, -0.1660759449005127, -0.11966031789779663, 0.10904768109321594, -0.244981050491333, 0.14934952557086945, 0.22207605838775635, 0.048520494252443314, 0.028050536289811134, -0.2508772015571594, 0.017971612513065338, 0.011492712423205376, 0.03345917910337448, 0.010133474133908749, -0.0016514260787516832, 0.0030956845730543137, -0.03776835650205612, -0.015378043055534363, -0.03409409150481224, 0.02868185006082058, 0.14073531329631805, -0.21715505421161652, -0.391109824180603, 0.5792549848556519, 0.03515106439590454, 0.3905718922615051, 0.4073997139930725, -0.08165285736322403, -0.3873811960220337, -0.471215158700943, 0.2791388928890228, 0.21993334591388702, -0.3891587555408478, 0.10374297946691513, -0.18292267620563507, 0.12856309115886688, 0.20554865896701813, 0.04361400008201599, -0.2148805409669876, -0.12996530532836914, -0.033073730766773224, -0.03515946865081787, -0.034357212483882904, 0.006115093361586332, 0.06544554233551025, -0.023110846057534218, -0.032431840896606445, 0.05725128948688507, -0.03146938979625702, 0.00639928737655282, -0.01100463978946209, 0.030240198597311974, 0.009029926732182503, -0.013795239850878716, 0.011731679551303387, 0.00079699931666255, 0.00879243016242981, 0.0025063329376280308, 0.0004966927226632833, 0.006091886665672064, -0.0661076083779335, -0.13092276453971863, 0.06313472241163254, 0.17280341684818268, 0.1065676137804985, -0.04420595243573189, -0.06949479132890701, -0.09503462165594101, 0.02229219861328602, 0.0630597472190857, -0.21371856331825256, -0.1606408804655075, -0.1881086677312851, -0.2674524784088135, 0.013663232326507568, 0.13466735184192657, -0.10305800288915634, 0.41504111886024475, 0.0325564444065094, 0.29573601484298706, -0.053517166525125504, -0.07475332915782928, 0.09763361513614655, -0.10055054724216461, 0.07996498793363571, -0.16275951266288757, 0.022508418187499046, 0.3803858160972595, -0.18149691820144653, -0.009234693832695484, -0.1596417874097824, -0.000714008929207921, 0.04970923066139221, 0.043801769614219666, -0.11247187107801437, -0.19834542274475098, -0.015049115754663944, 0.03668569400906563, -0.14434291422367096, 0.5309839248657227, 0.011695348657667637, 0.11986172199249268, -0.006883211433887482, 0.0033817871008068323, 0.027883173897862434, 0.012233282439410686, -0.020668864250183105, -0.0564144104719162, -0.03759502246975899, 0.032059196382761, -0.005415881983935833, -0.013509884476661682, 0.10829143971204758, 0.24870698153972626, -0.21164965629577637, 0.05592299625277519, -0.014865351840853691, -0.0733131542801857, -0.21187102794647217, 0.16070930659770966, -0.02879948355257511, -0.21437223255634308, -0.23926781117916107, -0.14989300072193146, 0.22521884739398956, 0.3529062569141388, -0.103473000228405, -0.3190585970878601, 0.08093533664941788, 0.3677128851413727, 0.05010053142905235, -0.1519465446472168, -0.04691972956061363, 0.1761585921049118, 0.02705199643969536, -0.14673398435115814, 0.0006158323958516121, 0.02275245636701584, -0.19764724373817444, 0.20348957180976868, -0.1761469841003418, -0.0884905755519867, 0.09215715527534485, -0.21892514824867249, -0.009632352739572525, 0.20139092206954956, 0.10536599904298782, -0.11251311749219894, 0.31645670533180237, -0.05903376638889313, -0.028775401413440704, -0.1527266949415207, 0.22728076577186584, 0.02232132852077484, -0.29922667145729065, -0.27190035581588745, 0.6902666687965393, -0.06844459474086761, -0.10257292538881302, -0.008092968724668026, 0.22408178448677063, -0.026301855221390724, 0.18365584313869476, -0.18459749221801758, 0.3769126236438751, -0.144999697804451, -0.46649202704429626, 0.4360273778438568, -0.729715883731842, 0.44688403606414795, -0.07954340428113937, 0.15306349098682404, 0.4866611361503601, -0.3218190670013428, 0.03960265964269638, -0.04755500704050064, -0.2540469467639923, 0.10223916172981262, -0.13249902427196503, 0.08956123888492584, -0.3250221908092499, 0.5885643362998962, -0.1689719706773758, -0.8521952629089355, 0.13183125853538513, -0.06162768602371216, 0.08953442424535751, 0.10198862105607986, 0.15022027492523193, 0.2885102331638336, 0.004256730899214745, 0.013899927958846092, 0.00485458318144083, 0.005887168925255537, 0.014221550896763802, 0.004582245368510485, 0.00535221491008997, 0.01233453769236803, 0.012428621761500835, 0.010342826135456562, -0.06831998378038406, -0.1562369465827942, -0.12795495986938477, 0.09638907760381699, 0.14339323341846466, -0.14105206727981567, -0.1356421858072281, 0.11956187337636948, 0.13867925107479095, 0.1076449453830719, 0.24209937453269958, -0.013145040720701218, -0.05932648852467537, -0.027634477242827415, -0.04430125281214714, -0.12786047160625458, -0.013673118315637112, 0.009230950847268105, -0.035066600888967514, 0.027926050126552582, 0.017578117549419403, 0.09573996067047119, 0.03850938007235527, -0.004390489775687456, -0.0020534484647214413, -0.018464192748069763, -0.08035313338041306, 0.01534991804510355, -0.01812214031815529, -0.011896410025656223, -0.025193722918629646, 0.012285773642361164, 0.0046573239378631115, 0.01231187954545021, -0.004465061239898205, -0.01730460301041603, -0.008759411983191967, 0.02155938558280468, -0.008114350028336048, -0.0010382442269474268, -0.04004672169685364, 0.3924315571784973, 0.022469494491815567, 0.27846094965934753, 0.1756671816110611, -0.2287541776895523, -0.002159849973395467, -0.1960584670305252, -0.38585296273231506, -0.08107161521911621, 0.19087661802768707, -0.09739488363265991, 0.020391795784235, -0.05482294037938118, -0.022994425147771835, 0.30896076560020447, -0.013362504541873932, -0.21641980111598969, 0.27317848801612854, -0.3956189751625061, 0.02551940456032753, -0.030756963416934013, 0.0636138841509819, -0.03242134675383568, -0.01914139837026596, 0.01915108971297741, -0.046730123460292816, -0.011103984899818897, -0.022890837863087654, -0.0036088419146835804, -0.003778451355174184, 0.00378630799241364, -0.0038035730831325054, -0.00490071764215827, 0.01188628003001213, 0.016127638518810272, -0.0012848105980083346, 0.01018111314624548, 0.025811459869146347, 0.0005629898514598608, 0.2235422134399414, -0.021900225430727005, 0.2920469045639038, -0.06632547825574875, 0.4101268947124481, -0.04962873086333275, -0.49199387431144714, 0.023441139608621597, -0.16194260120391846, -0.16400842368602753, -0.05074659362435341, -0.06674293428659439, -0.04713206738233566, -0.06580248475074768, -0.04075528681278229, 0.0696677565574646, 0.1763395071029663, -0.047795336693525314, -0.08824608474969864, 0.12851254642009735, -0.009172341786324978, 0.009379801340401173, -0.006973201874643564, -0.01918891631066799, 0.013165283016860485, 0.011139166541397572, -0.035963255912065506, -0.022809157148003578, -0.006852677557617426, -0.006059969309717417, -0.007005131337791681, -0.003494490869343281, -0.0596645288169384, 0.0031413943506777287, 0.045784685760736465, 0.02021457441151142, -0.04695749655365944, -0.058259088546037674, 0.035201624035835266, 0.03217920660972595, -0.09807544946670532, 0.01301838643848896, 0.0023377088364213705, 0.04393576458096504, 0.21408596634864807, 0.0013992609456181526, 0.07087518274784088, -0.007812179159373045, -0.10915020853281021, -0.12820041179656982, 0.23644456267356873, -0.013445342890918255, -0.1544838845729828, 0.24504876136779785, -0.03548750281333923, -0.010371320880949497, 0.03417652100324631, -0.006510844454169273, -0.20197129249572754, -0.09484805911779404, 0.3125530481338501, -0.02406584471464157, -0.16619563102722168, 0.032614272087812424, -0.024325203150510788, -0.1606161892414093, -0.11419263482093811, 0.043512146919965744, -0.043426431715488434, 0.057314492762088776, -0.010752590373158455, 0.03569672629237175, 0.010199513286352158, 0.044753748923540115, -0.007838419638574123, 0.009506274946033955, -0.03560251370072365, -0.01574656553566456, 0.00931381992995739, -0.008376626297831535, 0.03405177593231201, -0.001073620282113552, 0.003944829106330872, 0.025371205061674118, -0.010606796480715275, 0.010432993061840534, -0.06041847914457321, 0.008528729900717735, -0.010905983857810497, 0.009668820537626743, 0.04797576740384102, -0.04356967657804489, -0.001909809187054634, 0.1252235472202301, 0.21632596850395203, 0.18777498602867126, -0.24309995770454407, -0.06292140483856201, -0.14058439433574677, -0.019860608503222466, 0.17928005754947662, 0.03063853643834591, 0.18618279695510864, -0.13961467146873474, -0.01046612486243248, 0.09884535521268845, -0.04124419391155243, -0.022429171949625015, -0.2299882173538208, -0.043799061328172684, -0.00636619608849287, -0.022650567814707756, 0.011338822543621063, -0.01860169507563114, 0.016874896362423897, -0.0074673970229923725, 0.018403349444270134, 0.001420972985215485, 0.006075421813875437, 0.017750298604369164, 0.11019371449947357, 0.023073706775903702, 0.3818959593772888, 0.23808515071868896, -0.016854414716362953, -0.3573216497898102, -0.07042562961578369, 0.22851590812206268, 0.14615964889526367, -0.6977625489234924, 0.04289674758911133, 0.00776392687112093, -0.1433340460062027, 0.2170649617910385, -0.022267203778028488, 0.03705790266394615, -0.0566827654838562, 0.0079133789986372, -0.0295120719820261, -0.046419158577919006, -0.0076691266149282455, 0.02449662610888481, -0.1748582273721695, 0.8005490899085999, -0.04882948845624924, -0.30567243695259094, 0.0035962858237326145, 0.33574339747428894, -0.3607826828956604, -0.2277987152338028, -0.029733898118138313, 0.02831711806356907, -0.026656687259674072, 0.01660829223692417, -0.009609836153686047, -0.0187701229006052, -0.03513367474079132, 0.026766519993543625, 0.017674239352345467, 0.031963396817445755, 0.16092051565647125, 0.03086015023291111, 0.011094111949205399, -0.14077948033809662, 0.2524234652519226, 0.12644699215888977, -0.21268144249916077, 0.03176913782954216, -0.001185871777124703, -0.2138085961341858, -0.3334113657474518, -0.19163650274276733, 0.2375137209892273, 0.2535688579082489, 0.09581279009580612, 0.20324160158634186, -0.1460592895746231, 0.0859401524066925, -0.12732523679733276, -0.13375718891620636, 0.14210468530654907, 0.2489616423845291, -0.5263686776161194, -0.09371589124202728, 0.005095945671200752, 0.05709419772028923, 0.28532859683036804, 0.4681747257709503, -0.2068619579076767, -0.46117717027664185, -0.2871670424938202, 0.22438909113407135, 0.6497403383255005, -0.19491629302501678, -0.015593591146171093, -0.16006381809711456, -0.004410198889672756, 0.5417303442955017, 0.0660807341337204, -0.7573001980781555, 0.3790048360824585, -0.10150793194770813, -0.5969262719154358, 0.19183282554149628, -0.1327783465385437, 0.16941286623477936, 0.13494795560836792, 0.11853422224521637, -0.14474472403526306, 0.05430753529071808, 0.3914387822151184, -0.04978664964437485, -0.20404213666915894, 0.01783699356019497, 0.0574355386197567, -0.21592722833156586, -0.017761562019586563, 0.06530147045850754, -0.0252985842525959, -0.010373794473707676, -0.004621216095983982, 0.09603109210729599, 0.4908607006072998, 0.45701518654823303, -0.3282289206981659, -0.2575734555721283, 0.0553811751306057, 0.6254587173461914, -0.24950817227363586, -0.9085519313812256, -0.08369822800159454, 0.031681127846241, 0.20065852999687195, -0.07256202399730682, 0.28909462690353394, 0.1825421154499054, -0.21427975594997406, -0.08676591515541077, -0.12340248376131058, -0.14633013308048248, -0.02153974026441574, 0.07174847275018692, -0.061380207538604736, 0.017183242365717888, 0.007877394556999207, 0.03480967879295349, -0.044199954718351364, -0.042347054928541183, 0.001229573623277247, 0.04327572509646416, -0.14888547360897064, -0.3583109676837921, -0.43802696466445923, 0.7888078689575195, 0.06026770547032356, 0.13799984753131866, -0.11869541555643082, 0.03635251894593239, -0.02000327594578266, -0.07384738326072693, -0.1982538253068924, -0.06577479839324951, -0.21900805830955505, -0.061007097363471985, -0.3729240596294403, -0.16770151257514954, 0.19333791732788086, 0.09427551925182343, 0.5609273314476013, 0.1569211184978485, 0.02906062640249729, 0.002553744940087199, 0.022280046716332436, -0.031392741948366165, 0.024689313024282455, 0.01704254373908043, -0.018452029675245285, 0.0032820485066622496, -0.011420996859669685, 0.01998480223119259, 0.004036413971334696, 0.13051974773406982, -0.12675465643405914, -0.0469217486679554, -0.03803637623786926, 0.158185213804245, 0.04512543976306915, -0.17727456986904144, 0.15115439891815186, -0.03824618458747864, 0.03221819922327995, 0.2125493884086609, -0.0032197637483477592, -0.02312975749373436, -0.03396549075841904, 0.03326055780053139, -0.0524003840982914, -0.017551099881529808, -0.07449833303689957, -0.028774240985512733, 0.013141363859176636, -0.006594222970306873, 0.034745506942272186, -0.00434185890480876, 0.0008830253500491381, -0.01655924692749977, 0.0040464554913342, -0.0049063111655414104, -0.0032142181880772114, 0.02322782576084137, -0.2917160987854004, -0.10114625841379166, -0.04448990523815155, -0.11870802938938141, -0.4226666986942291, 0.6133805513381958, 0.2315911501646042, 0.44580891728401184, -0.07721464335918427, -0.1616942137479782, -0.4764889180660248, 0.24409151077270508, -0.2358073741197586, 0.38872331380844116, 0.5857706069946289, -0.727923572063446, 0.2914668321609497, 0.10448871552944183, 0.04934663325548172, -0.27361172437667847, 0.19314411282539368, -0.05441770330071449, -0.4609645903110504, 0.07238056510686874, 0.42229163646698, -0.2877695560455322, 0.49246224761009216, 0.516144871711731, -0.23680420219898224, -0.6023287177085876, -0.0224748644977808, -0.09272735565900803, -0.006109589245170355, 0.02991620823740959, 0.6125238537788391, -0.5238372683525085, -0.39256051182746887, 0.30955973267555237, 0.2468547374010086, -0.1443951576948166, 0.160194531083107, 0.022759228944778442, -0.10799554735422134, -0.1396307647228241, 0.10494014620780945, -0.14010289311408997, -0.06796155869960785, 0.14719313383102417, 0.13103964924812317, -0.10052245855331421, -0.00509872380644083, -0.011571486480534077, 0.0037615958135575056, -0.001466543646529317, 0.0011064036516472697, -0.017910173162817955, -0.01879584789276123, -0.01719004660844803, 0.01536130253225565, 0.031282324343919754, -0.003148801624774933, -0.02939051203429699, -0.001198774785734713, -0.023503050208091736, -0.012524961493909359, -0.008618435822427273, -0.005146354902535677, -0.016050910577178, 0.021922241896390915, -0.01750832051038742, 0.11594734340906143, 0.09336815029382706, -0.15948259830474854, -0.06451418250799179, -0.1288374811410904, -0.05930299311876297, -0.06411099433898926, 0.7746524810791016, -0.04843243584036827, -0.5011853575706482, -0.0017155216773971915, 0.0787094384431839, -0.0398818776011467, -0.016547292470932007, 0.0032129897736012936, -0.015362090431153774, -0.0419977530837059, 0.09732718020677567, -0.05608854070305824, -0.0006763206329196692, 0.05124673247337341, 0.03562165051698685, 0.05630834773182869, 0.010714970529079437, 0.0046824123710393906, -0.04458996281027794, -0.0891801193356514, 0.03132670000195503, 0.0090261772274971, 0.008775902912020683, -0.1307464838027954, -0.14568360149860382, 0.31763795018196106, -0.39114701747894287, -0.13475532829761505, 0.06472699344158173, 0.1598358303308487, -0.30609723925590515, 0.22205238044261932, 0.2988288104534149, -0.09462392330169678, 0.26300889253616333, -0.6802786588668823, 0.18891671299934387, 0.1688985824584961, 0.1505770981311798, -0.3742764890193939, -0.12173236906528473, 0.34542128443717957, 0.16771361231803894, 0.027776038274168968, 0.5713271498680115, -0.1057891771197319, -0.2522616982460022, 0.0976116955280304, 0.2456696778535843, -0.035341184586286545, -0.030172066763043404, -0.3391764163970947, -0.1838754415512085, 0.126813605427742, -0.012792895548045635, -0.4554157555103302, -0.16173803806304932, -0.20543646812438965, 0.06086508929729462, 0.31125280261039734, -0.0820847749710083, 0.05678889527916908, 0.3356764018535614, 0.048811398446559906, 0.10439792275428772, -0.0643777996301651, 0.2927968204021454, 0.29618605971336365, -0.08891263604164124, 0.04345571622252464, -0.03936128318309784, -0.1937928944826126, -0.4111148715019226, -0.11468887329101562, -0.1343013197183609, 0.3890873193740845, 0.016365915536880493, -0.17975054681301117, -0.05503099039196968, -0.0978391021490097, -0.4445335566997528, 0.031132765114307404, 0.5624253749847412, -0.026141993701457977, 0.002654855838045478, 0.032968346029520035, 0.005748178344219923, 0.012762649916112423, -0.003089941805228591, -0.01559568103402853, -0.019631868228316307, -0.006244640331715345, 0.020247364416718483, -0.19652079045772552, 0.5898100733757019, -0.37018418312072754, 0.11038163304328918, -0.10982604324817657, 0.5397999286651611, -0.31538814306259155, -0.1080445721745491, -0.2574150860309601, 0.12311305105686188, -0.010469733737409115, 0.19929377734661102, 0.06532761454582214, -0.06635433435440063, 0.01757591776549816, 0.025421390309929848, -0.07338739931583405, -0.10041075944900513, -0.13986831903457642, -0.021106090396642685, 0.027507014572620392, 0.05134343355894089, 0.00286729889921844, -0.010514103807508945, -0.021893510594964027, 0.009658041410148144, -0.04116102308034897, 0.006401359103620052, -0.024167092517018318, 0.025148862972855568, -0.1749342530965805, -0.009239423088729382, 0.4859125316143036, 0.41125476360321045, -0.0812782421708107, 0.045384060591459274, -0.01556343398988247, 0.3337382972240448, -0.37040725350379944, -0.6005998253822327, -0.12304261326789856, -0.026436980813741684, 0.078878253698349, -0.06964111328125, 0.010410898365080357, -0.05606752261519432, -0.07377836853265762, 0.500144898891449, -0.033334881067276, -0.2063092738389969, 0.02297438681125641, 0.02917761728167534, -0.00593970250338316, -0.005786009132862091, -0.04298336058855057, 0.005323473829776049, -0.01105736568570137, -0.004847154952585697, -0.03523806110024452, 0.044927965849637985, 0.04603851959109306, 0.013801389373838902, 0.07869336754083633, 0.14528478682041168, -0.03268909826874733, 0.34816646575927734, 0.020399335771799088, -0.1211974173784256, -0.15771251916885376, -0.34828999638557434, 0.1472744643688202, -0.11038807779550552, 0.09700833261013031, 0.05729120969772339, -0.28358742594718933, -0.0817936360836029, -0.09164782613515854, 0.1963941901922226, 0.10099910944700241, -0.016791151836514473, 0.316641628742218, -0.4087972939014435, 0.3504120111465454, 0.23688602447509766, -0.8239908218383789, -0.13634827733039856, -0.16883321106433868, 0.23389488458633423, 0.16295583546161652, 0.21814899146556854, -0.011336155235767365, 0.013694572262465954, -0.023392030969262123, 0.0011586997425183654, -0.018002742901444435, 0.005611709784716368, 0.017609218135476112, 0.014138592407107353, 0.00019519412308000028, 0.01931772381067276, 0.4609988033771515, -0.38230377435684204, 0.04813218116760254, 0.11875074356794357, 0.10957570374011993, -0.13744251430034637, 0.1726837456226349, -0.32727256417274475, 0.12433477491140366, -0.24914269149303436, -0.028956860303878784, 0.1806524097919464, 0.08595327287912369, -0.012740087695419788, 0.029593555256724358, 0.038638584315776825, -0.07679300010204315, -0.07580126821994781, 0.08249059319496155, -0.22579720616340637, 0.009191826917231083, 0.029079286381602287, 0.013845468871295452, -0.003622384974732995, 0.016347650438547134, -0.017782527953386307, -0.07149304449558258, 0.0507844053208828, 0.008464069105684757, 0.0032501164823770523, -0.3915173411369324, -0.11941012740135193, -0.3818185329437256, 0.3375934362411499, 0.2907121777534485, 0.48563218116760254, -0.545039713382721, -0.14307871460914612, 0.03281933069229126, 0.4286607503890991, 0.008952981792390347, -0.006448100786656141, 0.03446212783455849, 0.014771411195397377, 0.011809415183961391, -0.0009843399748206139, 0.0057538775727152824, 0.011724613606929779, 0.006680652033537626, 0.0374053418636322, -0.009724014438688755, 0.10179700702428818, -0.019355662167072296, -0.030939195305109024, 0.1098400354385376, 0.010183311067521572, -0.03648849204182625, -0.08170013129711151, 0.002352645620703697, -0.021364139392971992, 0.009305463172495365, -0.005645503289997578, 0.031248360872268677, 0.014282280579209328, 0.023811085149645805, 0.020406309515237808, -0.01660235971212387, 0.008022591471672058, -0.007577831856906414, -0.014591974206268787, -0.01780596375465393, 0.19475558400154114, 0.0832505077123642, 0.0800061970949173, -0.10655249655246735, -0.05795840173959732, -0.001961863599717617, -0.11104078590869904, -0.11392420530319214, 0.005463787354528904, 0.009313657879829407, 0.0023129908367991447, 0.0303819440305233, -0.016300374642014503, 0.009687826037406921, -0.0192299485206604, -0.01779637113213539, -0.031785063445568085, 0.012713438831269741, 0.028339313343167305, 0.08030472695827484, 0.10673961043357849, 0.2550453543663025, -0.06538321077823639, -0.039615288376808167, 0.01490689069032669, -0.29481884837150574, -0.01139885000884533, -0.02831004373729229, 0.014219466596841812, 0.21655239164829254, -0.030080309137701988, -0.14623485505580902, -0.1101265400648117, 0.007743815425783396, 0.10241123288869858, -0.05344401299953461, 0.00032690339139662683, 0.023832375183701515, -0.014524763450026512, -0.01413059700280428, 0.4709642231464386, -0.1808120757341385, 0.07261483371257782, 0.02835679054260254, 0.019977416843175888, -0.023935439065098763, -0.2948146462440491, -0.09367938339710236, 0.0342857651412487, -0.17181451618671417, -0.24278150498867035, 0.046042270958423615, 0.25241824984550476, 0.08735924959182739, 0.16114263236522675, -0.01849285140633583, 0.20254072546958923, -0.3194018006324768, 0.010236464440822601, -0.013930798508226871, 0.012329625897109509, -0.024741966277360916, 0.017134681344032288, -0.012976482510566711, 0.0029683674219995737, -0.0181011650711298, -0.0024645302910357714, 0.014704558067023754, 0.011716597713530064, -0.27638113498687744, 0.21273905038833618, 0.2561589181423187, 0.3808005452156067, -0.07190021127462387, 0.7033312916755676, -0.648824155330658, -0.18622152507305145, -0.32029712200164795, 0.006719958037137985, -0.24264805018901825, -0.27710849046707153, 0.021057864651083946, -0.20481367409229279, -0.18447668850421906, 0.6046989560127258, 0.42732492089271545, 0.1369064897298813, -0.2568139433860779, -0.05957258865237236, -0.11461803317070007, 0.2927283048629761, -0.17210575938224792, -0.09036063402891159, 0.3961668610572815, -0.049589212983846664, 0.017487676814198494, 0.22782671451568604, 0.002749483333900571, -0.5595157146453857, -0.25921863317489624, 0.07570327818393707, -0.02180386148393154, 0.02792336419224739, 0.04903997853398323, 0.5288946628570557, -0.07257729768753052, -0.07590343058109283, -0.05080605298280716, -0.12590329349040985, 0.1928006112575531, -0.07419896870851517, 0.1949872076511383, 0.0358121432363987, -0.32968682050704956, 0.11543575674295425, -0.21665973961353302, 0.15953759849071503, -0.0788179412484169, -0.023084266111254692, -0.19958631694316864, -0.13436433672904968, 0.6318091154098511, 0.08979324251413345, 0.04255209118127823, 0.08830413222312927, -0.184238463640213, 0.20652633905410767, -0.05300096422433853, -0.531419038772583, -0.07874497026205063, 0.22355616092681885, 0.5272517800331116, 0.009392037987709045, -0.19978585839271545, 0.14360785484313965, -0.17275068163871765, 0.035924673080444336, -0.4080073833465576, -0.0634675845503807, 0.00037365214666351676, -0.19481033086776733, 0.09233732521533966, -0.0620916523039341, 0.17475441098213196, -0.056658342480659485, -0.09627614170312881, -0.05731801688671112, 0.08065945655107498, 0.06930328905582428, -0.020207276567816734, 0.21238434314727783, -0.09570933133363724, -0.05731094256043434, -0.031224658712744713, -0.04365953430533409, -0.1044953465461731, 0.04016653075814247, -0.23542699217796326, 0.33885517716407776, 0.11616811901330948, 0.026944125071167946, 0.034258726984262466, -0.2090805619955063, 0.16103672981262207, -0.14625434577465057, 0.05066101625561714, 0.08265397697687149, -0.34982550144195557, 0.23190025985240936, 0.014864119701087475, 0.0008099679253064096, -0.02773129753768444, 0.041024502366781235, -0.003549156477674842, -0.011967773549258709, 0.020420268177986145, 0.015348399057984352, 0.021425671875476837, 0.005136729218065739, 0.0265128705650568, -0.03426942229270935, -0.15314336121082306, -0.007483894005417824, 0.3028561770915985, 0.01467815600335598, -0.053475696593523026, 0.19777797162532806, 0.06474445015192032, -0.3828723132610321, 0.002925242530182004, -0.004698548000305891, -0.0037269722670316696, -0.005733045283704996, 0.0067478446289896965, -0.017141904681921005, -0.03951480612158775, 0.015440944582223892, -0.02074364945292473, 0.011128466576337814, 0.021205447614192963, 0.014589374884963036, 0.037406910210847855, 0.00456409202888608, 0.003601610194891691, -0.004757570568472147, -0.03959960862994194, -0.007464099209755659, -0.005650085862725973, -0.0036574716214090586, 0.029252586886286736, 0.034932639449834824, 0.0004070200666319579, 0.01977522112429142, -0.01011311262845993, -0.01381446048617363, -0.01629745401442051, -0.005666376557201147, 0.0028439792804419994, 0.02130819857120514, -0.01841535046696663, 0.015852855518460274, 0.022883733734488487, 0.007386960554867983, 0.01992623880505562, -0.0021063874009996653, -0.02669273316860199, -0.012575504370033741, -0.002232380211353302, 0.02700892649590969, -0.09946756064891815, 0.16273541748523712, -0.3529387414455414, 0.35802459716796875, 0.1642078459262848, -0.06942442804574966, -0.04011956602334976, 0.2684003710746765, -0.5458808541297913, 0.19041821360588074, 0.0041518122889101505, 0.010831894353032112, -0.002082977443933487, -0.019188910722732544, -0.020543210208415985, -0.015196915715932846, -0.003949521575123072, 0.00814794097095728, 0.009877028875052929, -0.005809327587485313, 0.12342897802591324, 0.2677059471607208, -0.5894591212272644, -0.4832289516925812, 0.3526494801044464, 0.4074831008911133, 0.2328270524740219, 0.2101203054189682, -0.14244356751441956, -0.386074423789978, -0.03032912313938141, -0.05939619243144989, -0.08675778657197952, 0.4721190631389618, -0.21959617733955383, 0.003813075600191951, -0.09106700867414474, -0.26604846119880676, -0.03476371243596077, 0.3027375638484955, -0.10100662708282471, 0.44331321120262146, 0.3158193826675415, -0.4342487156391144, -0.3362084925174713, 0.09383924305438995, 0.6398928761482239, -0.40874722599983215, -0.21148031949996948, 0.04378574714064598, -0.12355681508779526, 0.1508241444826126, 0.15707284212112427, -0.2935982942581177, 0.0893087238073349, 0.2651712894439697, -0.23645776510238647, -0.30028659105300903, 0.18988269567489624, 0.08763115853071213, -0.5849894285202026, 0.3719039261341095, 0.4456656277179718, -0.3070083558559418, 0.16952571272850037, 0.30068445205688477, 0.07141990959644318, -0.2966453433036804, 0.06574586778879166, -0.20242860913276672, -0.01983557641506195, 0.03580788895487785, 0.028175385668873787, -0.006684526335448027, 0.0030450383201241493, -0.017268579453229904, -0.009216923266649246, -0.019580155611038208, 0.007239292375743389, 0.006287784315645695, -0.04868721216917038, 0.009507921524345875, -0.006728205364197493, 0.0065524098463356495, -0.03996110334992409, -0.006230928469449282, 0.03952854126691818, -0.0864381343126297, -0.03587893769145012, 0.15545229613780975, 0.027829771861433983, 0.0047849933616817, -0.008218135684728622, 0.011281776241958141, 0.014873999170958996, -0.025633718818426132, -0.08731132745742798, 0.061144039034843445, -0.01742425374686718, 0.015656331554055214, 0.28896665573120117, 0.04958244413137436, -0.06587877124547958, -0.09802354127168655, 0.32570138573646545, 0.0671030655503273, -0.10575234144926071, 0.3418288230895996, -0.24518468976020813, -0.5416397452354431, 0.33478277921676636, -0.10694168508052826, 0.13092876970767975, -0.01154651865363121, -0.10328197479248047, -0.06691180169582367, 0.17284397780895233, 0.2505115866661072, -0.7122442722320557, 0.12430325150489807, -0.21254554390907288, -0.055191367864608765, 0.16076065599918365, -0.48320719599723816, -0.22200065851211548, 0.1424734890460968, 0.27140623331069946, 0.34861990809440613, -0.1429421454668045, 0.1906725913286209, 0.2721598148345947, -0.0758853405714035, -0.11040203273296356, -0.3344348967075348, 0.4968550205230713, -0.014510037377476692, 0.015896299853920937, 0.039989229291677475, 0.34466707706451416, -0.593289852142334, 0.092820905148983, -0.12359996885061264, 0.22336845099925995, 0.32132288813591003, -0.1866213083267212, 0.24907349050045013, -0.42536216974258423, -0.31138890981674194, 0.05915440618991852, 0.04073771834373474, 0.004835801664739847, 0.018436281010508537, 0.06308884173631668, 0.0035478658974170685, 0.025429097935557365, -0.01981266587972641, -0.12452898919582367, -0.0005959803820587695, -0.01052136905491352, 0.0068324352614581585, 0.12236567586660385, -0.12103790789842606, 0.34327420592308044, 0.11201130598783493, 0.22926518321037292, -0.26831549406051636, -0.2520005404949188, -0.07541938126087189, 0.16905483603477478, -0.31671586632728577, -0.018993133679032326, 0.31891316175460815, -0.08268401771783829, 0.22651390731334686, 0.04665105417370796, -0.1327066272497177, 0.10740405321121216, -0.1624048948287964, -0.18991196155548096, -0.15822944045066833, -0.08091489225625992, -0.01116348709911108, -0.0502326674759388, -0.2256007194519043, 0.07845504581928253, 0.519427478313446, 0.00114951201248914, 0.015666626393795013, -0.09192292392253876, -0.08747191727161407, -0.18792419135570526, -0.08786686509847641, -0.027801506221294403, -0.1188439428806305, -0.6472265124320984, 0.8107478618621826, 0.015398794785141945, 0.3039362132549286, -0.24080203473567963, 0.17489352822303772, 0.28647616505622864, -0.38890448212623596, 0.1702589988708496, 0.4222368597984314, -0.4432629942893982, 0.26270872354507446, -0.22984133660793304, 0.1355186551809311, -0.18244542181491852, -0.08053091913461685, -0.016017965972423553, 0.003602867480367422, 0.01537109725177288, 0.007147844415158033, -0.010334796272218227, 0.000889261718839407, -0.0013825086643919349, 0.02209498919546604, -0.0239697378128767, -0.004580920096486807, -0.020086126402020454, -0.012801890261471272, 0.14776258170604706, -0.02092871256172657, -0.07469436526298523, -0.09219913929700851, 0.13849808275699615, -0.04753430560231209, -0.09757175296545029, 0.07082146406173706, 0.137787327170372, -0.18710525333881378, 0.10916966944932938, 0.010055682621896267, -0.018307723104953766, -0.07645462453365326, -0.2872447669506073, -0.2323177009820938, 0.34522178769111633, 0.156861811876297, -0.0049182819202542305, 0.005008132196962833, -0.007217051461338997, -0.02596384845674038, 0.020749343559145927, -0.023432783782482147, -0.00645523751154542, -0.015391609631478786, 0.005211350042372942, 0.024730395525693893, -0.1055130735039711, -0.3221951723098755, -0.10314558446407318, -0.3599987030029297, 0.2962381839752197, -0.044731952250003815, 0.18183022737503052, -0.00545608252286911, 0.054663315415382385, 0.3961859941482544, -0.14407993853092194, -0.20610319077968597, 0.28039851784706116, 0.6218292117118835, -0.2332206815481186, -0.40466633439064026, -0.2554381191730499, -0.04995444044470787, 0.28291961550712585, 0.10077102482318878, 0.009963609278202057, -0.028325360268354416, 0.00014929792087059468, -0.014360873959958553, 0.01365578081458807, -0.019997788593173027, 0.009873978793621063, 0.0290213692933321, 0.016534211114048958, -0.034862667322158813, -0.029066452756524086, 0.11328697949647903, -0.09518662840127945, -0.03566955029964447, 0.11184211820363998, 0.010088888928294182, -0.04172796756029129, 0.0824732780456543, -0.06220380589365959, -0.05561953783035278, -0.31806889176368713, 0.3638695180416107, 0.09683144092559814, 0.2206575572490692, -0.2132607102394104, 0.331982284784317, -0.3195226788520813, 0.20864781737327576, -0.407940149307251, 0.08399698138237, 0.4466109275817871, 0.13481177389621735, 0.03561696410179138, 0.0454212948679924, -0.045592259615659714, -0.0909956842660904, 0.14607560634613037, 0.014009161852300167, -0.7002802491188049, -0.02316703274846077, -0.07982360571622849, 0.018703415989875793, -0.05113954469561577, 0.11622129380702972, -0.05469420924782753, -0.17606684565544128, 0.12034587562084198, 0.006932452321052551, -0.11562187969684601, 0.17477132380008698, -0.2934485673904419, -0.2141348421573639, -0.4311412572860718, -0.3245650827884674, -0.6801735162734985, 0.7195983529090881, 0.5704448819160461, -0.00283989729359746, 0.2670922875404358, 0.3009970188140869, 0.44412410259246826, -0.052928756922483444, -0.08422239124774933, -0.32090577483177185, -0.31604570150375366, 0.5057228803634644, 0.17244483530521393, 0.19183935225009918, -0.2422941029071808, -0.295213907957077, -0.008853443898260593, 0.01538392249494791, -0.008836016058921814, -0.02634447254240513, 0.024046050384640694, 0.004730145446956158, -0.013973155058920383, 0.005047972779721022, 0.015930792316794395, 0.01795234903693199, -0.5978404879570007, -0.26899516582489014, 0.30165567994117737, 0.2212926298379898, 0.3890560269355774, -0.05293504148721695, 0.33118492364883423, -0.5918499231338501, -0.10664568841457367, 0.3691226541996002, 0.011142291128635406, -0.015927361324429512, 0.07034478336572647, 0.013756533153355122, 0.010434185154736042, -0.016101470217108727, -0.06806115061044693, 0.014050892554223537, 0.007493013981729746, 0.022474417462944984, -0.003599509596824646, -0.005491359159350395, 0.005197193939238787, -0.02201560139656067, 0.02018892765045166, -0.013209080323576927, -0.014800239354372025, 0.02762426994740963, -0.030982892960309982, 0.021484196186065674, 0.13825243711471558, -0.34482941031455994, 0.30186784267425537, 0.024996895343065262, -0.2246474176645279, -0.3854423463344574, -0.05677952617406845, 0.0765460804104805, 0.12146105617284775, 0.26930955052375793, -0.13224658370018005, -0.10035816580057144, -0.4625389873981476, -0.05580028519034386, 0.42978519201278687, -0.17824207246303558, -0.07516133785247803, 0.4945373237133026, -0.37572285532951355, 0.46348968148231506, 0.02938726358115673, 0.025775695219635963, 0.017408471554517746, -0.0006712950998917222, 0.010611409321427345, -0.01636401191353798, -0.04189741984009743, 0.011417722329497337, 0.0014517039526253939, 0.016007253900170326, -0.08299463242292404, -0.00020857214985881, -0.14476840198040009, 0.0574578195810318, 0.0771760419011116, 0.2362077385187149, 0.03841438516974449, 0.003449821611866355, -0.0068159219808876514, -0.24145342409610748, -0.0038651814684271812, 0.20798097550868988, -0.3628470301628113, 0.6080289483070374, -0.002023652195930481, -0.12861454486846924, -0.007034312002360821, 0.4246481955051422, -0.444575697183609, -0.3214176893234253, -0.15139175951480865, -0.04315534234046936, 0.3158778250217438, -0.4419275224208832, 0.6065194010734558, 0.06462766975164413, -0.24264946579933167, 0.45185980200767517, -0.1601436734199524, -0.3857417404651642, -0.012933194637298584, 0.0740496963262558, -0.04162929952144623, -0.006006166338920593, -0.028347957879304886, -0.007845340296626091, 0.009265977889299393, -0.04528011009097099, -0.031010964885354042, 0.030024655163288116, 0.2176777720451355, 0.04579141363501549, -0.2529354393482208, -0.313684344291687, 0.32094982266426086, 0.2061743140220642, 0.3298088312149048, 0.013789549469947815, -0.33101844787597656, -0.21347439289093018, -0.19553864002227783, -0.0017887071007862687, 0.16890613734722137, 0.24047443270683289, -0.3264663517475128, 0.0288312379270792, -0.06781399995088577, -0.25552263855934143, 0.14843003451824188, 0.183855801820755, -0.24951255321502686, 0.3890041410923004, 0.6371041536331177, -0.43984314799308777, 0.0397481843829155, 0.08292470127344131, -0.11650503426790237, -0.20623017847537994, -0.20684967935085297, 0.13953910768032074, -0.30032455921173096, -0.12067463994026184, 0.6642279028892517, 0.0008795027388259768, -0.004794635809957981, 0.21744142472743988, 0.18208295106887817, -0.149788036942482, -0.28806886076927185, -0.1152898371219635, 0.05004297196865082, 0.02221846580505371, 0.00866258330643177, 0.03234781697392464, 0.0014757370809093118, 0.014349473640322685, -0.08181608468294144, 0.03891391307115555, -0.0035457375925034285, -0.0035613856744021177, -0.09897154569625854, -0.0934082642197609, -0.19049710035324097, 0.40705379843711853, 0.07702670991420746, 0.20750676095485687, -0.22848737239837646, -0.36334025859832764, -0.014210797846317291, 0.34377673268318176, -0.008007670752704144, 0.05682452395558357, 0.07193444669246674, 0.0458739772439003, 0.005270811263471842, -0.11956135928630829, -0.03947588801383972, -0.13313010334968567, 0.11897172033786774, 0.03575590252876282, -0.002441360615193844, 0.047779686748981476, 0.004223840311169624, 0.004830509889870882, -0.005548370070755482, -0.025814542546868324, -0.044376153498888016, 0.01152469590306282, -0.007711512502282858, -0.016919946298003197, -0.002938782563433051, 0.02295423485338688, 0.008240379393100739, 0.011403633281588554, -0.013583619147539139, -0.02692127414047718, -0.016423411667346954, -0.01697574183344841, -0.028616784140467644, 0.00447901152074337, 0.09894222021102905, -0.16748705506324768, -0.19870372116565704, -0.4159413278102875, 0.18557409942150116, 0.07065451890230179, -0.1993209719657898, 0.3541550040245056, -0.1305227130651474, 0.388273686170578, -0.10303960740566254, 0.44990846514701843, -0.12761063873767853, 0.4043355882167816, 0.13474225997924805, -0.601571261882782, -0.04665517061948776, 0.011827941983938217, 0.24513345956802368, -0.3526657223701477, 0.2030278742313385, -0.4610427916049957, 0.17452602088451385, -0.05710874870419502, 0.023634254932403564, 0.06878203898668289, -0.33370307087898254, -0.19547007977962494, 0.6023033857345581, -0.08069387823343277, -0.0925300121307373, -0.2600337266921997, 0.12481497973203659, 0.15763111412525177, -0.6908262968063354, 0.40863311290740967, -0.2771865725517273, 0.7998676300048828, -0.17197871208190918, 0.036503516137599945, -0.24954164028167725, -0.035579219460487366, -0.02823003940284252, -0.3293629288673401, 0.30279117822647095, 0.183857262134552, -0.2302255481481552, 0.16876494884490967, 0.07872381806373596, 0.1300121545791626, 0.25392407178878784, -0.0194387324154377, 0.07486697286367416, -0.25712406635284424, 0.3407628536224365, -0.44360780715942383, -0.17917101085186005, 0.3892180621623993, 0.00027501321164891124, -0.12174998223781586, -0.119151771068573, 0.07898062467575073, 0.0010198535164818168, 0.0008635924314148724, -0.2927647531032562, 0.5118363499641418, -0.15743716061115265, -0.17143774032592773, -0.1687939614057541, 0.3039976954460144, 0.11687762290239334, 0.2113848477602005, 0.23586079478263855, -0.4551876485347748, -0.11975735425949097, -0.37295493483543396, 0.27157166600227356, 0.11773202568292618, 0.5091566443443298, -0.4717358946800232, -0.20567846298217773, -0.31777241826057434, -0.3601878583431244, -0.1319693624973297, 0.13019616901874542, 0.4092691242694855, -0.10624834895133972, -0.031476665288209915, 0.46876755356788635, 0.22118167579174042, 0.014154583215713501, 0.37100690603256226, 0.011174195446074009, -0.031837109476327896, -0.041524168103933334, -0.002335524884983897, -0.14383716881275177, -0.1305902898311615, -0.0618647001683712, -0.013257664628326893, 0.13636994361877441, -0.1062554195523262, 0.1600046306848526, -0.04425319284200668, 0.027614835649728775, -0.04594385251402855, 0.3722158670425415, -0.6799835562705994, 0.16346070170402527, 0.013889811001718044, -0.12361650913953781, 0.28033700585365295, 0.13576580584049225, 0.12408600002527237, -0.0641273707151413, 0.20605383813381195, -0.2826135754585266, -0.0069600678980350494, -0.21990233659744263, -0.018796533346176147, 0.005139895714819431, -0.009226524271070957, -0.00015638329205103219, 0.03944435715675354, 0.005628449376672506, 0.006807925645262003, -0.05366889014840126, 0.024379748851060867, -0.00803743302822113, 0.025008976459503174, -0.22757282853126526, -0.2535438537597656, 0.18090268969535828, 0.11883188784122467, -0.12041660398244858, -0.34961068630218506, 0.04300631582736969, -0.04438132792711258, 0.3782348036766052, 0.3498873710632324, 0.258011132478714, -0.11487465351819992, 0.040925685316324234, 0.06358595192432404, -0.14273837208747864, 0.18733257055282593, -0.05534084886312485, -0.15334069728851318, -0.24924607574939728, 0.14666365087032318, 0.051946911960840225, -0.004800272174179554, 0.0009576053125783801, -0.024749968200922012, -0.013789322227239609, -0.06201397627592087, 0.014641744084656239, 0.05344843491911888, -0.024349818006157875, -0.020532740280032158, 0.03329145163297653, 0.15658952295780182, -0.20679064095020294, -0.10353907197713852, 0.1804128885269165, 0.10073226690292358, -0.18041850626468658, -0.17901888489723206, -0.12164967507123947, 0.3740925192832947, 0.1561724990606308, 0.054006632417440414, 0.0638723149895668, 0.16675664484500885, 0.16269783675670624, -0.20699582993984222, -0.2087489515542984, -0.19942346215248108, 0.10650014132261276, -0.07720321416854858, 0.04446865990757942, 0.014961812645196915, 0.10328587144613266, -0.09242193400859833, -0.007959599606692791, -0.050204675644636154, -0.059872549027204514, -0.10509669035673141, 0.03557615727186203, 0.12667112052440643, -0.14492109417915344, 0.04350545257329941, 0.44907715916633606, -0.016634393483400345, 0.21500082314014435, -0.05163341760635376, -0.10243716835975647, -0.12985487282276154, -0.20799502730369568, 0.017313741147518158, 0.003537418320775032, 0.0592888742685318, -0.08912903815507889, -0.10720643401145935, -0.0741867870092392, 0.07029508054256439, -0.009482219815254211, 0.1120956540107727, -0.02323070727288723, -0.004475133027881384, -0.3021222949028015, -0.1320108026266098, 0.022304413840174675, 0.3154732286930084, -0.01119692251086235, -0.0525520034134388, 0.13941287994384766, -0.06399732828140259, -0.03499649092555046, 0.11064206063747406, 0.057987917214632034, 0.025137227028608322, -0.01530029159039259, -0.011305657215416431, -0.013551393523812294, -0.029817011207342148, -0.03861204907298088, -0.0268187765032053, -0.0037184972316026688, -0.012505731545388699, 0.053816087543964386, 0.01358117163181305, 0.011466466821730137, 0.017145350575447083, -0.01351185329258442, -0.007014526054263115, -0.09019608795642853, 0.0004863208450842649, -0.004766989033669233, 0.021355031058192253, -0.20621459186077118, -0.018729228526353836, -0.3021901249885559, 0.2969641089439392, 0.3220016658306122, -0.14372357726097107, -0.3614138066768646, -0.1188834086060524, 0.36054307222366333, 0.23574814200401306, 0.08305750042200089, 0.05228882282972336, 0.2922044098377228, 0.10853586345911026, -0.20344984531402588, -0.3241603374481201, 0.16292625665664673, -0.5092658400535583, 0.2623341679573059, 0.07593545317649841, -0.04454747959971428, 0.22225844860076904, -0.3082369565963745, -0.03270644322037697, -0.062073830515146255, 0.1966703087091446, -0.013893961906433105, 0.32562896609306335, -0.3187696933746338, 0.04784262552857399, -0.009847590699791908, 0.00975240021944046, 0.008335706777870655, 0.0031054678838700056, 0.03026045858860016, -0.006464323494583368, -0.026145251467823982, 0.03670337423682213, 0.028217358514666557, 0.005085110664367676, -0.19488482177257538, 0.14135445654392242, 0.1146903932094574, -0.4473433792591095, 0.07477502524852753, 0.004769618157297373, 0.13986670970916748, -0.17656242847442627, 0.05363447591662407, 0.30068230628967285, -0.023917270824313164, -0.012719277292490005, 0.15123556554317474, -0.022628650069236755, -0.05059591680765152, -0.10647355765104294, -0.008395742624998093, -0.06941373646259308, -0.13466081023216248, 0.20761793851852417, 0.1218072772026062, -0.046015381813049316, 0.2959226965904236, 0.1324101686477661, -0.19225284457206726, 0.12285253405570984, 0.03351132571697235, -0.50201815366745, 0.12166354805231094, -0.016632527112960815, -0.010639015585184097, 0.004806766286492348, -0.016339652240276337, 0.006727952975779772, 0.046482425183057785, 0.012046611867845058, -0.03022436611354351, -0.01718166284263134, 0.024280870333313942, 0.07663862407207489, 0.05901186540722847, -0.18205195665359497, 0.1465066373348236, 0.02379152737557888, -0.2267882227897644, -0.028876425698399544, -0.10390057414770126, 0.2351830005645752, 0.0053886366076767445, 0.016817137598991394, 0.2959972321987152, -0.36528825759887695, -0.05525986850261688, -0.430529922246933, -0.09363795816898346, 0.3908030092716217, -0.2343757599592209, -0.09791035950183868, 0.6690042614936829, -0.08242248743772507, -0.044105689972639084, 0.07216954231262207, -0.026374300941824913, 0.04165959730744362, 0.0630839467048645, -0.12806281447410583, -0.029541997238993645, -0.10526476800441742, -0.17535801231861115, 0.36459073424339294, 0.07253587245941162, -0.20851199328899384, 0.1650257706642151, 0.039188601076602936, -0.4613986611366272, -0.019328024238348007, -0.15870428085327148, 0.48986509442329407, -0.2146228402853012, 0.1974470317363739, -0.005284411367028952, 0.0068109785206615925, 0.05728026106953621, 0.0032639349810779095, 0.015864349901676178, -0.01655048504471779, -0.05277976021170616, 0.005204596556723118, -0.0030506711918860674, 0.02352708764374256, -0.23588807880878448, 0.025869928300380707, -0.2809247076511383, 0.08100702613592148, -0.15379811823368073, -0.08605509251356125, -0.12112274020910263, -0.07237033545970917, 0.5074852108955383, 0.26751473546028137, -0.12599658966064453, 0.5411738157272339, -0.599428653717041, -0.11718293279409409, 0.035576023161411285, 0.08377600461244583, -0.21301651000976562, 0.45420050621032715, -0.19559159874916077, 0.13905826210975647, 0.0014374840538948774, 0.0073478808626532555, 0.001402184134349227, -0.014022071845829487, 0.0016297963447868824, -0.00309386127628386, -0.02482469752430916, 0.012710165232419968, -0.029173893854022026, 0.008805524557828903, -0.011576947756111622, -0.1455836147069931, -0.04688858240842819, -0.13851375877857208, -0.43915241956710815, 0.16023576259613037, -0.09800107032060623, 0.8478894233703613, -0.07747000455856323, -0.02311142347753048, 0.2702072560787201, -0.13492564857006073, 0.06831205636262894, 0.3117845058441162, -0.6338679790496826, -0.12394193559885025, -0.12460260838270187, -0.3933265209197998, 0.3484819531440735, 0.40193405747413635, 0.20076020061969757, -0.05688965320587158, -0.12548677623271942, -0.13432343304157257, 0.05225897580385208, 0.3578941822052002, 0.1143600270152092, 0.30656036734580994, -0.47110825777053833, -0.29659461975097656, 0.07810965925455093, 0.017215147614479065, 0.03935781866312027, 0.007685893215239048, 0.006078764796257019, -0.0006201337091624737, -0.12823301553726196, -0.007228255271911621, -0.018623635172843933, -0.006914174184203148, -0.3861948847770691, 0.2168140411376953, 0.005899340845644474, -0.15875113010406494, -0.2761334180831909, 0.1917283535003662, -0.02034781686961651, -0.3784126043319702, 0.5825043320655823, 0.26531729102134705, -0.044796328991651535, -0.20017562806606293, 0.10288882255554199, -0.12453161925077438, 0.3345906138420105, 0.12560008466243744, -0.0052709379233419895, -0.11679886281490326, 0.09341473877429962, -0.1872044801712036, 0.15029248595237732, 0.05663811042904854, 0.02262861467897892, 0.25533947348594666, -0.10120183974504471, -0.1595233976840973, 0.09141159802675247, -0.20545999705791473, -0.19085298478603363, 0.07809045165777206, -0.09209013730287552, -0.28115496039390564, 0.0826755166053772, -0.4911729395389557, 0.4586760699748993, 0.2672536075115204, -0.25755468010902405, -0.3280006945133209, 0.716848611831665, -0.0746777132153511, 0.07958557456731796, 0.19561007618904114, 0.017150945961475372, -0.020562592893838882, -0.06418858468532562, -0.012911614030599594, -0.09460863471031189, 0.03197822347283363, -0.1539461612701416, 0.07535314559936523, 0.012774456292390823, 0.0076615940779447556, -0.0025033692363649607, -0.02391631156206131, 0.023364653810858727, 0.006400687620043755, -0.06293629109859467, -0.008988303132355213, -0.011475424282252789, 0.054451484233140945, -0.24562588334083557, 0.395868182182312, 0.13076075911521912, -0.8617703318595886, 0.2029656022787094, -0.038244109600782394, 0.08117007464170456, 0.2641640305519104, 0.5324921607971191, -0.4525919556617737, -0.05071357637643814, 0.024003619328141212, -0.4338672161102295, -0.00019650073954835534, 0.057190828025341034, 0.24241021275520325, -0.030523205175995827, -0.11972419172525406, 0.1978672295808792, 0.13956665992736816, 0.021450454369187355, -0.0006805436569266021, -0.007662533316761255, -0.011568017303943634, 0.010173638351261616, 0.010256743058562279, -0.018932461738586426, -0.018824920058250427, 0.0025899915490299463, -0.006996646989136934, 0.296567440032959, -0.03859423100948334, 0.12303637713193893, -0.11586645990610123, -0.012382903136312962, -0.04233283922076225, -0.0770210474729538, -0.037371739745140076, -0.018567826598882675, -0.04536743834614754, 0.1851271539926529, -0.11574988812208176, -0.0781199038028717, -0.1046050488948822, 0.12803184986114502, 0.583024799823761, -0.24277043342590332, 0.11816001683473587, -0.18111251294612885, -0.3184259533882141, 0.0035467850975692272, 0.013866349123418331, -0.0053998432122170925, 0.003674884792417288, 0.014677435159683228, 0.0012586023658514023, 0.01318418700248003, -0.022048577666282654, 0.0036511344369500875, 0.004788279999047518, -0.08246688544750214, 0.4236009418964386, 0.16287292540073395, -0.4071454703807831, 0.32537132501602173, 0.23086145520210266, -0.1479540765285492, -0.14794424176216125, 0.2060832381248474, -0.5649794936180115, -0.08873865008354187, -0.1473408043384552, 0.12930326163768768, -0.26166537404060364, 0.7586780190467834, -0.2244775891304016, -0.03826390579342842, 0.13905462622642517, -0.7372235059738159, 0.4286034405231476, -0.04201284795999527, -0.027188580483198166, -0.06853047758340836, -0.013303980231285095, -0.03441191092133522, -0.09587007761001587, 0.135909304022789, 0.10522579401731491, 0.031178072094917297, 0.03254116699099541, -0.025439925491809845, 0.255044549703598, -0.026108743622899055, -0.06563150882720947, -0.1858915090560913, 0.010038957931101322, 0.049106795340776443, 0.033422842621803284, -0.05762976035475731, 0.07844049483537674, 0.01655905321240425, -0.013758077286183834, -0.01760130003094673, -0.034394387155771255, 0.007926134392619133, -0.02311020717024803, 0.0032055480405688286, -0.01680232398211956, 0.010764430277049541, -0.02522626705467701, -0.05988997966051102, 0.000882424705196172, 0.3970135748386383, 0.785267174243927, -0.05371375009417534, -0.5332590341567993, -0.2695406675338745, -0.04887959733605385, -0.13320735096931458, -0.042883891612291336, -0.01368672214448452, 0.3722664713859558, 0.10347101092338562, -0.17443165183067322, -0.03340418264269829, -0.15651071071624756, 0.15626706182956696, -0.14980927109718323, -0.44447433948516846, 0.431227445602417, -0.007739432621747255, -0.0008537581306882203, 0.04534601792693138, -0.0002932801144197583, -0.007846283726394176, -0.02071118727326393, -0.021611329168081284, -0.021539390087127686, -0.010242057964205742, 0.021624604240059853, 0.1249539852142334, 0.48261767625808716, 0.1060364618897438, 0.030631322413682938, -0.14632436633110046, -0.35998326539993286, -0.21490007638931274, 0.03860923647880554, -0.16582408547401428, 0.07577839493751526, 0.013583210296928883, -0.00020026184211019427, 0.03055765852332115, 0.0019393269903957844, -0.009382154792547226, 0.007569223642349243, -0.009423858486115932, -0.009379755705595016, -0.03676706179976463, 0.01069345511496067, 0.01893383264541626, 0.0034643549006432295, -0.009226563386619091, 0.0077847447246313095, 0.032812781631946564, -0.01820037141442299, 0.010260626673698425, 0.019298875704407692, -0.00849505327641964, 0.021163905039429665, -0.1313508003950119, 0.09960699081420898, -0.29187488555908203, 0.33832550048828125, -0.04774793982505798, 0.18495389819145203, -0.10993688553571701, 0.09963449090719223, -0.35016369819641113, 0.1890885829925537, 0.08887256681919098, -0.14382222294807434, 0.2735026180744171, 0.06251198798418045, -0.593538761138916, 0.07679229974746704, 0.40138906240463257, 0.13486017286777496, -0.09247040003538132, -0.15370404720306396, 0.002548967720940709, 0.3474805951118469, -0.18864938616752625, 0.5600016117095947, -0.1254047006368637, 0.37685632705688477, -0.2729877829551697, -0.20981839299201965, -0.7806767225265503, 0.25821858644485474, -0.01438964158296585, 0.030421964824199677, 0.029039574787020683, -0.004005203954875469, 0.022522184997797012, -0.028075506910681725, -0.05637210234999657, 0.034378211945295334, 0.010722324252128601, 0.014103647321462631, -0.012387815862894058, -0.008737166412174702, -0.07091120630502701, -0.05892074480652809, 0.01085462886840105, 0.018065068870782852, -0.07069540023803711, 0.09372441470623016, 0.050388745963573456, 0.04573717340826988, -0.012399730272591114, 0.266351580619812, -0.007460963446646929, -0.005492329131811857, -0.02809206023812294, -0.03894844651222229, -0.02680312842130661, -0.029410872608423233, -0.054775793105363846, 0.028345225378870964, -0.008846326731145382, 0.008225489407777786, -0.02646302990615368, 0.013662097975611687, 0.027820512652397156, -0.0015463236486539245, -0.04121869429945946, 0.0033630956895649433, 0.0077730510383844376, 0.07172797620296478, -0.13170380890369415, 0.0328129418194294, 0.0387742780148983, 0.17316456139087677, 0.06131075322628021, 0.08569014072418213, -0.1691838651895523, -0.03389350324869156, -0.38852694630622864, 0.3565385043621063, 0.4891350567340851, -0.03663641959428787, 0.013207550160586834, -0.0874304249882698, 0.13473264873027802, -0.10433369874954224, 0.044498711824417114, -0.6768565773963928, 0.11406563967466354, 0.12688373029232025, 0.017133932560682297, -0.018506113439798355, 0.0031467697117477655, 0.0019814881961792707, 0.005619657691568136, -0.015232464298605919, 0.005989539436995983, 0.015890521928668022, -0.004583506379276514, -0.045393072068691254, 0.01727602444589138, 0.0281046312302351, -0.011812516488134861, -0.017469605430960655, -0.003842674195766449, 0.004538810346275568, -0.007537665776908398, 0.0032818962354213, -0.01059830840677023, 0.002614429919049144, 0.016161736100912094, 0.0063919248059391975, -0.02587948553264141, 0.0199414249509573, -0.010115004144608974, -0.020370109006762505, -0.002890154020860791, -0.0003745857684407383, 0.016521474346518517, 0.013157502748072147, 0.0172071922570467, -0.021803535521030426, 0.006246942561119795, 0.1043657511472702, 0.02052222192287445, -0.020570209249854088, -0.030967634171247482, -0.0438585989177227, -0.009577497839927673, -0.039564426988363266, -0.017308440059423447, -0.04976268485188484, 0.0038038555067032576, 0.1327403038740158, 0.017883652821183205, 0.062333155423402786, -0.02411535009741783, 0.01201524306088686, -0.05941741541028023, -0.06388674676418304, -0.06399309635162354, 0.06561150401830673, 0.2411840856075287, -0.15923012793064117, 0.053913943469524384, -0.07787937670946121, 0.10163687914609909, -0.07377336174249649, -0.387741357088089, 0.2747875154018402, 0.5298870205879211, 0.5465266108512878, 0.3097904920578003, 0.07475011795759201, -0.4291791021823883, -0.43437355756759644, -0.7120921015739441, 0.1656569093465805, -0.24564562737941742, 0.13629014790058136, -0.07877083122730255, 0.2930784225463867, -0.21471929550170898, 0.44442516565322876, 0.526698112487793, -0.6930078268051147, 0.022354546934366226, -0.026746653020381927, -0.026361586526036263, -0.22927159070968628, -0.4003202021121979, 0.2628156542778015, -0.2744007110595703, 0.2272801697254181, -0.40175288915634155, 0.3495686948299408, 0.2346596121788025, -0.245197594165802, 0.24697889387607574, 0.06686274707317352, -0.15369313955307007, 0.041861385107040405, 0.03772759810090065, -0.05838143080472946, 0.17940445244312286, 0.07069002091884613, -0.007154193241149187, 0.2300093173980713, -0.4888598322868347, 0.21145106852054596, -0.037822503596544266, 0.040813855826854706, 0.04981948435306549, -0.001044676755554974, 0.08959386497735977, 0.0659400224685669, -0.05247680842876434, -0.06562934070825577, -0.07950744777917862, 0.06899785995483398, 0.17745041847229004, 0.03636973351240158, 0.04273176193237305, -0.14526602625846863, 0.1527576446533203, 0.0014691537944599986, -0.2955562472343445, 0.038012005388736725, 0.057278651744127274, -0.06375869363546371, 0.02484142780303955, -0.2826807498931885, 0.35817742347717285, 0.009036358445882797, -0.10419972240924835, 0.5335702896118164, -0.1888531893491745, 0.1323002725839615, 0.07911179214715958, -0.5793168544769287, 0.022853564471006393, 0.06413624435663223, -0.08868405222892761, -0.22519581019878387, -0.08227496594190598, -0.05588691681623459, -0.07768146693706512, -0.1338156908750534, 0.358693927526474, 0.22680416703224182, -0.010604627430438995, -0.17969754338264465, 0.06768734753131866, -0.041259173303842545, 0.06950664520263672, -0.07082625478506088, 0.006599111016839743, 0.22104772925376892, -0.01625063084065914, 0.014252659864723682, -0.14581574499607086, 0.4138222336769104, 0.3318738043308258, 0.3766632676124573, -0.21961915493011475, -0.32782772183418274, -0.12428030371665955, -0.02164435014128685, -0.23224252462387085, -0.00044868202530778944, -0.02045634388923645, 0.08822029829025269, -0.13561689853668213, 0.16558167338371277, 0.021000869572162628, -0.0656358078122139, 0.07796286046504974, 0.022923488169908524, -0.06948956102132797, -0.0427403561770916, -0.12856990098953247, 0.06343568116426468, -0.34429675340652466, 0.013833312317728996, 0.1425413191318512, -0.0914398729801178, 0.2718699872493744, -0.05798695236444473, -0.08455195277929306, 0.24918173253536224, -0.1950550079345703, -0.014501485042273998, 0.31995463371276855, 0.4492790400981903, -0.3718707263469696, 0.06035103276371956, 0.3102361261844635, -0.3602825701236725, 0.13508392870426178, -0.3755831718444824, -0.04843100160360336, -0.03839818388223648, -0.4194044768810272, -0.13148774206638336, 0.3451753854751587, -0.004652649629861116, -0.18141309916973114, 0.0643073171377182, 0.2028488963842392, 0.19802114367485046, 0.049982573837041855, 0.04917025566101074, -0.011617732234299183, 0.032728161662817, -0.04172927886247635, -0.041328150779008865, 0.0056926049292087555, -0.0042336913757026196, -0.008369524963200092, -0.013722756877541542, 0.039873506873846054, 0.06850598007440567, -0.23458373546600342, -0.08836664259433746, -0.13368439674377441, 0.09948960691690445, -0.16098278760910034, 0.5583153963088989, -0.11219354718923569, -0.007122514303773642, 0.029384491965174675, -0.008403953164815903, -0.027001501992344856, -0.0062622143886983395, 0.004607456736266613, -0.0013816419523209333, -0.03483065217733383, 0.02090848609805107, -0.020059986039996147, 0.007173271384090185, 0.014861220493912697, 0.016945820301771164, 0.009747994132339954, -0.0025343673769384623, -0.038012970238924026, -0.008110457099974155, -0.026097124442458153, 0.004561097361147404, -0.011265239678323269, -0.028663724660873413, -0.25008833408355713, -0.2985703647136688, -0.17731666564941406, 0.05311429500579834, 0.009951419197022915, 0.04174346849322319, -0.24123132228851318, 0.36638566851615906, 0.23005783557891846, 0.28839218616485596, 0.1641145795583725, -0.11003551632165909, 0.006451559253036976, -0.7532334923744202, 0.3846326470375061, 0.2591652572154999, -0.12489092350006104, 0.1827438324689865, 0.2651495635509491, -0.2855691611766815, -0.033962685614824295, -0.015883971005678177, -0.02314373478293419, 0.166738361120224, 0.22588004171848297, -0.11981188505887985, -0.09749965369701385, 0.28563207387924194, 0.04338076338171959, -0.4385203421115875, -0.008795060217380524, 0.05896427854895592, -0.15808901190757751, 0.13766857981681824, -0.1247754767537117, 0.5907293558120728, -0.11663951724767685, -0.12889719009399414, -0.3949175775051117, 0.092850461602211, -0.006576992571353912, -0.019255144521594048, -0.018051356077194214, -0.01789100095629692, -0.007907634600996971, -0.010911624878644943, -0.0028010231908410788, 0.011430018581449986, -0.0203987006098032, 0.046922195702791214, 0.4075409173965454, -0.09504766017198563, 0.02991904690861702, -0.18014048039913177, -0.17350749671459198, -0.28487855195999146, -0.16098220646381378, 0.2547639310359955, -0.3749912977218628, 0.5844935774803162, -0.04750123620033264, 0.11652360111474991, -0.0970960184931755, -0.03021204099059105, -0.13974346220493317, -0.007801930885761976, 0.11989007890224457, -0.2081061154603958, -0.1277887374162674, 0.3526483476161957, 0.14308582246303558, 0.07741791754961014, -0.26882433891296387, -0.2736130356788635, -0.017905203625559807, -0.029782863333821297, 0.317920982837677, 0.10350458323955536, 0.3937871754169464, -0.44680163264274597, 0.12394940853118896, 0.12047689408063889, 0.1059112474322319, -0.36042970418930054, -0.0234956257045269, 0.19788230955600739, 0.021217627450823784, -0.01612699218094349, 0.0061208936385810375, -0.20881512761116028, 0.42830175161361694, -0.018080398440361023, 0.8454670906066895, -0.1305646300315857, 0.10980112105607986, 0.19453644752502441, -0.10183080285787582, -0.4650357663631439, -0.5447577834129333, -0.3226958215236664, -0.11391296237707138, 0.06743068993091583, -0.30402061343193054, -0.06320378184318542, -0.22570428252220154, 0.18669627606868744, -0.024487679824233055, 0.20421907305717468, 0.19992570579051971, -0.0646490752696991, -0.040290605276823044, 0.04720025509595871, 0.17610514163970947, -0.028909852728247643, 0.16296473145484924, 0.08247800171375275, 0.27914395928382874, 0.2070530205965042, -0.5430654883384705, -0.3523608148097992, -0.09011688083410263, 0.12512975931167603, -0.24013565480709076, -0.010503845289349556, 0.08690876513719559, -0.10176777094602585, 0.014929217286407948, 0.15810421109199524, -0.08026128262281418, 0.06891776621341705, 0.052329570055007935, -0.0065411049872636795, 0.02989235706627369, 0.009992338716983795, -0.013812005519866943, -0.015643689781427383, -0.10146136581897736, 0.0371982604265213, -0.02579781599342823, 0.022874530404806137, 0.004797697998583317, 0.013677758164703846, 0.013996824622154236, -0.025375008583068848, 0.003242281498387456, 0.0033334761392325163, 0.02302505634725094, 0.002010118216276169, -0.010146647691726685, -0.0017458739457651973, 0.031120125204324722, 0.44611573219299316, 0.20942439138889313, 0.05303933098912239, 0.03128299489617348, 0.014611885882914066, -0.35231173038482666, -0.16033270955085754, -0.3184110224246979, 0.032341621816158295, 0.01294111181050539, -0.008962864056229591, 0.00786417443305254, -0.015026343986392021, 0.0190312247723341, 0.013576221652328968, 0.012907980009913445, 0.012519726529717445, -0.003640164155513048, -0.013916069641709328, -0.13593274354934692, 0.048955224454402924, 0.10592502355575562, -0.06857597082853317, 0.09889507293701172, -0.12140557169914246, 0.18042196333408356, 0.4396280348300934, -0.11603043973445892, -0.4459269940853119, -0.04379262775182724, 0.028503699228167534, 0.20275205373764038, -0.10750037431716919, -0.2645159959793091, 0.09594006836414337, -0.0148645443841815, -0.04725276678800583, -0.12976843118667603, 0.332304447889328, 0.3400927484035492, -0.22464598715305328, -0.41297784447669983, -0.2548692524433136, -0.1507350355386734, -0.11280102282762527, 0.50432288646698, -0.24217508733272552, 0.13340350985527039, 0.4225751459598541, 0.2909223437309265, 0.006290575955063105, 0.2853887975215912, -0.17448636889457703, 0.26756054162979126, -0.7426755428314209, -0.18435373902320862, 0.1601281762123108, -0.24958787858486176, 0.3737524449825287, 0.019041696563363075, 0.007587175350636244, 0.057664450258016586, 0.014409422874450684, 2.0269693777663633e-05, 0.023084770888090134, -0.047904122620821, -0.011927824467420578, -0.016048019751906395, -0.007254912052303553, -0.1723679155111313, 0.1411794126033783, -0.3741711378097534, 0.2536737322807312, 0.26462575793266296, -0.36367174983024597, 0.5364639759063721, -0.007394230924546719, -0.34433165192604065, 0.0827358141541481, -0.11367031931877136, -0.04381932318210602, 0.48187628388404846, 0.19726069271564484, 0.2942308187484741, -0.14268609881401062, -0.07188217341899872, -0.10763859748840332, -0.10371679812669754, -0.3851333558559418, 0.12323331087827682, 0.06738273799419403, 0.03951191157102585, -0.14766153693199158, 0.21251484751701355, -0.03191983327269554, -0.1470058262348175, 0.035146184265613556, 0.05435243621468544, -0.18861736357212067, -0.21762678027153015, -0.15788550674915314, -0.08469563722610474, -0.06830481439828873, 0.15740913152694702, 0.2755027711391449, -0.056928664445877075, -0.2112010419368744, 0.17053525149822235, 0.12762710452079773, -0.13862237334251404, -0.035595424473285675, -0.06077750772237778, -0.06033513695001602, 0.09179902076721191, 0.30464088916778564, -0.047322046011686325, 0.10031626373529434, -0.05761391669511795, -0.04857418313622475, 0.3408581018447876, 0.029561007395386696, -0.1780330091714859, 0.026324793696403503, -0.0008729632245376706, -0.16440704464912415, -0.01726299338042736, -0.008326257579028606, 0.035902950912714005, -0.06704504787921906, 0.022065473720431328, -0.010268999263644218, 0.048595551401376724, 0.0016090832650661469, 0.01097625307738781, -0.010165225714445114, -0.04926193878054619, 0.02128659375011921, -0.00788827333599329, -0.012255171313881874, 0.2228223830461502, -0.28572651743888855, -0.5196564197540283, 0.3982081413269043, 0.3397071659564972, 0.08812981098890305, 0.15831348299980164, -0.1654052883386612, -0.5596603751182556, 0.2719166576862335, 0.024717416614294052, -0.09967838227748871, -0.07890979200601578, 0.5032613277435303, -0.2610582113265991, 0.10757359117269516, 0.18623095750808716, -0.4378999173641205, -0.008487575687468052, 0.1841045618057251, -0.0028148849960416555, 0.11821345239877701, -0.34097087383270264, 0.17915071547031403, 0.5655081272125244, -0.31812143325805664, 0.16687192022800446, 0.05979885160923004, 0.010379979386925697, -0.38519445061683655, -0.0030926696490496397, 0.20691832900047302, -0.00648344773799181, -0.02741250954568386, -0.050081659108400345, 0.013092877343297005, -0.011931825429201126, -0.08645062148571014, -0.0033745230175554752, 0.006827847566455603, 0.014815131202340126, 0.015527435578405857, 0.007413832005113363, 0.009857290424406528, -0.006724340375512838, -0.010518349707126617, 0.01943564973771572, -0.017326803877949715, -0.016299167647957802, -0.008677240461111069, -0.2765885293483734, -0.21665172278881073, -0.10378758609294891, 0.2015247941017151, 0.01760946772992611, 0.3687690198421478, -0.03455286845564842, -0.19980087876319885, -0.2683805525302887, 0.5356157422065735, 0.05573170259594917, -0.12338432669639587, -0.1887979507446289, 0.11159588396549225, 0.16434191167354584, 0.20535217225551605, -0.04211736470460892, 0.22355857491493225, -0.5801301598548889, 0.1951783448457718, 0.2333114743232727, -0.024069547653198242, -0.12632006406784058, -0.0007388048688881099, -0.09651816636323929, -0.12590402364730835, 0.14064860343933105, 0.011181700974702835, -0.05189001187682152, -0.023846257477998734, 0.2206018567085266, -0.028344862163066864, -0.028907788917422295, -0.011680363677442074, 0.007865835912525654, 0.050672292709350586, -0.08751228451728821, -0.019991006702184677, -0.07820233702659607, -0.05606960505247116, -0.03241380676627159, 0.4502163827419281, 0.5232807397842407, -0.13246136903762817, -0.12989775836467743, 0.03271070867776871, -0.03511342778801918, -0.18648283183574677, -0.4207860827445984, -0.07189421355724335, -0.15299943089485168, -0.004896645434200764, 0.07257808744907379, -0.06399127095937729, 0.07235503196716309, -0.1418590098619461, -0.05404779314994812, 0.5406432747840881, 0.012857095338404179, -0.2960450351238251, 0.1956622153520584, -0.011200953274965286, 0.1902315318584442, -0.7773770689964294, 0.23066745698451996, -0.19297441840171814, 0.03810865804553032, -0.14642639458179474, 0.10557914525270462, 0.3711478114128113, 0.42946144938468933, -0.029924597591161728, -0.4153474271297455, -0.14863266050815582, 0.19519338011741638, 0.025808032602071762, -0.05449158325791359, 0.2926681935787201, 0.08114967495203018, -0.3587169349193573, -0.2753061056137085, -0.29258379340171814, -0.14713573455810547, 0.05460605397820473, -0.2707737386226654, 0.14210253953933716, 0.2969758212566376, 0.18914157152175903, 0.46745261549949646, -0.17618530988693237, 0.21622295677661896, 0.0911097526550293, -0.04102642089128494, -0.09001313149929047, -0.3606027066707611, -0.24842233955860138, 0.45480120182037354, -0.21293127536773682, 0.305457204580307, -0.0651288628578186, 0.011079458519816399, 0.21892713010311127, -0.10963916778564453, -0.1666620522737503, 0.3895852267742157, 0.07096283882856369, -0.051432326436042786, 0.11112597584724426, 0.13188502192497253, -0.6514194011688232, -0.07823114097118378, -0.06556528806686401, 0.04392700642347336, 0.4975021481513977, -0.502411425113678, -0.1697050929069519, -0.2916174530982971, 0.37692517042160034, 0.03613786771893501, 0.12171289324760437, -0.11464729905128479, 0.21556763350963593, -0.0813429057598114, -0.37153831124305725, 0.24567148089408875, 0.008557228371500969, 0.005402068607509136, -0.09446445852518082, 0.21811723709106445, -0.007610251195728779, 0.05117513984441757, -0.0241547878831625, -0.0512017160654068, -0.21489712595939636, 0.0721743106842041, 0.32806023955345154, -0.12545445561408997, 0.12751471996307373, -0.04485861584544182, -0.09966930747032166, -0.017633875831961632, 0.24083614349365234, -0.11667490005493164, -0.12658581137657166, -0.07232162356376648, 0.06625855714082718, -0.18157346546649933, -0.24354268610477448, 0.054586078971624374, 0.3895214796066284, -0.04638220742344856, -0.25073546171188354, 0.020471233874559402, 0.2559140920639038, -0.19983406364917755, 0.28012382984161377, 0.0896293967962265, -0.21879974007606506, 0.0222136452794075, 0.0680604875087738, 0.007938564755022526, -0.011116333305835724, -0.018779603764414787, 0.03304329887032509, -0.012212528847157955, -0.02098475955426693, -0.046421509236097336, 0.01794806681573391, 0.013673615641891956, 0.017992975190281868, 0.04085683822631836, 0.015235324390232563, -0.018441565334796906, 0.012869685888290405, -0.022784993052482605, 0.022092321887612343, -0.02269130013883114, -0.0409998819231987, 0.030014056712388992, 0.017943674698472023, -0.193051278591156, -0.18288089334964752, -0.023603346198797226, 0.4238286316394806, -0.2361157089471817, -0.6461024880409241, -0.03084655851125717, 0.02406316064298153, 0.6376087665557861, 0.26632818579673767, -0.0925581157207489, 0.09655991941690445, -0.22641336917877197, -0.17850735783576965, -0.03674066439270973, 0.30420538783073425, -0.03520906716585159, -0.012864845804870129, -0.3496050536632538, 0.49978214502334595, -0.08467508852481842, -0.05904209613800049, -0.14487607777118683, 0.13649433851242065, -0.1151009052991867, 0.08043266832828522, -0.13086318969726562, 0.1025276854634285, 0.20182247459888458, 0.022840814664959908, -0.14566317200660706, -0.07855886965990067, -0.193304643034935, 0.2523292303085327, 0.04541415348649025, -0.1925976276397705, 0.19552375376224518, 0.19520394504070282, 0.17833620309829712, -0.24426476657390594, 0.13875629007816315, -0.39077404141426086, 0.17446166276931763, -0.18814171850681305, -0.6591166257858276, 0.3620193898677826, 0.3761090636253357, -0.23674845695495605, 0.27030569314956665, 0.12502557039260864, 0.03641895204782486, 0.10201423615217209, -0.12207937240600586, -0.34196922183036804, -0.6792070865631104, 0.6354579925537109, -0.2622275650501251, 0.36369290947914124, 0.001175166224129498, 0.34008076786994934, -0.06394705176353455, 0.2275630086660385, 0.2639608085155487, 0.061635904014110565, -0.2880488932132721, -0.2512083351612091, -0.08956321328878403, -0.018617505207657814, 0.15265138447284698, 0.05741800367832184, 0.015121976844966412, -0.013079602271318436, 0.012004590593278408, -0.0010182865662500262, 0.0011166792828589678, -0.009057167917490005, -0.05215984955430031, 0.02934562973678112, -0.010504212230443954, 0.029079709202051163, -0.1482807844877243, -0.29416513442993164, 0.6273106336593628, 0.22149860858917236, 0.2974756062030792, -0.2793586850166321, -0.12118396162986755, 0.5639508962631226, -0.42621445655822754, -0.38660866022109985, 0.015108143910765648, -0.023717140778899193, 0.01812988705933094, -0.009326045401394367, 0.03882058709859848, 0.0007175836362875998, -0.03402025252580643, 0.020209912210702896, -0.01468899380415678, -0.00985537189990282, -0.2825078070163727, 0.48171231150627136, 0.0383678562939167, 0.020213790237903595, -0.15240217745304108, -0.04219482094049454, -0.029701339080929756, 0.30229297280311584, 0.3308987617492676, -0.6959484219551086, -0.0235392265021801, 0.5627330541610718, 0.15377101302146912, -0.2451055347919464, -0.1059352308511734, 0.019738731905817986, -0.12622913718223572, 0.1836628019809723, -0.45862647891044617, 0.08027105033397675, -0.15155485272407532, 0.1389773041009903, -0.05999046936631203, 0.12587091326713562, 0.027890555560588837, 0.0997067242860794, -0.045349132269620895, 0.31814685463905334, -0.3354017734527588, -0.11970299482345581, -0.032150812447071075, 0.18817313015460968, -0.05279576778411865, -0.023664923384785652, -0.02108726091682911, 0.17528603971004486, -0.05532576143741608, 0.025851404294371605, -0.20705769956111908, 0.023058000952005386, -0.09514788538217545, -0.05957240238785744, 0.11134238541126251, 0.07433163374662399, 0.07462171465158463, 0.21583925187587738, -0.037958044558763504, 0.4216978847980499, -0.18292848765850067, -0.5177422761917114, 0.02337106689810753, 0.014817160554230213, -0.010125163942575455, 0.02326795645058155, -0.02480044774711132, -0.01846296899020672, -0.045317474752664566, 0.008807794190943241, 0.010548176243901253, 0.014913015067577362, 0.021921273320913315, -0.0019254036014899611, -0.004167340230196714, 0.02451423555612564, -0.0005037205410189927, -0.02181996963918209, -0.08048182725906372, 0.0426078699529171, 0.008383285254240036, 0.015055453404784203, -0.031910527497529984, -0.0804348886013031, -0.11956115067005157, -0.16247178614139557, -0.03848458454012871, 0.36695167422294617, 0.19034364819526672, 0.1721092015504837, 0.04406582936644554, -0.262874037027359, -0.2065553218126297, -0.0886131227016449, -0.08862264454364777, -0.006350802257657051, 0.4074922204017639, 0.15433372557163239, -0.4172830879688263, -0.3038393557071686, 0.026671111583709717, 0.5151268839836121, -0.014442350715398788, 0.01138304267078638, -0.022618528455495834, 0.003587403567507863, 0.0048931739293038845, 0.010175198316574097, 0.009023714810609818, -0.011100735515356064, 0.00040314169018529356, -0.022170331329107285, 0.021316876634955406, 0.007183090317994356, 0.02613251842558384, -0.019569404423236847, 0.012977603822946548, 0.008667881600558758, -0.0002865812857635319, -0.010542693547904491, -0.008100253529846668, -0.004394704941660166, -0.08446867763996124, -0.2148618847131729, -0.4233018457889557, 0.5799165368080139, 0.18246203660964966, 0.2090461701154709, -0.1586676985025406, -0.20468874275684357, -0.35223090648651123, 0.3873644471168518, -0.0414910726249218, -0.30658119916915894, 0.3367578089237213, -0.19075073301792145, 0.10396329313516617, -0.15507502853870392, -0.1361500769853592, 0.15109840035438538, -0.061843931674957275, 0.23458877205848694, 0.028257805854082108, -0.09672137349843979, -0.10641308128833771, -0.06093328818678856, 0.011978247202932835, -0.02646263875067234, 0.16013488173484802, -0.06553234159946442, -0.01182209700345993, 0.09834794700145721, -0.02408238872885704, -0.06540264934301376, 0.9017431735992432, -0.04457077756524086, 0.009195681661367416, 0.12884680926799774, -0.07059326767921448, -0.3601939082145691, -0.6063801646232605, 0.12020130455493927, -0.10923917591571808, -0.3243085443973541, -0.16887040436267853, 0.4516129195690155, 0.048645369708538055, 0.2022940218448639, -0.4212549328804016, -0.19341370463371277, 0.03746386244893074, 0.4488884508609772, -0.011618983000516891, -0.19582177698612213, -0.15822160243988037, -0.29897984862327576, -0.31399548053741455, 0.3895244896411896, 0.35023537278175354, -0.08247434347867966, 0.10416650772094727, 0.2550646662712097, -0.37765589356422424, 0.06128038465976715, -0.08201862126588821, 0.40822598338127136, 0.36675533652305603, 0.3022533655166626, 0.22790741920471191, 0.04534127935767174, -0.10757789015769958, -0.7987115383148193, 0.1737699657678604, 0.024396127089858055, -0.21646319329738617, 0.05347643047571182, 0.06254518032073975, -0.060931771993637085, 0.17766927182674408, -0.03133883327245712, -0.11875934898853302, -0.0025214243214577436, -0.028054365888237953, 0.13893692195415497, 0.019315022975206375, -0.04781056195497513, -0.11675357818603516, 0.2036934196949005, -0.13630712032318115, -0.22326864302158356, 0.05993601679801941, 0.13711918890476227, 0.03875042125582695, -0.021957919001579285, 0.008082909509539604, -0.0026391500141471624, 0.005351177416741848, 0.00986228883266449, -0.024229716509580612, 0.02384018525481224, -0.012760988436639309, 0.022125205025076866, -0.07388556748628616, 0.4092973470687866, 0.03083040751516819, -0.4975550174713135, 0.01630796678364277, 0.05491321161389351, 0.04518035426735878, 0.32961395382881165, -0.22002901136875153, -0.04537488520145416, -0.003686530515551567, 0.001820332370698452, -0.035020772367715836, 0.02704029344022274, -0.0670127347111702, 0.04668852314352989, -0.06806444376707077, 0.15293101966381073, -0.02910020761191845, -0.03577804192900658, -0.16563944518566132, 0.39747658371925354, 0.31657013297080994, -0.17804978787899017, -0.4739474654197693, -0.16459625959396362, 0.10423797369003296, -0.31766626238822937, 0.8823975920677185, -0.426598459482193, -0.3343755602836609, -0.065578393638134, 0.11084350198507309, -0.30349618196487427, 0.15854422748088837, 0.21225135028362274, -0.3287498950958252, 0.23520414531230927, 0.08283539116382599, 0.1435876339673996, -0.00044195199734531343, -0.022071868181228638, 0.0730302557349205, 0.017354341223835945, 0.001831344561651349, 0.004537985660135746, -0.05401736870408058, -0.11754313111305237, 0.0499127022922039, 0.0316893570125103, -0.08514249324798584, 0.02272104285657406, -0.37356263399124146, -0.01994393765926361, -0.3659912049770355, 0.24589911103248596, 0.05327135697007179, 0.17370983958244324, 0.2866557240486145, 0.07708069682121277, 0.10372700542211533, -0.25869086384773254, 0.39825868606567383, 0.20946651697158813, -0.030288293957710266, 0.08845862746238708, 0.02910369634628296, -0.598340630531311, -0.0957278162240982, 0.15823443233966827, 0.014630656689405441, -0.01513761654496193, -0.00010744613246060908, 0.016398431733250618, -0.01680528186261654, 0.015994537621736526, -0.02543569728732109, -0.0443829670548439, -0.0010560622904449701, 0.05091286078095436, -0.014208055101335049, -0.028385350480675697, 0.032683536410331726, -0.022599712014198303, 0.012819473631680012, -0.00921549554914236, -0.03405313193798065, 0.044445835053920746, -0.03039473667740822, 0.03119809553027153, -0.05247555300593376, -0.23309767246246338, 0.05945552513003349, 0.043410927057266235, 0.15704940259456635, 0.05354899540543556, -0.03866729512810707, -0.17788633704185486, 0.03499871492385864, 0.17564654350280762, 0.02315090037882328, -0.06344550102949142, 0.22455932199954987, 0.053824275732040405, -0.09912128001451492, -0.2513728439807892, 0.24157002568244934, -0.07324040681123734, 0.11451423168182373, -0.14783255755901337, -0.136762335896492, -0.34444186091423035, 0.03897697851061821, 0.6663385033607483, -0.7257202863693237, -0.031314242631196976, -0.10541343688964844, 0.6066796183586121, 0.10037915408611298, -0.007855843752622604, -0.11029580980539322, -0.019655488431453705, -0.10495109111070633, 0.17628656327724457, 0.226021409034729, 0.1315511167049408, -0.18134456872940063, 0.35132545232772827, -0.412847638130188, -0.07850033044815063, -0.005431059747934341, 0.014867947436869144, -0.03671538457274437, 0.010298973880708218, 0.009389128535985947, 0.03914561867713928, -0.03388172760605812, -0.007346623111516237, 0.03874911740422249, -0.00727397296577692, 0.1387668251991272, 0.11060971766710281, 0.09227925539016724, -0.21751609444618225, 0.03980905935168266, -0.12823458015918732, 0.06414846330881119, -0.045973051339387894, 0.006570202298462391, 0.014070963487029076, -0.022014932706952095, -0.17345979809761047, 0.2596890926361084, 0.5020576119422913, -0.6153244376182556, -0.05381389707326889, -0.4292830228805542, 0.33110982179641724, 0.026737840846180916, 0.14877843856811523, 0.1442393660545349, 0.32300058007240295, -0.2895536720752716, -0.1335519403219223, -0.017518937587738037, 0.16782216727733612, 0.12287765741348267, -0.3099707365036011, 0.007665078155696392, -0.014509167522192001, -0.0030332214664667845, 0.0831863060593605, 0.07523326575756073, -0.03511369600892067, -0.028063848614692688, -0.009903968311846256, -0.006987458560615778, 0.007600721437484026, -0.06002087891101837, -0.0021164342761039734, -0.055581506341695786, -0.018441107124090195, -0.07401508092880249, 0.10704434663057327, 0.38171035051345825, -0.2736903429031372, 0.07882709801197052, -0.17706061899662018, -0.05409691855311394, 0.10154378414154053, -0.13793893158435822, -0.2721361219882965, -0.02317325584590435, 0.08834440261125565, 0.16476422548294067, 0.2089092880487442, -0.012264328077435493, -0.20935536921024323, 0.4585299491882324, -0.35699623823165894, 0.018440531566739082, 0.012674140743911266, 0.016473686322569847, -0.005183688364923, -0.007752942852675915, -0.01977364346385002, -0.040891680866479874, 0.0026098357047885656, 0.0032000411301851273, 0.024787865579128265, 0.0043573747389018536, 0.0381736122071743, -0.0006760561373084784, -0.013768455944955349, 0.03992842510342598, 0.07291355729103088, -0.1246311366558075, -0.02511110156774521, -0.017238207161426544, 0.016855575144290924, 0.002755293156951666, 0.22406020760536194, -0.06203106790781021, -0.01189003512263298, -0.05651592090725899, 0.01234959252178669, -0.007961743511259556, -0.0943671464920044, -0.08355437219142914, 0.12736734747886658, -0.2050067037343979, -0.17087934911251068, -0.28208228945732117, 0.1118452250957489, -0.11579178273677826, -0.11175873130559921, -0.1622142791748047, -0.06493981927633286, 0.39110949635505676, 0.5187373161315918, -0.14816875755786896, 0.035905029624700546, -0.24499811232089996, -0.2348577082157135, -0.05492136999964714, 0.33988818526268005, -0.044129397720098495, -0.013158770278096199, 0.3801332712173462, 0.0006354840588755906, -0.05909251049160957, 0.17331592738628387, -0.03422281891107559, -0.1349477469921112, 0.4558335244655609, 0.4408929944038391, -0.04335727170109749, -0.27703195810317993, -0.09174547344446182, -0.43863382935523987, -0.14770428836345673, 0.6021950840950012, 0.11038709431886673, 0.5272693037986755, 0.08200177550315857, -0.8614049553871155, 0.08135444670915604, -0.06885912269353867, -0.25373274087905884, -0.06786811351776123, 0.2426087111234665, -0.21978332102298737, -0.3395247161388397, -0.15926720201969147, 0.24219287931919098, -0.1806286722421646, 0.07830939441919327, 0.1478501707315445, -0.10530159622430801, 0.3062323331832886, 0.04559580981731415, -0.19199389219284058, 0.14508865773677826, -0.42780202627182007, 0.5366880893707275, 0.12527479231357574, 0.6122433543205261, -0.24131141602993011, -0.3024812638759613, -0.33617109060287476, -0.1531311273574829, 0.19010475277900696, -0.08853249251842499, 0.17950472235679626, 0.0693272054195404, -0.10416236519813538, 0.2591654658317566, -0.0722842663526535, 0.009293794631958008, -0.286591112613678, -0.047577153891325, 0.14360900223255157, -0.1248856708407402, -0.14132769405841827, -0.0986783504486084, 0.01659732684493065, 0.002293977653607726, -0.002109208144247532, -0.11982130259275436, 0.2546182870864868, -0.05824941769242287, 0.10121476650238037, -0.1181081011891365, -0.1992456614971161, 0.42104265093803406, -0.22324110567569733, -0.02735494077205658, 0.1717822253704071, -0.2883833646774292, 0.16642345488071442, 0.6112598776817322, -0.2951332926750183, 0.5525211095809937, 0.16676340997219086, -0.26910799741744995, -0.9422734379768372, -0.12851709127426147, 0.13919344544410706, -0.07242587953805923, 0.24581804871559143, -0.10752931982278824, 0.1574869602918625, -0.2701767683029175, 0.5916587114334106, -0.0663551539182663, 0.44718778133392334, -0.24624495208263397, -0.5194027423858643, -0.3677249252796173, 0.3683292865753174, -0.004061873070895672, 0.23798877000808716, -0.5204698443412781, 0.2094719409942627, -0.19690024852752686, -0.2228187620639801, -0.18533924221992493, 0.06200628727674484, 0.1685737520456314, 0.4956618547439575, 0.4467615485191345, 0.23486988246440887, -0.45946037769317627, 0.10416761785745621, 0.13101503252983093, -0.1654258519411087, 0.5207659602165222, 0.16704067587852478, -0.5461012721061707, -0.42600756883621216, 0.04515349492430687, -0.0004947555135004222, -0.04466316103935242, -0.0394844114780426, -0.016525566577911377, 0.0038550582248717546, -0.015183052979409695, 0.15749886631965637, -0.042954906821250916, -0.09572653472423553, -0.169117733836174, -0.05474403500556946, -0.16615280508995056, 0.190909743309021, 0.09581789374351501, -0.02697364054620266, 0.07989276945590973, 0.051043551415205, -0.22169658541679382, 0.1407286673784256, 0.013439199887216091, 0.006865464150905609, 7.571266905870289e-05, 0.0324007011950016, -0.027811434119939804, -0.013876302167773247, 0.011017419397830963, 0.022740453481674194, -0.002892238087952137, -0.01580728031694889, 0.008187632076442242, 0.057820480316877365, -0.007470733020454645, -0.08743029087781906, 0.041509974747896194, 0.05399613454937935, -0.032815247774124146, -0.04328916594386101, 0.050460103899240494, -0.012934652157127857, -0.028667861595749855, 0.3457570970058441, -0.08968530595302582, -0.014417828060686588, -0.019221756607294083, 0.0413014218211174, -0.017605820670723915, -0.17956091463565826, -0.0797543153166771, 0.02388167567551136, 0.02342427708208561, 0.1970045566558838, -0.06448349356651306, -0.22297385334968567, -0.0623435415327549, 0.0014360793866217136, -0.028109747916460037, 0.3957670331001282, -0.1305544376373291, -0.14246876537799835, 0.05816103145480156, 0.019551077857613564, 0.1912115216255188, -0.0296330526471138, -0.011829913593828678, 0.02386173978447914, -0.14909549057483673, -0.04083317890763283, -0.01096891239285469, -0.0006048943614587188, -0.0897115170955658, 0.22320561110973358, -0.13917958736419678, 0.40008655190467834, -0.06379888951778412, 0.5872294306755066, -0.17797084152698517, -0.5037699937820435, -0.24538056552410126, -0.017797719687223434, 0.03776717185974121, -0.12170363962650299, -0.20935215055942535, -0.3599756062030792, 0.3611709177494049, 0.14739829301834106, -0.2329278141260147, 0.14807693660259247, -0.09092564880847931, 0.29194098711013794, 0.059356559067964554, 0.15412820875644684, 0.17574544250965118, 0.4058291018009186, -0.25137317180633545, -0.7445923686027527, -0.5817639231681824, 0.09429831802845001, 0.31882408261299133, 0.3179098665714264, -0.19871309399604797, 0.20933938026428223, 0.03453560173511505, 0.15793582797050476, 0.4875766932964325, -0.3000253140926361, 0.18928515911102295, -0.02471146546304226, -0.21024134755134583, -0.3555966019630432, -0.1241023987531662, -0.37568777799606323, 0.5576537251472473, -0.17660459876060486, -0.22640053927898407, 0.10498522222042084, 0.621817409992218, 0.006581505294889212, -0.1880914270877838, -0.19322746992111206, -0.49893465638160706, -0.3238315284252167, 0.12398377805948257, 0.32692721486091614, -0.11848744750022888, 0.4140765964984894, 0.08642087876796722, -0.11013684421777725, 0.12331034243106842, -0.05580361559987068, 0.5520324110984802, -0.047628533095121384, 0.585605263710022, -0.11989181488752365, -0.15596634149551392, 0.1582915484905243, -0.16608455777168274, -0.20684103667736053, 0.04607894644141197, -0.6853014826774597, 0.11226879060268402, -0.03065350465476513, 0.1412699669599533, -0.013016754761338234, -0.17137832939624786, 0.014445114880800247, -0.12430603802204132, 0.07818187028169632, -0.11219272017478943, 0.01951412670314312, -0.0762682557106018, 0.29755404591560364, -0.19319069385528564, -0.11556319892406464, 0.04689329117536545, 0.23398232460021973, -0.05722316354513168, 0.3825029730796814, -0.5726069808006287, 0.06369980424642563, 0.03734756261110306, -0.17494310438632965, -0.024897897616028786, 0.2384091019630432, -0.28449177742004395, 0.38761845231056213, 0.22381088137626648, -0.07492624968290329, -0.04550452157855034, -0.35923996567726135, 0.03626143932342529, 0.21781975030899048, -0.1380639523267746, -0.17522600293159485, -0.039974015206098557, 0.021609246730804443, -0.10537610948085785, 0.1357601433992386, -0.30286410450935364, 0.37977078557014465, 0.04569333419203758, -0.02248573489487171, 0.026591435074806213, -0.03251626342535019, -0.011580895632505417, -0.024065935984253883, -0.018159499391913414, -0.02402183972299099, -0.008850017562508583, 0.007387638092041016, -0.15954314172267914, -0.243082195520401, 0.051077138632535934, -0.15983623266220093, 0.5303105115890503, -0.08825630694627762, -0.33751562237739563, -0.3093782067298889, 0.4789569079875946, 0.1961239129304886, 0.24554231762886047, -0.23305046558380127, -0.014964485540986061, 0.6835421919822693, -0.8366612792015076, 0.19278079271316528, -0.6341915130615234, 0.4994300305843353, -0.06827022135257721, 0.10721681267023087, -0.020404396578669548, 0.0008789348648861051, -0.03319616988301277, 0.00336680025793612, -0.006263772025704384, 0.21583053469657898, -0.06356291472911835, -0.04100324586033821, -0.12973342835903168, 0.009327244013547897, -0.1401168555021286, 0.15959562361240387, 0.046105027198791504, -0.13197559118270874, 0.29778149724006653, -0.33224380016326904, -0.09636576473712921, 0.19435560703277588, 0.20545317232608795, -0.2477719485759735, 0.13539764285087585, 0.010987306945025921, -0.007201893255114555, -0.1160518229007721, -0.1214657574892044, 0.07753076404333115, 0.05322256684303284, -0.04503463953733444, -0.020120592787861824, 0.0657699704170227, -0.03840600326657295, 0.09479250758886337, -0.08956821262836456, -0.0321292020380497, 0.04766643047332764, 0.03034856729209423, -0.030962912365794182, 0.19907453656196594, -0.14548033475875854, 0.03157602995634079, 0.025376101955771446, 0.46086645126342773, -0.38900110125541687, 0.0049595399759709835, 0.278181254863739, 0.008982306346297264, -0.01855534501373768, 0.31700631976127625, 0.00481998547911644, -0.6693098545074463, -0.18685314059257507, -0.24056409299373627, -0.01973949745297432, -0.15593799948692322, -0.043325185775756836, 0.1882152557373047, 0.05882569029927254, -0.16363872587680817, 0.25496482849121094, 0.2850017547607422, -0.25789469480514526, 0.4258686900138855, -0.18243548274040222, -0.4125750958919525, 0.3012395203113556, -0.2489447146654129, -0.18605677783489227, 0.5018971562385559, -0.3189629912376404, 0.4094032943248749, -0.036612410098314285, 0.24432532489299774, 0.2850654423236847, -0.017482411116361618, -0.21917931735515594, 0.048323679715394974, 0.06919237226247787, -0.2715546488761902, -0.1611907035112381, -0.05301644653081894, -0.02780778706073761, 0.046790871769189835, 0.0629483163356781, 0.06224474310874939, 0.01399347186088562, -0.04150625690817833, -0.09813331067562103, -0.05808378383517265, -0.0030606212094426155, 0.025626463815569878, 0.14500568807125092, -0.21024569869041443, 0.3563831150531769, -0.2766675353050232, 0.10251114517450333, -0.12848736345767975, 0.07178573310375214, 0.06276975572109222, -0.02475820854306221, -0.08922712504863739, 0.02108783647418022, -0.024221692234277725, 0.003268012311309576, -0.002024452667683363, 0.008104851469397545, -0.014776604250073433, -0.07321970909833908, 0.05154029652476311, -0.015326826833188534, 0.016323858872056007, -0.03975048288702965, 0.06248391047120094, 0.137370765209198, -0.26126721501350403, 0.19496391713619232, -0.03208218514919281, 0.07098441570997238, -0.18180763721466064, 0.26605796813964844, -0.21024078130722046, 0.06876767426729202, -0.05006787180900574, -0.06360819190740585, 0.11605218797922134, -0.21732518076896667, 0.42392563819885254, 0.04252723231911659, -0.07713599503040314, -0.4300718307495117, 0.21118445694446564, -0.013746960088610649, -0.008411572314798832, 0.028740979731082916, -0.008206315338611603, -0.03255763277411461, 0.019895581528544426, -0.028817694634199142, -0.022445641458034515, 0.054977431893348694, 0.0016276425449177623, 0.19156084954738617, -0.23251314461231232, -0.11286447942256927, 0.21903038024902344, -0.20079483091831207, 0.34586331248283386, -0.04058712720870972, -0.2270251214504242, -0.10555219650268555, 0.18702134490013123, 0.023377668112516403, -0.001988266361877322, 0.014161729253828526, -0.02007053606212139, 0.01483399048447609, -0.010186895728111267, -0.05275146663188934, 0.03944818302989006, -0.015128347091376781, 0.01973612606525421, 0.018058205023407936, 0.01777099072933197, 0.010937074199318886, -0.004346842411905527, 0.01814236119389534, 0.0158210638910532, -0.05306887626647949, -0.016963286325335503, 0.005598196294158697, 0.004208577796816826, 0.011063458397984505, 0.25870779156684875, 0.1697978377342224, -0.06910128891468048, -0.12425201386213303, -0.08540265262126923, 0.01614305190742016, -0.017644137144088745, -0.16233815252780914, 0.00604945607483387, 0.11195871978998184, -0.1445811688899994, 0.023621128872036934, 0.07456934452056885, -0.11671444028615952, 0.3660496473312378, -0.007763093337416649, -0.03473570942878723, -0.07779841870069504, -0.23210206627845764, -0.03431566059589386, -0.002140609547495842, 0.20568524301052094, 0.37556326389312744, -0.17220522463321686, 0.12457700073719025, -0.021093551069498062, -0.6446864008903503, 0.38637426495552063, -0.08001398295164108, -0.21085067093372345, -0.023013010621070862, -0.05008981376886368, -0.20555470883846283, 0.29401469230651855, 0.04044674336910248, -0.30328479409217834, 0.2521294951438904, -0.2567053735256195, 0.43004241585731506, 0.003290958469733596, 0.003844229271635413, 0.03304776921868324, 0.00732245109975338, 0.008830090053379536, -0.010702556930482388, -0.037960559129714966, 0.02094094268977642, -0.004813841078430414, 0.01327559445053339, -0.043879251927137375, -0.2240367829799652, 0.018542328849434853, -0.19275730848312378, 0.1285100281238556, 0.0039761606603860855, -0.20034539699554443, 0.15497545897960663, 0.2345883697271347, 0.08526552468538284, -0.02017708122730255, -0.03948532044887543, -0.020620403811335564, -0.5239123106002808, 0.33243343234062195, 0.014954556711018085, -0.1577489823102951, 0.3066008687019348, -0.25842905044555664, 0.3768773078918457, -0.09608173370361328, -0.06524945795536041, 0.2146005779504776, -0.04143475368618965, 0.3017534613609314, -0.031179768964648247, -0.16270433366298676, -0.2444387823343277, -0.1684684306383133, 0.22618554532527924, 0.02368064969778061, 0.17226871848106384, -0.1155376210808754, 0.1568472534418106, 0.008423760533332825, -0.02467789128422737, -0.03003469854593277, -0.1058332622051239, -0.073804572224617, 0.0688478946685791, -0.13308091461658478, -0.028571324422955513, -0.4090031087398529, 0.12748165428638458, 0.2046087235212326, 0.256302148103714, -0.32326269149780273, -0.45894232392311096, 0.49318864941596985, 0.2923242449760437, -0.2212730497121811, -0.13630889356136322, 0.40665513277053833, 0.16801001131534576, -0.25800642371177673, 0.33405134081840515, -0.3004419803619385, 0.7581784129142761, -0.08352310955524445, -0.6271894574165344, 0.007429312914609909, 0.02400151826441288, 0.010227345861494541, 0.011896565556526184, -0.00689837196841836, -0.0106253232806921, -0.017974698916077614, 0.0032932632602751255, 0.00953570008277893, 0.017670350149273872, -0.09126587212085724, -0.27635398507118225, 0.3400934338569641, 0.3223223090171814, -0.11878211051225662, -0.27332472801208496, -0.0005656832945533097, -0.13018843531608582, 0.09282626956701279, 0.18012981116771698, -0.043370068073272705, -0.13956484198570251, 0.1201183944940567, 0.2984478175640106, -0.011667643673717976, -0.23762494325637817, -0.033901412039995193, -0.2671844959259033, -0.03532985970377922, 0.3517196774482727, 0.4093564450740814, 0.05647996813058853, -0.1139298602938652, -0.1871918886899948, 0.08011913299560547, -0.14806868135929108, 0.06205573305487633, 0.025422386825084686, -0.5131763219833374, 0.2979433536529541, -0.3747948706150055, -0.03372141718864441, -0.2136239856481552, -0.18080058693885803, -0.019231313839554787, 0.40384843945503235, 0.15161624550819397, 0.4582880735397339, -0.061844658106565475, -0.08010662347078323, -0.005072452127933502, 0.14026227593421936, 0.0001072072918759659, -0.436735063791275, 0.17215979099273682, 0.19427870213985443, -0.04495362564921379, 0.19454748928546906, -0.14816148579120636, -0.09724358469247818, -0.039981912821531296, -0.3199859857559204, 0.26059576869010925, 0.64899080991745, -0.4326585531234741, -0.5998793840408325, 0.42370298504829407, 0.2986094057559967, -0.22976700961589813, 0.02903549186885357, -0.03727163001894951, 0.013987012207508087, -0.061740655452013016, -0.4463982582092285, 0.5568445324897766, -0.13517804443836212, 0.23567722737789154, 0.31640565395355225, -0.2903124988079071, -0.1655081957578659, -0.054795216768980026, -0.04791172593832016, 0.057465676218271255, 0.14675451815128326, 0.2506997585296631, -0.06050984933972359, 0.20905254781246185, 0.11174095422029495, -0.2040039747953415, -0.45865926146507263, -0.2794685959815979, 0.08137616515159607, 0.15604054927825928, 0.16544543206691742, 0.11188727617263794, -0.301649272441864, 0.04307948425412178, -0.03938654810190201, 0.062086764723062515, 0.03292926028370857, -0.23952490091323853, -0.15105749666690826, -0.6749898791313171, -0.21448363363742828, -0.051148634403944016, 0.6565238833427429, 0.30845752358436584, -0.0939137414097786, 0.4129713177680969, 0.045390333980321884, -0.08248282968997955, 0.23348650336265564, 0.03090689703822136, -0.3448379337787628, 0.004569203592836857, 0.2106485217809677, 0.22176362574100494, -0.20105496048927307, -0.11316396296024323, 0.0452042855322361, -0.2320179045200348, -0.11214084178209305, 0.4588085114955902, -0.08082550764083862, -0.2652570307254791, -0.2773483693599701, 0.5418436527252197, -0.10966621339321136, -0.029709327965974808, 0.11477892100811005, -0.2743408977985382, -0.09520194679498672, -0.07648397982120514, 0.1944836974143982, 0.1174565777182579, 0.024963388219475746, 0.10017019510269165, -0.49756404757499695, 0.2879694104194641, 0.23874983191490173, 0.07974684238433838, -0.2528479993343353, -0.05343223735690117, 0.04311656206846237, -0.3988785445690155, 0.13875479996204376, -0.10717759281396866, -0.25553369522094727, 0.10661918669939041, 0.7861788868904114, 0.04828477278351784, -0.4543062746524811, 0.2260795384645462, 0.23708941042423248, -0.11556822061538696, -0.029516151174902916, -0.011400098912417889, 0.0008034785278141499, 0.3289089798927307, -0.18896213173866272, 0.013401714153587818, 0.08744214475154877, 0.1585158109664917, -0.015703659504652023, 0.02072274126112461, 0.0499863475561142, -0.09495287388563156, -0.09120553731918335, -0.10273419320583344, -0.003446838352829218, 0.08953636884689331, -0.062277261167764664, -0.10000580549240112, 0.02178611047565937, 0.06295272707939148, 0.08262326568365097, 0.15861891210079193, -0.158791646361351, 0.004468218423426151, -0.07154583930969238, 0.23209936916828156, 0.051103375852108, 0.6195052266120911, -0.043749213218688965, -0.15724749863147736, -0.28792110085487366, -0.014385968446731567, -0.06820107996463776, 0.3212084472179413, -0.6039527058601379, 0.15076540410518646, -0.08311325311660767, 0.011003028601408005, -0.24475182592868805, -0.0024243942461907864, -0.08956800401210785, -0.2467331439256668, 0.3145095407962799, 0.2857263684272766, -0.04823356494307518, 0.016338353976607323, 0.027839943766593933, -0.26569876074790955, 0.3293914794921875, 0.18731766939163208, 0.18563100695610046, 0.02968369610607624, 0.06872419267892838, -0.3731326460838318, -0.17397692799568176, -0.05871409922838211, 0.21628408133983612, -0.11178817600011826, -0.1614707112312317, -0.005504819564521313, 0.10571391135454178, -0.1173446774482727, -0.06218091398477554, 0.0979289561510086, 0.0760996863245964, -0.01727725937962532, -0.012799342162907124, 0.014481392689049244, -0.007171190809458494, -0.017231693491339684, 0.011267208494246006, 0.027311360463500023, 0.029711972922086716, -0.014445801265537739, -0.011086396872997284, 0.12130345404148102, -0.42451515793800354, 0.1399053931236267, -0.06418313831090927, -0.053244687616825104, 0.2692163288593292, 0.7548736929893494, -0.1968916803598404, 0.24256682395935059, -0.7338729500770569, -0.07055790722370148, -0.05852748826146126, 0.05745266005396843, -0.728924572467804, 0.4076440930366516, 0.11303628981113434, 0.0719676986336708, 0.30735647678375244, 0.11068843305110931, -0.16231557726860046, 0.01813088357448578, -0.16435031592845917, 0.3225381076335907, -0.14849591255187988, -0.038469571620225906, 0.06626959890127182, -0.03703121840953827, -0.3518661558628082, 0.13033923506736755, 0.2187836766242981, -0.023966852575540543, 0.6103689074516296, -0.022152507677674294, -0.06917017698287964, 0.556600034236908, -0.0859091654419899, -0.18845021724700928, 0.04013301804661751, -0.05839410796761513, -0.7437729239463806, 0.15554697811603546, -0.05143318697810173, 0.1485094279050827, -0.11075516045093536, -0.009537497535347939, -0.061151664704084396, -0.1423381268978119, 0.07373141497373581, -0.03732629120349884, -0.05805755406618118, -0.211906298995018, -0.15863136947155, -0.028203219175338745, 0.16187547147274017, -0.25422778725624084, -0.1466844081878662, 0.04182667285203934, 0.06814029067754745, 0.5722123384475708, -0.06608626991510391, -0.11340026557445526, -0.5254098773002625, -0.10848942399024963, -0.003241666592657566, -0.0011981166899204254, -0.2345329076051712, 0.10161474347114563, 0.11320759356021881, 0.47544291615486145, 0.29790714383125305, -0.23101650178432465, -0.16561193764209747, 0.17603906989097595, 0.13962529599666595, -0.3409379720687866, 0.18824680149555206, 0.22775191068649292, -0.039427388459444046, 0.13266821205615997, -0.11631292849779129, 0.17229780554771423, 0.04077720642089844, 0.34854182600975037, -0.5137687921524048, -0.1791234314441681, -0.08929049968719482, -0.14653588831424713, 0.0936635360121727, -0.19726675748825073, 0.481951504945755, 0.03159824758768082, 0.3497575521469116, 0.4550061523914337, -0.24353663623332977, -0.10709468275308609, -0.016654793173074722, -0.08719336986541748, 0.15368536114692688, -0.7888378500938416, 0.27519160509109497, -0.24659985303878784, 0.14335736632347107, 0.08603185415267944, -0.1637076437473297, 0.0632709413766861, -0.1214701384305954, 0.08205974102020264, 0.11488436907529831, 0.1948769986629486, -0.14465804398059845, 0.036205824464559555, 0.11601576209068298, 0.33992713689804077, -0.047680679708719254, 0.5371341109275818, 0.13938629627227783, -0.6932328343391418, -0.08141273260116577, -0.22566357254981995, -0.06727542728185654, -0.002544662682339549, -0.01235013548284769, 0.0005056217778474092, 0.028325438499450684, -0.012296409346163273, -0.008976024575531483, -0.007553974632173777, -0.013060065917670727, 0.018891464918851852, -0.0015518700238317251, -0.18944136798381805, -0.23878368735313416, -0.05893774330615997, -0.05202404037117958, -0.09504756331443787, -0.25930607318878174, -0.008017891086637974, -0.019694996997714043, 0.6787368059158325, 0.17634643614292145, 0.323612242937088, 0.3775113821029663, -0.21229641139507294, -0.19721205532550812, -0.09140720218420029, 0.36553895473480225, -0.09857642650604248, 0.11028120666742325, -0.4991244971752167, -0.1103983074426651, 0.04474228620529175, -0.0020117538515478373, 0.011845897883176804, -0.003475698409602046, 0.009511741809546947, 0.0034004389308393, -0.04069049656391144, -0.01728793792426586, -0.01853938400745392, 0.0007905607926659286, -0.25668206810951233, 0.2722155749797821, 0.28676679730415344, 0.286668598651886, 0.1474570482969284, 0.10839813947677612, -0.17298312485218048, -0.12416037172079086, 0.23864592611789703, -0.771386444568634, 0.0368771068751812, -0.12383589893579483, 0.5108857750892639, -0.07570967078208923, -0.03228824958205223, 0.13247480988502502, -0.2119685709476471, 0.0069654276594519615, -0.20438288152217865, -0.03293706476688385, -0.005719800014048815, 0.0011045864084735513, 0.06334640085697174, 0.20589663088321686, 0.021669266745448112, -0.12954339385032654, 0.03843357414007187, -0.050902318209409714, -0.1517704427242279, -0.016916966065764427, -0.00010646236478351057, 0.005004058126360178, 0.0021970169618725777, 0.003213917138054967, -0.0028762880247086287, -0.022488795220851898, -0.010979579761624336, 0.0009944713674485683, -0.007467567455023527, 0.012395599856972694, -0.3695892095565796, -0.23590733110904694, -0.3202715516090393, 0.05388648435473442, 0.0730995461344719, 0.43568381667137146, -0.27476903796195984, -0.16244980692863464, 0.2377777397632599, 0.5258819460868835, 0.011523321270942688, 0.20789426565170288, -0.05414150282740593, -0.03810847923159599, -0.07096275687217712, -0.1073559895157814, 0.02703745663166046, 0.1059190034866333, -0.12111455202102661, -0.00836910866200924, -0.10972074419260025, -0.13614599406719208, 0.12697245180606842, 0.0023650438524782658, 0.27572372555732727, 0.09306741505861282, -0.17349539697170258, -0.2523924708366394, 0.29362884163856506, -0.07268396764993668, -0.010884098708629608, 0.04802219197154045, 0.050696961581707, 0.007998055778443813, -0.0054375710897147655, -0.013099148869514465, -0.06449781358242035, -0.0568653866648674, -0.0010833069682121277, 0.09603331238031387, 0.12085161358118057, -0.019204840064048767, 0.011861291714012623, 0.2192368507385254, -0.03108963556587696, 0.03809921815991402, -0.12519267201423645, -0.022067788988351822, -0.06343507766723633, -0.1433766633272171, 0.25031226873397827, 0.009781448170542717, -0.14079278707504272, 0.435977041721344, -0.2856857478618622, 0.3628515601158142, -0.2460295557975769, -0.2767309844493866, -0.2530377209186554, 0.14592868089675903, 0.01182525884360075, -0.02732132375240326, 0.03646199405193329, 0.0071851653046905994, 0.014293494634330273, -0.04213333502411842, 0.03923063352704048, 0.06318379193544388, -0.003831070614978671, -0.008246978744864464, -0.23768816888332367, -0.2968776822090149, 0.161904975771904, 0.2682093381881714, -0.04638499394059181, -0.29466620087623596, -0.020401788875460625, 0.3361217975616455, -0.15948733687400818, 0.2274278849363327, -0.399787575006485, -0.19194690883159637, -0.1909252256155014, 0.3116602301597595, 0.42987504601478577, 0.05970088019967079, -0.34045541286468506, 0.012551471590995789, -0.13583654165267944, 0.37690091133117676, 0.12719327211380005, 0.1612596958875656, 0.44858449697494507, -0.6418282389640808, -0.06931277364492416, -0.30000779032707214, 0.2005930095911026, 0.021780649200081825, 0.49725618958473206, -0.39554688334465027, 0.03942430019378662, 0.37727677822113037, 0.23911190032958984, -0.07413099706172943, -0.05568520724773407, -0.019166382029652596, -0.04424561932682991, -0.35316160321235657, -0.056588441133499146, -0.01835109479725361, 0.49694228172302246, -0.06860525906085968, 0.1609668731689453, -0.28436461091041565, -0.1212598979473114, -0.6810478568077087, 0.20764797925949097, -0.20488125085830688, 0.1698831468820572, 0.2759685516357422, -0.0389714241027832, 0.24339328706264496, 0.4658835828304291, -0.06453493982553482, -0.14415809512138367, -0.3784053325653076, 0.21621756255626678, 0.33235639333724976, -0.42571568489074707, -0.23643775284290314};


常见问题:

1、编译失败,报错信息写的是适配/布线布局失败:

    cd进入生成的工程文件夹,然后运行quartus_fit top查看报错信息,如果报错只有一个kill(killed),程序就终止了,仔细看编译过程,会发现CPU或者内存占用很高,这个时候可以尝试增加内存。 

增加内存后:

image.png

image.png

2、在Windows和Linux下均无法扫描到PCIE设备

PC 需要PCIe设备在 100ms 内启动,这样PC 才能扫描到PCIe 设备。

几种解决方法

1、在工程文件的Device设置里面选中Autonomous PCIe HIP Mode,然后重新烧录即可。

或者在tcl中加入

set_global_assignment -name ENABLE_AUTONOMOUS_PCIE_HIP ON

或者你要是实在搞不明白,就在flat.qsf中加上上面这一行进行编译就行,然后把运行aocl之后产生的工程文件夹里面的sof文件烧录到板子里面即可。

image.png

不是说必须按照我的这个位置加,这个文件里面你随意加在哪里都可以。

2、询问你的电脑主板提供商,怎么样可以暂停启动,比如说部分电脑可以开机的时候按住Pause键。

3、多次重启电脑,直到设备管理器中出现FPGA设备。(确保重启不会断电)


参考文献:

《OpenCL_基于OpenCL的手写体数字识别实验指导书 V1.1》重庆海云捷迅科技有限公司(Intel FPGA中国创新中心)

《MicroSoft Catapult_iii OpenCL Demo(Win10)》thinkoco

扫描二维码推送至手机访问。

版权声明:本文由我的FPGA发布,如需转载请注明出处。

本文链接:http://myfpga.cn/index.php/post/319.html

分享给朋友:

“Ubuntu下Quartus OpenCL实现手写数字识别 QuartusPro 18.1 Update2 Arria10” 的相关文章

OpenCL运行报错分析与解决MMD INFO : [board0] PCIe-to-fabric read test failed, read 0xffffffff after  1 attempt

OpenCL运行报错分析与解决MMD INFO : [board0] PCIe-to-fabric read test failed, read 0xffffffff after 1 attempt

在运行opencl程序或者aocl program时,发生报错:MMD INFO : [board0] PCIe-to-fabric read test failed, read 0xffffffff ...

Intel N3000 PAC开发板 Arria10FPGA 100G智能网卡 支持PCIE程序上传/调试 OpenCL OPAE

Intel N3000 PAC开发板 Arria10FPGA 100G智能网卡 支持PCIE程序上传/调试 OpenCL OPAE

近期,从小黄鱼上收了两块N3000的Intel PAC板子,FPGA型号和Microsoft 1768那个差不多,区别是这个支持100G网口,但是DDR4只有9G(组合后为9G)。型号是10AT115S1F45E1SG先把坑说前面,解决了能减少很多麻烦:To compile an AFU using...

使用Vitis HLS实现和优化Conv2D函数

使用Vitis HLS实现和优化Conv2D函数

现代卷积神经网络(CNNs)中,卷积操作(Conv2D)是最基本且计算量集中的部分。为了在嵌入式系统和FPGA平台上加速这一计算,我们可以利用Xilinx的Vitis高层次综合(HLS)工具。本文将介绍如何使用Vitis HLS实现一个基础的卷积操作,随后进行各种优化以提高其性能。一、基础实现我们首...

 使用Vitis HLS实现和优化DethSepConv函数

使用Vitis HLS实现和优化DethSepConv函数

1初版功能验证1.0设计框图+-----------------------------------+ |            Input Data &nb...

通俗易懂的Quartus HLS vs Vitis HLS 优化技巧及对比

通俗易懂的Quartus HLS vs Vitis HLS 优化技巧及对比

随着深度学习应用的普及,FPGA作为强大且高效的硬件加速器,其高性能和低延迟特性备受关注。为了简化FPGA开发流程,高级综合工具(HLS)如Intel的Quartus HLS和Xilinx的Vitis HLS相继推出,为用户提供了基于C/C++的编程方式,从而降低了开发门槛。然而,如何使用这些工具进...