To provide a data processing technique with less processing speed reduction due to an increase in the number of accelerators.A data processing apparatus having a host computer and a plurality of accelerators includes a reduction unit which reduces the sum of the sequences distributed in memories of a plurality of accelerators to an array on a memory of one accelerator, And an allocation unit that saves the allocated sequence in the memory of the host computer and distributes the array stored in the memory to the memories of the plurality of accelerators.BACKGROUND OF THE INVENTION【課題】 アクセラレータ数の増加に伴う処理速度の低下の少ないデータ処理技術を提供すること。【解決手段】ホストコンピュータと複数のアクセラレータとを有するデータ処理装置は、複数のアクセラレータのメモリに分散された配列の総和を取り1つのアクセラレータのメモリ上の配列に縮約する縮約部と、縮約された配列をホストコンピュータのメモリに保存し、メモリに保存した配列を、複数のアクセラレータのメモリに分散する分散部と、を備える。【選択図】 図1
