PROBLEM TO BE SOLVED: To provide a method, an apparatus, and a computer program for optimizing a scheme for selecting an action maximizing an expectation return while suppressing a risk by using a Markov decision process while considering resource restriction conditions.SOLUTION: There is provided a method which uses a computer system to determine an optimum action taking risk into consideration for each of states in respective periods which may enter when a predetermined action is executed for a plurality of users for the respective periods. The computer system estimates distribution of returns conditioned to states and actions when using a current scheme, estimates an evaluation function (restriction function) taking risk into consideration on the basis of the estimated distribution of returns, and improves the scheme using elements of resource restrictions of possible actions and restrictions of risk of returns based upon the estimated evaluation function, and an object function based upon the estimated evaluation function.COPYRIGHT: (C)2014,JPO&INPIT【課題】リスクを抑制して期待リターンを最大化するアクションを選択する方策を、リソース制約条件を考慮しつつマルコフ決定過程を用いて最適化する方法、装置及びコンピュータプログラムを提供する。【解決手段】コンピュータシステムを用いて、複数のユーザに対して各期に渡って所定のアクションを実行した場合にとり得る各期の状態それぞれについて、リスクを考慮した最適アクションを決定するための方法である。コンピュータシステムが、現在の方策を用いた場合の、状態とアクションとに条件付けられたリターンの分布を推定し、推定されたリターンの分布に基づいて、リスクを考慮した評価関数(制約関数)を推定し、とり得るアクションのリソース制約と推定された評価関数とに基づくリターンのリスクの制約の元、推定された評価関数に基づく目的関数を用いて方策を改善する【選択図】図4
