全論文リスト (論文概要つき)

本研究では Carpenter らにより基本的骨格が提案された素性構造抽象機械につ いて述べる。自然言語処理や、人工知能などの分野で使用される素性構造は、 従来は Prolog 等の論理型言語で、言語に組み込みの単一化ルーチン を使用して処理されることが一般的であった。素性構造抽象機械では、素性構造 をあらかじめ単一化手順として抽象機械の命令列に変換しておくことで、単一化 を、抽象機械上の命令実行という効率の高い形で行うことができる。本研究では、 実際に実装した素性構造抽象機械に対して命令セットやコンパイル方法の拡張を 行い、より高い効率を追求した。また、他の実装系とのパフォーマンスの比較も 行った。

This paper describes LiLFeS, an integrated unification-based programming system for linguistic formalisms based on typed feature structures, such as HPSG. The core engine of LiLFeS is an abstract machine developed for efficient handling of typed feature structures. Its basic design and optimization techniques are described. Performance comparisons between LiLFeS and other systems for typed feature structures show that LiLFeS is more than 50 times faster than ALE, and competitive to ProFIT.

This paper describes an extension of a feature structure abstract machine for supporting partial unification, which is used in an efficient parsing algorithm for HPSG proposed by Torisawa et al. An abstract machine for attribute-value logics, a framework for processing typed feature structures proposed by Carpenter and Qu, is not only efficient but also easily extendable. We extended the abstract machine for partial unification by only adding a set of instructions to the machine. By combining this technique with the pre-computation of possible feature structures, efficiency of HPSG parsing is improved. We also show the feasibility of our implementation by a series of experiments.

This paper presents the LiLFeS system, an efficient feature-structure description language for HPSG. The core engine of LiLFeS is an Abstract Machine for Attribute-Value Logics, proposed by Carpenter and Qu. Basic design policies, the current status, and performance evaluation of the LiLFeS system are described. The paper discusses two implementations of the LiLFeS. The first one is based on an emulator of the abstract machine, while the second one uses a native-code compiler and therefore is much more efficient than the first one.

本論文は、型付き素性構造 (TFS) を使用する単一化ベースのプログラミング言語 LiLFeSのためのネイティブコードコンパイラの設計と実装について述べる。素性 構造を使用するフォーマリズム上で自然言語処理を行うための基幹言語として、 Carpenterらの提案する属性値論理抽象機械 (AMAVL)を元に設計された LiLFeS で あるが、大量のコーパスからの統計学習などを含めた高度な自然言語処理を実現 するには処理能力の点で不十分であった。LiLFeSの実装に応用ができる高効率な Prologの実装方式としては、PrologのネイティブコードコンパイラAquarius Prolog などさまざまな研究が行われてきている。しかし、素性構造の単一化効 率を高めるには、型情報を利用した最適化を実現することが必要で、そのために は型操作を含む単一化コードをコンパイラが直接出力しなければならない。これ は、既存のProlog実装の単純な拡張や、AMAVLとの統合だけでは実現することがで きなかった。本論文では、Aquarius Prologの実装方式であるBerkeley Abstract Machineを拡張した、LiLFeSネイティブコードコンパイラの設計について述べる。 具体的には、抽象機械上での型付き素性構造の単一化の実現手法に関して、 (1) 型操作を含むコードを出力に含めるための単一化アルゴリズムの構築と分析、(2) それらのアルゴリズムを記述するための抽象機械命令の設計、(3) その上でコー ド最適化のための文脈情報を提供する型階層および確定節プログラムの静的解析 技術、の3点の提案について詳述する。また、他のLiLFeSおよびProlog処理系との 性能比較によって、本論文で提案する実装が高効率であることを示す。

This article evaluates the efficiency of the LiLFeS abstract machine by performing parsing tasks with the LinGO English resource grammar. The instruction set of the abstract machine is optimized for efficient processing of definite clause programs and typed feature structures. LiLFeS also supports various tools required for efficient parsing (e.g. efficient copying, a built-in CFG parser) and the constructions of standard Prolog (e.g. cut, assertions, negation as failure). Several parsers and large-scale grammars, including the LinGO grammar, have been implemented in or ported to LiLFeS. Precise empirical results with the LinGO grammar are provided to allow comparison with other systems. The experimental results demonstrate the efficiency of the LiLFeS abstract machine.

This paper explores a mechanism of memory in human brain from a viewpoint of sentence understanding. We pointed out the following: (1) Some complexity must be incorporated into memory coding in order to be capable of representing binding in a meaning of a sentence. (2) When temporal coding is used to achieve the complexity, some mechanism is required to arbitrate phases (temporal slots) among memorized items. (3) Considering its implementation, the mechanism is likely to be global, which resembles a sort of structured memory, such as a push-down stack. (4) Episodic memory, which is thought to be formed through mammal hippocampus, can be regarded as a phase arbitration mechanism and is possibly related in depth to sentence understanding.

人間の言語理解がどのようなアルゴリズムで実現されているかを調べるために、さまざまな言語処理アルゴリズムが研究されてきたが、生理学的証拠と結びつくものは見つかっていない。このような状況では、言語理解過程に関する計算理論からわかる言語理解メカニズムの実装上の制約や有利な構造を調べるというアプローチが有効である。

本論文では、言語理解に適した人間の短期記憶機構のモデルと、そのシミュレーションに必要な技術について提案する。具体的には、以下の３項目についての研究を行う。

(1) 言語理解に適した短期記憶機構を神経回路網で構築するときに必要となる要素の探究

(2) 連続時間での高速かつ一般的なパルス神経回路網シミュレーション技術

(3) (1) 及び (2) を利用した、言語理解の原始的なシミュレーション

ここで (1) については、言語を取り扱う神経回路網が備えているべき要素について、次のようなことを明らかにした。i) 言語理解の結果を表現するには束縛問題を解決することが必要であり、そのためには神経回路網の時間領域での振る舞いを利用することが最も有望であること。ii) 位相調停を実現するために、構造的な時系列記憶システムが構築されるべきであること。iii) 時系列予測の形式で文法規則の適用が実装できること。

また、(2) に関しては、イベント離散方式によるパルス神経回路網シミュレーション方式を研究した。位相調停など複雑な時間領域での操作を研究するために必要となる、時間精度の高い回路網シミュレーションは、時間離散方式による従来の手法ではシミュレーション速度に限界があった。一方、イベント離散方式には一般的なニューロンモデルに対し遅延発火が扱えないという問題があった。本研究で提案する二次漸進分割法は、遅延発火を解析的に計算することにより、一般的なニューロンモデルに対してもイベント離散方式でパルス回路網シミュレーションが構築できることを示す。また、冗長な遅延発火計算を検出することで遅延発火の処理を高速化する手法についても述べる。

そして、(3) においては、(1) 及び (2) の研究を例証するために、３〜４単語程度の単純な文を理解する神経回路網シミュレーションを構築する。ここで構築した言語理解システムをさまざまな側面から検討し、よりよい文の理解のために研究すべき方向について考察する。

This paper describes an indexing substrate for typed feature structures (ISTFS), which is an efficient retrieval engine for typed feature structures. Given a set of typed feature structures, the ISTFS efficiently retrieves its subset whose elements are unifiable or in a subsumption relation with a query feature structure. The efficiency of the ISTFS is achieved by calculating a unifiability checking table prior to retrieval and finding the best index paths dynamically.

Efficient simulation techniques for a discrete-event pulsed neural network simulator were developed. In a discrete-event simulation framework, simulation of complex neural behaviors, such as phase precession and phase arbitration, demands prediction of delayed firing times. The new technique, the incremental partitioning method, uses linear envelopes of the state variable of a neuron to partition the simulated time so that the delayed-firing time is reliably calculated by applying the bisection-combined Newton-Raphson method to every partition. The quick filtering technique is also proposed for reducing calculation cost of linear envelopes. The developed simulator, Punnets, has achieved efficiency and precision but still is capable of simulating a complex behavior of large-scale neural network models.

人間のような高度なコミュニケーションの基礎と考えられる、自己と同等な他者の内部状態推定に関する計算理論を提案する。他者の内部状態推定においては、推定者のパラメータ次元の制約、主観的情報と客観的情報の相互変換という2つの本質的な困難が存在する。我々が提案する自己観測原理は、自己観測での学習に基づいて、この2つの問題を同時に解決する。すなわち、獲得が容易な自己のダイナミクスを学習することで他者のダイナミクスに関する先行知識を得られるので、パラメータ次元の制約を緩和できる。また、自己の主観的状態と自己を客観的に観測した情報の関連付けを学習することで、他者を客観的に観測した情報と他者にとっての主観的情報の相互変換を可能にする。本論文では、力学系観測問題の枠組でコミュニケーション問題を定式化し、そのうえで2つの困難とその解決法について論じる。また、進化心理学・神経科学との関連についても考察する。

In the target article, LR3 (Parity), one of the possible criteria for language readiness, is defined with a simple description: “What counts for the speaker (or producer) must count for the listener (or receiver).” Based on a self-observation principle, we would like to suggest that this ability plays a much more crucial role in communication than can be inferred from the statement, namely, the role of “understanding others.”

We have developed a new series of multi-agent reinforcement learning algorithms that choose a policy based on beliefs about co-players’policies. The algorithms are applicable to situations where a state is fully observable by the agents, but there is no limit on the number of players. Some of the algorithms employ embedded beliefs to handle the cases that co-players are also choosing a policy based on their beliefs of others’ policies. Simulation experiments on Iterated Prisoners’ Dilemma games show that the algorithms using on policy-based belief converge to highly mutually-cooperative behavior, unlike the existing algorithms based on action-based belief.

We briefly describe mentalizing, or understanding others' mental states, in an active research area of cognitive science. To overcome inaccessiblity of others' mental states, theoretical studies assume some mentalizing mechanism in the brain, including simulating others' behavior within knowledge of behavior of the self. We also present our computer-simulation study that tackles the role of mentalizing in a social environment, which examines behavior of agents based on reinforcement learning in Iterated Prisoners' Dilemma games. The results show that agents that choose actions using the estimated policy (corresponding to the mental state) of the co-player, achieve higher cooperation rates than control agents do, which choose actions using only the expected action of the co-player, or only the recent history of game plays.

I suggest that layer 4 of the shared circuits model (SCM) should monitor the failure of performing an action, instead of output inhibition, to obtain actual/possible and self/other distinction. The target article's assumption of selective inhibition leaves some questions unansweres, such asa the criteria for the selection. Monitoing failure can answer these questions because failure does not require selection. It also provices a basis for more likely explanation for the phylogenetic and ontogenetic origin of both monitoring and output inhibition.

We propose a new neural network architecture, Simple recurrent TD Networks (SR-TDNs), that learns to predict future observations in partially observable environments, using proto-predictive representation of states. SR-TDNs incorporate the structure of simple recurrent neural networks (SRNs) into temporal-difference (TD) networks to use proto-predictive representation of states. Our simulation experiments revealed that these networks have better on-line learning capacity than TD networks in various environments.

We briefly describe mentalizing, or understanding others' mental states, in an active research area of cognitive science. To overcome inaccessiblity of others' mental states, theoretical studies assume some mentalizing mechanism in the brain, including simulating others' behavior within knowledge of behavior of the self. We also present our computer-simulation study that tackles the role of mentalizing in a social environment, which examines behavior of agents based on reinforcement learning in Iterated Prisoners' Dilemma games. The results show that agents that choose actions using the estimated policy (corresponding to the mental state) of the co-player, achieve higher cooperation rates than control agents do, which choose actions using only the expected action of the co-player, or only the recent history of game plays.

We present an algorithm for on-line, incremental discovery of temporal-difference (TD) networks. The key contribution is the establishment of three criteria to expand a node in TD network: a node is expanded when the node is well-known, independent, and has a prediction error that requires further explanation. Since none of these criteria requires centralized calculation operations, they are easily computed in a parallel and distributed manner, and scalable for bigger problems compared to other discovery methods of predictive state representations. Through computer experiments, we demonstrate the empirical effectiveness of our algorithm.

We propose a new neural network architecture, called Simple Recurrent Temporal-Difference Networks (SR-TDNs), that learns to predict future observations in partially observable environments. SR-TDNs incorporate the structure of simple recurrent neural networks (SRNs) into temporal-difference (TD) networks to use proto-predictive representation of states. Although they deviate from the principle of predictive representations to ground state representations on observations, they follow the same learning strategy as TD networks, i.e., applying TD-learning to general predictions. Simulation experiments revealed that SR-TDNs can correctly represent states with incomplete set of core tests (question networks), and consequently, SR-TDNs have better on-line learning capacity than TD networks in various environments.

無限隠れマルコフモデル (iHMM) は、HMMをノンパラメトリックベイズ統計で拡張し、隠れ状態数を積分消去したモデルであり、ベイズ確率モデルによる柔軟な学習能力で時系列データを扱うものである。 しかし、iHMMは、HMMと同様に、学習が局所解に陥りやすい欠点があった。Beam Sampler など高性能なサンプラーの研究が進められているが、本来は性質の異なる複数の状態が同一の隠れ状態にミックスして学習されてしまった場合に、隠れ状態が離散的であるため、性質に応じて隠れ状態を再分配することが困難である。 通常のHMMのパラメータ推定では、局所解を解決するために、隠れ状態を基準で分割するヒューリスティックが研究されているが、通常のベイズモデルに対してこのような操作を導入することは困難であった。 我々は、iHMM の状態を階層化したベイズ事前分布のモデル、階層iHMMを提案する。隠れ状態のそれぞれが階層的に子状態をもち、各状態の遷移確率と出力確率が階層 Chinese Restaurant Process によって結び付けられているので、各子状態が親状態から遷移確率・出力確率を引き継ぎつつ独自の性質をもつことができる。また、隠れ状態の分割基準が、統計的に統一的な枠組みで表現できる。 実験では、特に局所解の影響を受けやすいため、通常はHMMには使われない学習手法である粒子フィルタ法を適用した場合でも、iHMMを階層化した提案モデルにより、効率的な学習が可能になることを示す。

本研究はベイズ拡張された確率文脈自由文法(PCFG)に対する効率的なサンプリングアルゴリズムを構築することで，高速かつ高精度な文法学習を可能にすることを目的とする．PCFGは計算機科学分野だけでなくバイオインフォマティクス分野など幅広い分野で活用されている一般性の高い確率モデルであり，そのベイズモデルについても期待が高い．近年，変分ベイズ法のような近似に基づく高速パラメータ推定手法が提案され，盛んに研究されているものの，高精度な推定を必要とする場合は依然として計算コストの高いMCMCのような手法が必要となる．Bayesian PCFGに対するMCMC法を構成するためには，単純にはGibbs Samplerのような手法を適用することが考えられるが， PCFGのパラメータ間に強い相互依存があり，またパラメータ空間も大きいことから，Gibbs Samplerでは収束が遅く効率が悪い．これに対しJohnsonらは構文木の確率に応じた構文木のみのサンプリングによるMetropolis-Hastings Samplerを構築し，より効率的なサンプリング手法を提案している．しかしJohnsonらの手法は依然として計算コストが高く，大規模データへの適用は困難を伴う．そこで我々は，ベイズ拡張された隠れマルコフモデルのための高速なMCMC法であるBeam Sampling法をPCFGに応用することでJohnsonらの手法を高速化する．隠れマルコフモデルにおけるBeam Sampling法は，動的計画法とSlice Sampling法を利用することにより，ベイズ隠れマルコフモデルの高速なパラメータ推定を可能にする手法であるが，これをそのままの形式でPCFGの枠組みへ応用しようとするとき，HMMにおいて各時刻において割り当てられている補助変数をPCFGで利用される内側確率表に直接対応付けることができず，アルゴリズムが構築できない．本論文ではこれを内側確率表上の分割位置に補助変数を対応付ける形式としてSplit Position Slice Samplerという手法を新たに提案することでBeam Samplerの枠組みを拡張し，これをJohnsonらの手法へ組み込むことによって高い精度を保ったままBayesian PCFGのパラメータ推定を高速に行うMCMC法を構築する．

According to theories of cultural neuroscience, Westerners and Easterners may have distinct styles of cognition (e.g., different allocation of attention). Previous research has shown that Westerners and Easterners tend to utilize analytical and holistic cognitive styles, respectively. On the other hand, little is known regarding the cultural differences in neuroeconomic behavior. For instance, economic decisions may be affected by cultural differences in neurocomputational processing underlying attention; however, this area of neuroeconomics has been largely understudied. In the present paper, we attempt to bridge this gap by considering the links between the theory of cultural neuroscience and neuroeconomic theory of the role of attention in intertemporal choice. We predict that (i) Westerners are more impulsive and inconsistent in intertemporal choice in comparison to Easterners, and (ii) Westerners more steeply discount delayed monetary losses than Easterners. We examine these predictions by utilizing a novel temporal discounting model based on Tsallis’ statistics (i.e. a q-exponential model). Our preliminary analysis of temporal discounting of gains and losses by Americans and Japanese confirmed the predictions from the cultural neuroeconomic theory. Future study directions, employing computational modeling via neural networks, are briefly outlined and discussed.

ノンパラメトリックベイズは、過学習の回避とモデル選択という、機械学習において繰り返し問題となるテーマに対する新しいアプローチである。ノンパラメトリックベイズ手法は、仮説空間 上に適切な事前確率分布を導入することで無用に複雑な解を避けるベイズ推定の考え方をさらに推し進め、無限個のモデルの混合分布を考えることで、学習デー タに対応する複雑さのモデルが自動的に選択されるようにできることから、関数回帰、クラスタリング、文書のトピックモデルなど、多くの応用が研究されてい る。今回は、隠れマルコフモデルをノンパラメトリックベイズ化することで無限個の隠れ状態まで扱える infinite HMMを中心に、ノンパラメトリックベイズの枠組みを紹介する。また、infinite HMM の自然な拡張により隠れ状態の階層的なクラスタリングが実現できることを示す。

種々の投影像の撮像態様に容易に対応でき、応用性を向上した画像再構成装置及びプログラムを提供する。

We consider apprenticeship learning - i.e., having an agent learn a task by observing an expert demonstrating the task - in a partially observable environment when the model of the environment is uncertain. This setting is useful in applications where the explicit modeling of the environment is difficult, such as a dialogue system. We show that we can extract information about the environment model by inferring action selection process behind the demonstration, under the assumption that the expert is choosing optimal actions based on knowledge of the true model of the target environment. Proposed algorithms can achieve more accurate estimates of POMDP parameters and better policies from a short demonstration, compared to methods that learns only from the reaction from the environment.

It is not easy to test software used in studies of machine learning with statistical frameworks. In particular, software for randomized algorithms such as Monte Carlo methods compromises testing process. Combined with underestimation of the importance of software testing in academic fields, many software programs without appropriate validation are being used and causing problems. In this article, we discuss the importance of writing test codes for software used in research, and present a practical way for testing, focusing on programs using Monte Carlo methods.

連想記憶モデルに記憶させる画像のパターン間の相関を取り除き、干渉の発生や記憶容量の低下を防ぐことができる、画像認識装置、画像認識方法、および、プログラムを提供することを課題とする。

マスク化されたパターンが保存されている場合に、マスクパターンを用いずに、対応するパターンを取り出すことができる、画像認識装置、画像認識方法、および、プログラムを提供することを課題とする。