getTokenKind, getTokenValue

src/parser/scanner.ts

@@ -43,9 +43,16 @@ export class Scanner implements ITokenStream {
 	}
 
 	/**
-	 * トークンに含まれる値を取得します。
+	 * カーソル位置にあるトークンの種類を取得します。
 	*/
-	public getValue(): string {
+	public getTokenKind(): TokenKind {
+		return this.getToken().kind;
+	}
+
+	/**
+	 * カーソル位置にあるトークンに含まれる値を取得します。
+	*/
+	public getTokenValue(): string {
 		return this.getToken().value!;
 	}
 

src/parser/streams/token-stream.ts

@@ -17,9 +17,14 @@ export interface ITokenStream {
 	is(kind: TokenKind): boolean;
 
 	/**
-	 * トークンに含まれる値を取得します。
+	 * カーソル位置にあるトークンの種類を取得します。
+	*/
+	getTokenKind(): TokenKind;
+
+	/**
+	 * カーソル位置にあるトークンに含まれる値を取得します。
 	*/
-	getValue(): string;
+	getTokenValue(): string;
 
 	/**
 	 * カーソル位置にあるトークンの位置情報を取得します。
@@ -79,16 +84,16 @@ export class TokenStream implements ITokenStream {
 	}
 
 	/**
-	 * トークンに含まれる値を取得します。
+	 * カーソル位置にあるトークンに含まれる値を取得します。
 	*/
-	public getValue(): string {
+	public getTokenValue(): string {
 		return this.getToken().value!;
 	}
 
 	/**
 	 * カーソル位置にあるトークンの種類を取得します。
 	*/
-	public getKind(): TokenKind {
+	public getTokenKind(): TokenKind {
 		return this.getToken().kind;
 	}
 
@@ -126,7 +131,7 @@ export class TokenStream implements ITokenStream {
 	*/
 	public expect(kind: TokenKind): void {
 		if (!this.is(kind)) {
-			throw new AiScriptSyntaxError(`unexpected token: ${TokenKind[this.getKind()]}`, this.getPos());
+			throw new AiScriptSyntaxError(`unexpected token: ${TokenKind[this.getToken().kind]}`, this.getPos());
 		}
 	}
 

src/parser/syntaxes/common.ts

@@ -24,7 +24,7 @@ export function parseParams(s: ITokenStream): { name: string, argType?: Ast.Node
 
 	while (!s.is(TokenKind.CloseParen)) {
 		s.expect(TokenKind.Identifier);
-		const name = s.getValue();
+		const name = s.getTokenValue();
 		s.next();
 
 		let optional = false;
@@ -173,7 +173,7 @@ function parseNamedType(s: ITokenStream): Ast.Node {
 	const startPos = s.getPos();
 
 	s.expect(TokenKind.Identifier);
-	const name = s.getValue();
+	const name = s.getTokenValue();
 	s.next();
 
 	// inner type

src/parser/syntaxes/expressions.ts

@@ -111,7 +111,7 @@ function parseInfix(s: ITokenStream, left: Ast.Node, minBp: number): Ast.Node {
 
 	if (op === TokenKind.Dot) {
 		s.expect(TokenKind.Identifier);
-		const name = s.getValue();
+		const name = s.getTokenValue();
 		s.next();
 
 		return NODE('prop', {
@@ -236,11 +236,9 @@ function parseAtom(s: ITokenStream, isStatic: boolean): Ast.Node {
 					}
 					case TokenKind.TemplateExprElement: {
 						// スキャナで埋め込み式として事前に読み取っておいたトークン列をパースする
-						const exprStream = new TokenStream(element.children!);
+						const exprStream: ITokenStream = new TokenStream(element.children!);
 						const expr = parseExpr(exprStream, false);
-						if (exprStream.getKind() !== TokenKind.EOF) {
-							throw new AiScriptSyntaxError(`unexpected token: ${TokenKind[exprStream.getToken().kind]}`, exprStream.getToken().pos);
-						}
+						exprStream.expect(TokenKind.EOF);
 						values.push(expr);
 						break;
 					}
@@ -254,13 +252,13 @@ function parseAtom(s: ITokenStream, isStatic: boolean): Ast.Node {
 			return NODE('tmpl', { tmpl: values }, startPos, s.getPos());
 		}
 		case TokenKind.StringLiteral: {
-			const value = s.getValue();
+			const value = s.getTokenValue();
 			s.next();
 			return NODE('str', { value }, startPos, s.getPos());
 		}
 		case TokenKind.NumberLiteral: {
 			// TODO: validate number value
-			const value = Number(s.getValue());
+			const value = Number(s.getTokenValue());
 			s.next();
 			return NODE('num', { value }, startPos, s.getPos());
 		}
@@ -546,7 +544,7 @@ function parseReference(s: ITokenStream): Ast.Node {
 			}
 		}
 		s.expect(TokenKind.Identifier);
-		segs.push(s.getValue());
+		segs.push(s.getTokenValue());
 		s.next();
 	}
 	return NODE('identifier', { name: segs.join(':') }, startPos, s.getPos());
@@ -570,7 +568,7 @@ function parseObject(s: ITokenStream, isStatic: boolean): Ast.Node {
 	const map = new Map();
 	while (!s.is(TokenKind.CloseBrace)) {
 		s.expect(TokenKind.Identifier);
-		const k = s.getValue();
+		const k = s.getTokenValue();
 		s.next();
 
 		s.expect(TokenKind.Colon);

src/parser/syntaxes/statements.ts

@@ -123,7 +123,7 @@ function parseVarDef(s: ITokenStream): Ast.Node {
 	s.next();
 
 	s.expect(TokenKind.Identifier);
-	const name = s.getValue();
+	const name = s.getTokenValue();
 	s.next();
 
 	let type;
@@ -156,7 +156,7 @@ function parseFnDef(s: ITokenStream): Ast.Node {
 	s.next();
 
 	s.expect(TokenKind.Identifier);
-	const name = s.getValue();
+	const name = s.getTokenValue();
 	s.next();
 
 	const params = parseParams(s);
@@ -220,7 +220,7 @@ function parseEach(s: ITokenStream): Ast.Node {
 	s.next();
 
 	s.expect(TokenKind.Identifier);
-	const name = s.getValue();
+	const name = s.getTokenValue();
 	s.next();
 
 	if (s.is(TokenKind.Comma)) {
@@ -264,7 +264,7 @@ function parseFor(s: ITokenStream): Ast.Node {
 		const identPos = s.getPos();
 
 		s.expect(TokenKind.Identifier);
-		const name = s.getValue();
+		const name = s.getTokenValue();
 		s.next();
 
 		let _from;
@@ -369,7 +369,7 @@ function parseAttr(s: ITokenStream): Ast.Node {
 	s.next();
 
 	s.expect(TokenKind.Identifier);
-	const name = s.getValue();
+	const name = s.getTokenValue();
 	s.next();
 
 	let value;

src/parser/syntaxes/toplevel.ts

@@ -68,7 +68,7 @@ export function parseNamespace(s: ITokenStream): Ast.Node {
 	s.next();
 
 	s.expect(TokenKind.Identifier);
-	const name = s.getValue();
+	const name = s.getTokenValue();
 	s.next();
 
 	const members: Ast.Node[] = [];
@@ -129,7 +129,7 @@ export function parseMeta(s: ITokenStream): Ast.Node {
 
 	let name = null;
 	if (s.is(TokenKind.Identifier)) {
-		name = s.getValue();
+		name = s.getTokenValue();
 		s.next();
 	}