Separates tokens based on character changes from lowercase-uppercase, letter-number, alphanumeric-punctuation. Without taking any character in the vertex, and respecting the capital letter
Operates On: Lexical Items with TOKEN flag
{ "type":"CharChangeSplitter", "case": true, "number": true, "punctuation": true }
Note that flags are placed on every token as appropriate to the current token:
V--[Issues]--V--[with]--V------------[SagaToken123@#$]-------------V--[send]--V--[email]--V--[to]--V-------------------[[email protected]]--------------------V--[for]--V--[HELP]--V ^--[Saga]--V--[Token]--V--[123]--V--[@#$]--^ ^--[it]--V--[@]--V--[this]--V--[Company]--V--[.]--V--[com]--^
{ "type":"CharChangeSplitter", "punctuation" : false }
V--[Issues]--V--[with]--V---------[SagaToken123@#$]---------V--[send]--V--[email]--V--[to]--V-----[[email protected]]------V--[for]--V--[HELP]--V ^--[Saga]--V--[Token]--V--[123@#$]--^ ^--[it@this]--V--[Company.com]--^
{ "type":"CharChangeSplitter", "number" : false }
V--[Issues]--V--[with]--V---------[SagaToken123@#$]---------V--[send]--V--[email]--V--[to]--V-------------------[[email protected]]--------------------V--[for]--V--[HELP]--V ^--[Saga]--V--[Token123]--V--[@#$]--^ ^--[it]--V--[@]--V--[this]--V--[Company]--V--[.]--V--[com]--^
{ "type":"CharChangeSplitter", "case" : false }
V--[Issues]--V--[with]--V---------[SagaToken123@#$]---------V--[send]--V--[email]--V--[to]--V----------------[[email protected]]----------------V--[for]--V--[HELP]--V ^--[SagaToken]--V--[123]--V--[@#$]--^ ^--[it]--V--[@]--V--[thisCompany]--V--[.]--V--[com]--^