Zenn
Closed3

言語に不自然に混じった別言語を判定する

自然言語処理
NLP
スースー

言語普遍的な混入不自然性判定したい。
一旦考えやすくするため、英語の中に日本語がある例を考えてみる。
→ただこれはDifyのワークフロー内に取り込みたいから機械学習とか使わずにLLMにプロンプト渡すための礎を作るイメージ。

英語 in 日本語

英語テキスト内の日本語混入の不自然さを判定

英語内日本語混入の不自然性判定フレームワーク

1. 統語的制約による分析

A. 文内コードスイッチングの制約

自由形態素制約（Free Morpheme Constraint）

✅ 自然: "I need to buy some natto."
❌ 不自然: "I need to buy-su some natto."
  • 束縛形態素（助詞、活用語尾）での切り替えは不自然
  • 独立した語彙項目での切り替えは比較的自然

等価制約（Equivalence Constraint）

✅ 自然: "Yesterday, watashi wa shopping ni ikimashita."
❌ 不自然: "Yesterday wa, I went shopping."
  • 両言語で文法的に等価な位置でのみ切り替えが自然
  • 語順の違いを無視した切り替えは不自然

B. 句構造レベルの制約

主要部方向性制約

✅ 自然: "I love sushi restaurant"
❌ 不自然: "Restaurant sushi wo I love"
  • 英語の主要部前置構造を維持する必要
  • 日本語の修飾構造をそのまま持ち込むと不自然

2. 形態論的制約による分析

A. 語彙範疇の適合性

名詞の混入パターン

✅ 高い自然性: "I ate ramen for lunch."
✅ 中程度: "My sensei is very kind." 
❌ 低い自然性: "I ramen-ed yesterday."

動詞の混入パターン

❌ 極めて不自然: "I benkyou every day."
✅ 借用語化済み: "Let's karaoke tonight!"

B. 活用・語形変化の制約

日本語動詞の英語的活用

❌ 不自然: "I studied hard yesterday."
❌ 不自然: "He benkyou-s every day."
  • 日本語動詞に英語の活用をつけるのは極めて不自然

3. 語用論的・文脈的制約

A. 社会言語学的妥当性

話者の言語背景との整合性

  • バイリンガル話者: より多様な混用が自然
  • 英語学習者: 限定的な借用語のみが自然
  • 全く日本語を知らない話者: 日本語混入は完全に不自然

コミュニケーション状況

✅ 自然なコンテクスト:
- 日本文化について説明する場面
- 日本語話者同士の英語会話
- 学術的・専門的議論

❌ 不自然なコンテクスト:
- 純粋に英語圏の日常会話
- フォーマルなビジネス文書
- 公式な学術論文

B. 機能的動機の有無

自然な機能

  1. 語彙ギャップ填補: 適切な英語表現がない場合
  2. 文化特異的概念: "omotenashi"などの文化的概念
  3. 強調・感情表現: "Sugoi!"などの感嘆表現

不自然な使用

  1. 恣意的置換: 英語で十分表現可能な概念の置き換え
  2. 炫耀的使用: 単なる知識のひけらかし
  3. 文法的混乱: 統語構造の破綻を引き起こす使用

4. 音韻論的制約

音韻的統合度 

✅ 高い統合: "sushi" [suːʃi] → 英語音韻に適応
❌ 低い統合: 日本語の音韻をそのまま保持

アクセント・プロソディ

  • 英語のストレスパターンへの適応度
  • イントネーションの統合性

5. 頻度・慣習化による判定

A. 語彙の借用度レベル

レベル1：完全借用語

✅ "karate", "tsunami", "karaoke"
- 英語辞書に掲載済み
- 英語話者が普通に使用

レベル2：部分借用語

△ "manga", "anime", "otaku"
- 特定コミュニティで使用
- 一般的認知度は中程度

レベル3：非借用語

❌ "benkyou", "taberu", "oishii"
- 英語話者には理解不能
- 専門的コンテクスト以外では不自然

6. 実用的判定基準

A. 理解可能性テスト

  1. 単言語話者テスト: 英語のみ話者が理解可能か
  2. 文脈独立性: 文脈なしに意味が伝わるか
  3. 辞書参照必要性: 辞書なしに理解可能か

B. 代替可能性分析 

質問: "この日本語表現を英語に置き換え可能か？"

可能 → 不自然度高い
不可能 → 自然度高い（借用の必然性あり）

C. 頻度統計による判定

  • コーパス頻度: 英語コーパスでの出現頻度
  • ウェブ検索頻度: Google等での検索結果数
  • 辞書掲載状況: 主要英語辞書での掲載有無

7. AI・NLP適用のための定量的指標

不自然性スコア算出式 

不自然性スコア = W1×統語違反度 + W2×形態違反度 + W3×語用不適切度 + W4×頻度逆数 + W5×文脈不整合度

各要素の重み付け例

  • W1（統語）= 0.3（最重要）
  • W2（形態）= 0.25
  • W3（語用）= 0.2
  • W4（頻度）= 0.15
  • W5（文脈）= 0.1

閾値設定

  • 0-0.3: 自然（借用語レベル）
  • 0.3-0.6: やや不自然（特定文脈で許容）
  • 0.6-0.8: 不自然（修正推奨）
  • 0.8-1.0: 極めて不自然（要修正）

8. 具体的適用手順

Step 1: 基本情報収集

  1. 話者の言語背景確認
  2. コミュニケーション状況特定
  3. テキストジャンル分類

Step 2: 言語学的分析

  1. 統語構造の整合性検証
  2. 形態論的制約の確認
  3. 音韻的統合度評価

Step 3: 社会言語学的評価

  1. 語用論的適切性判定
  2. 文化的文脈との整合性
  3. コミュニケーション効果測定

Step 4: 定量的判定

  1. 各指標のスコア算出
  2. 重み付け総合評価
  3. 最終判定とフィードバック
スースー

言語普遍的な混入不自然性判定フレームワーク

ガッツリ技術技術して解決するパターンを一回調査+入れる

言語普遍的混入不自然性判定フレームワーク

1. 言語類型論的制約による分析

A. 統語構造の類型的差異

語順パラメータの不整合

基本語順パターン:
SOV言語 (日本語、トルコ語、韓国語)
SVO言語 (英語、中国語、フランス語)  
VSO言語 (アラビア語、ウェールズ語)

不自然性の判定

def check_word_order_compatibility(base_lang, embedded_lang):
    base_order = get_basic_word_order(base_lang)
    embedded_order = get_basic_word_order(embedded_lang)
    
    if base_order != embedded_order:
        # 異なる語順パラメータ = 高い不自然性
        return 0.8  # 高い不自然性スコア
    else:
        return 0.2  # 低い不自然性スコア

具体例

❌ 極めて不自然: "I ramen wo tabeta" (SVO + SOV混合)
✅ 比較的自然: "Je mange sushi" (SVO + SVO借用語)
❌ 不自然: "Ich esse Kuchen very quickly" (SOV + SVO混合)

B. 主要部方向性パラメータ

主要部-補部関係の普遍的制約

主要部前置言語 (Head-Initial):
- 英語: [VP eat [NP sushi]]
- フランス語: [VP mange [NP du pain]]

主要部後置言語 (Head-Final):  
- 日本語: [NP 寿司を][VP 食べる]
- トルコ語: [NP su][VP iç]

混合時の不自然性

不自然度 = |主要部方向性(L1) - 主要部方向性(L2)| × 0.6

2. 形態論的類型による制約

A. 形態類型学的分類

1. 孤立語的言語 (Isolating)

  • 中国語、ベトナム語
  • 1語彙 = 1形態素
  • 語形変化が極めて少ない

2. 膠着語的言語 (Agglutinative)

  • 日本語、トルコ語、フィンランド語
  • 接辞の明確な境界
  • 形態素の透明性が高い

3. 融合語的言語 (Fusional)

  • ラテン語、ロシア語、アラビア語
  • 1つの接辞が複数の文法機能
  • 形態素境界が不明確

4. 抱合語的言語 (Polysynthetic)

  • イヌイット語、ナバホ語
  • 1語に多数の形態素が統合

B. 形態的混合の制約 

def morphological_mixing_constraint(base_type, embedded_type):
    compatibility_matrix = {
        ('isolating', 'isolating'): 0.1,
        ('isolating', 'agglutinative'): 0.7,
        ('isolating', 'fusional'): 0.8,
        ('isolating', 'polysynthetic'): 0.9,
        ('agglutinative', 'fusional'): 0.6,
        ('fusional', 'polysynthetic'): 0.7,
        # ... 他の組み合わせ
    }
    return compatibility_matrix.get((base_type, embedded_type), 0.5)

3. 音韻論的制約

A. 音韻体系の距離

音素インベントリの差異

def phonological_distance(lang1, lang2):
    vowels_1 = get_vowel_inventory(lang1)
    consonants_1 = get_consonant_inventory(lang1)
    vowels_2 = get_vowel_inventory(lang2)
    consonants_2 = get_consonant_inventory(lang2)
    
    vowel_overlap = len(vowels_1 & vowels_2) / len(vowels_1 | vowels_2)
    consonant_overlap = len(consonants_1 & consonants_2) / len(consonants_1 | consonants_2)
    
    return 1 - (vowel_overlap + consonant_overlap) / 2

音韻規則の衝突

トーン言語 vs 非トーン言語:
- 中国語 (tones) + 英語 (no tones) = 高い不自然性
- ベトナム語 (tones) + 日本語 (pitch accent) = 中程度の不自然性

ストレス体系の違い:
- 英語 (語強勢) + フランス語 (句強勢) = 中程度の不自然性

B. 音韻プロセスの適応 

def phonological_adaptation_naturalness(source_word, target_lang):
    """
    音韻的借用の自然性を判定
    """
    source_phonemes = phonemize(source_word)
    target_inventory = get_phoneme_inventory(target_lang)
    
    adaptation_cost = 0
    for phoneme in source_phonemes:
        if phoneme not in target_inventory:
            closest_match = find_closest_phoneme(phoneme, target_inventory)
            adaptation_cost += phonetic_distance(phoneme, closest_match)
    
    return 1 - (adaptation_cost / len(source_phonemes))

4. 社会言語学的制約

A. 言語威信と権力関係

言語的威信階層

def prestige_compatibility(base_lang, embedded_lang, context):
    prestige_scores = get_language_prestige_scores()  # 文脈依存
    
    base_prestige = prestige_scores[base_lang][context]
    embedded_prestige = prestige_scores[embedded_lang][context]
    
    # 低威信言語から高威信言語への借用は自然
    # 逆は不自然度が高い
    if embedded_prestige > base_prestige:
        return 0.2  # 自然
    elif embedded_prestige < base_prestige:
        return 0.7  # やや不自然
    else:
        return 0.4  # 中程度

B. 文化的距離 

def cultural_distance_factor(lang1, lang2):
    """
    文化的距離による不自然性
    """
    # 地理的距離
    geo_distance = geographical_distance(lang1, lang2)
    
    # 言語系統の距離  
    genetic_distance = linguistic_genetic_distance(lang1, lang2)
    
    # 宗教・文化的背景
    cultural_similarity = cultural_background_similarity(lang1, lang2)
    
    return normalize(geo_distance + genetic_distance + (1 - cultural_similarity))

5. 機能的・語用論的制約

A. 借用の機能的動機

借用の自然性階層

1. 概念的ギャップ (最も自然)
   - 文化特異的概念: "sushi", "siesta", "sauna"
   - 技術的革新: "internet", "software"

2. 表現力強化 (自然)
   - 感情表現: "wow", "ouch"
   - 強調表現: "super", "mega"

3. 社会的威信 (条件付き自然)
   - 学術用語: Latin/Greek terms
   - 専門用語: 各分野の国際語

4. 恣意的置換 (不自然)
   - 既存語彙の無意味な置き換え
   - 炫耀的使用

B. コミュニケーション効率 

def communicative_efficiency(mixed_text, audience):
    """
    コミュニケーション効率による自然性判定
    """
    comprehension_rate = calculate_audience_comprehension(mixed_text, audience)
    processing_cost = calculate_cognitive_processing_cost(mixed_text)
    
    # 理解度が高く、処理コストが低い = 自然
    efficiency_score = comprehension_rate / (1 + processing_cost)
    
    return efficiency_score

6. 統計的・コーパス的制約

A. 使用頻度による自然性 

def frequency_based_naturalness(lang_pair, mixed_pattern):
    """
    大規模コーパスからの頻度統計
    """
    # 多言語コーパスでの出現頻度
    corpus_frequency = get_mixing_frequency(lang_pair, mixed_pattern)
    
    # ウェブでの使用頻度  
    web_frequency = get_web_usage_frequency(lang_pair, mixed_pattern)
    
    # ソーシャルメディアでの頻度
    social_media_frequency = get_social_media_frequency(lang_pair, mixed_pattern)
    
    return weighted_average([corpus_frequency, web_frequency, social_media_frequency])

B. コロケーション制約 

def collocation_naturalness(base_lang, embedded_word, context):
    """
    コロケーション情報による自然性
    """
    # 基底言語での典型的コロケーション
    base_collocations = get_typical_collocations(base_lang, context)
    
    # 埋め込み語との共起パターン
    mixed_collocations = get_mixed_collocations(base_lang, embedded_word)
    
    overlap = calculate_collocation_overlap(base_collocations, mixed_collocations)
    
    return overlap

7. 認知的・心理的制約

A. 処理負荷による制約 

def cognitive_processing_load(mixed_text):
    """
    認知的処理負荷の計算
    """
    # 言語切り替えコスト
    switch_cost = count_language_switches(mixed_text) * SWITCH_PENALTY
    
    # 統語的複雑性
    syntactic_complexity = calculate_syntactic_complexity(mixed_text)
    
    # 語彙的曖昧性
    lexical_ambiguity = calculate_lexical_ambiguity(mixed_text)
    
    total_load = switch_cost + syntactic_complexity + lexical_ambiguity
    
    return total_load

B. 記憶・学習制約 

def learnability_constraint(lang_pair, pattern):
    """
    学習可能性制約
    """
    # パターンの規則性
    pattern_regularity = calculate_pattern_regularity(pattern)
    
    # 言語間の構造的類似性
    structural_similarity = get_structural_similarity(lang_pair)
    
    # 習得難易度
    acquisition_difficulty = get_acquisition_difficulty(lang_pair, pattern)
    
    learnability = (pattern_regularity + structural_similarity) / (1 + acquisition_difficulty)
    
    return learnability

8. 総合判定アルゴリズム

統合モデル 

class UniversalMixingNaturalnessDetector:
    def __init__(self):
        self.weights = {
            'typological': 0.25,
            'morphological': 0.20,
            'phonological': 0.15,
            'sociolinguistic': 0.15,
            'functional': 0.10,
            'statistical': 0.10,
            'cognitive': 0.05
        }
    
    def detect_unnaturalness(self, text, base_lang, embedded_langs, context):
        scores = {}
        
        # 各次元でのスコア計算
        scores['typological'] = self.calculate_typological_score(base_lang, embedded_langs)
        scores['morphological'] = self.calculate_morphological_score(text, base_lang, embedded_langs)
        scores['phonological'] = self.calculate_phonological_score(text, base_lang, embedded_langs)
        scores['sociolinguistic'] = self.calculate_sociolinguistic_score(base_lang, embedded_langs, context)
        scores['functional'] = self.calculate_functional_score(text, context)
        scores['statistical'] = self.calculate_statistical_score(text, base_lang, embedded_langs)
        scores['cognitive'] = self.calculate_cognitive_score(text)
        
        # 重み付き総合スコア
        total_unnaturalness = sum(
            self.weights[dimension] * score 
            for dimension, score in scores.items()
        )
        
        return {
            'total_unnaturalness': total_unnaturalness,
            'dimension_scores': scores,
            'judgment': self.get_naturalness_judgment(total_unnaturalness),
            'recommendations': self.generate_recommendations(scores)
        }
    
    def get_naturalness_judgment(self, score):
        if score < 0.2:
            return "Natural"
        elif score < 0.4:
            return "Slightly Unnatural"
        elif score < 0.6:
            return "Moderately Unnatural"
        elif score < 0.8:
            return "Highly Unnatural"
        else:
            return "Extremely Unnatural"

9. 実装・応用例

多言語対応例 

# 英語-日本語
detector.detect_unnaturalness(
    "I love sushi very much", 
    base_lang="en", 
    embedded_langs=["ja"],
    context="casual_conversation"
)

# フランス語-アラビア語
detector.detect_unnaturalness(
    "Je veux manger shawarma", 
    base_lang="fr", 
    embedded_langs=["ar"],
    context="food_discussion"
)

# 中国語-英語
detector.detect_unnaturalness(
    "我想要buy这个", 
    base_lang="zh", 
    embedded_langs=["en"],
    context="shopping"
)

10. カスタマイズと拡張

ドメイン特化型調整

  • 学術論文: フォーマル度重視
  • ソーシャルメディア: カジュアル度許容
  • ビジネス文書: 専門用語許容
  • 文学作品: 芸術的表現許容

動的学習機能 

def update_model_with_feedback(self, text_samples, human_judgments):
    """
    人間の判定結果を用いたモデル更新
    """
    # 機械学習による重み調整
    self.weights = optimize_weights(text_samples, human_judgments, self.weights)
    
    # 新しい言語対応の追加
    self.add_new_language_pairs(text_samples)

任意の言語ペアにおける混入の不自然性を体系的かつ客観的に判定することが可能
言語普遍的な制約と個別言語の特性を両方考慮することで、より精密で実用的な判定システムを構築できる

スースー

ドメイン特化についてはその平均を色々考える必要ありそう。

このスクラップは2ヶ月前にクローズされました