சேவை

ஸ்பார்க் ஸ்ட்ரீமிங் தரவு சுத்தம் செய்யும் வழிமுறை
(I) டி.எஸ்.ட்ரீம் மற்றும் ஆர்.டி.டி.
நமக்குத் தெரியும், ஸ்பார்க் ஸ்ட்ரீமிங் கணக்கீடு ஸ்பார்க் கோரை அடிப்படையாகக் கொண்டது, மேலும் ஸ்பார்க் கோரின் மையமானது RDD ஆகும், எனவே ஸ்பார்க் ஸ்ட்ரீமிங் RDD உடன் தொடர்புடையதாக இருக்க வேண்டும். இருப்பினும், ஸ்பார்க் ஸ்ட்ரீமிங் பயனர்கள் RDD ஐ நேரடியாகப் பயன்படுத்த அனுமதிக்காது, ஆனால் DStream கருத்துகளின் தொகுப்பை சுருக்கமாகக் கூறுகிறது, DStream மற்றும் RDD ஆகியவை உள்ளடக்கிய உறவுகள், நீங்கள் அதை ஜாவாவில் அலங்கார வடிவமாகப் புரிந்து கொள்ளலாம், அதாவது, DStream என்பது RDD இன் மேம்பாடு, ஆனால் நடத்தை RDD ஐப் போன்றது.
DStream மற்றும் RDD இரண்டும் பல நிபந்தனைகளைக் கொண்டுள்ளன.
(1) map, reduceByKey போன்ற ஒத்த உருமாற்ற செயல்களைக் கொண்டுள்ளன, ஆனால் Window, mapWithStated போன்ற சில தனித்துவமானவற்றையும் கொண்டுள்ளன.
(2) அனைத்தும் foreachRDD, count போன்ற செயல் செயல்களைக் கொண்டுள்ளன.
நிரலாக்க மாதிரி சீரானது.
(B) ஸ்பார்க் ஸ்ட்ரீமிங்கில் DStream அறிமுகம்
DStream பல வகுப்புகளைக் கொண்டுள்ளது.
(1) InputDStream போன்ற தரவு மூல வகுப்புகள், குறிப்பிட்ட DirectKafkaInputStream போன்றவை.
(2) மாற்ற வகுப்புகள், பொதுவாக MappedDStream, ShuffledDStream
(3) வெளியீட்டு வகுப்புகள், பொதுவாக ForEachDStream போன்றவை
மேலே இருந்து, தொடக்கம் (உள்ளீடு) முதல் முடிவு (வெளியீடு) வரையிலான தரவு DStream அமைப்பால் செய்யப்படுகிறது, அதாவது பயனர் பொதுவாக RDDகளை நேரடியாக உருவாக்கி கையாள முடியாது, அதாவது RDDகளின் வாழ்க்கைச் சுழற்சிக்கு DStream பொறுப்பேற்க வாய்ப்பும் கடமையும் உள்ளது.
வேறு வார்த்தைகளில் கூறுவதானால், ஸ்பார்க் ஸ்ட்ரீமிங் ஒருதானியங்கி சுத்தம் செய்தல்செயல்பாடு.
(iii) ஸ்பார்க் ஸ்ட்ரீமிங்கில் RDD உருவாக்கும் செயல்முறை
ஸ்பார்க் ஸ்ட்ரீமிங்கில் RDDகளின் வாழ்க்கை ஓட்டம் பின்வருமாறு தோராயமாக உள்ளது.
(1) InputDStream-இல், பெறப்பட்ட தரவு, KafkaRDD-ஐ உருவாக்கும் DirectKafkaInputStream போன்ற RDD-ஆக மாற்றப்படுகிறது.
(2) பின்னர் MappedDStream மற்றும் பிற தரவு மாற்றம் மூலம், இந்த நேரம் நேரடியாக RDD என அழைக்கப்படுகிறது, இது மாற்றத்திற்கான வரைபட முறைக்கு ஒத்திருக்கிறது.
(3) வெளியீட்டு வகுப்பு செயல்பாட்டில், RDD வெளிப்படும் போது மட்டுமே, தொடர்புடைய சேமிப்பு, பிற கணக்கீடுகள் மற்றும் பிற செயல்பாடுகளைச் செய்ய பயனரை அனுமதிக்க முடியும்.