Hoe gebruik je ChatGPT om je data pipeline te bouwen?

Hoe vraag je ChatGPT om tags te bedenken voor een stuk tekst? Het idee is om ChatGPT een vraag te sturen met daarin de tekst die gecategoriseerd moet worden. De hele vraag plus te analyseren tekst komt daarom in een string in de trant van: “Categoriseer deze tekst met één tot vijf tags: <tekst van het artikel hier>”.

newstext = “As Canada celebrates its first astronaut to go to the moon, it is starting a new project that could eventually enable a Canadian to walk on the lunar surface. <gevolgd door meer tekst>”

user_input = f”Categorise this text with one to five tags:\n\n {newstext}”

message_history.append({“role”: “user”, “content”: f”{user_input}”})

completion = openai.ChatCompletion.create(

  model=”gpt-3.5-turbo”,

  messages=message_history

)

reply_content = completion.choices[0].message.content

print(reply_content)

En het werkt! Hier zijn de tags die het maakt voor dit artikel over de Ariane 5 raket voor ESA’s JUICE missie naar Jupiter en zijn manen:
https://www.spacedaily.com/reports/Ariane_5_flight_VA260_Juice_fully_integrated_and_ready_for_rollout_999.html:

space mission, Ariane 5, Juice mission, Jupiter exploration, European Spaceport.

Dat is inderdaad een prima resultaat.

Laten we een ander artikel nemen: https://www.newscientist.com/article/2367734-tonight-is-your-best-chance-to-see-mercury-in-the-night-sky/

Wat maakt ChatGPT ervan?

Mercury, solar system, astronomical observations, space viewing, celestial events.

Ook dit resultaat is prima.

En toen probeerde Marcel-Jan hetzelfde voor dit artikel:
https://www.spacewar.com/reports/Thule_Air_Base_Gets_New_Name_999.html

- U.S. Space Force
- Greenland
- Department of Defense
- Pituffik Space Base
- Cultural heritage

Huh! Wat? Waarom maakt ChatGPT deze tekst nu opeens heel anders op? Ook opmerkelijk is dat er dit keer geen punt aan het eind van het resultaat staat.

Dus resultaten van ChatGPT 3.5 kunnen best inconsequent zijn. Dat kan verholpen worden door ChatGPT opdracht te geven het resultaat te leveren in komma gescheiden formaat:

user_input = f”Categorize this text with one to five tags:\n\n {item[‘summary_detail’]}.” \

f” Print the tags separated by commas.”

Maar dat is dus wel een leermoment: je moet heel specifiek zijn in je verzoek aan ChatGPT.

Een hoofdcategorie kiezen
Nu wilde Marcel-Jan dat ChatGPT één hoofdcategorie koos uit een lijst van mogelijkheden. Want zo houdt hij zelf zijn lijst met astronomie nieuwsberichten bij. Dit is de lijst:

user_followup = f”Also categorize this text in one of the following categories:\n\n {astro_categories}”
message_history.append({“role”: “user”, “content”: f”{user_followup}”})

completion = openai.ChatCompletion.create(
model=”gpt-3.5-turbo”,
messages=message_history
)

reply_content = completion.choices[0].message.content
print(reply_content)

Laten we kijken wat ChatGPT er van maakt. Voor het artikel over de Ariane 5 raket die geprepareerd wordt voor de Europese Jupiter-missie komt hij inderdaad met een keurig resultaat:

Jupiter.

Dat is prima. Beetje vreemd van de punt aan het eind, maar die kun je later wegfilteren. Door naar het artikel van de Space Force basis op Groenland. Dit is wat ChatGPT koos als de hoofdcategorie:

Earth, Miscellaneous.

Hee, wacht even. De opdracht was om slechts één categorie te kiezen.

Of neem het resultaat voor dit artikel over NASA’s Orion ruimteschip: https://www.spacedaily.com/reports/Orion_stretches_its_wings_ahead_of_first_crewed_Artemis_mission_999.html

Wat koos ChatGPT?

Kennedy Space Center and Orion spacecraft fall under "Miscellaneous".

Technisch gezien goed, maar onhandig in de verdere verwerking. En soms komt ChatGPT met uitgebreide feedback, zoals op dit artikel: https://www.spacedaily.com/reports/The_worlds_first_3D_printed_closed_afterburning_cycle_liquid_rocket_engine_successfully_flew_999.html.

De tags kiest hij goed:

space technology, rocketry, China, Tianbing Technology, TH-11V engine.

Maar dit geeft hij als antwoord op de hoofdcategorie:

The text should be categorized under "space technology" and "rocketry" as these are the most relevant categories. It doesn't fit neatly into any of the specific celestial bodies or topics listed in the second prompt, nor does it relate to artificial intelligence or meteorites.

Klinkt redelijk, maar in de verdere verwerking hebben we er niet zo veel aan. Daar moet je dus op bedacht zijn: ChatGPT is geen REST API. Het praat Engels terug.

Marcel-Jan probeerde de vraag wat aan te scherpen: kies slechts 1 categorie en als het niet past, kies dan Diversen (Miscellaneous):

user_followup = f”Also categorize this text in only one of the following categories:\n\n {astro_categories}.” \
f”If it doesn’t fit in any of these categories, categorize it under Miscellaneous.”

Dit leverde gemengde resultaten op. Neem bijvoorbeeld de keuze die ChatGPT maakt voor dit artikel van Space.com:
https://www.space.com/best-free-star-trek-tng-and-picard-3d-prints . De tags die ChatGPT kiest, zijn correct:

pop culture, television, 3D printing, Star Trek, Picard

En welke hoofdcategorie kiest ChatGPT vervolgens?

Telescopes

Telescopen? Echt? Het woord komt in het hele artikel niet voor (behalve een keer in een banner).